Bara för att expandera på @ Christi svar (som är korrekt: de var inte helt rationella eftersom de är mänskliga, och för att Angelus är mycket farlig vampyr):
Giles och Xander hade väldigt olika motiv att inte vilja återvända till ängels själ. (Det här är typiskt för Xander, speciellt tidigt: han får bara vad han vill när det händer att det motsvarar vad någon mer knowledgable eller "important" också vill ha.)
Båda deras problem fokuserade på Buffys förhållande med honom. Om ängels själ returnerades, skulle Buffy och Angel förmodligen försöka förena och eventuellt återuppta sitt förhållande. En av de viktigaste punkterna som Whedon har skrivit in i hela serien är att Buffy fortfarande är en mänsklig tonårsflicka och har alla vanliga fel, misslyckanden etc. av en mänsklig tjej. I synnerhet är hela denna Angel-episod en ganska klar metafor för den manipulativa ex-pojkvännen som bara "spelar bra" tills han tar sin oskuld, dumpar sedan henne. Det är mycket vanligt för en person (särskilt en tonåring) för att bilda ett irrationellt djupt band med den första personen som de sovit med och vill behålla det förhållandet inför många tecken som inte varnar för dem. I det här fallet har Buffy den extra fördelen av en bra förklaring till Ängelns förändring av beteende och anledning att tro (korrekt) att hans beteende skulle förändras om hans själ skulle kunna återställas.
För Giles vill han inte se det hända av två skäl. Naturligtvis är den primära motivationen hans hat för Angelus, och vad Angelus gjorde för sig själv och Jenny. Dessutom spelar han sin vanliga roll som surrogatfaderfigur för Buffy, och är förbannad i Angel för det emotionella trauma hon gick igenom. Giles vill verkligen inte se Ängel "belönas" genom att få sin själ återställd och ha sitt tidigare, inte lyckliga men minst åtnjutande liv tillbaka. Men bortom det är han en Watcher, och gillade aldrig idén att hans Slayer befriended, mycket mindre dating, en vampyr. (Han accepterar inte helt lika tanken att Spike är medlem i laget.) I hans sinne är Angel återvändande till Angelus verkligen bara världen som rättar sig - han agerar hur vampyrer ska agera. Svaret ska då vara för Buffy att agera hur Slayers ska agera och spela honom. Om ängels själ skulle återställas, skulle Giles behöva möta samma inre konflikt som han har stått inför hela tiden, bara nu är hans kunskap om Angelus grymhet mer än bara akademisk, det är personligt. Ängel har "bevisat" för Giles att han i sin kärna fortfarande är bara en vampyr, och vampyrer förtjänar inte synd, de förtjänar döden.
För Xander är det mycket enklare. Han har visat en mycket blatant infatuation med Buffy. Han gjorde ofta sneda anmärkningar ifråga om Angel kunde lita på, länge efter att resten av "bandet" hade accepterat honom. Nu, vad som tidigare såg ut som om Xander bara var liten och avundsjuk på Ängelns förhållande till Buffy, har bevisats. I sitt sinne såg han "det här kommer". Det sista Xander vill är saker tillbaka till status quo.