Jag har inte min bok till hands, men förklaringen är att bara de som hade sparken skulle komma ihåg att du hade varit där och skulle märka avvikelsen. De flesta infödda av recusionen accepterar helt enkelt din närvaro medan du är där och "accepterar" din frånvaro (eller, hellre, betala inte det).
Om det blir lättare, tänk på de icke-Sparky infödingarna som enkla skapelser i en Star Trek Holodeck (tm), med bara en grundläggande AI (de håller sig till samma storyline hela tiden); medan de med Sparken är "levande" skapelser, kan interagera och reagera på "besökarna" på ett mer normaliserat sätt.