Name av en bok med en tävling med interplanetär telepati

Jag letar efter namnet på en science fiction bok jag läste i min barndom. Historien och ledtrådarna så långt jag kommer ihåg är så:

• Det finns en torr planet med en enda men väldigt hög byggnad där "observatörernas" släkting bor. De har allt de behöver i den här superbyggnaden så att de glömde externt.
• Förutom observatörernas planet finns 3 andra planeter där civilisationer av avancerade människor, normala människor (vi) och barbarer bor.
• Observatörernas uppgift är att observera dessa tre planeter och förhindra dem att bygga ett rymdskepp.
• För det ändamålet använder de en form av extremt långdistanstelepatibåtar placerade inuti deras byggnad. Genom telepati kan de komma in i (och kontrollera) sinne hos andra människor som bor i andra planeter. Och de kan sabotera eventuella försök att bygga ett rymdskepp.
• Den avancerade mänskliga rasen för länge sedan upphörde att försöka bygga ett rymdskepp. Barbarians har ingen teknik så vi försöker bara att göra det under tidsramen.
• Men observatörerna själva hade glömt sin ursprungliga plikt för länge sen, så de antar att dessa telepati-kabiner är virtuell verklighetstrening för dem och de vet inte att de faktiskt kontrollerar riktiga människor. Så de flesta kontrollerar sinne för att få människor att göra dumma saker eller mer allvarliga saker, som självmord och vansinne.
• Berättelsen handlar om att en kille i observatörerna upptäckte verkligheten och så småningom hjälper en människa att göra rymdresa. Det finns också en kille, som är ledare för observatörer eller något liknande, med fervent följande observatörers antika koder. (Sabotering rymdskepp, därför väljer han alltid att besöka jorden.)

Vet du vilken bok det är?