Jag har inte byggt någonting i ett urtag som du beskriver så det är gissning.
Om du monterar den i ett urtag och det är inneslutet på alla 5 sidor (tak, golv, vänster sida, höger sida, bakväg), kan du komma undan med att inte förankra den. Sedan när det tipsar, skulle det slå mot taket. Jag skulle också lägga kilar på alla sidor eftersom det förmodligen inte är en perfekt formad urtagning och du vill att bokhylla inte rör sig alls när det skakas. Även om de troligen skulle lämna mer poäng än några skruvar på toppen för att vara ärlig.
Om taket är något hur bara gips i det området (osannolikt) skulle det inte fungera.
Trä böjer också så även om något sitter i en urtag kan det böjas ut potentiellt. Förutsatt att du har 10ft höga väggar och din bokhylla är 1ft djup. Tippning från den främre bottnen innebär att urtaget / bokhylsan skulle ge av .6in för baksidan för att rensa och tippa.
Hur som helst, när du är färdig att bygga den, ge den en klättring och dra upp från toppen medan den är tom, om den känns som att den kommer att falla, ankar den med skruvar och be om förlåtelse senare.