Harrenhal är inte alls ett fängelse. Det sägs vara det största slottet i de sju kungariket. Innan den erbjöds till Baelish, var det slottet i huset.
Det sägs också hackats av spökena sedan dess grundare, Harren the Black, dog i flammor med hela sin familj när Aegon Conqueror invaderade Westeros med sina drakar. De nästa husen som ockuperade i Harrenhal var förbannade av spöken och levde tragedier. På grund av detta har Harrenhal ett dåligt rykte i Riverlands.
När Game of Thrones börjar, Lady Shella Whent är den sista medlemmen i familjen Whent. Hennes man och hennes söner är alla döda. När hon ser Lannisters armé som vill ta slottet och att hon inte kan försvara det, bestämmer hon sig för att fly och försvinner plötsligt och låter Harrenhal till Lannisters. Joffrey och Cersei utmärkelsen Harrenhalla till Janos Slynt, guldkappans befälhavare, för den del han spelade i att gripa Ned Stark i King's Landing. Senare ges den till Petyr Baelish.
Så, om fångar av Harrenhal inte har valet mellan rättvisa och väggen, beror det på att Lannisters inte vill låta dem välja det.