Ja, varje del av väggen anses vara ett objekt.
DMG 246 innebär att en vägg är ett objekt:
Use common sense when determining a character's success at damaging an object. Can a fighter cut through a section of a stone wall with a sword? No, the sword is likely to break before the wall does.
DMG 247 bekräftar att väggar är föremål, som anger att slottmurar räknas som föremål:
Big objects such as castle walls often have extra resilience represented by a damage threshold.
Daerns Instant Fortress har också delar som uttryckligen ges HP (DMG 161):
The roof, the door, and the walls each have 100 hit points, immunity to damage from nonmagical weapons excluding siege weapons, and resistance to all other damage.
Om väggarna i dessa strukturer räknas som objekt, så är det meningsfullt att en grottaväg också skulle räknas som ett föremål för trollformler, eftersom de två sakerna är likartade. DMG behandlar emellertid enskilda sektioner av väggar som separata föremål. Medan väggar är föremål, är hela byggnader inte (DMG 246):
For the purpose of these rules, an object is a discrete, inanimate item like a window, door, sword, book, table, chair, or stone, not a building or a vehicle that is composed of many other objects.
Detta faller under klausulen "Använd sunt förnuft" i det första citatet. När det gäller Instant Fortress, reducerar en av väggarna till 0 HP inte hela strukturen till damm, till exempel.
Därför får DM använda sin "sunt förnuft" för att avgöra vad som händer när en del av en vägg är inriktad. Om en trollkarl kastar True Polymorph på den där grottväggen, skulle jag som DM inte vilja utgöra att hela grottskomplexet (eller hela planeten!) Blir polymorfad - bara en stor bit av den.
Som du kan se, ger reglerna uttryckligen DM-mängden latitud om hur datorerna interagerar med sin miljö.