Det är diskutabelt om de alls skulle påverkas
Det finns många stavar som skadar eller på annat sätt besvärar en varelse när den varelsen rör sig, eller flyttas, till deras effektområde. Eftersom du använde Wall of Fire som ett exempel, låt oss undersöka texten som stavningen använder:
Wall of Fire
A creature takes the same damage when it enters the wall for the first time on a turn or ends its turn there. (PHB, p. 285)
Denna rörelse behöver inte vara frivillig: om du är inkopplad i en brandvägg eller går in i det själv, skriver du fortfarande in väggen. Notera dock den liknande (men inte identiska) texten till Prismatic Wall (PHB, s. 269, fetstil läggas till):
When a creature attempts to reach into or pass through the wall, it does so one layer at a time through all the wall’s layers. As it passes or reaches through each layer, the creature must make a Dexterity saving throw or be affected by that layer’s properties as described below.
Dessa "försök" är avgörande. Om ett varelse gripes och flyttas mot sin vilja, försökte det inte "röra sig i riktning det rör sig: det hade inget val i frågan. För att en varelse ska "försöka" passera genom väggen, måste den föra genom det (eller nå in i det) frivilligt.
Detta kompliceras också av det faktum att den andra meningen i citatet ovan inte kräver avsikt, utan bara att en varelse "passerar" eller "når igenom" ett lager av väggen. Det är en DM: s prerogativ att bestämma vilken av dessa meningar som har företräde i denna situation.
Vad händer om du skjuts / grips i väggen?
Det är mycket svårt att säga. Det är konstigt att inget av väggens lager hindrar att en varelse fysiskt passerar genom den medan de är aktiva (lager förhindrar saker som magiska och nonmagical rangattacker från att tränga in i väggen). Det finns inte heller någon text som direkt säger att väggen är solid. Det beskrivs som "ogenomskinligt", men det betyder helt enkelt att du inte kan se igenom det.
Det skulle vara ett DM: s samtal vad skulle hända om du skakade en varelse mot väggen, eller försökte springa genom väggen med ett skapat gripande. Ett fall skulle kunna göras för tanken att muren är solid när du kastas in i den på grund av de tidigare nämnda försöken: den här gången är "försök" betydande inte för att det indikerar viljig rörelse, utan för att det föreslås en risk för misslyckande. Om du "försöker" att flytta igenom något betyder det något att det inte är garanterat att det går att garantera att det går att garantera en viss soliditet. Men det är väldigt mycket ett DM-samtal.
En sak verkar tydligt för mig: det verkar inte troligt att väggen är avsedd att vara både ofarlig och immateriell för varelser som drivs genom det ofrivilligt. Om så var fallet kunde en grupp fiender helt enkelt skjuta varandra genom det och undvika dess effekter helt och hållet (förutom den olyckliga som är sist).Vad sägs om Blindness Condition?
(Tack till HellSaint för att nämna detta i en kommentar). Att passera in i eller genom väggen är inte det enda sättet väggen kan påverka ett varelse (PHB, s. 267-269 [sic]).
...If another creature that can see the wall moves to within 20 feet of it or starts its turn there, the creature must succeed on a Constitution saving throw or become blinded for 1 minute.
Denna effekt är en plats där reglerna verkar något tydligare. Texten säger "flyttar" istället för "flyttas", men tvångsrörelse är fortfarande rörelse. På samma sätt, texten i Fire of Fire som kräver ett tecken "enter" är området lika grammatiskt till texten där det krävs att varelsen ska "flytta". Och väsentligt finns det ingen text i det här avsnittet som begränsar denna speciella påverkan för att hända endast den första gången en varelse rör sig in i sitt område på en viss sväng.
Även om det inte finns något designsvar på den här frågan än, tycks Regler som skrivet (RAW) indikera att du kan dra en varelse nära väggen (inom 20 fot) och utsätta dem för att spara kast för att undvika blindhet . Och tänkligen, om varelsen lyckas, kan du dra dem bort från väggen och mot det igen allt på samma tur och utsätta dem för samma sparande kasta igen.
Självklart skulle du behöva spendera en nionde nivå spellplats för att göra det.