Det låter som om du kan korsa två historier.
HP Lovecrafts Från Beyond "involverar en forskare som skapar en enhet som stimulerar vilande sinnen i människan sinne, så att de kan se saker från bortom det här existensplanet. När de kan ses, kan de också se de som ser dem, och saker går nerför därifrån. Varelserna är mycket amorfa och krypa ut huvudpersonen som han märker dem överlappar och kombinerar ibland. Du kan läsa den på Wikisource , gratis. (Det är länge förbi upphovsrätten.)
Jag gissar den geometriska formaspekten kommer från The Hound of Tindalos av Frank Belknap Long, som innebär att åka tillbaka i tid (mentalt) och varelser som jagar huvudpersonen tillbaka genom "konstiga geometrier", och specifikt kan komma in i världen genom vinklar. (Det eventuella offeret försöker skydda sig genom att eliminera alla vinklar i rummet han stannar kvar i tills de blir tröttna på jakten.) Det är också på Wikisource , men jag är inte säker på dess upphovsrättsstatus, så jag kan inte garantera att den kommer att gå.
Båda är en del av Cthulhu mythos, även om den första var skriven av Lovecraft, och den andra av Lång; du kanske har stött på dem i samma samling, tho.