Jag är inte en advokat eller en invandringsexpert, men om din mamma i huvudsak besökte USA en gång på vägen och sedan inte besöker den på vägen tillbaka, är det irrelevant om hennes viseringstillstånd skulle ha gått ut (ESTA är inte visum - det är bara en certifiering som tillåter henne att gå ombord på ett flygplan - Visa Waiver är det som tillåter henne att komma in i USA, och de tillåter vanligtvis en vistelse på 90 dagar).
Det finns andra krav på ESTA / VWP-resor, såsom att ha ett maskinlästat pass. Du måste se till att mamma har följt dem alla.
Det finns en annan fråga som 6 månader är lång tid att stanna i Kanada som turist, men om flygbolaget var oroad över det skulle de inte ha tillåtit henne att gå ombord på ett flyg till Toronto.
Från vad du säger ser det väldigt mycket ut som om flygbolaget gjorde ett misstag. Prata med deras kundtjänstavdelning, och se till att du påpekar att din mamma inte besökte USA på sin väg tillbaka.
Generellt är det säkert lagligt att ett flygbolag kan neka ombordstigning om de anser att passageraren skulle nekas inresa när de anländer, och det händer hela tiden.
(Allt ovan förutsätter att din mamma är en slovakisk medborgare)
EDIT: Som svar på den kompletterande redigeringen av frågan rekommenderar jag att du skriver tillbaka till Austrian Airlines med tydligt att du tror att din mamma hade det nödvändiga pappersarbetet för att slutföra flygningen och att du tror att flygbolaget gjorde ett misstag i att neka ombordstigningen. Fråga dem hur man gör ett formellt klagomål.