TV-seriet ger faktiskt ett bestämt svar på din fråga i säsong 5 avsnitt 8: "Hardhome" .
When Jon and the wildling Loboda search for the dragonglass daggers in the burning townhall, they encounter a White Walker warrior. The White Walker warrior walks through the fires without paying attention to them and the fires in his vicinity diminish and die out.
Det finns ett klipp på YouTube som jag beskrivit här. Så det verkar som om i minsta TV-program
the White Walkers are responsible for the cold.