När det gäller White Walkers specifikt är min förståelse att de på något sätt skapas genom människors uppoffring. (Detta är utställt på showen i skildringen av skapandet av den första White Walker.) På den manliga frågan kan du titta på Craster. Craster offrar bara manliga barn till de vita vandrare. [Observera att det skiljer mellan "Wights" och White Walker-mästarna som återanpassar dem.]
Vad beträffar skogens barn verkar det som om TV-versionen bara visar kvinnor, men @ cde svarar att de är "barnsliga" och sålunda "tvetydiga" är nästan säkert korrekt.