Först tror jag att du misstänker din fråga - det är inte bara trollkarlar som har magi, men också häxor. Och magiska varelser, men säkert räknar de inte ... (skarpa ögon)
Svaret på varför det inte kan vara alla med magi, eller ingen med det, är att människor inte är lika. Det finns människor med en mängd olika talanger och styrkor och olika svagheter - som att vara färgblind eller dövduva, eller som att ha dubbla leder eller webbservrar, vara helt perfekta eller ha ett fotografiskt minne. Vissa människor har en talang, vissa gör det inte. De som gör kanske vill odla sig mycket, så det kommer inte att gå vilse, andra för att begränsa det så att de kan behålla makten i färre händer.När det gäller den faktiska källan till den magiska blodlinjen tror jag att det inte nämns i canon. Det finns ett antal möjliga teorier, men de är spekulationer.
Jag verkar minnas om att Rowling nämner att magi i sitt universum är genetiskt - att muggle-borns ärver deras magi från en häxa eller trollkarl någonstans i sitt släktträd. En teori skulle vara att det började med någon genetisk variation, kanske en gemensam nog för att fortsätta producera muggle-borns, eller kanske en sällsynt nog att få varje magisk användare så småningom att komma från en enskild individ.
Ett annat alternativ skulle vara, med tanke på att det finns bevis för att interbreeding är möjlig med åtminstone några magiska arter, särskilt giganter (Hagrid) och Veela (Fleur), är det möjligt att den ursprungliga magiken i blodlinjerna kanske har kommit från sådana varelseinterbreeding. Det här kan vara förnuftigt för vissa specifika magiska talanger, som fysisk seghet från jättar, parsletongue från någon snake-shifter eller något annat. Magic talang, generellt, kommer från blandningen och utspädningen av sådana heritages tills de blev generiska (eller nästan så). Så de som föddes med magi i sitt blandade blod utvecklade unika sätt att dra på den magiken för sina egna ändamål.
Ett tredje alternativ kan vara förmågan att göra magi kan komma från att bli utsatt för magi - förändras av magi. Det här kan ha börjat som att bo på platser som är tunga med magi eller att äta magiskt laddade matar, och ju mer magiska de formas desto mer kunde de kanalisera magiken i andra former - som att göra "potions" av grytan med magiska ingredienser. Bevis för denna teori kan innefatta Umbridges övertygelse om att arbeta med magiskt laddade material kan tillåta någon utan magi, en slags begränsad tillgång (som i hennes anklagelser mot muggleborns med hjälp av trollstången som exempel). Eller det kan komma från wandsna själva, där en person inte kan använda magi utan bitar av magisk varelse och trä - det kan vara deras inbyggda magiska talang kanaliserad genom trollet, men det kan ha börjat på något sätt koncentrera eller skörda de magiska egenskaperna hos wand komponenter.
Det kan finnas andra möjligheter, det här är det första som inträffade för mig. Men det kan också vara så att ingen av dessa kan besvara frågan med säkerhet, för vi får inte veta var magiken ursprungligen kommer ifrån.