Efter mordförsöket såg det uppenbart att Bran sköts för att han visste / såg något som han inte borde ha. När det var klart att Cersei fuskade på Robert och bär en annan mans barn, skulle det vara en ganska bra gissning att Bran tog dem i akten.
Så därifrån skulle Eddard bara behöva överväga varje medlem av King Roberts retinue som besökte Winterfell. Alla de vuxna ädla männen lämnade Winterfell med kungen och Eddard att jaga under de timmar som Bran sköts ... förutom Jaime, som stannade bakom för att skydda drottningen. Jaime, som tidigare visat sig kunna vara oärlig våld. Jaime, hans syster stalwart försvarare. Jaime, vem skulle ha varit i närheten av drottningen under tiden för alla tre uppfattningar.
Par att med alla överväldigande alla tre Baratheon-barn hade Lannister-utseendet, och jag tycker inte att det är så svårt att dra en slutsats.
Tänk också på att Eddard kallar Cersei till trädgården för att han har upptäckt "sanningen som Jon Arryn dog för." Cersei är den som börjar prata om hur Jaime skulle ha dödat Robert om han visste att han slog henne. Det är det kommentar som leder Eddard till att säga, "Din bror ... eller din älskare?" Så det kan vara att Eddard kallade Cersei och visste att barnen inte var Robert, men bara misstänkte att Jaime var fadern. Cersei antog Eddard visste allt och i princip telegraferade att de var älskare.