I det här fallet verkar det som om Ollivander sätter två och två tillsammans.
Han kommer ihåg varje enda trollstav som han någonsin har sålt:
Mr. Ollivander fixed Harry with his pale stare.
“I remember every wand I’ve ever sold, Mr. Potter. Every single wand.
-Harry Potter and the Sorcerer's Stone, Chapter Five (Diagon Alley).
Och klart måste han komma ihåg Dracos och Bella's wands.
Nu, när han ser Harry i besittning av Harry, övertygar han tydligt att de var tagit från sina tidigare ägare, och kan faktiskt ha gått över sin tro på Harry och co.
Nästa del av citatet som du har i din fråga förklarar detta:
This was the wand of Draco Malfoy.”
“Was?” repeated Harry. “Isn’t it still his?”
“Perhaps not. If you took it —”
“— I did —”
“— then it may be yours. Of course, the manner of taking matters. Much also depends upon the wand itself. In general, however, where a wand has been won, its allegiance will change.”
-Harry Potter and the Deathly Hallows, Chapter Twenty-Four (The Wandmaker).