Båda är möjliga, men det mer troliga alternativet verkar vara ...
Ja, han kommer ihåg, men bara rätt i slutet.
Din citat berättar för oss att han kommer ihåg, och den exakta punkten när han kommer ihåg: precis när han hittar blocket av Azbantium, men innan han slår det och är fångat av Veil.
Hela vägen genom sin resa fram till den tiden, i varje cykelcykel, minns han inte, men långsamt uppträder förverkligandet på honom. Vi kan säga att han inte kommer ihåg eftersom han måste arbeta ut det från ledtrådar som flera skalle, "BIRD" i sanden och stjärnornas läge. Varje gång han tittar ut från tornet och kommer fram till sin slutliga realisering (vi ser det flera gånger, med ett annat antal år varje gång), ser han en förbryllning följt av förståelse och skräck.
När det gäller hur det är möjligt vet vi att doktorn som går ut ur transportören varje gång är fysiskt densamma, men han säger inget om hans mentala tillstånd :
there's a copy of me still in the hard drive. Me, exactly as I was, when I first got here, seven thousand years ago.
Förmodligen är minnen på en eller annan sätt i hans hjärna när han går ut och gör övergången från den döende doktorn till den helt nya, men de är på något sätt undertryckta, bara bryter ut i hans sinne i slutet.
Den andra möjligheten är ...
Nej, han ljuger.
I den scen du citerar kan han bara ligga till "Clara" (förmodligen en viss manifestation av sig själv) för att försöka övertyga honom / henne att han ska ge upp. Visst att han faktiskt måste komma ihåg alla dessa miljarder år skulle vara en mer övertygande anledning att ge in än att bara veta att de hände.
Det skulle ge en viss mening, för om doktorn som kommer in i teleporteren är en exakt kopia av den som ursprungligen kom fram, var vart skulle de nya minnena komma ifrån? Jag kommer att vara den första att erkänna att mitt argument ovan om minnena som gör en övergång från den döende doktorn till den nya är ganska tvivelaktig!