Jag tror inte att det existerar i den formulär du beskriver - Matematiken som är ny i akademisk mening är alltid extremt abstrakt och komplex, vilket är nästan omöjligt att skriva berättelser om, utom i stil av Ett vackert sinne , det mänskliga drama som involverar matematiker, men glossar över den faktiska matematiken.
Den enda typen av "matematikfiktion" jag har sett är snarare motsatsen: science fiction som bygger på faktisk matte, men det är alltid relativt gammal matte som människor har haft lite tid att ta tag i, även om det kan fortfarande vara mycket komplex och mystisk för icke-matematiker.
Klassiken i det här området är förstås Flatland . Ett nyare exempel skulle vara Greg Egans novell "Wangs mattor", som senare införlivades i novellen Diaspora - vilket tillfälligt också innehåller en grupp av AI som har gjort matematik till sin huvudsakliga yrke. De kallar den virtuella platsen där de gör det här "Truth Mines".