Asbest i byggmaterial är i allmänhet bara en oro där materialet är fräsbart, dvs sprött och smuligt. Du har inte sagt, men om "panelen" togs bort som en enhet, så blev nästan säkert mycket litet asbest släppt. Om däremot panelen pulveriserades och förstördes till den punkt där mycket damm skapades, det kan vara orsak till mer oro.
Men det finns lite du kan göra om det nu. Enligt min åsikt finns det också mycket lite att oroa sig för. Jag tror att mycket av rädslan över asbest har mycket mer att göra med rädsla för rättstvister och stora skador utmärkelser än vad den gör mot faktisk fara. Faktum är att människor som kontrakt mesoteliom är i allmänhet de som hade kontinuerlig exponering för höga koncentrationer av asbestfibrer under många år. Precis som att andas lite kolstoft inte sannolikt kommer att ge dig svart lunga, kommer den där udda asbestfibrerna här och där inte sannolikt att döda dig.
Alla fibrer under mattan (och mattdynan jag antar) är effektivt inkapslade och osannolikt att flytta genom dynan och mattan i atmosfären. Fiberkoncentrationen i luften kommer att minska över tiden med luftförändringar och med avveckling. Efter 2 år skulle jag bli förvånad om du hade några mätbara asbestfibrer i luften.
Slutligen sa du att panelen "kanske" innehåller asbest. Om du inte vet och inte kan testa det eller en annan bit av samma panel, kommer du aldrig att veta om det finns asbest och du borde inte, enligt min mening, leva i rädsla. Om du kan få provet testat och det innehåller asbest, kom ihåg att i vissa jurisdiktioner måste du avslöja det faktum vid försäljning av hemmet.
EDIT: Humoristisk (och sannolikt noggrant) svar från tidigare liknande fråga: "Du är mycket mer benägna att dö från att oroa sig för asbest än från asbest." Det svaret här:
Hur kan jag försegla kanterna på ett linoleumgolv som eventuellt innehåller asbest?
Användbar länk till en Reader's Digest-artikel också från det svaret: länk