Vad kan jag göra om små sprickor i eldstad (oanvänd) caulk under frysande väder?

Det är 1 (en) grad F ute och jag upptäckte några mycket små (mindre än 2 tum) sprickor / hål i kåpan mellan min öppen spiss surround (vägg) och härden som sträcker sig från väggen (se bild nedan för en närbild av den största sprickan). Det här låter i lite vanligt kall luft, och jag vill stoppa det.

Vi använder inte eldstaden, så jag tekniskt inte har för att använda brandvärd caulk, men jag är orolig att någon form av caulk inte kommer att bota ordentligt när temperaturen är så lågt (temperaturen hos eldstaden och härden mätt med en IR-termometer ligger i 35-40 graders F-intervall).

Jag vill tillfälligt försegla luckorna (det finns högst 3-4, med den största som är den 2-tums bild som visas) spricka och ta itu med det här permanent när det värms upp på våren (med tanke på att du installerar en pelletskamininsats).

Vad är en bra tillfällig fix för att stoppa luftinfiltreringen?

Jag tänkte på att använda HVAC-folieband, men inte säker på att det faktiskt stannar luften från att komma in.

Det är värt att nämna detta i ett barns lekrum, så föredra att undvika något giftigt eftersom vi inte lätt kan ventilera i kylan.

Och ja ... Jag lär mig min lektion om att inspektera dessa saker när det fortfarande är varmt nog ute för att fixa det!