Det fungerar bra, och har gjorts av grupper sedan början av RPGs. Det finns få eller inga fällor som väntar på dig om du vill vända om monternas träffmatta så att spelarna gör alla rullarna.
Din oro över vad som kan påverka rullbytet behöver inte vara ett problem så länge du håller situationen klar i huvudet: Bara skjut upp till det ursprungliga sättet som attackerullar görs när någon vill påverka en roll. Tänk på det inte eftersom spelarna plötsligt får kontroll över rullen, och istället som att ha dina spelare gör din rullande för du ... och förresten bläddrar du matematiken för att göra det där ordentligt. Om du tänker på hur spelet redan fungerar och tänker på den här förändringen som ett annat sätt att rulla samma tärning, kommer du inte att gå in i några konstiga situationer med spelare som påverkar saker som de inte normalt kunde.
Dina observationer om fördel / nackdel och att hålla dessa saker att fungera som de ursprungligen gjorde innebar att du redan tänker på rätt sätt för att göra detta arbete. Ge järnet! Att inte behöva rulla tärningar frigör dig för andra DMing-uppgifter, i en överraskande grad.