Reglerna är tydliga på detta:
On a hit, an unarmed strike deals bludgeoning damage equal to 1 + your Strength modifier. (PHB 195, Errata v1.0)
Och det är vettigt: skulle en punch skada så mycket som en sticka med en dolk, som använder en d4?
Observera att ett tecken kan leda till mer skada med sina obearbetade strejker, t.ex. genom att ta Tavern Brawler feat (d4) eller vara munk (d4 eller bättre, beroende på nivå).