Nej, det gör du inte. Avsnittet Intimidation i PHB säger ingenting om att det finns bonusar eller påföljder baserade på relativ storlek. Det är helt beroende av ditt Charisma-poäng, kompetensbonus och vad som helst extra funktioner du har plockat upp för att öka dina intimideringsförmågor.
Naturligtvis har DM fortfarande friheten att tillämpa Nackdelen när det är meningsfullt, men storleken ensam borde antagligen inte vara den avgörande faktorn där. Det kan vara meningsfullt för en Gnome att ha Nackdel när man försöker skrämma en Orc till att lägga sina armar i en ansikte mot ansikte konfrontation när båda sidor har vapen ritade och redo, men det finns ingen anledning att tro att en Gnome är mindre skrämmande än en människa när samma ork är en bunden fånge och någon hotar att skära sin tunga ut.