Varför skulle han?
Tänk på det. Om han förbannade ministerns ståndpunkt skulle ministeriet bara fortsätta med att få dåliga människor att göra jobbet (även om inte många kunde vara sämre än Fudge) tills Voldemort tog kontroll över ministeriet. Och när han tar kontroll är förbannelsen fortfarande kvar - och den som Voldemort sätter i ministerens jobb skulle också bli förbannad.
Om jag var Voldemort skulle jag vilja hålla Fudge som ministern så länge som möjligt.
Men varför förbannade han inte kontor på lägre nivå? Av samma anledning, med den tillförda effekten som förbannar dessa skulle inte hjälpa honom på något sätt. Hans förbannelse på DADA-positionen hjälpte inte på lång sikt honom att göra någonting när det gäller att vinna kriget. Han förbannade den positionen trots att han var orolig i Dumbledore, för att inte hjälpa honom att vinna kriget. Inte bara skulle det ha någon fördel gentemot honom att vinna förbannelse av ministeriet (det skulle faktiskt skada honom), han trodde nog inte ens det.