Citat från Wikipedia-sidan för den tredje läkaren :
The early ones were set on Earth due to cost constraints on the series.
Det verkar vara den allmänt accepterade förklaringen; till exempel på nerdisten :
As a cost-saving measure, the last series [with Patrick Troughton] ended with the Doctor being exiled to Earth, so alien sets would not have to be built.
Även om jag inte har hittat ett direkt citat från någon som var på produktionslaget eller liknande.