I 1974 fikk Baker rollen som Doktoren etter at Jon Pertwee forlot serien. Han fikk jobben stort sett på grunn av sin rolleprestasjon i . Baker jobbet på en byggeplass på den tiden fordi det var vanskelig å få jobber. Han fikk tilnavnet «Boiler Suit Tom» av media fordi han hadde på seg gamle klær fra TV-studioet istedenfor sine egne billige klær på en pressekonferanse.