Baker ble født i Liverpool. Faren hans, John Stewart Baker, var sjømann som sjelden var hjemme. Tom ble derfor stort sett oppdratt av sin irske mor, Mary Jane (født Fleming), i hennes katolske tro. Han sluttet på skolen 15 år gammel for å bli munk, og han tilbrakte de neste seks årene i et kloster. Han forlot klosteret og meldte seg inn i Army Medical Corps samtidig som han begynte med skuespill, først bare som en hobby. I 1971 fikk han sitt første gjennombrudd som Rasputin i filmen . Faren hans er også kjent for å ha funnet opp drikkebokser av stål (slike bokser har blitt brukt av mange brusprodusenter).