Han gjorde raskt rollen til sin egen. Kostymet med det lange skjerfet og hans forkjærlighet for «jelly babies» gjorde at han umiddelbart ble en gjenkjennelig figur. Da han bestemte seg for å slutte i serien i 1981 ble mange fans lei seg, og Baker regnes som den mest populære Doktoren. Han spilte rollen i sju år, og er den skuespilleren som har hatt rollen lengst. Han foreslo selv mange av Doktorens særegenheter, slik som det karakteristiske skjerfet. Kvinnen som strikket det hadde misforstått og brukte alt garnet som hun fikk, noe som gjorde at skjerfet ble latterlig langt. Baker er også glad i doktor-vitser. Da han ble spurt om hva han syntes om at en stjerne er oppkalt etter ham, sa han «I'm over the moon».