Baker fikk til slutt sparken etter at BBCs ledelse insisterte fordi de ville fornye serien. Han er fremdeles den eneste skuespilleren som har blitt sparket fra rollen som Doktoren. Med bare 11 historier og litt under tre år i rollen var Baker den som hadde spilt Doktoren i kortest tid frem til Paul McGann i 1996.