Den fjerde doktoren ble spilt som en svært eksentrisk figur av Baker. Rollen var utstyrt med et mangefarget, usedvanlig langt skjerf og bredbremmet hatt, inspirert av Henri de Toulouse-Lautrecs kjente maleri av Aristide Bruant, en sanger som var kjent for sitt røde skjerf og svarte kappe. Sammen med Bakers krøllete røde hår ble dette en lett kjennelig figur. Den fjerde doktoren regnes som den mest gjenkjennbare og populære inkarnasjonen av rollen. Baker har bare tapt avstemninger om «Best Doctor» tre ganger: En gang til Sylvester McCoy i 1990, og to ganger til David Tennant (2006 og 2009).