Su padre, Charles Altamont Doyle, había nacido en Inglaterra y era un funcionario de obras públicas con gran afición hacia el dibujo que había sido destinado a Edimburgo en 1849 y que a lo largo de su vida padeció un grave alcoholismo y profundas depresiones, que le llevaron a ser internado en una institución sanitaria en diversas ocasiones.