I 1885 giftet han seg med Louise Hawkins, som led av tuberkulose og døde av det i 1906. Han giftet seg med Jean Leckie i 1907 som han hadde møtt og blitt forelsket i allerede i 1897, men av respekt for sin første kone var forholdet platonisk inntil hennes død. Doyle fikk fem barn, to med sin første kone (Mary og Kingsley), og deretter tre med sine andre kone (Jean, Denis og Adrian).