ジョン・ドイルの方が年上なの、アーサーの方が年上なの?
ドイル家が世間の注目を集めるようになったのは、アーサーの祖父であるジョン・ドイルがダブリンからロンドンに出てきて、"H.B."の筆名で著名な風刺画家となってからだった。ジョンの長男ジェームズは画家、次男リチャードはイラストレーター、三男ヘンリーはアイルランド国立美術館館長としてそれぞれ成功を収めた。しかし五男であるチャールズ(アーサーの父)だけは一介の測量技師補から出世せず、しかもアルコール依存症だったため、1876年にはその仕事も失い、療養所へ入れられた。そのため幼少期・青年期のアーサーは貧しい環境の中で育ったという。

母方のフォーリー家もフランスからアイルランドへ移住したカトリックであり、系図をさかのぼるとフランスから渡来した英国王室プランタジネット朝につながるという。母はそのことを常に誇りにしていたという。