His sons included the illustrator James William Edmund Doyle (1822–1892); the painter, illustrator and cartoonist Richard Doyle (1824–1883); Henry Edward Doyle, (1827–1892) who became director of the National Gallery of Ireland; and the painter Charles Altamont Doyle (1832–1893), and grandfather of Sir Arthur Conan Doyle, the novelist and creator of Sherlock Holmes.
Джон Дойл был женат на Марианне Конан, в браке у них родилось семеро детей, из которых выжили четверо, все они стали художниками: иллюстратор Джеймс Дойл (1822—1892), художник, иллюстратор и карикатурист Ричард Дойл (1824—1883), Генри Дойл (1827—1892), впоследствии директор Национальной галереи Ирландии, а также Чарльз Дойл (1832—1893), отец сэра Артура Конан Дойла, создателя Шерлока Холмса.