Чарльз Олтемонт Дойл родился в Англии, в семье ирландского художника Джона Дойла. В 1849 году он переехал в Эдинбург, где устроился в Государственную Промышленную Палату. Там он встретился с Мэри Фоли (1837—1920), дочерью Уильяма Фоли (1804—1841). Когда г-н Фоли умер в Клонмеле, Мэри вернулась в родной Килкенни. Вследствие ирландского картофельного голода или же из-за проблем в семье остаться в Ирландии она не смогла, бросила школу и продала своё имущество в Килкенни, после чего переехала в Эдинбург. Там она создала институт воспитания британских и иностранных гувернанток в семьях и школах. Чарльз и Мэри поженились 31 июля 1855. У них на свет появилось несколько детей, включая Артура Конан Дойла, создателя Шерлока Холмса, Джона Фрэнсис Иннеса Hay Дойла и Джейн Аделаиду Роуз Фоли, урожденную Дойл.