Childers épouse Emily Walker en 1850. Ils ont six fils et deux filles. L'une de leurs filles, Emily "Milly" Childers, est peintre de portraits et de paysages. Sa première épouse est décédée en 1875 et Childers épouse Katherine Anne Gilbert en 1879. Un cousin, Erskine Childers, est l'auteur du roman d'espionnage "The Riddle of the Sands", une figure importante de la guerre d'Indépendance irlandaise et de la guerre civile irlandaise (au cours de laquelle il est exécuté), et père du quatrième président irlandais, Erskine Hamilton Childers.