1864年2月9日、イングランド系アメリカ人のエリザベス・“リビー"・ベーコン(1842年-1933年)と結婚する。