1879年、ハリマンはニューヨークの銀行家ウィリアム・J・アヴェレルの娘メアリー・ウィリアムソン・アヴェレル（英語版）と結婚する。
1879年，哈里曼与纽约奥格登斯堡银行家威廉·J·艾弗雷尔(英语：WilliamJ.Averell)的女儿玛丽·威廉姆森·艾弗雷尔(英语：MaryWilliamsonAverell)结婚。