Nel 1880 aveva sposato Mary Wiliamson Averell, figlia di William J. Averell di Ogdensburg (New York), banchiere e proprietario della "Ogdensburg and Lake Champlain Railroad", che introdusse il genero nel business delle ferrovie. Anche la famiglia Averell discendeva da primi coloni inglesi stabilitisi in Nordamerica e tra gli antenati si contava anche Sarah Averill Wildes, una delle donne impiccate per stregoneria a Salem nel 1692. La coppia ebbe cinque figli, tre femmine (Mary, Cornelia e Carol) e due maschi (William Averell, nato nel 1891 ed Edward Roland, nato nel 1895). Sin dall'infanzia entrambi furono noti semplicemente come Averell e Roland.