Skull and Bones
1891年11月15日にニューヨーク州ニューヨークにエドワード・ヘンリー・ハリマンの子として出生する。父は銀行家であり、ユニオン・パシフィック鉄道及びサザン・パシフィック鉄道の経営者（鉄道王）であった。やはりウォール・ストリートの投資銀行の経営者であったエドワード・ローランド・ノエル・ハリマンは弟。グロートン校を経て1913年にイェール大学を卒業。イェールではスカル・アンド・ボーンズのメンバーであった。