Orlando, Florida
1848년 2월 20일, 성공회 목사 올랜도 해리먼과 코넬리아 닐슨의 차남으로 뉴욕의 헴스테드에서 태어났다. 형제로는 형 올랜도 해리먼 주니어가 한 명 있었다. 증조부 윌리엄 해리먼은 1795년에 잉글랜드에서 이주하여 무역과 상거래에 종사했다.