Groton, Connecticut
Родился в семье железнодорожного магната Эдварда Генри Гарримана и Мэри Вильямсон Аверелл. Учился в школе Гротон в Массачусетсе, а затем в Йельском университете, где вступил в закрытое общество «Череп и кости».