Averell Harriman var sønn av en formuende jernbaneinvestor, E.H. Harriman. Han studerte ved Yale der han også var medlem av Skull and Bones-selskapet. Han avla eksamen i 1913. Averell Harriman var gift tre ganger.