Edward Robinson vokste opp på et gårdsbruk. Hans far var pastor i en kongregasjonalistisk menighet i Southington i fire tiår.