在费城日耳曼敦（）出生并由在学校任教的母亲养大。他在栗山学院念高中，1936年毕业，然后进入宾夕法尼亚大学并为《宾夕法尼亚人日报》（""）撰稿，还加入ΖΨ兄弟会，是美国大学优等生荣誉学会成员。1940年毕业后，索耶进入宾夕法尼亚大学法学院深造。第二次世界大战爆发后，他进入美国海军服役，曾参与大西洋和太平洋战场行动，但事后表示极少参与实战。索耶从军的大部分时间都在帕托卡号（）补给舰度过，后于1945年7月转至天鹅号（）扫雷舰并服役至同年12月。战争结束后，他回到法学院并于1946年迎娶格雷斯·斯库尔（），