亲是亨利·华盛顿·索耶二世（），母亲叫海伦·库里特·索耶（）。索耶一家是贵格会信徒，但也有服兵役的传统，南北战争期间他的祖父亨利·华盛顿·索耶（一世）就曾加入新泽西第一志愿骑兵团。内战结束后，索耶一世成为新泽西州开普梅查方特酒店业主。索耶二世死于1918年流感大流行，索耶三世两个月后在费城日耳曼敦（）出生并由在学校任教的母亲养大。他在栗山学院念高中，1936年毕业，然后进入宾夕法尼亚大学并为《宾夕法尼亚人日报》（""）撰稿，还加入ΖΨ兄弟会，是美国大学优等生荣誉学会成员。1940年毕业后，索耶进入宾夕法