告上法庭，被杂志称为市长的十大劲敌之一后还为此深感自豪。他曾在费城市议会任职四年，推动立法增加该市的公共美术预算。
早年经历.索耶于1918年生于费城，父亲是亨利·华盛顿·索耶二世（），母亲叫海伦·库里特·索耶（）。索耶一家是贵格会信徒，但也有服兵役的传统，南北战争期间他的祖父亨利·华盛顿·索耶（一世）就曾加入新泽西第一志愿骑兵团。内战结束后，索耶一世成为新泽西州开普梅查方特酒店业主。索耶二世死于1918年流感大流行，索耶三世两个月后在费城日耳曼敦（）出生并由在学校任教的母亲养大。