因对费城共和党政治机器的腐败深感失望转投民主党怀抱。20世纪60年代非裔美国人民权运动期间，他在费城和南部推动民权事业，先后把费城警察局、警察总监和市长告上法庭，被杂志称为市长的十大劲敌之一后还为此深感自豪。他曾在费城市议会任职四年，推动立法增加该市的公共美术预算。
早年经历.索耶于1918年生于费城，父亲是亨利·华盛顿·索耶二世（），母亲叫海伦·库里特·索耶（）。索耶一家是贵格会信徒，但也有服兵役的传统，南北战争期间他的祖父亨利·华盛顿·索耶（一世）就曾加入新泽西第一志愿骑兵团。