耶1959年竞选连任，离任后他做回律师老本行。1965年，任美国民主行动协会东南费城分会主席的索耶带领部分民主党人公开表态支持共和党候选人阿伦·斯佩克特（）出任费城地方检察官。
公民权利代言人.除司法和政治议题外，索耶还关注非裔美国人面临的困境，成为民权运动的参与者。据朋友兼律师同僚阿林·亚当斯（）回忆，索耶“对南方黑人的遭遇深感忧虑”。1965年，他前往亚拉巴马州塞尔玛协助登记黑人选民，还在密西西比州为被控违反地方法令的维权人士打官司。得知警察学院以不公平的理由拒绝黑人入学申请后