索耶曾在许多公民组织的董事会任职，包括费城世界事务理事会、主教医院、特拉华河港务局和费尔蒙特公园美术协会（）。他热爱爵士乐，曾主持爵士广播节目，在母校宾夕法尼亚大学教导爵士课程。夫人格雷斯于1999年5月辞世后，亨利·华盛顿·索耶三世也在同年7月31日因肺癌谢世，享年81岁。