Senere skulle han bli sjef for New York State Athletic Commission. Hans adoptivsønn, Tracy Harris Patterson, var verdensmester i lettvekt på 1990-tallet. Pattersons manager, Cus D'Amato, ble senere manager for Mike Tyson.