Adderley døde i 1975 av slag. Han er gravlagt på kirkegården i Tallahassee, Florida. Samme året som han døde, ble han innlemmet i (Down Beat).