A su muerte como resultado de las complicaciones de la diabetes, a los 68 años, en Lakeland, Florida, en enero de 2000, Adderley fue enterrado cerca de su hermano en el cementerio de Southside en Tallahassee, Florida.