Handy escribió en su autobiografía de 1941, titulada "Father of the Blues", que había nacido en una cabaña construida por su abuelo William Wise Handy, que se convertiría en ministro de la African Methodist Episcopal tras la emancipación.