Su primera mujer, Nettie, falleció en 1932 al dar a luz a su primer hijo: en su recuerdo, Dorsey compondría una de las canciones más famosas de gospel, ""Take My Hand, Precious Lord"".