El 3 de junio de 1936 se casó con Barbara Siggers (1917-1952), con quien tuvo cuatro hijos: Erma (1938-2002), Cecil (1940-1989), Aretha (1942-2018) y Carolyn (1944-1988).