Su madre, Mary «Mayann» Albert (1886-1942), dejaba a Louis y a su hermana menor Beatrice Armstrong Collins (1903-1987) bajo el cuidado de su abuela, Josephine Armstrong (que había nacido esclava y fue liberada después de la Guerra Civil) y, a veces, de su tío Isaac.