En 1938 él dejó a su familia (su hijo tenía entonces 19 años) y se mudó con Beatrice "Elvie" Ellis, una empleada del Cotton Club.