Abandonado por su madre, Brown creció con su padre, un trabajador itinerante, hasta que terminó en Augusta, (Georgia), donde una tía regentaba una fonda que también funcionaba como timba y prostíbulo.