En 1945, Brown huyó de su casa de Portsmouth con un trompetista, Jimmy Brown, con quien pronto se casaría, para cantar en bares y clubes.