I hans første band (1946–) fant man Nora Brockstedt som medlem av en vokalkvintett. Hans eget turnéorkester (1951–) hadde blant annet Arvid Gram Paulsen, Arne Hermandsen, Øistein Ringstad og Eivin Sannes i besetningen, og Brown ledet også eget storband (1957). Etter flytting til Røros (1980) ledet han egen trio til plateutgivelse og etablerte «Adventjazz». I jazzen finner man også den amerikanske altsaksofonisten Pete Brown (1906–61).