Etter oppveksten på Lillestrøm etablerte han en trio med Robert Normann og Lulle Kristoffersen i Sarpsborg (1939). Siden medvirket han i Oslo's jazzband ledet av Svein Øvergaard, Rowland Greenberg, Scott Lunde, Will Arild, Jens Book-Jenssen (på Chat Noir), Thorleif Østereng og Frank Ottersen. Fra 1943 spilte han på skandinavisk plan med Arthur Österwall på Nalen, Thore Erling, Jimmy Woode og Jay Elwing, og spilte også med gjestende Louis Armstrong, Ella Fitzgerald og Dizzy Gillespie. Brown var også ofte i NRK.