Als tijdens de studie werkte hij met eigen formaties en leidde hij in 1949/51 de schoolband aan de East Rockaway Highschool. Terwijl hij doceerde aan de Farmingdale Highschool op Long Island, organiseerde hij een dansband, waarmee hij samen met Gerry Mulligans kwartet optrad tijdens een benefietconcert voor slachtoffers van de Hongaarse Opstand in 1956. In 1957 presenteerde Brown de schoolband succesvol tijdens het Newport Jazz Festival. Hij werd daarna lid van de festival-organisatie en kreeg de opdracht om met George Wein naar Europa te reizen en daar leden voor een internationaal bezette jeugdband te vinden. Deze International Youth Band debuteerde daarna in 1958 tijdens de Expo 58 in Brussel en trad daarna op in Newport. Brown werkte tot 1960 verder met de verschillende edities van de International Youth Band, waarin o.a. Michael Abene, Ronnie Cuber, Gil Cuppini, Eddie Daniels, Eddie Gomez, Dusko Goykovich, George Gruntz, Roger Guérin, Ruud Jacobs, Erich Kleinschuster, Albert Mangelsdorff, Jimmy Owens, Joseph Orange, Gábor Szabó en Jan Wróblewski speelden. Concertopnamen van de band verschenen bij Columbia Records en Decca Records.