Schon während des Studiums arbeitete er mit eigenen Formationen und leitete 1949/51 die Schulband an der "East Rockaway Highschool". Während er an der "Farmingdale Highschool" auf Long Island unterrichtete, organisierte er eine Tanzband, mit der er auf einem Benefiz-Konzert für Opfer des Ungarn-Aufstands 1956 zusammen mit Gerry Mulligans Quartett auftrat. 1957 stellte Brown die Schulband erfolgreich auf dem Newport Jazz Festival vor. Er wurde danach Mitglied der Festival-Organisation und erhielt den Auftrag, mit George Wein nach Europa zu reisen und dort Mitglieder für eine international besetzte Jugendband zu finden. Diese "International Youth Band" debütierte dann 1958 auf der Brüsseler Weltausstellung und trat danach in Newport auf. Brown arbeitete bis 1960 weiter mit den verschiedenen Ausgaben der "Youth Band", in der u. a. Michael Abene, Ronnie Cuber, Gil Cuppini, Eddie Daniels, Eddie Gomez, Dusko Goykovich, George Gruntz, Roger Guérin, Ruud Jacobs, Erich Kleinschuster, Albert Mangelsdorff, Jimmy Owens, Joseph Orange, Gábor Szabó und Jan Wróblewski spielten. Konzert-Mitschnitte der "Youth Band" erschienen auf Columbia und Decca Records.