To av Browns største inspirasjonskilder var Charlie Parker og trompetisten Fats Navarro. Etter studier ved Maryland University, spilte han i Atlantic City i Tadd Damerons «Big Ten», deretter i Philadelphia-miljøet med Miles Davis, Fats Navarro, J.J. Johnson og Charlie Parker en tid.