Brown ble født i New York, sønn av Loretta Brown og Robert H. Brown. Han studerte ved the Catholic University of America hvor han tok en Bachelor of Arts i 1948 og en Master of Arts i 1949. I 1951 gikk han inn den prestefellesskapet sulpicianerne1Saint-Sulpice etter en å ha mottatt en bachelor i hellig teologi fra St Marys seminar og universitet. I 1953 ble han ordinert som prest i bispedømmet St. Augustine, Florida.