Colgate University
ニューヨーク州ブルックリンで生れたブラウンは、コルゲート大学でプレーした後、1947年にBAAのニューヨーク・ニックスに入団した。1年目から当時の新記録となる1試合47得点を記録するなど活躍し、オールBAA2ndチームに選ばれた。その後1950年から1952年までは軍の招集のためプレーしなかった。