Brown estaba en el punto de mira de la Universidad de Iowa al finalizar su etapa de high school, donde llevó a su equipo, el Instituto Lincoln, a dos títulos estatales, pero su pobre calificación académica no le permitió jugar en la Big Ten Conference, por lo que tuvo que ir a parar al Southeastern Community College of Burlington, un "junior college", donde promedió 21,3 y 26,8 puntos en sus dos temporadas respectivamente.