Brown se graduó de la escuela Massillon Washington High School en Massillon, Ohio en 1925, habiendo jugado como quarterback detrás de Harry Stuhldreher (uno de los legendarios Cuatro Jinetes de Notre Dame).