Brown spilte college football ved Ball State College i Muncie, Indiana. Han ble plukket opp sent i NFLs draft i 1959 og, da kjent som "Timmy" Brown, spilte én kamp med Green Bay Packers, åtte sesonger med Philadelphia Eagles og én sesong med Baltimore Colts, alt i National Football League (NFL). Han scoret den siste touchdown i NFL Championship Game 1968, og spilte sin siste kamp to uker senere i Super Bowl III med Colts.