Brown ble utvalgt til Pro Bowl i 1962, 1963 og 1965. Han er den eneste spilleren i Philadelphias historie til å returnere et avspark 105 yards for en touchdown, og den eneste fra Eagles (og første av ni i NFL noensinne) til å returnere to avspark, 90 og 93 yards, for touchdowns i én kamp. Han ledet ligaen i yards samlet to ganger (1962 med 2 306 og 1963 med 2 428). Han ledet også ligaen i kick returns og return yards to ganger, i 1961 og 1963.