Brown ble olympisk mester i friidrett under Sommer-OL 1984 i Los Angeles. Han var med på det amerikanske stafettlaget som vant 4 × 100 meter stafett for menn foran Jamaica og Canada. De satte ny verdensrekord med tiden 37,83, De andre på laget var Sam Graddy, Calvin Smith og Carl Lewis.