Brown kom på tredjeplass i roque under OL 1904 i St. Louis bak sine landsmenn Charles Jacobus og Smith Streeter. Han vant to av sine seks kamper mot de tre andre landsmennen som deltok i roqueturneringen. Brown er en av tre roquespillere som har tatt olympisk medalje i sporten.Ettersom roque kun har vært olympisk øvelse en gang er han den første, siste og eneste som har fått olympisk bronsemedalje i roque.