Brown vant en olympisk sølvmedalje i friidrett under sommer-OL 1924 i Paris. Han kom på andreplass i høydehopp med et hopp på 1,95 bak sin landsmann Harold Osborn som vant med 1,98 som var ny olympisk rekord.