Brown ble olympisk mester i bobsleigh under vinter-OL 1936 i Garmisch-Partenkirchen. Han vant toerbob sammen med Alan Washbond foran et sveitsisk lag. Konkurransen ble avviklet i 14. og 15. februar 1936.