Mayer ble olympisk mester i vektklassen mellomvekt i boksing under OL 1904 i St. Louis. Det var kun to deltakere i klassen, begge fra USA. Mayer bokset også i finalen i tungvekt, han tapte til sin landsmann Samuel Berger. I den klassen var det tre boksere.