Berger ble olympisk mester i vektklassen tungvekt i boksing under OL 1904 i St. Louis. Han beseiret Charles Mayer i finalen. Det var kun tre deltakere i klassen, alle fra USA.