Berger var en fotballspiller og gikk over til løping etter å ha en nasjonal tittel på 100 meter for fotballspillere. I 1930 satte han sin personlige rekord på 200 meter med tiden 21.1 s, som stod som europeisk rekord inntil 1951 og nederlandsk rekord til 1965. Høydepunktene i karrieren kom i 1934, da han tangerte verdensrekorden på 100 meter (10.3 s) i Amsterdam. Seinere i det første EM i friidrett, vant han både 100 meter og 200 meter og kom på tredjeplass med det nederlandske stafettlaget på 4 x 100 meter. Opprinnelig hadde juryen erklært den tyske sprinteren Erich Borchmeyer som vinner på 100 meter, noe som ledet til raseri blant tilskuerne som tydelig hadde sett at Berger vant løpet. Jury ble etterhvert overbevist om å utsette avgjørelsen da filmen fra avslutningen ville bli tilgjengelig neste dag. Filmen viste at Berger virkelig hadde vunnet.