Berger var fotballspiller og gikk over til løping etter å ha vunnet en nasjonal tittel på 100 meter for fotballspillere. I 1930 satte han personlig rekord på 200 meter med tiden 21,1. Dette var europeisk rekord fram til 1951 og var nederlandsk rekord til 1965. Høydepunktene i karrieren kom i 1934, da han tangerte verdensrekorden på 100 meter på 10,3 i Amsterdam. Seinere det året, i det første EM i friidrett i 1934, vant han både 100 meter og 200 meter og kom på tredjeplass med det nederlandske stafettlaget på 4 x 100 meter. Den tyske sprinteren Erich Borchmeyer ble opprinnelig utropt som vinner av 100 meter. Dette ledet til raseri blant tilskuerne, som tydeligvis mente at Berger var den første over målstreken. Juryen valgte derfor å utsette avgjørelsen til målfotoet ville bli tilgjengelig neste dag. Etter gjennomgang av målfotoet viste det seg at det faktisk var Berger som hadde vunnet.