Berger deltok to ganger i de olympiske sommerleker uten å gjøre seg særlig bemerket. Det var ventet mye av de nederlandske deltakerne i Sommer-OL 1932, men etter ti dagers reise med båt og en uke med tog ble lekene i Los Angeles en skuffelse. Berger ble utslått i semifinalene på begge sprintdistansene. I Sommer-OL 1936 var Bergers form ikke på topp og han ble overskygget av sine egne landsmenn Tinus Osendarp og Wil van Beveren, i tillegg til at det nederlandsk stafettlaget endte opp med å miste stafettpinnen i finalen.