Von Bergen se inició en las divisiones menores del FC Hauterive, antes de unirse en 2000 por el equipo de su ciudad natal, el Neuchâtel Xamax FC.