Av hensyn til familie valgte Bergersen å forlate Rosenborg etter 1994-sesongen for å flytte hjem til Østlandet. Han avslo tilbud fra Stabæk og Lillestrøm til fordel for Vålerenga. Han forlot Vålerenga etter nedrykk fra Eliteserien i 1996. Ferden gikk videre til Raith Rovers, der han spilte tre måneder i den skotske toppdivisjonen.