Etter 1996-sesongen ble Olsen solgt til ambisiøse . I de tre sesongene hos Stabæk vant han Kniksenprisen som tre år på rad. Han hjalp klubben til seier i Norgesmesterskapet i 1998 og etablerte seg som det norske landslagets målvakt gjennom 1999.