Fra Trondheim gikk ferden videre på lån til Drammen og . Med fast plass på laget hos Strømsgodset, hjalp han i 1991 klubben til å gå hele veien til cupfinalen. Der ventet Rosenborg - klubben han var på utlån fra. Olsen var med på å gjøre de flestes spådommer til skamme da Strømsgodset overraskende vant 3-2 over sesongens seriemestre. I seriespillet endte derimot Strømsgodset nederst på tabellen. Etter sesongslutt valgte Olsen å takke ja til en overgang til framfor å ta opp konkurransen med Ola By Rise som målvakt hos Rosenborg.