Olsen kom til Ham-Kam foran 2002-sesongen, og ble året etter toppskårer i klubben, da laget rykket opp til Eliteserien i fotball. Han hadde ikke like stor suksess etter opprykket, og slet med å skåre mål, selv om han spilte de fleste kampene på topp sammen med Geir Frigård. Vårsesongen 2005 gikk heller ikke bra, med bare ett mål. Men da Ham-Kam kjøpte Markus Ringberg utviklet de to spissene et godt samarbeid, som for Olsens del resulterte i syv mål i løpet av høstsesongen. Med åtte mål ble han igjen lagets toppskårer, og han ble også kåret til årets spiller av lagets supportere.