Sin første prestestilling hadde han som sykehusprest i Stavanger, og i 1988 var han sykehusprest ved Dikemark sykehus i Asker som da var eid og drevet av Oslo kommune. Den daværende biskopen i Oslo, Andreas Aarflot, ønsket å få Olsen avsatt som prest på grunn av at Olsen levde sammen med en annen mann. I et intervju med Skeivt arkiv forteller Olsen at biskopen gikk flere runder for å få Olsen avsatt som prest, Olsen var ansatt som sykehusprest av Oslo kommune og ikke av Den norske kirke og Olsen forteller i intervjuet at biskopen flere ganger oppsøkte en kommunalråd i rådhuset for å få Olsen avsatt. Oslo kommune så ingen grunn til å avsette Olsen. Olsen opplevde situasjonen som så komplisert at han selv valgte å gå av som prest.