I 1933 ble Olsen ansatt som sykehusprest ved Lovisenberg sykehus i Oslo. Her ble han kjent for sin medmenneskelighet og sin evne til å støtte både pasienter og pårørende i møte med livets utfordringer. Han var sterkt preget av sitt kristne kall til å hjelpe de som led, både fysisk og åndelig, og hans virke som prest hadde stor betydning for mange.