I Hjørundfjord ble han sterkt knyttet til bygda og folket. I kallsboka skrev han: «I denne tid hev eg vorte hjertelig glad i Hjørundfjord og folket her, og eg kjenner trong til å takke Gud fordi han førte meg hit og let meg oppleve så mykje av sine nåde.» Den store trangen til å hjelpe de syke førte til at han også tok en aktiv rolle i sykehuspresttjenesten på Lovisenberg, et viktig arbeid som preget hans karriere. I løpet av hans tid i Hjørundfjord fikk han også erfaring med vikar, som Asbjørn Skram, som til slutt ble innsatt som hans etterfølger i 1934 etter at Olsen flyttet til Oslo.