Olsen ble født i 1902 i Volda på Sunnmøre, som sønn av en baker Peter Matias Olsen og Kornelia Martine f.Myklebust og ett av tolv søsken. Han ble døpt 7.sep.1902 i Volda sogn. Han opplevde senere et sterkt kall til å vie sitt liv til Gud og prestetjenesten. I ung alder ble han oppfordret til å studere matematikk, men etter å ha blitt sterkt inspirert av teologiprofessoren Ole Hallesby, og valgte å studere teologi ved Universitetet i Oslo.Etter endte studier begynte han sin prestetjeneste på Vestlandet, først som prest i Hjørundfjord på Sunnmøre. Det var der han startet sitt virke som prest i juni 1927, da han ble oppfordret av prostberg og soknerådet til å søke stillingen som sogneprest i Hjørundfjord. På den tiden var han bare 25 år gammel.