Olafsen var lærersønn, tok lærerskole i 1864 og ble cand.theol. i 1873. Han drev folkehøgskole på Veøy i 1874, var amtsskolelærer i Romedal 1876, sogneprest i Eid fra 1877, på Byneset fra 1883 og i Ullensvang 1889-1913. I Olafsens tid ble prestegården i Ullensvang et senter for hagebruk og fruktdyrking i Hardanger.