I 1845 kom han til Åsen (Levanger), hvor han ble ansatt som lærer og kirkesanger (klokker). Han virket i disse stillingene i nær 50 år, fram til 1894. Den første tida bodde han hos lensmann John Wold på gården Hove, og under lensmann Wolds fravær på Stortinget i 1845, fungerte Olsen som lensmann i Åsen. I de første årene var han omgangsskolelærer, men fra 1861 hadde han sitt virke i «Kjerkstuggu» hvor Vedul skolekrets fikk faste lokaler. I 1869 kjøpte han gården Vedul østre på auksjon etter Ole Tørrissen Vedul.