Faren var fra Lofthus i Ullensvang, men i 1861 flyttet han til Børve i Kvam. Olav Lofthus utdannet seg til lærer ved seminaret på Stord. Her ble han tilhenger av folkehøyskoletanken, og sammen med presten Johan Einar Unger drev han en folkehøyskole i Vikøy. Senere drev han en folkehøyskole på Halsnøy sammen med Wollert Konow (SB) og Nils Juel.