Han var sønn av gårdbruker Torstein Olsen Bjørgum og hustru Maren Olsdatter Leren på Nordre Bjørgan i Lånke. Han hadde to eldre brødre som også var døpt Ole, og ble derfor kalt «litj-Ola» som ung. Flere av hans brødre ble lærere og underoffiserer. Lærer, kjøpmann og stortingsmann Ole Jullum var hans fetter på farssiden.