Han var sønn av bonde Ole Pedersen Bjellånes (1774–1849) og Milda Nilsdotter (1800–78). I 1877 giftet han seg med Christine Bernhardine Dahl (1855–1910) og fikk ti barn, deriblant OL-skytteren Ole Tobias Olsen (1878–1940) som var ordfører i Mosjøen, zoologen Ørjan Olsen (1885–1972) og geologen Anders K. Orvin (1889–1980).