Han var sønn av sokneprest Ole Tobias Olsen (1830–1924) og Christine Bernhardine Dahl (1855–1910), og bror til geologen Anders K. Orvin (1889–1980). Ole Tobias jr. giftet seg med Anna Anderssen (1876–1958) og fikk sønnen Fredrik Orvin (1909–1992) som ble diplomat.