Han var sønn av politimesteren i byen, Ole Tobias Olsen (1878–1940) og ho Anna Anderssen (1876–1958). Geologen Anders K. Orvin (1889-1980) var hans onkel. Familien Olsen skiftet etternavn omtrent 1915.