Han var sønn av skolemannen Paul Knutsen Barstad Sandvik og Nikoline Mork (1847–1927) fra Volda. Ole giftet seg med pianisten Anna Margrethe (Nanna) Rønneberg Munthe-Kaas (1880–1965). De ble foreldre til blant andre bergverksdirektør Per Munthe-Kaas Sandvik (1907–1992) og steinerskolepioneren Jo Munthe-Kaas Sandvik.