Hovig giftet seg i 1953 med lege Berit Hovig f. Høigård. Torstein Hovig var far til fire barn: Johannes Eivind Hovig, Tollef Hovig, Ingvil Hovig, og Ellisiv Hovig.