Han var gift med Ingebjørg Tjørhom (født Lunde) (1938-2008) og far til Berit Berg Tjørhom, Gry Åse Tjørhom og Thor Jørgen Tjørhom (født 1962). Sistnevnte var ordfører i Sirdal kommune fra 2003 til 2011 og fra 2015 til 2019 for Senterpartiet.