Tore var av Wessel (slekt), sønn av bonde Harald Olaf Wessel-Berg (1889–1980) bonde og Karen Røed (1887–1972). Han giftet seg i 1959 med Inger-Anne Otnæss (1937–2008), og sønnene Dag Wessel-Berg og Erik Wessel-Berg er begge akademikere ved NTNU.