Torberg var gift med Ragnhild, datter av Olav den helliges fiende Erling Skjalgsson på Sola. Datteren Tora ble gift med kong Harald Hardråde. Sønnen Øystein Orre falt i slaget ved Stamford bro i 1066, men gjennom den andre sønnen, Ogmund Torbergsson, ble han stamfar til den mektige Giskeætten.