Torberg var sønn av Arne Arnmodsson på Giske, som tilhørte den mektige arnmødlingeætten. Såvel Torberg som hans brødre Kalv, Finn og Arne spilte fremtredende roller i Norge i første halvdel av 1000-tallet. Faren hadde vært kong Olav den helliges lendmann, og også Torberg kom til å stå på kongens side. Han fulgte ham i landflyktighet, og deltok i slaget på Stiklestad i 1030, hvor han ble såret.