Jon Torbergsson regnes som etterkommer av Erling Skjalgssons datter Ragnhild Erlingsdatter og hennes mann Torberg Arneson på Giske. Det er en runeinnskrift på Indre Bø på Randaberg med teksten: "Torberg Torsteinsson bar denne steinen" fra 1100-tallet. Det kan ha vært far til Jon.