Torfinn var sønn av jarl Sigurd Lodvesson Digre og en datter av den skotske kongen Malcolm II. Han var gift med Ingebjørg Finnsdatter, datter av Finn Arnesson. Sammen med Ingebjørg hadde han sønnene Pål og Erlend, og han var farfar til den hellige Magnus Orknøyjarl og Håkon Pålsson.