Ulvhild var av god norsk ætt. Hennes far var jarl og stormannen Håkon Finnsson fra Buskerud, sønn av Finn Håreksson, som var sønn av Hårek Øyvindsson på Tjøtta i Hålogaland, sønn av den store skalden Øyvind Skaldespiller Finnsson.