Man vet egentlig svært lite om Hallvard Vebjørnssons liv, men islandske annaler hevder ble han ble drept i år 1043. Ifølge lokal tradisjon skal Hallvard ha vokst opp på farsgården Huseby i Lier, som sønn av storbonden Vebjørn og kona Thorny, hvis mor skal ha vært datter til Gudbrand jarl. Gudbrand skal også ha vært far til Åsta Gudbrandsdatter, mor til Sankt Olav (med sin første ektemann, Harald Grenske) og Harald Hardråde (med sin andre ektemann, Sigurd Syr), som begge dermed var nært beslektet med Hallvard. Hallvard ble ifølge sagnet ofte med sin far på handelsreiser, blant annet til Gotland.