Hallvard Vebjørnsson vokste opp på Huseby gård på 1000-tallet. Av en historisk kilde betegnes han som en gudfryktig, godhjertet gutt. Det heter om han at da han en maidag i 1043 skulle krysse Drammensfjorden, beskyttet han en gravid kvinnelig trell som var forfulgt. Mennene som forfulgte kvinnen forsøkte å overtale Hallvard til å overlate henne til dem, men han nektet. Mennene ble rasende, skjøt og drepte Hallvard. Deretter drepte de kvinnen. For å skjule ugjerningene sine, senket de liket av Hallvard med en kvernstein bundet til halsen.