Huseby er først og fremst kjent for å være gården der Sankt Hallvard voks opp. Han het egentlig Hallvard Vebjørnsson og var fetteren til Olav Haraldsson og Harald Sigurdsson, bedre kjent som Sankt Olav og Harald Hardråde. Hallvards mor, Torny Gudbrandsdatter, var søster til Olavs og Haralds mor, Åsta Gudbrandsdatter. Hallvards far var Gudbrand jarl.