En gang i 3-400-tallet var det bygget en gravhaug på stedet. I siste halvdel av 700-tallet ble denne haugen delvis utplanert og dannet deler av husterrassen. På den ble det reist en stor hallbygning som må ha stått der gjennom hele 800-tallet. Senere, kanskje på 1000-tallet, ble det reist en stor laftebygning her. Selve hallen var det nå lite igjen av, men på basis av de stolpehullene som var bevart, og av steinfundamentene langs veggene mente man å konstatere at hallen var maksimalt 11,5 m bred og omkring 35 m lang. Slike hallbygninger ble bare bygget for og av det øverste aristokratiet; en virkelig kongelig bygning. Fra Husebyhaugen er det direkte sikt sørover mot bebyggelsen på Kaupang, og videre ut Kaupangkilen. Bygningen må ha virket meget kraftig i det lettkuperte landskapet. Det virker nærliggende å tro at dette kanskje virkelig er Skiringssalen.