Silbury Hill er bygd opp av kalkstein og leirjord hentet i de nære omgivelsene. De indre strukturene vitner om stor teknisk ferdighet og administrasjon av ressurser og arbeidskraft. Man regner med at den ble bygget omkring 4750 før nåtid. Videre er det estimert at byggingen krevde hele 18 millioner arbeidstimer, noe som skulle tilsvare rundt fem hundre arbeidere på heltid i 15 år. Toppen er nå avflatet, men det er grunn til å anta et opprinnelig profil var jevnt avrundet. Toppflaten ble antakelig utjevnet i løpet av middelalderen, trolig for anlegg av en befestning. Et stykke i nivå under toppflaten er en markert avsats som går rundt hele haugen.