Ifølge legenden er Silbury Hill reist over graven til en «kong Sill», og han skal være minnet med en rytterstatue av gull inne i haugen. I 1913 ble det nedskrevet et lokalt sagn som sier at Djevelen hadde tatt med en diger sekk av jord som han ville bruke til å begrave Marlborough, men han ble stoppet av prestene i Avebury, og måtte slippe jorda ved Silbury. Dette ble opphavet til Silbury Hill.