Laut einer Sage soll an diesem Ort ein angelsächsischer Adliger namens "Dud" im 8. Jahrhundert eine hölzerne Burg erbauen haben lassen. Allerdings wird diese Sage von Geschichtswissenschaftlern nicht Ernst genommen; sie datieren den Bau einer ersten Burg dort auf die Zeit unmittelbar nach der normannischen Eroberung Englands 1066. Man nimmt an, dass einer der Gefolgsleute Wilhelms des Eroberers, "Ansculf de Picquingny", 1070 die erste Burg in Dudley bauen ließ und dass sie, als das Domesday Book 1086 entstand, seinem Sohn, "William FitzAnsculf", gehörte. Einige der Erdwerke dieser Burg, besonders der große Mound der Motte, auf dem heute der Donjon steht, sind bis heute erhalten. Diese erste Burg war aus Holz gebaut und existiert daher nicht mehr.