Harold Godwinson ließ die Verteidigungsanlagen der Stadt 1056 reparieren, aber, was mit der Burg geschah, ist nicht erwähnt. Kurz nach der normannischen Eroberung Englands 1066 wurde William FitzOsbern zum Earl of Hereford ernannt. Er hat vermutlich die Burg wiederaufbauen lassen, denn sie war 1067 wiederhergestellt, als laut Eintrag in der Angelsächsischen Chronik Eadric Cild ihre Garnison belästigte. 1071 starb William FitzOsbern und sein Sohn, Roger de Breteuil, übernahm die Burg. Er war in den erfolglosen Aufstand der Grafen, der den Sturz Wilhelms des Eroberers zum Ziel hatte, verwickelt und verlor daher die Burg.