Das Schicksal der ursprünglichen Befestigungen ist unklar. Heinrich II. befahl, alle königlichen Burgen an die Krone zurückzugeben. Seine Politik war die Zerstörung ungenehmigter Burgen, die ohne königliche Erlaubnis während Stephans chaotischer Regentschaft gebaut worden waren. Anfangs wehrte sich Wilhelm le Gros gegen die Übergabe von Scarborough Castle, das er auf einer königlichen Grundherrschaft errichtet hatte, aber dann erreichten Heinrichs Truppen York. Die hölzerne Burg verschwand – William of Newburgh, der etwa in dieser Zeit schrieb, gab an, dass das Gebäude bereits wegen seines Alters und durch Wind und Wetter gelitten hätte und auf der windigen Landzunge ohne vernünftige Chance auf Reparatur verbraucht gewesen sei. Spätere Interpretationen sehen dies als nicht plausibel an und vertreten die Meinung, dass Heinrich Scarborough Castle seinen Stempel aufdrücken wollte, indem er Wilhelm le Gros' Fort zerstörte und den sehr viel stärkeren Steinkomplex schaffen ließ.