Nach der normannischen Eroberung Englands wurde um 1090 von den Normannen am Ort der alten Befestigungsanlage der Bau einer Burg aus dem lokalen Kalkstein begonnen. Unter Henry I. „Beauclerc“ entstand um 1105 der mächtige Keep. Zu Beginn der Anarchie wurde die Burg, die von Baldwin de Redvers verteidigt wurde, 1139 erfolglos von König Stephan belagert. Unter König Johann Ohneland wurde die Burg weiter ausgebaut. Er hielt sich häufig in der Burg auf, außerdem nutzte er sie als Aufbewahrungsort für die Kronjuwelen und als Gefängnis. 1202 kam es zu einem Ausbruchsversuch von 25 französischen Rittern, die während des Französisch-Englischen Krieges gefangen genommen worden waren. Sie konnten jedoch nur den Keep besetzen, in dem sie lieber verhungerten, anstatt sich zu ergeben. 22 der Ritter starben, nur drei Überlebende konnten schließlich überwältigt werden. Auch Johanns Nichte Eleonore von der Bretagne und im 14. Jahrhundert König Eduard II. wurden in Corfe Castle gefangen gehalten. Unter Eduard I. wurde der äußere Burghof vollendet. Im 14. Jahrhundert wurde die Burg zunächst vernachlässigt, bis Eduard III. sie zwischen 1356 und 1377 instand setzen ließ. Nach den Rosenkriegen ließ sie Heinrich VII. als Residenz für seine Mutter Margaret Beaufort ausbauen. Nach deren Tod fiel die Burg wieder zurück an die Krone. 1572 verkaufte Elisabeth I. sie an ihren späteren Lordkanzler Christopher Hatton, der die Burg angesichts der Bedrohung durch die spanische Armada weiter befestigte. 1635 erwarb Sir John Bankes, der spätere "Chief Justices of the Common Pleas", die Burg.