Die Burg wurde von den normannischen Königen bis zum Ausbruch des Bürgerkrieges Anarchie 1139 gehalten. Burgen spielten im Konflikt zwischen König Stephan und Kaiserin Matilda eine Schlüsselrolle, und 1143 griff Geoffrey de Mandeville, ein Parteigänger der Kaiserin, Cambridge an: Die Stadt wurde überfallen und die Burg zeitweilig eingenommen. Stephan antwortete mit einem Gegenangriff, zwang Geoffrey de Mandeville zum Rückzug in die Fens und eroberte die Burg zurück. Cambridge Castle blieb aber Angriffen ausgesetzt und so entschied sich König Stephan, zusätzliche Befestigungen im angrenzenden Dorf "Burwell" zur Sicherung der Burg bauen zu lassen. Geoffrey de Mandeville starb im folgenden Jahr beim Angriff auf das neue Burwell Castle und ließ Cambridge Castle in Ruhe.