"Robert Beaumont" kontrollierte die Burg 1188 und gab sie an Robert, 1. Earl of Gloucester, weiter, der 1137 dort Arbeiten ausführen ließ. Ein kleiner Donjon mit quadratischem Grundriss, einer Seitenlänge von 11,25 Metern und Pilasterstrebewerk an den Ecken wurde aus Bruchstein oben auf dem Mound errichtet, vermutlich Anfang des 12. Jahrhunderts. Den Burghof schützte eine steinerne Kurtine, die bis zu 1,5 Meter dick gewesen sein soll. Im Bürgerkrieg der Anarchie in den 1140er-Jahren lag Wareham Castle an der Grenze der Territorien der beiden Thronanwärter, König Stephan und Kaiserin Matilda. Dort war auch die regionale Münze. Robert unterstützte Matilda und die Burg gehörte mal ihm und mal König Stefan; der Markt Wareham wurde vermutlich von König Stefans Truppen niedergebrannt. Am Ende der Feindseligkeiten hatte Corfe Castle die Rolle der wichtigsten Festung in der Region übernommen.