Die Burg ließ König Stephan im Jahre 1145 bauen. Damals herrschte Die Anarchie, ein Bürgerkrieg zwischen König Stephan und seiner Base, Kaiserin Matilda, deren Hauptquartier im nahegelegenen Wallingford Castle war. 1153 zerstörte Matildas Sohn, der spätere König Heinrich II., Brightwell Castle.