Im ersten Krieg der Barone 1215–1217 wurde die Burg erneut angegriffen, was zu weiteren Verbesserungen an den Befestigungen führte. 1220 ließ Falkes de Bréauté, der viele Burgen in Mittelengland kontrollierte, die Kirche von St. Budoc im Südosten der Burg abreißen und eine Barbakane mit Burggraben bauen, um den Haupteingang zur Burg besser verteidigen zu können. Die verbliebenen Holzbauten wurden durch Steinbauten ersetzt. In diesem Zuge entstand 1235 auch der "Round Tower". König Heinrich III. ließ einen Teil der Burg in ein Gefängnis umbauen, insbesondere, um Universitätsangestellte einzusperren, die Schwierigkeiten machten. Er ließ auch die Burgkapelle renovieren, wobei er 1243 und 1246 die alten, vergitterten Fenster durch solche aus buntem Glas ersetzen ließ. Da es nördlich von Oxford den Beaumont Palace gab, wurde Oxford Castle niemals königliche Residenz.