En 1176, William d'Aubigny murió en el castillo, y éste paso a manos de la corona, con Enrique II, que dedicó una gran cantidad de capital en la reestructuración de la fortaleza, principalmente para necesidades domésticas.