Cuando Enrique murió, el castillo permaneció en poder de la corona, con Ricardo I (Corazón de León), quién se lo ofreció a William III, conde de Sussex, de la línea de la familia Aubigny.