Els comtes d'Eu va ocupar el castell durant la major part del període normand, començant per Robert, comte d'Eu, però el rei John va ordenar que el castell fos destruït per evitar que caigués en mans de Lluís VIII de França. L'any 1220, Enric III va re-fortificar el castell.