El castillo había sido fundado a fines del siglo XI por Ivo de Vesci, un noble normando de Vassy (Calvados) en Normandía.