Tras la batalla de Val-ès-Dunes, en torno a 1047, Guillermo decide instalar su residencia principal en Caen, para ello manda construir las murallas, el foso y el castillo sobre una colina rocosa que equidista entre las dos abadías.