El castillo fue construido en 1060 por el normando Guillermo I de Inglaterra, quién exitosamente conquistó Inglaterra en 1066. Su hijo Henry construyó luego la iglesia de San Jorge, una torre del homenaje (1123) y una gran sala para el duque de la Corte.