Il y a une incertitude sur l’existence d’un château sur le site avant l’invasion normande. S’il y en avait un il devait être plus petit et beaucoup moins élaboré dans sa conception que celui qui se tint ici par la suite, influencé par l’architecture anglo-saxonne.