El primer castillo fue construido como el palacio fortificado de Roger de Caen, Obispo de Salisbury y Canciller de Inglaterra, y aún pertenecía a la iglesia a finales del siglo XVI.