Het eerste kasteel werd gebouwd in 1093 tijdens de Normandische verovering van Engeland. Het huidige kasteel dankt het uiterlijk voornamelijk aan William the Marshal, een van de machtigste mannen in 12e-eeuws Brittannië.