После того, как римляне покинули Британию, Андерит был заброшен. В 1066 году его заняли норманны, сделав замок своим ключевым стратегическим оплотом. Возведённые ими каменный донжон и укрепления внутри римских стен выдержали несколько осад. Замок удавалось взять измором, но любые попытки его штурмовать проваливались. Так или иначе он использовался вплоть до XVI века, когда был разрушен во время Первой баронской войны. К концу XVI века замок был снова заброшен и лежал в руинах пока не был приобретён государством в 1925 году.