Eye begann nach 1173 seine strategische Bedeutung zu verlieren, als die Burg während der Rebellion gegen Heinrich II. von Hugh Bigod, 1. Earl of Norfolk, angegriffen wurde. Später erfolgte während des Zweiten Krieges der Barone 1265 ein zweiter Angriff, wonach die Burg nie wieder an die alte Bedeutung anknüpfen konnte. Ihr Gefängnis war bis ins frühe 17. Jahrhundert in Gebrauch, obwohl die meisten Burggebäude während des 14. Jahrhunderts abgerissen wurden. Eine Windmühle, erbaut 1561 bis 1562, stand auf der Motte, bis der kreisförmige falsche Bergfried 1844 errichtet wurde. Seine Ruinen stehen heute noch; die "Castle Street" und die "Church Street" zeigen noch die elliptische Form des früheren Außenwalls.