I løpet av det engelske kaos under Stefan led Huntingdon tungt, og i 1144 var skattinntekten halvparten av hva de hadde vært i 1135. I opprøret i 1173-1174 var David av Skottland, jarl av Huntingdon, på opprørernes side, og også Davids bror Vilhelm I, skottenes konge, hadde egeninteresser som jarl av Northumbria. Våren 1174 tok David lederskapet over opprøret i et forsøk på å erobre Nord-England, og blant brente Norwich. Henrik II av England kom selv til Huntingdon, beleiret festningen og fikk den ødelagt. Den ble aldri bygd på nytt, men uten festningen var stedet mindre utsatt for krig, og den engelske historikeren på 1100-tallet, Henry av Huntingdon, har beskrevet et fredelig jordbruksområde, med fisk i overflod, og festningens vingård i full produksjon.