L'any 1068 es va construir un castell normand de motte i bailey per ordre de Guillem el Conqueridor. Durant la Anarquia anglesa, el castell va ser ocupat per David, rei d'Escòcia a través del seu matrimoni amb Maud, 2a comtessa d'Huntingdon. Va recolzar a l'emperadriu Matilde en una batalla de successió i el castell va quedar molt malmès en aquest moment. No obstant això, quan la successió es va resoldre, el fill de David, Enric d'Escòcia, va retre homenatge a Esteve d'Anglaterra, que a la vegada li va donar el municipi d'Huntingdon, a més del castell.