I 1372 ble det gitt til John av Gaunt av Edvard III av England i bytte for jarldømmet Richmond. Festningen forble en besittelse av hertugdømmet Lancaster fram til i dag.