Una residencia real existió en este mismo sitio en el siglo XII, que fue reemplazada por una fortificación llamada 'The Peel' ("La cáscara") en el siglo XIV durante el reinado de Eduardo I.