Ettersom Carlisle er den engelske byen som er nærmest grensen til Skottland ble den i perioden hvor de to var separate kongedømmer, et viktig militært støttepunkt. Festningen Carlisle Castle, som står nokså intakt, ble bygd i 1092 under ledelse av Vilhelm Rufus. Maria av Skottland ble fengslet der, og den er fortsatt den offisielle basen til King's Own Border Regiment. På grunn av stadige flyttinger av grensene under de skotske frigjøringskrigene har byen et skotsk preg.