Carlisle var en del av Skottland ved 1066 og således ikke nedtegnet i i 1086. Det endret seg i 1092 da Vilhelm erobrerens sønn Vilhelm Rufus invaderte regionen og la Cumberland inn under England. Byggingen av festningen Carlisle Castle begynte allerede i 1093 på stedet av en tidligere romersk festning, sør for elven Eden. Festningen ble oppbygd på nytt i stein i 1112 med borgtårn og bymur.