Slottet ble antagelig reist mot slutten av 1100-tallet som hjem for baronen av Kendal. Den mest kjente familien som bodde der, var Parr-familien, inkludert Katarina Parr, Henrik VIIIs sjette og siste kone. Hennes familie hadde bodd ved Kendal etter at hennes stamfar, William Parr, giftet seg med arvingen til Kendal, Elizabeth Ros i Edvard IIIs regjeringstid. På den tiden Katarina Parr ble født, hadde familien for lengst forlatt borgen som begynte å forfalle. Katarinas far foretrakk livet ved hoffet i London. Hennes farfar synes å ha vært den siste av familien Parr som bodde på slottet.