১৩শ শতাব্দী থেকে পেনিংটন পরিবার এই দুর্গটির মালিক, যারা মনে করেন যে তাদের প্রজাস্বত্ব একটি প্রাচীন রাজকীয় উপহারের শর্ত দ্বারা সুরক্ষিত।
রাজ পরিবার একবার পেনিংটন পরিবারের প্রজাস্বত্ব রক্ষা করার অঙ্গীকার করেছিল।