১২শ শতাব্দীতে যখন এই বাড়িটি পেল টাওয়ার থেকে সামান্য বেশি ছিল, তখন এটি ডি মরভিল পরিবারের মালিকানাধীন ছিল (এই পরিবারের সবচেয়ে কুখ্যাত সদস্যদের মধ্যে একজন, হিউ ডি মরভিল ছিলেন সেই চারজন নাইটদের মধ্যে একজন যারা টমাসকে হত্যা করেছিল?¡ বেকেটকে ১১৭০ সালে সেটারবারি ক্যাথেড্রালে হত্যা করেছিল।
১২শ শতাব্দীর মধ্যে বাড়িটি একটি বিশাল কাঠামো হয়ে উঠেছিল এবং ডি মরভিল পরিবার এটি কিনতে সক্ষম ছিল না।