১৫২৯ সালে, জেমস এবং তার স্ত্রী, গাইজের মেরীর জন্য একটি টাওয়ার এবং রাজকীয় অ্যাপার্টমেন্টের কাজ শুরু হয়, যা এখন বর্তমান প্রাসাদের পশ্চিম অংশ এবং টাওয়ার গঠন করে।
রাজকীয় অ্যাপার্টমেন্টগুলির কাজ এক শতাব্দীরও বেশি সময় ধরে চলেছিল।