১৫২৯ সালে, জেমস এবং তার স্ত্রী, গাইজের মেরীর জন্য একটি টাওয়ার এবং রাজকীয় অ্যাপার্টমেন্টের কাজ শুরু হয়, যা এখন বর্তমান প্রাসাদের পশ্চিম অংশ এবং টাওয়ার গঠন করে।
পুরোনো রাজভবনগুলো দীর্ঘদিন ধরে ধ্বংস হয়ে গেছে।