এই সময় এডিনবার্গ একটি খুব সাধারণ শহর ছিল, কিন্তু ডেভিডের উত্তরাধিকারী, চতুর্থ ম্যালকম (১১৫৩ ১১৬৫) তার দুর্গকে তার প্রধান বাসস্থান করে তোলেন।
ডেভিডের উত্তরসূরি ছিলেন তৃতীয় রাণী মার্গারেট এবং তিনি এডিনবার্গ দুর্গে স্থানান্তরিত হওয়ার সিদ্ধান্ত নেন।