К концу XV века гостиница при аббатстве была преобразована в неофициальную резиденцию королей Шотландии. В 1498—1501 гг. Яков IV выстроил на месте гостиницы ренессансный дворец, который, по мере роста значения Эдинбурга как столицы Шотландии, стал главным королевским дворцом. В XVI веке Холирудский дворец был резиденцией Марии Стюарт, и до настоящего времени сохранились интерьеры её покоев. В 1671—1679 гг. здание было перестроено по приказу короля Карла II. В Холируде жил французский король Карл X, как во время первого изгнания (ещё будучи графом д’Артуа), так и после того, как был свергнут Июльской революцией в 1830.