До завершення XV століття готель при абатстві був перетворений на резиденцію для королів Шотландії. У 1498—1501 роках Яків IV збудував на місці готелю ренесансний палац, який, по мірі зростання значення Единбурга як столиці Шотландії, став головним королівським палацом. У XVI столітті Голірудгауз був резиденцією Марії Стюарт, й донині збереглись інтер'єри цих покоїв. У 1671—1679 роках будівлю було перебудовано за наказом короля Карла II. У Голіруді жив французький король Карл X, як під час першого вигнання (ще будучи графом д'Артуа), так і після того, як був скинутий Липневою революцією у 1830 році.