I det 15. århundre stod det et gjestehus der palassets nordfløy nå ligger. Mange skotske konger bodde der før palasset ble reist, og innen slutten av det 15. århundre var Holyrood i praksis blitt en kongelig residens. Jakob II ble født der i 1430 og ble kronet, gift og bisatt i klosterkirken. Mellom 1498 og 1501 fikk Jakob IV reist en ny bygning, den eldste delen av palasset.