Anlegget ble oppført av Robert Stewart, 1. hertug av Albany sent på 1300-tallet, etter at det første anlegget som skal ha blitt bygget på 1200-tallet ble ødelagt under den skotske uavhengighetskrigen. Robert Stewart var sønn av kong Robert II av Skottland og regent for Skottland fra 1388 og fram til sin død. mini|left|Mot ankomsten Hertugens støttepunkt har overlevd relativt intakt og fullstendig, og det blir antatt at hele anlegget slik det står ble bygget under ett. Da hertug Richards sønn og arvtaker Murdoch ble henrettet i 1425 gikk slottet over i kongelig eie og ble hovedsakelig benyttet som kongelig jakthus og enkesete, hvor blant andre Mary av Gueldres (c.1434–1463), Margrete av Danmark (1456–1486) og Margaret Tudor (1489–1541), enkene etter henholdsvis Jakob II, Jakob III og Jakob IV.