Die terrein word al sedert die 9de eeu v.C. bewoon, hoewel die aard van die vroegste nedersetting onduidelik is. ’n Koninklike kasteel staan al daar minstens sedert die bewind van David I in die 12de eeu, en dit was die terrein van ’n koninklike woning tot in 1603. As een van die belangrikste vestings in Skotland was die kasteel betrokke by baie historiese konflikte, van die Oorloë van Skotse Onafhanklikheid in die 14de eeu tot die Jakobiete-opstand van 1745. In die laat 17de eeu het dit ’n militêre basis met ’n groot garnisoen geword. Sy belangrikheid as historiese monument is in die 19de eeu besef en sedertdien is verskeie restourasieprojekte aangepak.
Die kasteel staan op die basalt-vulkaanprop van ’n uitgewerkte vulkaan wat sowat 340 miljoen jaar gelede ontstaan het, tydens die laat-Steenkooltydperk. Dit is 120 m bo seespieël. In die suide, weste en noorde word dit beskerm deur loodregte kranse wat sowat 80 m bo die omringende landskap uitstyg. Die enigste maklike toegang is dus van die oostekant af.
Voor die kasteel is die lang skuins voorhof bekend as die Esplanade. Van daar kan die Halfmaan-battery gesien word met die Koninklike Paleis aan die noordekant en die hoofpoort, wat toegang tot die Onderste Wyk bied, onder.