Замок розташований на верхівці Замкового Пагорбу. З трьох боків замок оточено крутими прірвами, що створює сильну оборонну позицію. Більшість головних будівель замку зведено у XV та XVI століттях. Збереглось лише кілька будівель XIV століття, натомість зовнішні укріплення датуються початком XVIII століття. В замку Стерлінг були короновані декілька Шотландських королів та королев, включаючи Марію Стюарт 1543 року. Замок тримали в облозі принаймні вісім разів, в тому числі кілька разів під час війни за незалежність Шотландії. Востаннє замок був в облозі 1746 року, коли «Красунчик» принц Чарлі безуспішно намагався взяти його.