中学曾被指定为未来的苏格兰大会（Scottish Assembly）所在地，1998年苏格兰法案通过后，又作为苏格兰议会有潜力的竞争地点，然而，当时的苏格兰事务大臣唐纳德·杜瓦（Donald Dewar）担心这个地点成为“民族主义者的示播列”，最终苏格兰议会大厦选址在山下的荷里路德。2004年10月，《卡尔顿山声明》也是在卡尔顿山发表，提出未来成立苏格兰共和国的要求。
早期历史.卡尔顿山自从古代就被用作刑场。有名的术士Major Weir在这里被处决。1456年，苏格兰国王詹姆斯二