乎逻辑的解释，是其源于盖尔语"choille-dun"（森林山）或 "cauldh -dun" （黑山）。由于这座山的黑色玄武岩结构，后者是最适合的解释。卡尔顿山是苏格兰政府总部的所在地，圣安德鲁大厦就位于这座山陡峭的南坡；而苏格兰议会大厦，以及荷里路德宫等重要建筑，就位于山脚下附近。这座山还有一些标志性的古迹和建筑：国家纪念堂、纳尔逊纪念塔、杜格尔德·斯图尔特纪念亭、老皇家中学、罗伯特·伯恩斯纪念碑、政治烈士纪念碑以及市天文台。
政治符号.卡尔顿山是苏格兰分权自治（devol