祁连”意即“天”，祁连山因此而得名“天山”；又因位于河西走廊以南，故称南山，历史上亦曾叫南山，还有雪山、白山等名称。从原始居民在此狩猎采集以来，祁连山区的人类活动历史已至少有7350年。早在战国时期，甘肃先民就已在岩画上记载祁连山区的物产分布情况。《汉书》记载，祁连山“在张掖、酒泉二界上，有松柏五木，荚水萆，冬温夏凉，宜畜牧。”有青鹿、马鹿、猞猁、雪鸡、野驴、雪豹等动物出没，有万宝山之誉。西汉时霍去病出临洮，扫荡匈奴后，匈奴发出悲歌：“亡我祁连山，使我六畜不蕃息；失我焉支山，使我嫁妇无颜色”。唐代诗人李