在漫长的历史中,阴山相当长时期是中原农耕民族和蒙古高原游牧民族两方势力极力争夺的前沿阵地。对游牧民族来说,它的意义非同一般,说是他们的生命线一点儿都不为过。若农耕民族占据阴山一带,游牧民族则将被迫退往漠北;若游牧民族一旦占据阴山南麓,拥有肥沃的河套平原,则实力大增,而中原则失去屏障、门户大开,对农耕民族造成的威胁也是非常大。在游牧民族心目中,阴山不仅仅是一座座山峰,而是成为他们心中的“圣山”,作为一种生存的保障,一种精神的寄托存在。汉朝时,匈奴冒顿单于将阴山地区作为其核心根据地,足见其重要性。后来匈奴失去阴山,“过之未尝不哭也”。
秦朝时,蒙恬率军打败匈奴,夺下阴山之南的河南地,筑朔方城,设朔方、云中、九原等郡。秦末乱世,楚汉相争,匈奴趁机又夺回阴山,实力大增,刚建立的汉朝都只能避其锋芒,以和亲相抚。直到汉武帝时,出了两位战神级别的大将卫青和霍去病,奇袭龙城、封狼居胥,才最终将阴山彻底夺回,将阴山南麓的河套平原牢牢掌握在手中,匈奴只能逃,从此漠南(阴山以南)无王庭。
在历朝历代,但凡中原农耕民族据有阴山,必设重镇而守之。在《九边考》中对阴山的重要性也说得非常清楚:“中国得阴山,则乘高一望,寇出没踪迹皆见,必逾大碛而居其北。去中国益远,故阴山为御边要地,阴山以南即为漠南,彼若得阴山,则易以饱其力而内犯,此秦、汉、唐都关中,必逾河而北守阴山也。”