概念的最早记载出现在《周礼》中。《周礼·夏官》中提到“九州”，每一州都有一座“山镇”：扬州，会稽山；荆州，衡山；豫州，华山；青州，沂山；兖州，岱山；雍州，岳山（今吴山）；幽州，医无闾；冀州，霍山；并州，恒山（今大茂山）。《周礼·春官·大司乐》将“四镇五岳崩”与“日月食”相提并论，是国家遭遇的重大异变。“镇”最初泛指地域内高大的名山，在这一含义上跟“岳”同义，两者常常混同。东晋时期，晋成帝设立北郊，地郊所祭祀的四十四神中，全国性大山包括五岳以及《周礼》九州山镇中未列入五岳的沂山、岳山、霍山、医无闾山、会稽