日本の古神道においても、水源・狩猟の場・鉱山・森林などから得られる恵み、雄大な容姿や火山などに対する畏怖・畏敬の念から、山や森を抱く山は、神奈備（かんなび）という神が鎮座する山とされ、神や御霊が宿る、あるいは降臨する（神降ろし）場所と信じられ、時として磐座（いわくら）・磐境（いわさか）という常世（とこよ・神の国や神域）と現世（うつしよ）の端境として、祭祀が行われてきた。また、死者の魂（祖霊）が山に帰る「山上他界」という考えもある（この他は海上他界、地中他界など）。これらの伝統は神社神道にも残り、石鎚山や諏訪大社、三輪山のように、山そのものを信仰している事例もみられる。農村部では水源であることと関連して、春になると山の神が里に降りて田の神となり、秋の収穫を終えると山に帰るという信仰もある。
また仏教でも、世界の中心には須弥山（しゅみせん）という高い山がそびえていると考えられ、空海が高野山を、最澄が比叡山を開くなど、山への畏敬の念は、より一層深まっていった。平地にあっても仏教寺院が「○○山△△寺」と、山号を付けるのはそのような理由からである。
チベット仏教でも聖なる山は信仰の対象であるが、信仰は山自体に捧げられ、その山に登るのは禁忌とされる場合が多い。一方で日本では、山頂に達することが重要視されるのは注目すべきである。日本人の場合、山自体を信仰する気持ちももちろんあるのだが、そこから早朝に拝まれるご来光を非常にありがたがる傾向が強く、山頂のさらにその先（彼方）にあるもの（あの世）を信仰していることが原因であろう。日本ではアニミズムとしての太陽信仰と山岳信仰が結びついているのである。
その後、密教、道教の流れをくんだ修験者や山伏たちが、俗世との関わりを絶ち、悟りを開くために山深くに入り修行を行った。これは、後に修験道や呪術的宗教などを生み出している。
主な形態.
日本の山岳信仰の主な形態をまとめると、以下のようになる。
火山への信仰.
富士山や阿蘇山や鳥海山など、火山の噴火への畏れや地熱の恵みへの畏敬から、火山に神がいるとみなして信仰するもの。
水源である山への信仰.
白山など、周辺地域を潤す水源となりうる山を信仰するもの。
死者の霊が集うとされる山への信仰.