창설 후 2 산악 사단은 남부집단군에 소속되어 폴란드 전역에서 싸웠으며, 1940년 노르웨이 전역에 참전했다. 그 후 나르비크에 포위된 3 산악 사단 구출 작전을 벌이기도 했다. 1941년에는 핀란드의 랩랜드로 이동하여 바르바로사 작전의 일부로 소련의 북극 지방을 공격하는 은빛 여우 작전(Operation Silberfuchs)에 참가했다. 1944년 말, 노르웨이로 철수했다가 다시 덴마크로 이동되었다. 북독일에서 2 산악 사단은 서부 전선으로 배치되어 싸웠지만, 연합군은 뷔르템부르크 근처에서 2 산악 사단을 격파했고, 생존자들은 미군에 항복했다.