二次世界大战前的重组中，第29步兵团（成立于 会津若松市）亦被加入。作为日本帝国陆军其中一个最老资格的师团，第2师团参加了甲午战争和日俄战争。在那里赢得了夜间作战的卓越声誉。在历史上第2师团些着名指挥官，包括佐久间左马太、乃木希典、西宽二郎、明石元二郎、东久迩宫稔彦王、冈村宁次和梅津美治郎。从 1930年到1933年，第2师团的指挥官是多门二郎中将。1931年，它被调派到派驻中国东北的关东军，在九一八事变后它率先 入侵满洲，然后更参与 江桥行动、锦州行动，之后并攻佔哈尔滨。随着第二次中日战争