部位于仙台城堡的“镍无丸”，那里位置现在是东北大学校园。它原来的组成单位包括第4步兵团（成立于 仙台市）、第5步兵团（成立于 青森）、第16步兵团（成立于 新发田市）和第17步兵团（成立于 秋田市）。在第二次世界大战前的重组中，第29步兵团（成立于会津若松市）亦被加入。作为日本帝国陆军其中一个最老资格的师团，第2师团参加了甲午战争和日俄战争。在那里赢得了夜间作战的卓越声誉。在历史上第2师团些着名指挥官，包括佐久间左马太、乃木希典、西宽二郎、明石元二郎、东久迩宫稔彦王、冈村宁次和梅津美治郎。从