个镇台于1888年5月14日被下令改编为师团。第2师团的总部位于仙台城堡的“镍无丸”，那里位置现在是东北大学校园。它原来的组成单位包括第4步兵团（成立于 仙台市）、第5步兵团（成立于 青森）、第16步兵团（成立于 新发田市）和第17步兵团（成立于秋田市）。在第二次世界大战前的重组中，第29步兵团（成立于 会津若松市）亦被加入。作为日本帝国陆军其中一个最老资格的师团，第2师团参加了甲午战争和日俄战争。在那里赢得了夜间作战的卓越声誉。在历史上第2师团些着名指挥官，包括佐久间左马太、乃木希典、西宽二