师团的前身成立于1871年1月，是当时刚刚成立的日本帝国陆军6个地区指挥部之一，仙台镇台守卫之地区为从福岛县至青森县的本州岛北部地区（东北地区）。6个镇台于1888年5月14日被下令改编为师团。第2师团的总部位于仙台城堡的“镍无丸”，那里位置现在是东北大学校园。它原来的组成单位包括第4步兵团（成立于 仙台市）、第5步兵团（成立于 青森）、第16步兵团（成立于 新发田市）和第17步兵团（成立于 秋田市）。在第二次世界大战前的重组中，第29步兵团（成立于 会津若松市）亦被加入。作为日本帝国陆军其中一个最