于1912年就读于日本陆军士官学校。毕业后他先担任步兵，后来在日本和韩国以宪兵的身份担任各种职位。
甘粕事件.1923年9月16日，关东发生大地震，当时身为宪兵大尉的甘粕正彦趁在混乱中的戒严令下逮捕了着名的无政府主义者、其妻子伊藤野枝及其六岁的侄子，并且将他们作为嫌疑犯殴打致死，将尸体扔进井里，是为「甘粕事件」（又称大杉荣虐杀事件）。事件发生后惊动了日本全国，甘粕后来遭法院判处死刑，在千叶监狱服刑10年。
活跃于满洲.由于昭和天皇登基大赦的关系，甘粕服刑仅