1932年4月晋升为大将，接任「陆军三长官」之一的教育总监。1934年1月，陆军大臣荒木贞夫因病辞任，原属意由真崎甚三郎继任，但参谋总长闲院宫载仁亲王元帅与真崎有私怨，强烈建议林铣十郎接任陆军大臣。最后真崎转任教育总监和军事参议官，林铣十郎成为斋藤实内阁、冈田启介内阁的陆军大臣。此时，陆军出身旧加贺藩的将校军官众多，被称为「加贺军」。 此外，林铣十郎又任命永田铁山少将担任陆军省内最高级政策参谋的军务局局长，进一步激化陆军内部统制派与皇道派的矛盾。1935年7月，林铣十郎免除经常干涉陆军人事的皇道派领