1944年（昭和19年）2月のトラック島空襲を機とした東條英機首相兼陸相の参謀総長兼任の際には、山田乙三教育総監とともに統帥権独立を盾として抵抗するが、昭和天皇と木戸幸一内大臣に対する宮中工作をすませた東條に屈して辞任。しかし同年7月、サイパン失陥によって倒閣運動が勢いを増すと、東條は参謀総長を梅津美治郎に譲り内閣の延命を図る。杉山も山田に代り教育総監に回るが、結局東條は失脚。小磯國昭に組閣の大命が降下すると、小磯の陸軍への掣肘を抑えようとする梅津ら陸軍中枢の意向を受け、陸軍大臣に再任される。1945年（昭和20年）4月、鈴木貫太郎内閣が成立すると阿南惟幾に陸相を譲り、本土決戦に備えて設立された第1総軍司令官となったが、敗戦後の9月12日に司令部にて拳銃自決。享年66。