第23军军长酒井隆中将对土井定七违反军令擅自发起进攻大为不满，栗林也因为称赞土井定七进攻城门棱堡是随机应变而开罪了上司酒井隆，栗林的第23军参谋长职务更因此遭到解除，直到攻佔香港后才获安排协助处理善后工作。1943年6月10日升任中将，并改任留守近卫第2师团的师团长，防御本土。1944年4月6日，因为师团厨房失火事故被究责，辞去师团长的职务并调回本土防备东部军司令部。
硫磺岛战役.1944年5月27日，调任小笠原群岛的父岛要塞守备要职，任新编第109师团师团长，6月8日到硫磺岛