1944年4月6日，因为师团厨房失火事故被究责，辞去师团长的职务并调回本土防备东部军司令部。
硫磺岛战役.1944年5月27日，调任小笠原群岛的父岛要塞守备要职，任新编第109师团师团长，6月8日到硫磺岛赴任。同年7月1日编入大本营直辖部队，兼任小笠原兵团长(兵团代号「胆」)。考量美军登陆作战后硫磺岛将是最前线，将装备精良的兵团司令部迁移到硫磺岛上就近指挥。因为认为敌军登陆后难以在岛上反击，栗林转而计画长期抵抗的游击战，下令构筑坚固的地下坑道。出于海军要求固守岛上机场（千鸟飞行场）