8天后击败英军佔领香港，然而栗林并未能参与整场攻略香港作战。第38师团第228联队队长土井定七大佐于12月9日午后发现英军在城门棱堡部署的弱点后，私自在晚上发起进攻，虽然第228联队只用了数小时便攻破这个位处醉酒湾防线前缘的英军防御工事，但第23军军长酒井隆中将对土井定七违反军令擅自发起进攻大为不满，栗林也因为称赞土井定七进攻城门棱堡是随机应变而开罪了上司酒井隆，栗林的第23军参谋长职务更因此遭到解除，直到攻佔香港后才获安排协助处理善后工作。1943年6月10日升任中将，并改任留守近卫第2师团的师团长，