杨慕琦却于近中午时分回覆「香港尚能抵抗」拒绝投降，日军随即大举进攻，英军各个据点不停遭到日军炮轰和空袭。日军第230联队在中午攻佔巴里士山，并沿防空洞通道进佔海军医院，总司令部的联外通讯亦大受影响，并且与仍在死守赤柱的东旅指挥部失联。虽然西旅英军继续在湾仔街市、柯布连道、湾仔崃和马己仙崃等地顽抗，但湾仔崃在午后失守，日军到达坚尼地道的东面入口，英军以路障堵路及佈放地雷阻挡日军沿坚尼地道推进。下午1时40分，旁遮普营增援湾仔但被击退，苏格兰营亦被第228联队逐退到马己仙崃。下午3时，日军第229联队收缩寿臣山