联队交火，至20日大宅的周遭已落入日军控制，率领华人军团的迈亚少校在20日下午决定突围，并尝试会合东旅的来福枪营到浅水湾协助反攻，但华人军团在浅水湾道与深水湾道的交界处附近遭日军以机枪及手榴弹伏击，华人军团有近半士兵伤亡。至于日军方面，第38师团长佐野忠义为掌握日军在港岛的攻势和进展，于20日中午把师团指挥部由九龙城转移到香港岛的宝马角，期间遭遇英军炮击，最后将指挥部设置在陈济棠之子陈树林的大宅，他稍后又调动在九龙及港岛北部的预备队投入前线，使日军可于下午恢复进攻。20日下午，香港岛北部亦爆发战事。