迫退入赤柱，并在赤柱村及来福枪营阵地的圣士提反书院后方，部署前后两道防线。其后，日军昼夜砲击赤柱，并于12月24日下午攻向赤柱村防线。溃败的英军退到圣士提反书院后方，而报复心切的日军在进佔圣士提反书院后，更大举屠杀留在书院的伤兵和护士。12月25日圣诞节凌晨，华里士接获莫德庇覆电，指令「东旅」要继续抵抗。当时赤柱英军尚有香港防卫军、米杜息士营及砲兵守在外围防线，但荷姆却反对华里士派出来福枪营增援。同日上午，日军一度暂时停火，给予时间让杨慕琦考虑投降，而华里士也在上午9时30分收到总司令部下令停火的命令。