소요 사태 이후 십여 년간 일본인 인구는 더이상 늘지 않았다. 다만 완자이와 케네디타운 일대에서는 일본인 학교가 계속 운영되었다. 태평양 전쟁 발발 이후 일본군이 대영제국에 선전포고한 뒤 홍콩 전투를 치루면서, 홍콩의 일본인 인구는 급감하여 80명에 불과하게 되었다. 이 당시에는 만주 사변 이후 세워진 만주국의 경우처럼 일본군이 침략한 지역에는 일본 민간인들이 정착하는 경우가 많았지만, 1941년부터 1945년까지의 일본군 점령 기간 동안 홍콩에는 소수의 관료와 공무원들을 제외하면 일본 민간인이 급격히 유입되지는 않았다.