Ya estando en Hong Kong, la familia Lee vivió en una residencia de tan sólo dos habitaciones en el 218 Nathan Road, Kowloon, pero tuvieron problemas por la ocupación japonesa durante los años de la Segunda Guerra Mundial (1939-1945); Grace Ho pasó esos años preocupada ya que al otro lado de la calle se encontraban los campamentos militares japoneses y constantemente, Bruce les retaba levantando los puños en señal de pelea, además, cuando los aviones de caza japoneses "Japanese Zero" volaban a baja altitud, Bruce iba a la azotea del edificio donde residían para intentar golpearlos con cualquier cosa que tuviera a su alcance.