后翌年，日军紧随太平洋战争在1941年12月爆发入侵香港，香港保卫战一触即发，并以同年12月25日香港无条件投降作结，标志着香港沦陷和进入为期三年零八个月的日治时期。日治期间，三弟李福善于1942年转入中国大陆从事抗日工作，年纪尚少的四弟和五弟其后被送往澳门避难，因此只留下李福树协助父亲李冠春打理家族业务。然而，李冠春的白米等业务在战时停滞不前，其船运业务也因为船只散失而陷于停顿；有一次，李冠春与李福树父子返回公司的时候，更遭贼匪上门打劫，差点丧命。1944年9月，李福树陪同父亲和家人索性乘船前往澳门避难，