军队发起九一八事变并且佔领中国东北地区后，日本也开始加强对于青岛地区的掌控，最后李洁明一家在1936年决定迁往靠近美军营地的天津市。第二次世界大战爆发后不久中国和日本军队也开始在中国沿海地区发生数起激烈战斗，而李洁明一家也在1939年时改迁往日本控制的九江市并且继续从事生意，而李洁明还曾和一名日本士兵相互认识并且一同游玩。但在美国与日本关系恶化且美国政府要求其在中国的侨民眷属返回美国后，弗兰克·利利决定在1940年10月时先让妻子伊内兹·利利和其他家人经由上海市返回美国，他本人在九江市待了一段时间后也于19