而李洁明一家也在1939年时改迁往日本控制的九江市并且继续从事生意，而李洁明还曾和一名日本士兵相互认识并且一同游玩。但在美国与日本关系恶化且美国政府要求其在中国的侨民眷属返回美国后，弗兰克·利利决定在1940年10月时先让妻子伊内兹·利利和其他家人经由上海市返回美国，他本人在九江市待了一段时间后也于1941年撤回美国。李洁明回到美国后先是在新罕布什尔州着名的寄宿高中菲利普斯埃克塞特学院就读，之后在1943年毕业后加入1945年至1946年期间加入美国陆军，并且驻扎在纽泽西州的迪克斯堡。而在李洁明于军中服