青岛等地的外国侨民开始前来潍县乐道院避难，而此时院内的传教、教学和医务活动尚能正常开展。1941年太平洋战争爆发后，美国政府将侨居旧金山等地的日本侨民集中到洛杉矶附近的指定地区，限制其自由。为了对美国的行为实施报复，日军将中国占领区内的美国、英国、加拿大、澳大利亚、新西兰等敌国未来得及撤退的的旅华侨民关押隔离。1942年3月，日本宪兵占领乐道院，将其改建为关押华北各地2008名西方侨民的集中营。后来因为交换战俘释放了500人。在这里关押的西方人中包括不少知名人士：华北神学院院长赫士博士，1924年奥运会