海的亚洲文会支部在旅沪外侨中声名日重，租界当局将会所前的下圆明园路更名为博物院路。1929年，由于会所出现白蚁，文会再次向社会募款进行改建。1931年，原建筑拆除完毕，两年后重建完成。新的建筑由英商公和洋行设计，总耗银16万两。1941年12月，太平洋战争后，文会大楼被日军征用，除战前被转移的图书、标本和文物外，其余都被日军运往东京。1950年后，亚洲文会北中国支会的经费断绝，支会会长黎照寰要求上海市人民政府接管，后经上海市军管会批准，政府于1952年6月27日起接管。之后，大楼先后作为上海历史与建设博