1931年，原建筑拆除完毕，两年后重建完成。新的建筑由英商公和洋行设计，总耗银16万两。1941年12月，太平洋战争后，文会大楼被日军征用，除战前被转移的图书、标本和文物外，其余都被日军运往东京。1950年后，亚洲文会北中国支会的经费断绝，支会会长黎照寰要求上海市人民政府接管，后经上海市军管会批准，政府于1952年6月27日起接管。之后，大楼先后作为上海历史与建设博物馆筹备处、上海自然博物馆筹备处等。最终，上海图书馆获得该楼，并作为书库使用。1990年代，上海图书馆将底层大厅以及二层租与证券公司作为营业