市政府开始实施“大上海计划”，市立图书馆、市立博物馆、体育场被纳入该计划第二期。并组成上海市图书馆、博物馆、体育场筹备委员会负责此三个项目的设计和建造。1935年3月21日，上海市立图书馆董事会成立，蔡元培为董事长，王云五担任副董事长，吴铁城、马宗荣、潘公展、沈怡、俞鸿钧、蔡增基、董大酉、伍连德、丁福保、张元济、戴超、李公朴等人为董事。当年10月，江湾新厦落成，次年9月开放。
抗战至1949年以后.1937年8月，淞沪会战爆发，江湾新馆沦为战区，馆藏图书和馆舍遭到极大破坏。太平洋战