上海特别市政府拨款50万银元，委任王云五、王炳和、陆伯鸿、王兆鸿数人组建“上海特别市图书馆筹备委员会”，但终因市府财政紧张，最终计划未能实现。1931年，上海市教育局于南市文庙内创设上海市立图书馆，翌年建成开放，但地域狭小。同时，上海市政府开始实施“大上海计划”，市立图书馆、市立博物馆、体育场被纳入该计划第二期。并组成上海市图书馆、博物馆、体育场筹备委员会负责此三个项目的设计和建造。1935年3月21日，上海市立图书馆董事会成立，蔡元培为董事长，王云五担任副董事长，吴铁城、马宗荣、潘公展、沈怡、俞鸿钧、蔡增