1949年5月共产党接管上海后，由中国人民解放军上海市军事管制委员会市政教育处于6月16日接管上海市立图书馆，加以改造和发展而成。起初仍沿用旧名，1951年2月正式更名为上海市人民图书馆。1951年起，分批在市区设立区级阅览室。上海市人民图书馆先隶属上海市教育局，继于1952年划归上海市文化局领导。同年，上海市人民图书馆搬入位复兴中路的文化广场。1956年，上海人民图书馆下设各区级阅览室脱离原建制，交由各区并组成一批区图书馆。1958年10月，经中共上海市委宣传部同意，上海市文化局决定将上海图书馆、