上海市人民委员会公布了第一批上海市市级文物保护单位名单，共62处。1960年11月22日公布了第二批，共15处。1962年9月7日公布了第三批，共27处。其中有5处曾经江苏省人民委员会公布保护。文化大革命中，许多文物保护单位遭到破坏。1977年起，上海市革命委员会重新开始公布上海市市级文物保护单位的名单。
名单.以下为按行政区划分的具体列表，包括已成为全国重点文物保护单位的不可移动文物。索引：黄浦区、徐汇区、长宁区、静安区、普陀区、闸北区、虹口区、杨浦区、闵行区、宝山区、嘉定