右营署的明代海防道署旧址，即现时文庙所在。次年，重建完成，占地17.3亩。然而好景不长，咸丰十年（1860年），太平军迫近上海，上海县官、绅商共邀英、法兵入城协防，西兵驻屯文庙数载，到同治三年（1864年）六月西兵撤防时，庙内建筑已毁损大半。事后，巡道丁日昌令知县修缮。民国三年（1914年），上海县公产经理处筹款重修文庙，并拓大成殿月台，置祭器、祭服等以备祭典之需。民国十六年（1927年），上海特别市工务局拟将文庙改建为公园。民国二十年（1931年）3月，文庙公园开建，但因资金不继未能完成，其后移交市教