1929年，当时广州的市立中学只有市一中一所，而市立小学已有70余所。为便利小学毕业生升学及发展市区的教育，广州市教育局决定在西关一带筹设市立第二中学。1930年8月1日，广州市立第二中学正式在文澜书院挂牌。初时只设有初中，且由于校舍不足，借用了西关逢源正街礼拜堂及附近民房增补为临时校舍。1932年5月，学校迁入连庆沙地的新校舍；同年9月，增办高中，招收男女新生各一班。1935年，由于陈济棠推行“复古运动”，市内学校均需男女分校，市一中和市二中便分别改为男校和女校，所有男生拨归市一中，所有女生拨归市二中。1936年8月，因广州由特别市改为省辖市而缩减了教育相关经费，当局将市三中并入市二中。1938年，因日军对广州发动空袭，市二中校舍遭受严重破坏，当局决定将市一中与市二中合并为市高中和市初中。同年10月，广州沦陷前夕，市高中和市初中均停办。