皇帝下令兴学，广州在西城番市（今光塔路一带）利用旧孔庙作学校。后经数次迁徙。绍圣三年（1096），广州知府章楶把府学迁到城东南的番山（今广州市十三中校园内）下。当时府学已颇具规模，能容150人以上，成为岭南第一儒林。嗣后，又增建御书阁、亭斋泮池、观德亭。淳祐四年（1244），经略使方大琮改建飞阁，旁边排列文、行、忠、信4斋，这就是番山书院。元代、明代，几经兴废。明嘉靖十九年（1540）再建，把敬一亭迁到番山。万历二十八年（1600），教授董应举呈请督学副使袁茂英重建殿、庑、亭、阁及启圣、名宦等祠堂，收回