时府学已颇具规模，能容150人以上，成为岭南第一儒林。嗣后，又增建御书阁、亭斋泮池、观德亭。淳祐四年（1244），经略使方大琮改建飞阁，旁边排列文、行、忠、信4斋，这就是番山书院。元代、明代，几经兴废。明嘉靖十九年（1540）再建，把敬一亭迁到番山。万历二十八年（1600），教授董应举呈请督学副使袁茂英重建殿、庑、亭、阁及启圣、名宦等祠堂，收回府学以西被占地方建学舍廊及射箭场，开城墙为府学正门，名为文明门（文明路始源）。清顺治、康熙、雍正、干隆年间，几度重修、扩建。咸丰七年（1857），府学毁于战乱