巡道庆保的捐资改建下形成了由魁星堂、仓圣堂等建筑组成的「中社书院」。嘉庆十九年（1814年）按察使（分巡台湾兵备道）糜奇瑜觉得魁星堂规模狭陋，遂集资改建，嘉庆廿一年（1816年）落成后改称「奎光阁」。此时奎光阁楼高三层，一楼为文昌祠，二、三楼为奎楼，为文昌阁之形式。道光十三年（1833年）时中社书院改名为「奎楼书院」，并购置产业。此后在同治十三年（1874年）与光绪八年（1883年）又有进行小规模的整修。到了日治时期的昭和元年（1926年），因为要开辟末广町通（今中正路），奎楼书院从末广町迁到高砂町现址