（清干隆二十二年），肇庆知府吴绳年于近光亭后购地，主持扩建端溪书院。将其改建为一组一路五进的建筑群。第一进是面阔三间的硬山门厅，左右衬厅各一间，门厅前有照壁一幅，照壁左右各有牌坊一座。第二进是广德堂，硬山顶，面阔三间，左右衬厅亦各一间。第三进是棪天阁，歇山顶，面阔五间，两层间有腰檐和平座，楼下大厅称教忠堂。阁前东侧是监院、西侧是书库。第四进是宣教堂，面阔五间，东西为厨房，堂前是天井，天井前有门一座，门前东西各有七间斋舍。第五进是后楼，面阔九间，中间三个开间上层称景贤阁，下层称全先生祠（祀全祖望），东边三个开