景贤阁，下层称全先生祠（祀全祖望），东边三个开间是更衣所，西边三个开间是祭器所。第四进和第五进间是庭院，自南向北沿中轴线依次布置有澂鑑亭（面阔三间，卷棚顶）、半月形莲池、近光亭（即后来的爱莲亭，面阔三间，歇山顶）。庭院东西各有斋舍九间。1800年（清嘉庆五年），两广总督吉庆修缮书院。1815年（清嘉庆二十年），两广总督蒋攸铦扩建书院，新开一门，并新建斋舍。1903年（清光绪二十九年），原星岩书院归并于端溪书院。1905年（清光绪三十一年），广肇罗道道台蒋式芬和肇庆知府多龄在端溪书院原址创办肇