源于肇庆府城东郊烂柯山上的端溪，端溪所产的端砚曾享有盛名。翌年，两广总督殷正茂将开办不久的端溪书院强行改为监军道，李材因此负气离职。此后至清代端溪书院再无重开。1708年（清康熙四十七年），两广总督赵弘灿以停办之鼓铸局（今肇庆中学西北角，原为明永历帝文华殿）。为新址复办书院，称天章书院。书院前为讲堂，讲堂上为天章阁（掞天阁）；中为宣敎堂；堂后偏东有一莲池；池后有近光亭；庭院两翼为斋舍。重修后的书院藏书丰富，为两广规模较大的学府。1732年（清雍正十年），两广总督郝玉麟重修书院。1738年（清