Während der Trần-Dynastie (1225 bis 1400) und später nachfolgender Dynastien wurde die Tempelanlage mehrfach überarbeitet. Über die Jahre fanden im Literaturtempel Zerstörungen, Wiederaufbau, erneute Zerstörungen statt. Die Tempelanlage wurde zwischen 1920 und 1956 komplett renoviert, allein 1947 hatte die Rückeroberung Hanois durch französische Truppen gegen die Việt Nam Ðộc Lập Ðồng Minh Hội schwere Schäden am Komplex verursacht (siehe Erster Indochinakrieg). Zuletzt wurde er 2000 restauriert. Heute gilt die Anlage als bedeutende historische und kulturelle Hinterlassenschaft in Hanoi. Eine Teilansicht der Anlage, einen Ausschnitt des "Sees der himmlischen Klarheit (Thien Quang Tinh)", zeigt die Rückseite der 100.000-Đồng-Banknote (VND, vietnamesische Währung).