名仍为「西方寺」，以祭祀西方极楽浄土教主的阿弥陀如来为意，但梦窗疎石改为「西芳寺」。「西芳」由来是指「祖师西来」和「五叶联芳」，与禅宗初祖达摩相关的句子。在1469年因西军攻撃而烧失，1485年遭遇洪水，由本愿寺的莲如再次复兴。 室町幕府第8代将军足利义政再建了指东庵。安土桃山时代，1568年因丹波国柳本氏兵乱烧失，织田信长命令天龙寺的策彦周良再建。江戸时代的寛永年间和元禄年间遭遇2次洪水而荒废，原本是枯山水的庭园，在江户时期长了许多青苔，不久也有河流流入，成为一个大的地理因素。后因明治维新