势至菩萨为脇侍。建武年间寺院荒废。到室町时代，松尾大社的宫司藤原亲秀邀请当时造园高僧梦窗疎石前来复兴寺院，这时寺名仍为「西方寺」，以祭祀西方极楽浄土教主的阿弥陀如来为意，但梦窗疎石改为「西芳寺」。「西芳」由来是指「祖师西来」和「五叶联芳」，与禅宗初祖达摩相关的句子。在1469年因西军攻撃而烧失，1485年遭遇洪水，由本愿寺的莲如再次复兴。 室町幕府第8代将军足利义政再建了指东庵。安土桃山时代，1568年因丹波国柳本氏兵乱烧失，织田信长命令天龙寺的策彦周良再建。江戸时代的寛永年间和元禄年间遭遇