この時代、原則的には中央の教育機関であった大学は主に貴族の、地方の教育機関であった国学は郡司の子弟を対象とするなど身分制限があり、運用面において庶民にも全く開放されていなかったわけではなかったが、極めて狭き門であった。また、大学・国学では主に儒教を専門に教育しており、仏教・道教などは扱っていなかったし、寺院では仏教を専門に教育しており、儒教などの世俗の学問は基本的に扱っていなかった。空海は、こうした現状を打破しようと、天長5年付で「綜芸種智院式并序」（『性霊集』巻十）を著して、全学生・教員への給食制を完備した身分貧富に関わりなく学ぶことのできる教育施設、俗人も僧侶も儒教・仏教・道教などあらゆる思想・学芸を総合的に学ぶことのできる教育施設の設立を提唱し、その恒久的な運営を実現するため、天皇、大臣諸侯、仏教諸宗の高僧らをはじめ、広く世間に支持・協力を呼びかけたのである。ただ、実際に空海の構想がどこまで実現されたかは明らかでない部分が多く、綜芸種智院の設立自体を疑問視する見解も一部にはある。綜芸種智院は、空海の死後10年ほど経た承和12年（845年）、所期の成果を挙げることが困難になったとして、弟子たちによる協議の末売却された。その売却益は東寺の真言僧育成財源確保のための寺田（所在地丹波国多紀郡、のちの大山荘）購入に充てられている。売却まで運営されていたのか、それ以前からすでに運営されなくなっていたのか定かでないが、一般的には、天長5年末から承和12年までの20年弱が、綜芸種智院の存続期間と考えられている。廃絶理由として、財源不足、後継者難、真言教団維持優先への路線転換、構想自体の非現実性、実際は朝廷による民衆懐柔のための一時的施設であったとする見方など、様々な理由が挙げられているが、いまだ定説を得るに至っていない。
綜芸種智院（しゅげいしゅちいん）は、天長5年12月15日（828年1月23日）、空海が庶民教育や各種学芸の綜合的教育を目的に、藤原三守から譲り受けた京都の左京九条の邸宅に設置した私立学校といわれている。本来は綜藝種智院だが、新字体による表記の綜芸種智院が、現在は一般的。綜芸とは、各種の学芸を綜合するという意味。
1928年京都帝国大学文学部哲学科卒。60年「実存哲学の根本問題 ヤスパース研究」で國學院大学文学博士。神奈川大学教授、71年定年退任、名誉教授。神奈川県立外語短期大学学長を務めた。
伝承によれば、西芳寺のある場所は飛鳥時代には第31代用明天皇の皇子である聖徳太子の別荘があり、太子作の阿弥陀如来像が祀られていたという。奈良時代に至って、第45代の聖武天皇の勅願を得た行基が別荘から寺へと改めたと伝える。当初は法相宗寺院で「西方寺」と称し、阿弥陀如来を本尊、観音菩薩と勢至菩薩を脇侍とした。畿内49院の一つであった。平安時代初期の806年には第51代平城天皇皇子である真如法親王が草庵を結び修行をしたという。また真言宗開祖である空海が入山し、黄金池にて放生会を行ったという。鎌倉時代には摂津守の中原師員が再興し、西芳寺と穢土寺に分けられた。招かれた法然によって浄土宗に改宗され、本尊は金泥にされたという。その後に親鸞は愚禿堂を建立して寺に滞在している。鎌倉幕府第5代執権であった北条時頼が桜堂（おうどう）を建立したが、建武年間に再び寺は荒廃している。室町時代に、近くにある松尾大社の宮司藤原親秀（ちかひで）は、暦応2年（1339年）、当時の高僧であり作庭の名手でもあった夢窓疎石を招請して禅寺として再興した。この時に西方寺と穢土寺は統一された。元の寺名「西方寺」は、西方極楽浄土の教主である阿弥陀如来を祀る寺にふさわしい名称であるが、夢窓疎石はこれを「西芳寺」と改めた。「西芳」は「祖師西来」「五葉聯芳」という、禅宗の初祖達磨に関する句に由来する。1342年に北朝初代の光厳天皇が、室町幕府初代将軍の足利尊氏を従えて寺に行幸。1382年に3代将軍の足利義満が西芳寺を訪れ、道服を着用して指東庵で坐禅に徹宵した。その後何度も訪れ、西芳寺を模して創建したのが鹿苑寺（金閣寺）である。応仁の乱（1467-1477年）で東軍の細川勝元の陣が敷かれた。1469年に西軍の攻撃により焼失。1485年には洪水により被災し、本願寺の蓮如により再興された。室町幕府第8代将軍の足利義政により指東庵が再建された。義政もその後何度か訪れ、西芳寺と鹿苑寺を模して創建したのが慈照寺（銀閣寺）である。安土桃山時代の1568年には丹波国の柳本氏による兵乱により焼失。織田信長が天龍寺の策彦周良に命じて再建させた。江戸時代には寛永年間と元禄年間の2度にわたって洪水にも見舞われ荒廃した。元は枯山水であった荒廃した庭園が苔で覆われるのは江戸時代末期に入ってからのようである。すぐそばに川が流れる谷間、という地理的要因が大きい、とされる。幕末の1862年には公卿・政治家の岩倉具視が一時湘南亭に隠棲した。明治維新の神仏分離令の廃仏毀釈により、境内地は狭められて荒廃した。1878年に再興されている。1928年より庭園が一般公開された。1969年に西来堂再建。1928年より誰でも参観できる観光寺院であったが、1977年7月からは一般の拝観を中止し、往復はがきによる事前申し込み制となっている。単なる観光や見学ではなく読経と写経という宗教行事に参加することが条件となっている。アップルの創業者であるスティーブ・ジョブズは、お忍びで家族とともに西芳寺をよく訪れていたという。