寺伝によれば、この地に寺院が建立された由来は以下の通りである。寺の周囲がまだ海であった慶雲2年（705年）に千手観音像が海中から浮かび上がり、それを安置したことに始まる。その約30年後、諸国を巡っていた行基により安置してあった千手観音像を本尊とし天平年間（729年 – 748年）に寺院を創建した。寿永3年（1184年）12月、源平合戦の藤戸の戦いで戦功を挙げた佐々木盛綱は、戦後、この寺院の周辺である児島郷を領地として拝領し、戦乱で荒廃した寺院を修復したとされる。盛綱は合戦の際に若い漁師が道案内をしたことで武功を立てたが口封じのために殺害したと言われる。その漁師の霊と合戦の戦没者を弔うために当寺院で大法要を営んだと伝えられている。この伝説は謡曲「藤戸」として能の演目の一つとなっている。以後、毎年、藤戸寺土砂加持法会において盛綱とともに供養されている。寺院は応仁の乱以後、戦国時代に至るまで兵乱によりたびたび戦火に見舞われた。江戸時代、岡山藩の領地になってようやく伽藍が整備された。本堂は岡山藩5代藩主池田治政の命により天明元年（1781年）に再建された。平成14年（2002年）5月6日に放送された水戸黄門第30部17話は、藤戸寺を中心とした話の構成となっていた。3月19日・20日に藤戸寺で撮影が行われた。当時の黄門役は石坂浩二。
西暦200年頃にギリシア語で編纂された聖書外典である第三バルク書には、「アダムを惑わせた樹（＝知恵の樹）は葡萄の樹である」と書かれている。これは天使サマエルが植えたものであり、人類の堕落と破滅と悪の原因である、サマエルと葡萄の樹は神に呪われたが、葡萄の蔓は大洪水を生き残り、神の許しを得て、ノアによって植えられた。そこで神は天使サラサエル（サリエル）をおつかわしになり、彼（ノア）に云った。「起て、ノアよ、その蔓を植えよ、主が次のように言われるゆえに。『この苦さは甘さに変えられるであろう、これ（葡萄の樹、以下同）の呪いは祝福になるであろう、これから生じるものは神の血となるであろう、そしてこれによって人間どもの種族が罰を受けたごとく、今度はイエス・キリストのおかげで、これによって復活と、楽園への入場を授かることになろう』」。
エデンの園の中央部にあった2本の木のうちの一つ。もう一つは生命の樹。知恵の樹の実を食べると、神々と等しき善悪の知識を得るとされる。知恵の樹の実はいかにも美味しそうで目を引き付けるとされる。『創世記』によれば、人間はエデンの園に生る全ての樹の実は食べても良いが、知恵（善悪の知識）の樹の実だけは、ヤハウェ・エロヒム（エールの複数形）により食べることを禁じられていた（禁断の果実）。なぜなら知恵の樹の実を食べると必ず死ぬからである。しかし人間を神に背かせようとする蛇に唆されて、初めにイヴが、その次にイヴの勧めでアダムが知恵の樹の実を食べたことによって、善悪の知識を得たアダムとイヴは、裸の姿を恥ずかしいと思うようになり、イチジクの葉で陰部を隠した。それにより神は事の次第を知り、知恵の樹の実を食べた人間が生命の樹の実までも食べ永遠に生きるおそれがあることから、アダムとイヴはエデンの園を追放される。この出来事を「失楽園」という。キリスト教ではこの出来事は神に対する不服従の罪であり原罪とされるが、ユダヤ教には「原罪」というものは存在しない。この出来事により、人間は必ず死ぬようになり、男には労働の苦役が、女には出産の苦しみが、もたらされるようになった。蛇は神の呪いを受け地を這いずることになった（蛇に足が無いことの起源）。タロットカード（ウェイト版タロット）の「恋人」のカードには、この知恵の樹の実を食べる場面が描かれている。
1926年（大正15年）に劇作家協会と小説家協会が合併して発足。初代会長は菊池寛。1942年（昭和17年）に一度解散して日本文学報国会に吸収されたが、1946年（昭和21年）に再発足した。1948年（昭和23年）から理事長制をとり、会長・理事長の二本立てになったが、1984年（昭和59年）以降、会長職は廃止された。1990年（平成2年）、永山則夫連続射殺事件の犯人、永山則夫の入会拒否問題をめぐる対立をきっかけに、柄谷行人、中上健次、筒井康隆、井口時男らが抗議のため脱会した。文芸家の職能を擁護確立する目的をもって設立されており、政治的主張は基本的には行わず、もっぱら文芸家の地位向上、言論の自由の擁護、文芸家の収入・生活の安定などを活動の主軸としている。このため、文芸美術国民健康保険組合の加盟団体であったり、静岡県の冨士霊園内に共同墓「文學者之墓」を所有するなど、文学者の生活向上を主眼とした、あまり衆目に触れない活動も多い。上記の立場から、著作権問題については保護期間の延長を、再販売価格維持制度についてはその維持を訴えることが多い。2003年（平成15年）、協会内に著作権管理部を設立し、解散した日本文芸著作権保護同盟の著作権管理業務を引き継いだ。また啓蒙活動のために特定非営利活動法人・日本文藝著作権センターを設立した。2011年（平成23年）に、公益法人改革により、公益社団法人となった。