その夜、芳一が一人で座っていると、いつものように武者が芳一を迎えにきた。しかし、経文の書かれた芳一の体は怨霊である武者には見えない。呼ばれても芳一が返事をしないでいると、怨霊は当惑し、「返事がない。琵琶があるが、芳一はおらん。これはいかん。どこにいるのか見てやらねば…。」と、独り言を漏らす。怨霊は芳一の姿を探し回った挙句、写経し忘れた耳のみを暗闇の中に見つけ出した。「よかろう。返事をする口がないのだ。両耳のほか、琵琶師の体は何も残っておらん。ならば、できる限り上様の仰せられたとおりにした証として、この耳を持ち帰るほかあるまい。」と怨霊はつぶやき、怪力でもって芳一の頭から耳をもぎ取った。それでも芳一は身動き一つせず、声を出さなかった。怨霊はそのまま去っていった。 明け方になって帰ってきた住職は、両の耳をちぎられ、血だらけになって意識を無くした芳一の様子に驚き、昨夜の一部始終を聞いた後、芳一の全身に般若心経を書き写いた際に納所が経文を耳にだけ書き漏らしてしまったことに気付き、そのことを見落としてしまった自らの非を芳一に詫びた。
その後、芳一の前に平家の怨霊は二度と現れず、また、良い医師の手によって芳一の耳の傷もほどなくして癒えた。この不思議な出来事は世間に広まり、彼は「耳なし芳一」と呼ばれるようになった。やがて、芳一は、琵琶の腕前も評判になり、その後は何不自由なく暮らしたという。
物語の舞台.
阿弥陀寺.
真言宗の寺院。
御殿.
「御殿（ごてん）」「館（やかた）」「屋敷（やしき）」「御旅館（ごりょかん）」など、様々な呼び方をしている。壇ノ浦合戦の跡地を見に来たという平家一門の怨霊たちが「逗留している」と称する豪奢な建物で、実体は無い。幽霊の招きに応じて取り込まれてしまった芳一には、感触や匂いまでも感じられて、現実の物と思えたが、端から信じていない寺男たちには、五感で感じ取れる物は何も無く、そこには安徳天皇の小さな墓所があるだけで、彼らの眼に映るのは、おびただしい数の鬼火が周りを飛び交っている怖ろしい光景でしかなかった。この墓所というのは、江戸時代初期に設けられた（整備された）と考えられる「七盛塚」のことであろうといわれている。
登場人物.
怨霊.