到可疑，便让寺院的杂役尾随芳一。杂役发现芳一一个人在平家一门的墓地中，在安德天皇的墓前演奏，身边包围无数的鬼火。和尚将实情告知芳一，为了避免芳一发生危险，就和小僧合作，在芳一全身写下般若心经，并且嘱咐芳一在武士来邀请的时候不要应答。当夜，武士（平家的怨灵）来到寺里，却看不到芳一，也无人应答，只看到一对耳朵，就把耳朵取走回去交差。事后和尚才发现写经之际，忘了在芳一的耳朵也写上经文，所以武士（怨灵）只看到一对耳朵，日后人们就以「无耳芳一」称之。芳一也因此声名大噪，过着衣食无虞的生活。