平安中期の三河守大江定基は三河国に赴任中、愛妾力寿と死別したことをきっかけに世の無常を感じ出家し寂照と号したとの説話が『三国伝記』などに載るが、寺伝ではこの定基の念持仏が財賀寺文殊堂に伝わる文殊菩薩(秘仏)であるとされる。