于是他反对嘉奖藤原忠文，藤原忠文一气之下辞官回乡，在气愤之下于天历元年（947年）6月病死，这年10月，藤原实赖的女儿藤原述子（村上天皇的女御，即妃嫔中的一种）病死，11月藤原实赖30岁（虚岁）的儿子藤原敦敏病死，据说是藤原忠文的怨灵在作怪。直到京都府宇治市为他而建的末多武利神社建成他的怨灵才得到安慰。