また遠江守在任時であった長徳年間(995年-998年)頃、勅命に背いたとして三河国に配流され、同国刈宿(現在の愛知県西尾市刈宿)の地に亡き母の菩提を弔うための寺院のほか神社を建立したと伝えられる(現在の常福寺および熊野神社)。