日（1017年5月8日）传出道雅与当子内亲王私通的谣言，三条院因此派查明原委，通任认为此事甚为奇怪，质疑是否属实，宽仁元年11月30日（1017年12月20日），按《小右记》记载两人确为私通关系，道雅更因此遭到三条院，当子内亲王则因为身患重病而出家，《荣花物语》则记载是由于与道雅传出绯闻，故当子才选择出家，除此之外《大镜》亦提到出家原因还有三条院身患重病，同时亦记载道雅之妻抛夫弃子逃走，并且以名义出仕于皇太后藤原妍子，后来改嫁给，认为道雅与当子内亲王一事是导致其妻离家出走的契机。治安4年4月26日（1024