藤原赖通都为之震惊，然而三天后却有一强盗的首领前来投案。万寿3年4月27日（1026年），道雅被贬为，翌年7月19日（1027年8月23日），他前往高阶顺业住处进行赌博，期间与顺业的乳父惟宗兼任发生拉扯，导致道雅的狩衣的衣袖被扯破，引来不少路人围观，《日本纪略》则记载道雅在赢了之后准备回家之际，顺业命其子剪断道雅的车绳，从而引来群众围观。宽德2年10月23日（1045年12月4日），他出任左京大夫，在天喜2年7月10日（1054年8月15日）出家，并且于同年7月20日（8月25日）死去，享年62岁或63岁。