则向鸟羽法皇表示反对，此举令忠实大感愤怒，认为忠通「不孝」，派人至忠通家中，夺取朱器台盘（藤氏长者的信物），授予赖长。其时忠通正欲为嫡子基实举行加冠礼，因氏长者的地位被夺而中止；而后嫡子基实元服礼、次子基房着袴礼，都只有少数公卿与会。在近卫天皇在位期间，赖长（时任内览左大臣氏长者）的权势压过任关白的忠通。1156年，鸟羽法皇去世，爆发保元之乱，赖长与忠通分属崇德上皇、后白河天皇两方阵营。最后后白河天皇一方得胜，赖长死于乱中。忠通因而重任氏长者。忠通为人宽厚，而喜怒不形于色。擅长写文章、和歌、与书法。