俊明阻挠而未果，忠实因而得以担任摄政。1120年，因得罪白河法皇而被责难，退居宇治。其后忠实长子忠通被任命为关白，忠实则为内览。忠实最爱次子赖长，与长子忠通不合。1150年忠实希望让赖长担任内览，忠通则向鸟羽法皇表达反对之意。此举令忠实大感愤怒，认为忠通「不孝」，派人至忠通家中，夺取藤原氏家传宝物朱器台盘（朱器台盘是藤氏长者的信物），授予赖长。1156年，鸟羽法皇去世，爆发保元之乱，赖长与忠通分属崇德上皇、后白河天皇两方阵营。最后后白河天皇一方得胜，赖长死于乱中。支持赖长的忠实本应被流放，幸赖忠通的