祖父伊尹已经死亡，所以赖忠继续兼任关白及太政大臣。但在皇太子被确定是怀仁亲王（之后的一条天皇），而他的外祖父正是觊觎关白职位已久的藤原兼家。于是赖忠提拔藤原义怀（伊尹的五男及花山天皇的叔父）想培植他为下一任关白。于是985年兼家策划花山天皇出家，让一条天皇继位，新天皇命兼家为摄政，而赖忠与义怀从此失势，赖忠虽然维持太政大臣的地位但是却有名无实，之后再失意中死亡。