长的官位昇进很快，1149年（久安5年）叙从一位左大臣的官位。藤原赖长博学多识，精通儒学，而且擅长于和歌和汉诗的创作。其性格苛烈、待人严厉而且拒绝妥协，因此得到了「恶左府」的绰号。赖长有一女名多子，嫁给近卫天皇为皇后。1155年，近卫天皇逝世。鸟羽法皇本希望让崇德上皇的儿子重仁亲王继位，但遭关白藤原忠通（赖长的兄长）反对，认为雅仁亲王的长子守仁亲王有作为国君的才能，因此改立雅仁亲王即位，是为后白河天皇。崇德天皇十分怨恨，暗中拉拢藤原赖长同后白河天皇一派对抗。次年，鸟羽法皇驾崩，两派的冲突白热化。