次子。绰号恶左府或宇治恶左府。幼名菖蒲若，其父藤原忠实担任摄政、关白、太政大臣的职务。1130年元服后叙正五位下的，任侍从、近卫少将和权守。此后凭借父亲的关系，赖长的官位昇进很快，1149年（久安5年）叙从一位左大臣的官位。藤原赖长博学多识，精通儒学，而且擅长于和歌和汉诗的创作。其性格苛烈、待人严厉而且拒绝妥协，因此得到了「恶左府」的绰号。赖长有一女名多子，嫁给近卫天皇为皇后。1155年，近卫天皇逝世。鸟羽法皇本希望让崇德上皇的儿子重仁亲王继位，但遭关白藤原忠通（赖长的兄长）反对，认为雅仁亲王的