代十分坎坷，天禄3年（972年），16岁时的藤原义怀被授予从五位下的位阶，同年父亲藤原伊尹暴毙，2年后的天延2年（974年），目睹两位哥哥（惟贤、义孝）同日病死。不过由于藤原义怀的同母姐姐，冷泉天皇的女御怀子，生下了皇太子师贞亲王，藤原义怀作为为数不多的外戚，天元2年（979年）被任命为春宫亮。