父義景が出生の翌年に死去したため、21歳離れた異母兄泰盛の猶子として養育された。