保元元年(1156年)、保元の乱では、為義は頼賢、為朝ら一族を率いて崇徳上皇方につき、後白河天皇方の義朝、平清盛らと戦うが敗れる。