时的两名女婿（隶属赖义兵下）因通敌被判死、离反安倍军等冲突。翌年（天喜5年）安倍頼时负伤而死，由长子贞任继其位。同年冬天贞任于黄海（）迎战赖义所率的远征，赖义军大败，安倍氏循势往衣川以南拓张。1062年（康平五年）7月，东北地方另一大豪族势力—出羽国清原氏—接受赖义的参战邀请，以为总大将；赖义由关东、东海、畿内增调兵力，将安倍军退回衣川以北。9月，安倍氏主要据点（今岩手县盛冈市）陷落,贞任重伤被捕、斩首，安倍氏灭亡。战后赖义赴任陆奥守，清原氏称霸奥羽，平家物语则有形容贞任之弟安倍宗任一行流放伊豫国（