砦形成半独立的势力，且开始拒绝对朝廷上缴赋税，1051年（永承6年），陆奥守领数千兵力欲惩之，却在玉造郡鬼切部（おにきりべ）被击败，史称「鬼切部之战」。此时朝廷任命河内源氏的源頼义为陆奥守，试图收拾残局，但是在頼义赴任的隔年，为了祈求后冷泉天皇的祖母・上东门院的病快点痊癒而大赦天下，安倍氏反逆朝廷的重罪也被赦免。
阿久利川事件.据『陆奥话记』记载，当时赖义从镇守府要回到国府时，途经阿久利川在河畔扎起野营，结果部下藤原光贞与元贞遭人夜袭，人马多有损失。頼义问光贞认为是谁发动夜袭，光贞