赖良动用俘囚越过衣川袭击国衙领，在鬼切部之战中击败国府兵（前九年之役）。朝廷改派源赖义为新的陆奥守，翌年春，因为为了上东门院藤原彰子病愈祈祷，朝廷赦免了安倍氏。由于与赖义读音相同，赖良改名赖时。天喜4年（1056年），源赖义任期将满回京之时，部众在多贺城遭到袭击。赖义要求交出嫌疑人，也就是赖时的嫡子贞任（阿久利川事件）。这遭到赖时的拒绝，并举兵反叛。赖义下达讨伐赖时的宣旨。天喜5年（1057年）7月，同族安倍富忠受到源赖义的招抚，在仁土吕志边突袭赖时，赖时中箭身负重伤，退往根据地衣川的途中，在鸟海栅死去