頼良（のちの頼時）の代までに奥六郡に族長制の半独立勢力を形成しており、11世紀の半ばには安倍氏が朝廷への貢租を怠る状態となった。
当时奥六郡为族长统治的半独立势力，11世纪中叶，安倍氏怠于向朝廷缴纳贡租。