以後、頼義の陸奥守在任中は何事もなく平穏に過ぎ、その任期満了である天喜4年（1056年）の年を迎える事となった。頼時から惜別の饗応を受けた頼義が鎮守府から国府へ帰還する途中、阿久利川にて野営を敷いて一夜を明かす事となったが、その際に何者かによって頼義配下の陣が荒らされる騒ぎが起こった（阿久利川事件）。陸奥権守の藤原説貞の子・藤原光貞から頼時の嫡男・貞任の仕業であるとの言葉を受けて、頼義は頼時に貞任を引き渡すように求めた。頼時がこれを拒否して、挙兵した。頼義は軍勢を衣川の関へと差し向け、さらに朝廷からも頼時追討の宣旨が下され、再び安倍氏との前九年の役が再開される事となった。
永承6年（1051年）、陸奥守・藤原登任が奥六郡を支配する安倍氏に玉造郡鬼切部で敗れた責により、陸奥守を更迭された。登任の後任の陸奥守として頼義に白羽の矢が立ち、朝廷は頼義を陸奥守、さらに鎮守府将軍を兼任させるなどして、奥州の騒乱平定を期待した。こうして頼義はかつての父・頼信と同じように安倍軍鎮圧の大任を帯び、陸奥へと下向した。頼義が陸奥守として陸奥の政庁であった多賀城に着任すると、安倍氏の首領であった安倍頼良は恭順の意を示し、自らの諱である「頼良（よりよし）」が将軍たる「頼義（よりよし）」と同じ音では恐れ多いとして「頼時（よりとき）」と名を改めるなど、平身低頭で頼義に従う姿勢を見せた。また中央でも国母である上東門院（藤原彰子）の病気平癒祈願による恩赦もあって、安倍氏の反乱自体が許された為、休戦状態（実質的に終戦）となった。
相模守在任中、忠常の乱の鎮圧に失敗して将軍を更迭されていた桓武平氏の嫡流筋である平直方は、「私は不肖の将軍であったが、それでも我が家はかの平将門を討ち滅ぼした平貞盛の嫡流である。それ故に何事も武芸第一と考えてきたが、国守殿ほどの弓の名人をこれまで見たことがない。ぜひとも我が娘の婿となって頂きたい」と、頼義の武勇に大いに感じ入り自らの娘を嫁がせ、さらに鎌倉の大蔵にあった邸宅や所領、桓武平氏嫡流伝来の郎党をも頼義へ譲り渡した（ただし、直方も頼義も京都を根拠とする軍事貴族であることから、実際には忠常の乱以前に京都にて婚姻関係が成立していたとみられ、頼義の相模守就任を機に直方から鎌倉を譲られた可能性がある）。頼義はこの直方の娘との間に八幡太郎義家、賀茂次郎義綱、新羅三郎義光の3人の子息に恵まれ、鎌倉の大蔵亭は長く河内源氏の東国支配の拠点となり、郎党である坂東武者達は後の奥州での戦いで大きな力となった。頼義はこの相模守在任中に得た人や土地を基盤として河内源氏の東国への進出を図る事となる。また、50歳を目の前にしてようやく受領となった頼義を尻目に、弟の頼清は安芸守を始めとして陸奥守や肥後守など諸国の受領を歴任し、着実に能吏としての道を歩んでいった。
愛媛県西条市出身。愛媛県立今治西高等学校、慶應義塾大学経済学部卒業。趣味は読書（藤沢周平、司馬遼太郎、童門冬二、他）、野球、ウォーキング。座右の銘は「忠如」。周桑農業協同組合の勤務を経て、1995年に38歳で東予市長選挙に立候補し当選した。その後は3期連続し、東予市が2004年11月1日に丹原町・小松町・西条市と合併するまで市長を務めた。東予市長在任の間には全国市長会新産都市協議会会長、全国青年市長会副会長、愛媛県市長会会長を務めている。2007年には愛媛県議会議員選挙に立候補し2期連続トップ当選した。西条市長選挙に立候補するため、2期の途中で県議会議員を辞職した。2012年11月18日に行われた西条市長選挙に立候補し、現職の伊藤宏太郎に122票差で初当選を果たした。11月28日、市長就任。市が2004年の2市2町の合併協定書に反して建設を進めていた市役所新庁舎の建設方針見直しを主張しており、市長就任後には建設を中断し市民と話し合って結論を出すことを表明した。しかし、「業者への補償や国から受ける特定財源を放棄するリスクが大きく、防災拠点整備が遅れる危険も大きい」ことから12月定例市議会招集あいさつで11月19日から中断していた新庁舎の工事を再開することを表明した。西条市議会からは新庁舎の建設工事再開を独断で行ったとして批判の声が上がり、2013年1月9日の市議会において不信任決議案を提出され可決された。これを受け失職か議会解散を迫られた青野は1月17日に「建設継続を含めた見直しであり公約違反ではない」として議会を解散した。選挙後に不信任決議の再可決は行われなった。就任後は、市民が参加できる市政懇談会を市内各所で開催。小中学生の医療費の無料化や放課後保育クラブの対象児童拡大をはじめとした子育て支援やICT教育に力を入れ、愛媛大学の誘致を実現している。農業の総合6次産業化や物流・防災拠点となる東予港の整備をはじめとした産業振興にも取り組んでいる。愛媛県知事である中村時広氏をはじめとした国や県の政治家との親交が厚い。2015年より愛媛県市長会会長に就任。