李元翼は清白吏に選ばれ、党派を問わずに政治を行っていたため、南人以外の党派からも評価され、多くの逸話が伝えられている。その後も官吏たちの腐敗と専横が相次ぐが、1658年（孝宗9年）孝宗は臣下に対し李元翼を見習わせるため、京畿道始興郡に三賢祠が建てた。その後、忠賢祠に改称され、1676年（粛宗2年）粛宗が直に命じて忠賢書院に改称させ、賜額を下賜した。1970年代に李元翼の遺影が一時盗難されたが、盗人たちはそれを祠堂の中に捨てており、李元翼の13代目の子孫である延世大学校教授の李昇珪が拾った。李昇珪は自分の私財を投じて李元翼のための博物館、忠賢博物館を建てた。
その後致仕し、観感堂を建て、学問を研究し、門下生の育成に励んだ。特に、尹鑴・許穆などが輩出された。1632年（仁祖1年）1月10日に、仁祖が承旨姜弘重に李元翼の住む家を調べさせたところ、李元翼は草家に住んでおり、災害には耐えられないということだった。仁祖はこの清貧な暮らしに感動し、5間建ての家を李元翼に下賜した。だが李元翼は民の事を考え受け取らなかった。ちなみに国王が家を建てさせて下賜した例は黄喜と李元翼だけである。1634年（仁祖12年）1月29日に死去。87歳であった。仁祖廟庭に祭られて顕彰されている。
1623年（仁祖1年）春仁祖反正により領議政となった。だが西人との連立政権は僅か一年程で崩壊した。1624年（仁祖2年）大北派49人を処刑する事に反対したが、仁祖はそれを無視した。また光海君の処刑についても反対し、大北派に憎悪な感情を抱く仁穆王后に懇願し光海君は死刑をまぬがれた。また大同法を全国に施行する事を提案したが、西人派、南人派の激しい反対を受けて実現しなかった。1627年丁卯胡乱には都体察使を引き受け、王世子を護衛した。ついでに訓錬都監大将に任命されたが、高齢を理由に辞職した。
宣祖が死ぬと柳永慶ら小北派は永昌大君を王位に擁立するが、大北派が光海君を即位させ、光海君によって領議政となって、大同法を拡大施行したり、軍事制度を改革して、悪政を正そうとした。また、みずからも土地1結あたり16斗の米を納税した。だが臨海君・永昌大君の処刑に反対したため、大北派に目をつけられた。1617年李爾瞻が廃母論を主張すると、奇自献・鄭逑らと共に反対するが、それもむなしく江原道洪川郡に流された。1619年（光海君11年）釈放された。
1569年（宣祖2年）文科に合格して翌年承文院正字となった。この頃はむやみに人に会う事はせず、公務以外は外に出なかったため彼を知る者はいなかったが、李珥、柳成龍と知り合う。1573年（宣祖6年）成均館典籍に異動し聖節賀正官になり、明への使節に従って明に使した。翌年、礼曹佐郎に選抜され、黄海道都事、軍器寺判官を歴任した。また黄海道都事の頃、黄海道観察使であった李珥の下で忠実に働いたことで、1576年（宣祖9年）に李珥の推薦で司諫院正言となる。1578年（宣祖11年）玉堂に入り、弘文館修撰となり、その後も、弘文館校理、司憲府持平、承政院同副承旨、1583年（宣祖16年）承政院右副承旨となるが、王子師傅河洛上疏事件により辞任。1587年（宣祖20年）吏曹参判権克礼の推薦で安州牧使となって、民の暮らしの安定のために尽くした。更に刑曹参判から1591年（宣祖24年）には大司憲となる。
城主・東条氏は甲斐武田氏の流れをくみ、東条信綱は甲斐守を名乗り天文年間に桑野に来住し、8つの村を領有した。信綱の跡を継いだ関之兵衛は勢力を拡大し新開道善と戦いこの辺りの主導権争いをした。畿内の永正の錯乱などに参戦し、阿波の有力武将だったことが考えられる。天正3年（1575年）頃に長宗我部元親が阿波に侵入したとき城主東条関之兵衛は元親に帰属し、元親は養女を関之兵衛に与えて身内とした。桑野城は阿波侵攻の拠点の1つとなった。天正5年（1577年）の夏、三好方の矢野駿河守と篠原自遁らは3千兵を率いて桑野城を攻撃した。しかし、長宗我部方についた一宮成助は長宗我部の兵とともに三好方の後方を脅かしたために、篠原自遁は早々と逃げ去り、矢野駿河守も追ってきた土佐勢と勝浦川近くで戦い、丈六寺に逃げ込もうとした三好方を長宗我部方は200人余り討ち取った。矢野駿河守は船に乗って津田（徳島市）へ渡り、勝瑞へ帰った。関之兵衛はのち西方城城主となり、天正10年（1582年）に中富川の合戦に牛岐右京進、仁宇但馬守、四宮肥後守らとともに長宗我部方で参戦し、戦功をたてた。阿波平定以後、木津城城主となった。天正13年（1585年）、豊臣秀吉の四国攻めの際に関之兵衛の叔父東条紀伊守が降伏しており、関之兵衛と家来の子5人を人質に渡して木津城を開城。関之兵衛は土佐へ逃亡。この頃に桑野城も廃城になったと思われる。なお、関之兵衛は舎弟の東条唯右衛門とともに元親によって処刑された。