為実の子・依田次郎実信は治承4年（1180年）源義仲に依田城を明け渡し、義仲は依田城にて挙兵する。依田氏も他の信濃武士と共に源義仲軍に加わり上洛する。倶利伽羅峠の戦いでは、10万余騎を率いた平氏を討つために、義仲は５万騎を七手に分けて臨んだ。源平盛衰記においては、７軍の大将のうち、信濃小県から従軍したとされる「宇野彌平四郎行平」「余田次郎」「円子小中太」が記されており、それぞれ「海野彌平四郎行平」「依田次郎」「丸子小中太」を指している。義仲は、後白河法皇の庇護を巡り、源頼朝、源義経と対峙、寿永3年（1184年）、近江国粟津で討ち死にする。これに伴い、依田氏は依田庄を失い一族は各地に散ったとされ、一部は近隣の飯沼の地に残留して飯沼氏と称した。依田氏と義仲については、初代の依田為実の母が源義賢（義仲の父）の娘だった縁とされる。鎌倉時代の依田氏については、詳細が不明なままとなっているが、南北朝初期（1330年）頃、飛騨国の依田義胤が依田庄を奪回したとする説がある一方で、得宗家の家臣として勢力を回復したとする説もある。得宗被官化を唱える説では、正安2年（1300年）に、得宗被官あるいは御内人であった大蔵宣時と同等の扱いで、依田五郎左衛門行盛が、鎌倉幕府執権の遣いとなって九州へ出向した史実に重きを置く。得宗被官化の端緒となったのは、依田資行が承久の乱において幕府側にくみした史実が考えられる。得宗被官（御内人）の威光によって、3代将軍・源実朝から地頭に任命された茂木氏の本領安堵とされていた依田庄が再び依田氏の支配下に戻った。行盛の弟、朝行は官名・中務丞を授かり、鎌倉幕府の奉行衆・評定衆を務めた。南北朝時代から室町時代にかけて、依田氏から幕府評定衆・奉行衆・奉公衆に少なくとも9人が就いている。足利尊氏の代においては、依田中務大夫入道元義（幕府奉行）、座衛門尉貞行（幕府奉行）、足利義詮・足利義満の代には、左近大夫時朝（評定衆）、足利義持の代には、座衛門大夫秀□（幕府奉行）が就いており、その後は、中務丞秀朝（幕府奉行）、中務丞光朝（幕府奉行）と続く。奉公衆には、依田九郎、依田孫九郎が就いている。幕府の要職に命ぜられるのは建武2年（1335年）から文明年間まで続き、依田氏は在府と在地に分かれる事になる。応永9年（1402年）、室町幕府は信濃国を幕府料国と定めて、幕府奉行人の依田左衛門大夫季□ほか１名を代官として下向させた。室町時代前後から、在地の依田氏は、佐久郡に進出していく。「日本書紀」の「天武紀」には、「天武十三年二月二十八日、三野王、小錦下采女臣筑羅等を信濃に遣して、地形を看しめたまふ。是の地に都のつくらむとするか」「天武十四年十月十日、軽部朝臣足瀬、高田首新家、荒田尾連麻呂を信濃に遣わして、行宮を造らしむ」とあり、天武天皇が信濃への遷都を画していたことを表す。天武天皇の遷都については、佐久郡を候補地とする説もある。依田氏は、佐久郡の平原などに進出し、平尾氏、平原氏等を名乗った。信濃守護・小笠原氏の分流である、大井氏に従臣した影響によるところが大きい。鎌倉公方足利持氏の遺児である永寿王丸を扶育し、成年した永寿王丸が鎌倉公方足利成氏として鎌倉府を復興させるなど、大井氏は名門としての責を担った。その大井氏が佐久を所領していたたことから、従臣した依田氏は佐久郡に進出した。ただし、依田氏の佐久郡・芦田への進出を巡り、大井氏に従臣した時期における論争がある。在地の依田氏が大井氏に恭順したのは、永享8年（1436年）に小笠原氏・大井氏との戦いに敗れた後とする解釈がある。その一方で、幕府8代将軍・足利義政が発した、御教書を以って、依田氏の芦田進出の時期を判断する立場もある。足利義政の記したところの「芦田下野守」は、依田氏の同時期の系図・系譜には存在しない。、永享元年（1429年）には、鎌倉時代より続く大井法華堂の先達職に依田氏が就任していた、等の史実に裏付けられたうえで、信濃守護小笠原氏・大井氏の陣営にあった、依田右衛門尉経光が永享８年（1436年）に芦田に進出して芦田氏を名乗ったとする。これによれば、依田氏は、在府での地位を賭するような、足利義政の不興を買う振る舞いはせずに、大井氏との関係を良好に保っていた。足利義政の命を受けて、信濃守護小笠原氏・大井氏陣営が戦ったのは、滋野氏の流れを汲む、芦田氏、海野氏、根津氏であった。依田庄から芦田郷に入部した依田右衛門経光の子、備前守光徳から芦田姓を称するようになった。その子右衛門太夫光玄には二子があり、前妻との間の子どもである長子の左衛門太夫孝玄のほか、後妻との間に第二子の義玄がいた。後妻は、わが子義玄の家督相続を企て、孝玄を御嶽堂城に移したうえで、乳母と家臣の布施、小平両氏の手で、文明9年（1477年）に謀殺した。芦田城内における相次ぐ事件を受け。義玄は、孝玄の霊を供養するため、芦田、御嶽堂２つの領内に依田大明神を建立したうえで、剃髪し仏門に入り玄栄済と称した。義玄が没した天文６年（1537年）に、家督を相続した長子、信守は10歳に満たない幼少の身だった。天文10年（1541年）５月、武田信虎は諏訪頼重とともに小県に入り、海野平に祢津、海野を討ち真田氏を追った>。武田信虎は大軍を率いて佐久郡に侵入し、土豪や武将を降伏させた。諏訪頼重は帰途、芦田城を攻略し、幼少の信守を諏訪に連れ去ったうえで臣従させた。翌年の天文11年（1542年）、諏訪頼重は、信虎を退けた武田晴信によって滅ぼされた。信守は、天文18年（1549年）、居城を芦田城から春日城に移し、永禄3年（1560年）に武田氏へ正式に臣従した。武田氏は、佐久郡平定後に東北信濃を制圧し、さらに西上野に進出した。武田信玄は、永禄９年（1566年）、北条氏に備えるために、武蔵国堺にある上野国の浄法寺を芦田信守に与え周辺を知行地とした。「武田三代軍記」等が示す通り、下野守信守は、武田氏の有力な信濃先方衆となった。武田氏は、躑躅ヶ崎館の周辺に有力な國人（土豪）を屋敷地を与えて住まわせており、下野守信守も屋敷を構えていた。その他の依田流の武家では、相木（依田）市兵衛も屋敷を与えられていた。２万５千の兵を率いた武田信玄は元亀３年（１５７２年）、信州経由で徳川家康所領の遠江へ攻め込んだ。武田信玄の別働隊は、美濃に侵入し、織田信長方の要衝である岩村城に迫った。別働隊の将であった秋山信友は、城将遠山景任を退けた後、景任の未亡人を妻にした。未亡人は信長の叔母であったため、これを聞いた信長は激昂し、１万の兵を率いて出陣した。うち５千を岩村城奪還のために向かわしたが、将である遠山景行は、700の寡勢の芦田信守・芦田信蕃親子の前に破れた。芦田親子は景行の首級を上げた。信守の子・信蕃の代に武田氏が滅亡、当時駿河国の田中城に居た信蕃は城を明け渡し、徳川氏の庇護下に身を寄せる。本能寺の変により信濃の織田勢力が瓦解し、旧武田領が徳川・北条・上杉の争奪地となると（天正壬午の乱）、信蕃は当初は後北条氏に属し、その後徳川氏に属して佐久地方で活躍。当初北条方であった真田昌幸を徳川方に寝返らせる等の功績で、佐久・諏訪の二郡を与えられ小諸城代となる。しかし、佐久で唯一残った北条方の岩村田大井氏が立て篭もる岩尾城攻めで、弟・信幸と共に戦死を遂げる。徳川家康は、天正11年（1583年）に信蕃の嫡男・竹福丸を浜松城に呼び、松平姓を授けると共に、諱である「康」の一字を与え、松平源十郎康國と名乗らせた。重臣である大久保七郎右衛門忠世を、14歳であった康國の後見役とした。このため、康國以降を依田松平氏と称する場合がある。大久保忠世の後見を得た康國は、最後に残った北条氏方の小諸城代、大道寺政繁を攻略し退けた。佐久地方は平定し、家康は、松平康國（依田康国）を小諸城主とした。康國は、佐久の本領6万石に加え、駿河2万石、甲斐国2万石の合わせて10万石の大名となった。家康は、康國の常備軍として依田肥前守に47騎、足軽200人を付し稲荷山城に置いた。康国は天正13年（1585年）の第一次上田合戦で初陣を果たすと、丸子城攻略に手柄あった。康國は大久保忠世またはその代理である弟の彦左衛門忠教の後見を受けていたが、天正14年（1586年）に徳川氏と真田氏の和睦が成立すると大久保氏は佐久から退き、康國は徳川氏傘下の国衆として佐久郡に一円支配を確立した。天正18年（1590年）には、相木白岩に挙兵した、依田能登・伴野刈部を破り、伴野刈部の首級を取った。討ち取った騎馬数は380に達した。家康の命により小田原征伐で上野国に出陣し、西牧城を陥す。総大将であった豊臣秀吉は徳川家康宛の書状で、康國の働きによって信濃衆を討ち取った事を讃え、家康からも言葉を掛けるようにと記している。同年、康國は石倉城で戦死を遂げる。康国の死後は弟・康真が家督を相続し、徳川家の関東移封に伴って武蔵国榛沢郡と上野緑野郡に3万石を与えられ、藤岡城主となる。それに先立つ天正14年（1586年）、徳川家康自ら福千代丸（康真）の髪を整え、松平姓、諱の「康」、腰物、髪道具等を下賜し元服させた。豊臣秀吉は、康真に豊臣姓を与えている。しかし関ヶ原の戦いを控えた慶長5年（1600年）1月23日、大坂の旅宿で囲碁をしていた際、同僚の小栗三助なる者を喧嘩口論の末に殺害してしまう。これが原因で高野山に蟄居し藤岡藩3万石は改易。徳川家康の次男・結城秀康の許にお預けとなる。結城秀康は越前福井へ封じられ松平秀康となった。康真は松平秀康に仕える事になる。この頃、秀康は家康の命により上杉景勝と対陣しており、下野国宇都宮において康真を召し出したという。依田康真は松平姓をはばかり、母方の加藤姓を名乗り、加藤康寛と改名し、越前国木本5000石を与えられた。子孫は芦田姓を名乗った。福井藩内での家格は、筆頭家老の越前府中本多家に次ぐ、十六家を示す上位の「高知席」だった。また、康真自身は終生、依田姓で通していたとも伝わる。元和9年（1623年）に死去したと言われるが、没年には異説もある。