江馬氏
しかし、康胤は元亀2年(1571年)に松倉城の戦いで上杉謙信に敗れ、松倉城には上杉重臣の河田長親が入り、江馬氏と上杉氏は所領を接することとなった。
元亀4年(1573年)4月に武田信玄が死去すると、輝盛はこれを察知して家臣の河上富信を通じて上杉氏(河田長親)に信玄の死を伝えた。しかし、その書状で上杉氏に詫びを入れており、武田氏との両属状態に留まっていた様である。
天正3年(1575年)6月には、再度上杉氏に詫びているが、翌天正4年(1576年)に上杉謙信の飛騨討伐を受けて、三木氏と共に降伏した。
その後は尾張国の織田氏の力を背景にした三木自綱の力が強大化する。
天正6年(1578年)7月16日、江馬輝盛は時盛を殺害する。時盛が武田家に人質に出していた江馬信盛を当主に据えようとしたためとされる。同年10月には三木氏の支援を受けた織田勢が越中月岡野に攻め込んでおり、江馬氏も織田家に従属している(月岡野の戦い)。
天正10年(1582年)6月に本能寺の変により織田信長が横死すると、織田氏に帰属していた姉小路氏と争ったものの、輝盛は八日町の戦いで戦死する。これにより江馬氏は、事実上滅亡した。
輝盛の後継とみられる江馬時政は金森氏を頼ったものの、のちに反乱を起こし殺害されている。