成为甲斐国的武田氏支配并加入武田氏，此时的姉小路氏也和越后国上杉氏同盟。永禄七年（1564年）武田信玄派大将山县昌景攻击木曾氏 ，木曾氏当主木曾义昌投降，江马氏的领土也被割让而被逼归顺武田氏。元龟元年（1570年）长男三木自纲（姉小路赖纲）和上洛的足利义昭与织田信长维持良好关系，因而能保住国土。元龟三年（1572年）上杉谦信因与武田、北条联军对阵（即第一次利根川对阵）受到一向一揆攻击，要求良赖出兵救援，但是良赖因病而没有出阵，而由江马辉盛代替出兵。同年10月18日姉小路赖纲也出兵相救，11月12日良赖逝