木氏继承姉小路家，正式称为姉小路姓。与姉小路氏不和的北飞驒国的江马氏当主江马时盛依然继续对立。永禄年间江马氏成为甲斐国的武田氏支配并加入武田氏，此时的姉小路氏也和越后国上杉氏同盟。永禄七年（1564年）武田信玄派大将山县昌景攻击木曾氏 ，木曾氏当主木曾义昌投降，江马氏的领土也被割让而被逼归顺武田氏。元龟元年（1570年）长男三木自纲（姉小路赖纲）和上洛的足利义昭与织田信长维持良好关系，因而能保住国土。元龟三年（1572年）上杉谦信因与武田、北条联军对阵（即第一次利根川对阵）受到一向一揆攻击，要求良赖