姉小路良頼
官位を上昇させる一方で、北飛騨吉城郡の江馬時盛との対立は続いていた。永禄年間に時盛が甲斐・信濃を支配する武田信玄の援助を受けその傘下となると、嗣頼はそれに対抗して越後・越中を支配する上杉謙信と誼を通じる。しかし、永禄7年(1564年)嗣頼は武田氏家臣の山県昌景や木曾義昌の侵攻を受けて降伏し、江馬氏に領土の一部を割譲するなど譲歩を迫られた上に、武田氏に臣従することを余儀なくされた。
武田氏の飛騨侵攻後、良頼は上杉氏へ通報し、上杉氏は越中衆が飛騨国へ加勢、更に第五次川中島の戦いにより60日間上杉景虎は武田信玄と対陣し、武田氏は飛騨国より撤兵した。武田方の江馬氏(江馬時盛)は人質を出して降伏し、江馬氏の家督が江馬輝盛へ移り、姉小路氏も飛騨国独立を維持した。