織田信長・信忠親子が本能寺の変で亡くなった後、旧織田領土は混乱した。姉小路氏もその混乱に乗じた一人ではあったが、一方中央では清洲会議を経て、織田信孝・柴田勝家が羽柴秀吉との覇権争い（賤ヶ岳の戦いなど）に敗れ去った。秀吉軍の進攻は信孝・柴田の同盟軍としての飛騨国に及んだ。
当時の羽柴勢は敵対する越中の佐々成政の追討を行っており、佐々の同盟者である姉小路氏もその追討の対象となった。飛騨侵攻の命を受けた金森長近の軍勢に、かつて姉小路氏が滅ぼした飛騨の旧勢力（江馬時政・広瀬宗直・牛丸親綱・鍋山利高）らが先導役を務めて加わり、金森軍は飛騨国の南北両面から二部隊（金森長近の本隊・金森可重の別動隊）に分かれ侵攻した。国内諸地域で各小軍勢の姉小路軍は抵抗をし金森軍に被害を与えたが、大軍勢の金森勢に個々に掃討され降伏となった。
自身も大軍に攻められていた佐々成政からの援軍も無く、同盟者の内ヶ島氏理は佐々救援の軍を率いて富山方面に出馬中に、本拠の留守居の家臣を金森勢に調略され帰雲城を奪われ、降伏した。
頼綱は隠居城である高堂城を包囲されたが、金森長近の降伏勧告を拒否し籠城戦を行った。険峻な地形に築かれた城郭を前に金森勢は攻めあぐねていたが、姉小路勢の損害も日々増えるばかりであった。この攻城戦の最中に朝廷より、降伏するようにとの命が下った。頼綱は朝廷に仕える公卿として自ら城を明け渡し、姉小路氏は降伏した（飛騨侵攻戦）。
飛騨国追放と幽閉.
最後まで戦った子息の姉小路秀綱・姉小路季綱兄弟や小島時光・小島基頼など、一族郎党の多くは討死や自害もしくは行方不明となったが、当主の頼綱と生き残った一族は朝廷からの命があり、姉小路氏という公家として、また秀吉から見た場合“織田信長の親族”として助命され、京都へ護送され幽閉された。
京都に赴いた後の幽閉中は、親族である公卿の近衛前久に庇護され、近衛家と共に娘婿の遠藤氏・遠藤慶隆と本家筋姉小路氏である娘婿の向氏・向宣政に生活を援助された。
幽閉解放.
幽閉解放後、頼綱は公家（公卿）として朝廷へ役を働きかけ、姉小路氏・三木氏として親族・子息の任官推薦と出仕、飛騨国地主の保障を得た。
晩年.
官歴.
『歴名土代』による。
姉小路良頼