柴田勝家
但之後由於柴田勝家、佐佐成政聯軍與羽柴秀吉戰鬥失利（賤岳之戰、富山之役），秀吉派柴田勝家的舊臣金森長近率軍進攻飛驒，並以廣瀨宗域、江馬輝盛的兒子廣瀨宗直及江馬時政為先導役，進攻高堂城，賴綱不敵而投降，姉小路氏自此完全滅亡，秀綱一族多數被殺，賴綱被命令在京都幽閉，於天正15年（1587年）亡故。