田胜家的旧臣金森长近率军进攻飞驒，并以广濑宗域、江马辉盛的儿子广濑宗直及江马时政为先导役，进攻高堂城，赖纲不敌而投降，姉小路氏自此完全灭亡，秀纲一族多数被杀，赖纲被命令在京都幽闭，于天正15年（1587年）亡故。末子三木近纲仕于德川氏，成为500石的旗本。