江马辉盛趁势入侵（八日町之战），但被赖纲击退，江马辉盛阵亡。赖纲并谋杀亲弟弟锅山显纲及盟友广濑宗域，把广濑氏的城池併吞，于1583年顷正式统一飞驒全境，构筑出姉小路氏的全盛时期。自此后将家督的居城松仓城让予次子秀纲，自己移居北方的高堂城。但之后由于柴田胜家、佐佐成政联军与羽柴秀吉战斗失利（贱岳之战、富山之役），秀吉派柴田胜家的旧臣金森长近率军进攻飞驒，并以广濑宗域、江马辉盛的儿子广濑宗直及江马时政为先导役，进攻高堂城，赖纲不敌而投降，姉小路氏自此完全灭亡，秀纲一族多数被杀，赖纲被命令在京都幽闭，于天正1