于1583年顷正式统一飞驒全境，构筑出姉小路氏的全盛时期。自此后将家督的居城松仓城让予次子秀纲，自己移居北方的高堂城。但之后由于柴田胜家、佐佐成政联军与羽柴秀吉战斗失利（贱岳之战、富山之役），秀吉派柴田胜家的旧臣金森长近率军进攻飞驒，并以广濑宗域、江马辉盛的儿子广濑宗直及江马时政为先导役，进攻高堂城，赖纲不敌而投降，姉小路氏自此完全灭亡，秀纲一族多数被杀，赖纲被命令在京都幽闭，于天正15年（1587年）亡故。末子三木近纲仕于德川氏，成为500石的旗本。