上杉氏，并镇压亲上杉派的国人众。但与织田政权的关系并不稳固，天正9年（1581年）冬，与织田方断交，并将断交消息通知上杉氏家老直江兼续。天正10年（1582年）信长于本能寺之变亡故，宿敌飞驒北部吉城郡的江马辉盛趁势入侵（八日町之战），但被赖纲击退，江马辉盛阵亡。赖纲并谋杀亲弟弟锅山显纲及盟友广濑宗域，把广濑氏的城池併吞，于1583年顷正式统一飞驒全境，构筑出姉小路氏的全盛时期。自此后将家督的居城松仓城让予次子秀纲，自己移居北方的高堂城。但之后由于柴田胜家、佐佐成政联军与羽柴秀吉战斗失利（贱岳之战、富