城移往飞驒松仓城，致力于统一飞驒国。但因为怀疑长男姉小路信纲谋反而将长男杀害。赖纲治理国政採武断政治，协助信长部将佐佐成政征伐上杉氏，并镇压亲上杉派的国人众。但与织田政权的关系并不稳固，天正9年（1581年）冬，与织田方断交，并将断交消息通知上杉氏家老直江兼续。天正10年（1582年）信长于本能寺之变亡故，宿敌飞驒北部吉城郡的江马辉盛趁势入侵（八日町之战），但被赖纲击退，江马辉盛阵亡。赖纲并谋杀亲弟弟锅山显纲及盟友广濑宗域，把广濑氏的城池併吞，于1583年顷正式统一飞驒全境，构筑出姉小路氏的全盛时期。自