任侍从职务。自斋藤氏夺得美浓国的织田信长于永禄11年（1568年）上洛，元龟元年（1570年）2月，姉小路嗣赖接到上洛的命令。因父亲病重，因此由赖纲替代父亲上洛，4月于小御所拜谒正亲町天皇并获赠御礼。自此开始与信长有所接触，元龟3年（1572年）应上杉谦信的邀请出兵越中国，以上杉氏从属的姿态进攻一向一揆。越中出兵后嗣赖病亡，由赖纲继任家督。天正3年（1575年）再度上洛并献马予信长。天正6年（1578年）谦信亡故，自此开始接近织田方。天正7年（1579年），居城自樱洞城移往飞驒松仓城，致力于统一飞驒