系，后来赖纲成为矢泽氏养子才平息。赖纲在年少时便出家，成为京都鞍马的僧人，但是不久后便回到信浓还俗，以信浓先方众的身份跟随兄长幸隆，出仕于武田信玄。另一方面，天文10年（1541年）5月爆发，赖纲、幸隆与一同作战但败北，后来在诹访氏斡旋下臣服于武田信虎，但是并非以真田家家臣的身份，而是独立的小领主来服从于甲斐武田氏。其后，赖纲继续跟随幸隆以及后来继承的侄子真田信纲，在永禄6年（1563年）9月进攻上野时立下战功，及后赖纲活跃于平定吾妻郡，并且一度担任岩柜城代。天正3年（1575年）5月，信纲