通称源之助，是真田幸隆之弟。矢泽氏是支配矢泽郷（现上田市殿城町矢泽）的地侍，紧邻于真田氏的出身地小县郡真田乡（同上田市），身为一族的矢泽氏过去与真田氏处于敌对关系，后来赖纲成为矢泽氏养子才平息。赖纲在年少时便出家，成为京都鞍马的僧人，但是不久后便回到信浓还俗，以信浓先方众的身份跟随兄长幸隆，出仕于武田信玄。另一方面，天文10年（1541年）5月爆发，赖纲、幸隆与一同作战但败北，后来在诹访氏斡旋下臣服于武田信虎，但是并非以真田家家臣的身份，而是独立的小领主来服从于甲斐武田氏。其后，赖纲继续跟随幸隆