但是并非以真田家家臣的身份，而是独立的小领主来服从于甲斐武田氏。其后，赖纲继续跟随幸隆以及后来继承的侄子真田信纲，在永禄6年（1563年）9月进攻上野时立下战功，及后赖纲活跃于平定吾妻郡，并且一度担任岩柜城代。天正3年（1575年）5月，信纲在长篠之战中死去后，赖纲跟随于继承家督之位的真田昌幸。由于昌幸主要在甲府处理事务，经营吾妻郡和进攻等便交由赖纲负责。天正8年（1580年）5月，赖纲攻佔，凭此功被任命为沼田城代。天正10年（1582年）3月，织田信长发动甲州征伐将武田氏消灭，赖纲便成为独立势