一同担任先锋，立下武功。在骏河国今川氏受甲斐国武田氏侵攻时，氏康出兵救援之际，在前线夺战。永禄4年（1561年），在长尾景虎（后来的上杉谦信）侵攻关东地方时，坚守（小田原城之战）。永禄6年（1563年）至7年（1564年）间，在第二次国府台合战中，与父亲纲成和松田宪秀一同奇袭里见军，大获全胜。永禄12年（1569年），武田信玄进攻关东时，再次坚守玉绳城。另外，亦与和芦名氏外交交渉。得到氏康深厚信任，负责下总国方面的军权。元龟2年（1571年）期间，因为父亲纲成隐居，于是改名为氏繁并继承家督。天正6年（1