兄长一同在伊豆国山中城奋战，不过败退，降伏于在相模国玉绳城的德川家康。虽然一时间仕于家康，不过受失去嫡男的哥哥氏胜请求，于是成为氏胜的养子，并进入氏胜的下总国岩富城。不过有对此不满的家臣，庆长16年（1611年），氏胜死后，反对繁广的家臣秘密迎家康的外甥氏重为养子并继承家督，于是被激怒，并向江户的将军德川秀忠申诉，不过在翌年（1612年）突然死去。后来得知事件始末的家康把繁广4岁的嫡男氏长召来，并令其成为5百俵取的旗本。