。不过有对此不满的家臣，庆长16年（1611年），氏胜死后，反对繁广的家臣秘密迎家康的外甥氏重为养子并继承家督，于是被激怒，并向江户的将军德川秀忠申诉，不过在翌年（1612年）突然死去。后来得知事件始末的家康把繁广4岁的嫡男氏长召来，并令其成为5百俵取的旗本。