宪贤与成田长泰结盟之际，迎姪儿太田资时的女儿（资时死后，资时的弟弟资正继承太田氏，因此与母亲一同返回实家）为正室。后北条氏在河越夜战中击破扇谷上杉家，因此于武藏国扩大势力，而宪盛亦在此时陷入困境。山内上杉家的上杉宪政被逼逃往上野国后，作为关东管领的上杉氏权威亦随之衰退。周围的势力都投向北条氏之下，而此时虽然依靠冈谷清英、秋元景朝等重臣的活跃而守备，不过最终宪贤父子亦决定向北条氏降伏。永禄3年（1560年），在父亲宪贤死去后，继承家督。在父亲宪贤临终之际，由良成繁乘机率3百骑侵入深谷家领内，此时因为情