杉宪政被逼逃往上野国后，作为关东管领的上杉氏权威亦随之衰退。周围的势力都投向北条氏之下，而此时虽然依靠冈谷清英、秋元景朝等重臣的活跃而守备，不过最终宪贤父子亦决定向北条氏降伏。永禄3年（1560年），在父亲宪贤死去后，继承家督。在父亲宪贤临终之际，由良成繁乘机率3百骑侵入深谷家领内，此时因为情况紧急，于是召集不足1百2十骑迎击，不过败退，在继承家督后，失去北面部份领土。此后，继承山内上杉氏家督的上杉政虎（谦信）率大军侵攻关东地方后，因为同族之谊而投向政虎军，不过在北条氏回复势力后，于永禄6年（156