义氏访问小田原城时，北条氏的5位宿老松田盛秀（宪秀之父）、纲景、笠原纲信、清水康英、石卷家贞拜见了义氏。而在这段期间亦被赐予江户城东侧的葛西城。永禄7年（1564年），同样是江户城代的女婿太田康资离反。被上杉谦信邀请救援太田氏的里见氏出兵而引发第二次国府台合战。没有看穿女婿会离反的纲景与同样有江户城代地位的富永直胜一同先于北条纲成率领的本队渡过江户川，但是遭到里见氏的反撃，与儿子远山隼人佐一同被讨死。还有另一位女婿舎人恒忠亦向远山纲景方出兵，但是同様被讨死。女儿在舎人恒忠死后，带同嫡男勇丸与北条氏的五宿