小山氏
しかし、強大な武力によって北条氏は着実に勢力を拡大。下総の古河・関宿などの諸城は北条氏の攻勢の前に陥落。その支配するところとなり、ついに天正3年(1575年)、北条氏は小山氏領に侵攻。1度は退けるも、翌年、居城の祇園城は陥落。秀綱は佐竹義重を頼り逃亡し、ここに400年続いた関東の名門、小山氏は滅亡した。
その後、北条氏は北条氏照を祇園城代に任じ、秀綱もその一配下となることで小山復帰が認められる。だが、天正18年(1590年)の豊臣秀吉による小田原征伐で北条氏は没落し、小山氏の旧領は結城晴朝に与えられる。のちに秀綱は晴朝の養子結城秀康に従うことになった。 秀綱は小山氏の再興を運動したものの果たせず、小山政種、小山秀広ら息子たちに先立たれ失意のうちに病死した。