后来以古河为目标，上杉和北条不断持续争夺战，藤氏不断以上杉方代表的身份进入古河和逃到上总。最终在永禄5年（1562年）于北条军攻略古河御所之际被捕获并送往小田原。后来藤氏被送到相模、伊豆等北条领地内，在永禄9年（1566年）以后就消息不明。一说是被北条氏康处刑。
影响.因为失去古河公方的藤氏，上杉谦信在关东的势力受到很大打撃，后来在缔结越相同盟时，成为唯一古河公方的足利义氏亦不得不被谦信承认其地位。另一方面，藤氏的弟弟家国、藤政、辉氏为了再兴古河公方而活动，不过因为影响力实在太