继任家督后不久，长尾景虎（后来的上杉谦信）便开始进攻关东。谦信取得将军足利义辉的，加上奉逃至越后的关东管领宪政之命，从进入上野。永禄4年（1561年），上杉氏率军包围义氏的关宿城，谦信亦在古河城拥立藤氏，宣称他才是正统的古河公方。此时，支持谦信的宪政和近卫前久进入了古河城。另一方面，义氏在后北条氏撑腰下，催促关东各势力出兵，但是自己最终却撤出关宿城。同年，谦信进攻后北条氏的根据地小田原城，但是无法攻陷，最终退兵。其后，谦信承继宪政的山内上杉家名号，继任关东管领。自此，谦信与氏政便各自拥立不同的古河公方，