主家の上杉氏は天文15年(1546年)、北条氏康に河越夜戦で敗れると次第に没落し、天文21年(1552年)、上杉憲政が越後の長尾景虎(上杉謙信)を頼って落ちて行く。