不果后，也撤兵回甲斐。因此上杉谦信在当年十月先进攻大宝寺义增使其降伏，繁长因此被孤立，在十一月时正式包围本庄繁长的本庄城。长期笼城作战中，本庄繁长让上杉军受到不小的打击，尤其是1569年一月时的夜袭讨取了色部胜长。但是在孤立无援下，本庄繁长还是接受芦名盛氏的仲介，重新归降谦信，在二月时送出长子本庄显长作为人质。繁长此时在上杉家中的地位一落千丈，直到谦信死去。
御馆之乱.1578年，谦信死后发生御馆之乱，繁长本人加入上杉景胜方与上杉景虎方的鲇川氏交战，另一方面繁长的长子显长与大宝