15年（1546年）5月，令佐久郡内山城（现今佐久市内山）的大井贞清投降（『高白斋记』）。翌年（1547年），向在上野国平井城（现今群马县藤冈市）邀请关东管领上杉宪政救援，得到上杉氏侧的武将兼与清繁有亲戚关系的西上野菅原城城主高田宪赖的援军，于是与武田氏对抗。同年闰7月24日，武田军开始进攻志贺城，并包围城池。对此，宪政派遣金井秀景等西上野众为援军，不过武田军在小田井原之战（地点在现今长野县北佐久郡御代田町）中将其击退（『高白斋记』、『胜山记』）。在小田井原战败后，被断绝救援的志贺城在8月11日被攻