村上義清の死後は御館の乱を経て周辺が武田家に割譲され仁科盛信、武田家滅亡後は再び上杉領となり幾たびか城主が変わり、1598年には堀清重が城主となった。