一説には城主の長野賢忠が城を明け渡し長尾景虎(後の上杉謙信)を頼りに越後へ移ったという。