永禄13年(1570年)、三浦は九鬼嘉隆が地頭らを次々と平定していくのを見て敗北を悟ったが、九鬼の配下となることを良しとせず、織田信雄を頼って志摩国を離れたので、城は廃城となった。