永禄年間(1558年-1570年)には九鬼氏の領地に変わり、その後文禄の役で武功を挙げた越賀村(現在の志摩市志摩町越賀)の越賀隆政の領地となる。