1536年(天文5年)には伊東氏当主・伊東義祐(三位入道)が佐土原城が火災で焼けてしまったため、居城を移した。