寛永九年(1632年)に熊本藩主加藤忠広が改易となり、酒井氏に預けられた際、酒井氏はこの城に忠広の居館などを造り居住させた。