至1965年的修复工程的考察结果，参照古文献，判断天守主体部分（第1、2层）为1537年（天文6年）或1601年（庆长6年）建造。望楼部的3、4层为1620年（元和6年）建。其后增加了唐破风屋檐等，成为如今的外观样式。成濑家第7代当主正寿与荷兰商馆长（甲比丹）亲交甚笃，在天守的最上层铺设了地毯，这一细节在1961年的重修中得到了还原。
其余建筑.废藩置县时一部分建筑被移筑到了各处：矢来门成为了专修院东门，黑门移筑到了德林寺，松之丸门移筑到净莲寺，还有据传为内田门的城门移筑到了瑞泉寺