认为天守是3层的，不过史料并没有记载。现已确认城的东北角有筒井时代的天守。但是定次因为行为不端而致使岛左近等重臣大量出走，最终在1608年（庆长13年）被德川家康下令撤换。后来此城成为了来自伊予·宇和岛的筑城高手藤堂高虎的下属城堡（他的居城是伊势国·津城），而进行了大规模的改造与修缮。改造是为了准备对付丰臣家的讨伐，因而加深了护城河，增高了石墙，并在城南建造了二之丸。天守的位置向西移动了，本来正打算要移筑今治城天守，不过为了向发布了天下普请令的丹波龟山城的建设进献而新建5层的天守。但是等到竣工的16