来自大和郡山，拜领了伊贺的筒井定次的要求，在因为天正伊贺之乱而被烧毁的平乐寺的遗迹上筑城。一般认为天守是3层的，不过史料并没有记载。现已确认城的东北角有筒井时代的天守。但是定次因为行为不端而致使岛左近等重臣大量出走，最终在1608年（庆长13年）被德川家康下令撤换。后来此城成为了来自伊予·宇和岛的筑城高手藤堂高虎的下属城堡（他的居城是伊势国·津城），而进行了大规模的改造与修缮。改造是为了准备对付丰臣家的讨伐，因而加深了护城河，增高了石墙，并在城南建造了二之丸。天守的位置向西移动了，本来正打算要移筑今