その後天正13年（1585年）に筒井定次によって改修を受け、慶長16年（1611年）に徳川家康の命を負って藤堂高虎が拡張したが、大坂の陣によって、当時高虎が従属する家康に対立していた豊臣氏が滅んだため築城が中止され、本丸・二ノ丸などの主要部分は城代屋敷を除いて未完成のまま江戸時代を過ごした。
起初，北畠信雄的家臣泷川雄利在平乐寺的遗迹上建立起营寨；后来在1585年（天正13年）由筒井定次改建并修筑；1611年（庆长16年）藤堂高虎应德川家康之命扩建；大坂之阵时，与当时高虎所属的德川家将丰臣家消灭，筑城也因此而终止；除了本丸和二之丸主要部分以外的城的其它部分一直以未完成的状态度过了江户时代。