天正9年(1581年)から明智光秀が普請目付として着手し、大規模な近世城郭として工事が開始され、奈良の大工衆を集めたことが記録されている。