1619年），德川家康的十男德川赖宣成为纪伊国和歌山藩55万石藩主，开始纪伊德川家的时代。德川赖宣利用这些钱作为1621年和歌山城与城下町扩建的基金。1655年（明暦元年）11月，与西之丸相接的家臣住所发生火灾，西之丸与二之丸都遭到波及。1813年（文化10年），西之丸内部发生火灾，西之丸御殿全部烧毁。1846年（弘化3年）7月26日，因为发生雷雨，除了大小天守，御殿本丸主要建筑物全部烧毁。明治4年（1871年）废藩置县，和歌山城废城，许多建筑物遭到拆除移往其他地方。其中外城在1885年被移到大坂城