孙子桑山一晴继任城主。庆长5年（1600年）发生关原之战，战后桑山一晴被转封大和国的新庄藩（旧称布施藩），属于东军的浅野幸长成为37万石的纪伊国和歌山藩的第一代藩主，以和歌山城为居所，进行了和歌山城的修缮。元和5年（1619年），德川家康的十男德川赖宣成为纪伊国和歌山藩55万石藩主，开始纪伊德川家的时代。德川赖宣利用这些钱作为1621年和歌山城与城下町扩建的基金。1655年（明暦元年）11月，与西之丸相接的家臣住所发生火灾，西之丸与二之丸都遭到波及。1813年（文化10年），西之丸内部发生火灾，