Nykyinen Wakayaman kaupunki sai alkunsa vuonna 1595, kun Toyotomi Hideyoshi perusti siellä kohoavalle Torafusuvuorelle Wakayaman linnan. Sekigaharan taistelun jälkeen sen sai haltuunsa Asano Yoshinaga, vuonna 1619 taas Tokugawa Yorinobu, ja Edo-kaudella 1600–1800-luvuilla Wakayama kehittyikin Tokugawa-klaanin johdolla linnanaluskaupunkina ja 550 000 "kokun" suuruisen Wakayaman daimiokunnan pääkaupunkina.