1200-luvulla paikalle syntyi Azakin kaupunki, jossa risteytyivät Kiinaan ja Volgan Bulgariaan kulkevat kauppareitit. Vuonna 1395 Timur Lenkin joukot hävittivät kaupungin. 1400-luvun alussa se menetti merkitystään kansainvälisen kaupan keskuksena. Vuonna 1471 sen valtasivat turkkilaiset, jotka rakensivat paikalle linnoituksen. Vuosina 1641–1641 kasakat valtasivat ja hävittivät linnoituksen, jonka turkkilaiset myöhemmin rakensivat uudestaan. Venäläiset valtasivat sen vuonna 1696. Vuodesta 1708 lähtien Azov oli samannimisen läänin keskus ja se sai kaupungin aseman, mutta Venäjän–Turkin sodan 1710-11 hävinnyt Venäjä luovutti sen jälleen turkkilaisille Prutin rauhansopimuksen mukaan. Venäläiset valtasivat sen uudelleen vuonna 1736, mutta Belgradin rauhansopimuksen mukaan Azovista ja Taganrogista tuli puolueettomia alueita, joiden linnoitukset hävitettiin. Venäläiset valtasivat kaupungin jälleen vuonna 1769, ja vuoden 1774 rauhassa se liitettiin lopullisesti Venäjään. Vuosina 1776–1782 Azov oli samannimisen läänin pääkaupunki, mutta se menetti kaupunginoikeutensa vuonna 1801. Vuonna 1926 Azovista tuli jälleen kaupunki.