Bol založený za vlády Petra I. v roku 1698 na myse Tagan-Rog ako vojenská pevnosť a základňa Azovskej flotily. V roku 1711 musela byť pevnosť zničená v dôsledku záverov Prutského mieru. V roku 1769 oblasť definitívne obsadili ruské vojská, oficiálne bol pričlenený k Rusku v roku 1774. Po založení Sevastopoľa stratil svoj predošlý vojenský význam, nadobudol však význam ako obchodný prístav. Počas Krymskej vojny bol vystavený útokom anglicko-francúzskej flotily. V roku 1869 bolo mesto spojené železničnou traťou s Rostovom nad Donom a Charkovom. V priebehu 19. storočia boli v meste vybudované viaceré priemyselné podniky. Počas občianskej vojny v januári 1918 mesto obsadili vojská Červenej armády už v máji ho však obsadili nemecké jednotky a neskôr bielogvardejci gen. Denikina. V januári 1920 ho obsadili sovietske sily 1. jazdeckej armády. V roku 1934 začala v meste pracovať letecká konštrukčná kancelária Beriev, ktorá sa zaoberala stavbou hydroplánov a lietajúcich člnov. Do roku 1937 bol Taganrog pričlenený k Rostovskej oblasti.