שפך הנהר דון שימש החל מזמנים קדומים כמרכז תרבותי ומסחרי חשוב. במקום התקיימו יישובים שונים החל מהאלף הראשון לפני ספירת הנוצרים. הראשון בהם הייתה העיר היוונית טנאיס, אחר כך בימי הביניים העיר הגנואית טנה והמבצר הטורקי אזוב. הרוסים השתלטו על האזור כתוצאה מהמלחמה העות'מאנית-רוסית של 1735–1739. העיר המודרנית נוסדה בשנת 1749 לפי צו של הצארינה יליזבטה כעיר מכס על הגבול עם טורקיה. ב-1761 במקום הוקמה מצודה צבאית ושמה ניתן לה על שם נזיר חשוב בדת האורתודוקסית דמטריוס מרוסטוב, לכן העיר נקראה גם רוסטוב. בין 1768 ל-1774 העיר שימשה מרכז לתקיפות הרוסים על טורקיה במלחמה העות'מאנית-רוסית של 1768–1774 על העיר אזוב ועל האזורים הטורקים בקרים ובקווקז.