Før Rostov lå byen Sarskoje Gorodisjtsje på stedet, som noen forskere tolker som hovedstaden til Merja-stammen, mens andre mener den var en viktig handelsenklave for vikingene og en festning for å vokte handelsruten langs Volga. Byen nevnes første gang i 862 som en allerede viktig bosetning. Innen 1200-tallet var Rostov hovedstad for et av de viktigste russiske fyrstedømmene. Det ble innlemmet i Storfyrstedømmet Moskva i 1474.