Mary ble grunnlagt i 1884, etter at oldtidsbyen Merv ble okkupert av Det russiske imperiet, på stedet hvor det lå et gammelt turkmensk fort.