Είναι μια από τις παλαιότερες πόλεις της Ρωσίας, με την πρώτη καταγραφή της να γίνεται το 863 μ.Χ. Η πόλη βρισκόταν στην εμπορική οδό Βαράγγων - Ελλήνων. Λόγω της κεντρικής θέσης του, το Σμολένσκ αναπτύχθηκε γρήγορα και ήταν έδρα του πριγκιπάτου του Σμολένσκ. Κατά τη διάρκεια του 12ου αιώνα στην πόλη κατασκευάστηκαν αρκετές εκκλησίες. Στη συνέχεια, το Σμολένσκ έχασε την ισχύ του και τελικά έγινε μέρος του μεγάλου δουκάτου της Λιθουανίας το 1404 και μετά της Πολωνο-Λιθουανικής Κοινοπολιτείας. Το 1667 έγινε μέρος της Ρωσίας και το 1708 έδρα του κυβερνείου του Σμολένσκ. Το 1812 κοντά στη πόλη δόθηκε η πρώτη σημαντική μάχη της γαλλικής εισβολής στη Ρωσία από τον Ναπολέοντα. Η δημιουργία της ΣΣΔ της Λευκορωσίας έγινε το 1919 στο Σμολένσκ. Κατά τη διάρκεια του Β΄ Παγκοσμίου Πολέμου η πόλη κατακτήθηκε, ύστερα από μάχη, από τους Γερμανούς στις 16 Ιουλίου 1941. Κατά τη μάχη το μεγαλύτερο τμήμα της πόλης καταστράφηκε. Οι Σοβιετικοί την απελευθέρωσαν στις 25 Σεπτεμβρίου 1943.