Vjazma ble første gang nevnt i en krønike fra 1239, men det antas at bosetningen er betydelig eldre. På den tiden tilhørte byen en sidegren av Rurikidehuset Smolensk. I 1403 ble byen erobret av Litauen. I 1494 ble Vjazma tatt av Storfyrstedømmet Moskva og omgjort til en festning, hvorav kun et enkelt tårn fortsatt finnes. To viktige klostere ble utstyrt med steinkirker, herunder en sjelden tre-spiret kirke dedikert til Vår Frue av Smolensk (Hodegetria) og innviet i 1638. En portkirke i samme kloster er fra 1656, og byens katedral ble fullført i 1676. Øvrige kirker er stort sett bygget i barokk stil.