Bosetningen ble grunnlagt i 1641 som en festning ved Russlands sørøstre grense. På 1700-tallet mistet fortet sin militære betydning, og Saransk ble en handels- og industriby. I 1708 ble byen underlagt guvernementet Azov, og senere guvernementet Kazan. I 1780 ble byen underlagt det som i 1801 ble guvernementet Penza. I 1893 nådde byggingen av jernbanen Moskva – Kazan til Saransk. I 1928 ble byen hovedstad i det nasjonale distriktet Mordovia, som i 1934 ble til den Mordoviske ASSR, og i 1991 den autonome republikken Mordova. Sovjetiske byplanleggere bygde om det gamle bysenteret på 1960- og 1970-tallet, med brede gater og enorme boligområder.