Osada ufundowana w XIV wieku przez księcia sierpuchowskiego, Włodzimierza Andrejewicza i nazwana Jarosławcem na cześć syna księcia Włodzimierza, Jarosława. W 1485 roku Jarosławiec został przyłączony do Wielkiego Księstwa Moskiewskiego i przemianowany na Małojarosławiec. Prawa miejskie otrzymał w 1776 roku. Miasto było terenem dwóch wielkich bitew, w 1812 roku, podczas kampanii Napoleona w Rosji i w czasie wielkiej wojny ojczyźnianej, w 1941 roku.