Im 15. Jahrhundert kam der Ort als Teil des früheren Fürstentums Smolensk zum Großfürstentum Litauen, 1522 zum Großfürstentum Moskau. Zwischenzeitlich (1612–1654) wieder unter polnisch-litauischer Herrschaft, kam Jelnja im Ergebnis des Polnisch-Russischen Krieges 1654–1667 endgültig zu Russland.