Historia Jelni sięga 1150 roku. Była wówczas częścią Księstwa Smoleńskiego. W drugiej połowie XIV wieku została przyłączona do Wielkiego Księstwa Litewskiego, połączonego unią z Polską. Na początku XVI wieku zdobyta przez Wielkie Księstwo Moskiewskie. Na początku XVII wieku odbita przez Polskę w trakcie wojny z Rosją, co potwierdził rozejm w Dywilinie. Administracyjnie leżała w granicach województwa smoleńskiego. Utracona przez Polskę w 1654 roku, co potwierdził 13 lat później rozejm andruszowski. Prawa miejskie od 1776 roku.