В середині XIII століття князівство почало втрачати свої землі. З 1404 знаходиться у складі Великого князівства Литовського. У 1514 році Смоленськ, а пізніше інші смоленські землі, перешли до Москви як наслідок російсько-литовської війни. Після Смутного часу, згідно з Деулінським перемир'ям 1618 року смоленська земля перейшла до Речі Посполитої. І у ході Смоленської війни (1632–1634) Московське царство не змогло повернути собі смоленські землі.