Rond 1339 kwam het vorstendom onder de invloed van het Groothertogdom Litouwen. In 1355 viel Algirdas, groothertog van Litouwen, Smolensk aan en veroverde Rzjev, Bely, Mstislav en Toropets. De vorsten van Smolensk keken naar het grootvorstendom Moskou voor een alliantie tegen Litouwen, maar sloten zich uiteindelijk in 1368 aan bij Algirdas in zijn campagne tegen Moskou. Smolensk vocht later naast Moskou tegen Michaël II van Tver in 1372–1374, en in 1380 namen troepen van het vorstendom Smolensk aan de zijde van Dmitri Donskoj deel aan de Slag op het Koelikovo-veld.