У 1341 році князь здійснив спробу повернути собі Можайську волость, яка на той час була захоплена Москвою. На допомогу йому з великим військом прибув литовський князь Ольгерд Гедимінович. В свою чергу Іван Олександрович допомагав Ольгерду в боротьбі з Лівонським орденом, а в 1348 році смоленські війська брали участь в невдалій для литовців битві на річці Стреві. У 1351 році на Смоленську землю здійснив невдалий похід московський князь Семен Гордий; Іван Олександрович звернувся по допомогу до Ольгерда, однак не отримав її, що спричинило погіршення литовсько-смоленських відносин. У 1355 році Ольгерд захопив Ржев, який раніше був смоленською волостю. Також за князювання Івана Олександровича, у 1356 році Брянську помер його син, Василій, після чого «был в Брянске мятеж от лихих людей, смута великая и опустение города, после чего стал владеть городом великий князь литовский», син Ольгерда, Дмитро.