Nel 1381, Jogaila tentò di insediare il suo fedele fratello Skirgaila a Polock, il feudo prima detenuto da Andrei. Mentre Skirgaila stava assediando la città ribelle, Kęstutis e suo figlio Vitoldo (futuro granduca di Lituania) colsero l'opportunità per scatenare una guerra civile contro Jogaila e rimuoverlo dal trono. Polock si arrese volontariamente a Kęstutis, il quale richiamò Andrei in patria: nessuna fonte menziona quest'ultimo tra il 1381 e il 1385. Forse egli attendeva notizie dalla Russia sperando che a Polock la faida tra Jogaila e Kęstutis degenerasse. Kęstutis morì poco dopo, ma Jogaila e Vitoldo si riconciliarono nel 1384. Il 10 ottobre 1385 Andrei siglò un'intesa con i cavalieri di Livonia ai sensi della quale non li avrebbe combattuti e avrebbe ceduto alcuni piccoli feudi in cambio di protezione contro Vitoldo e altri nemici. Sempre secondo il documento, proprio perché Polock veniva assegnata in favore dei tedeschi, Andrei aveva apposto come condizione quella di amministrare la città in prima persona. Quando Jogaila si recò in Polonia per discutere dell'Unione di Krewo, Andrei ne approfittò per colpire di nuovo a occidente: nel 1386 attaccò infatti le terre a sud-est di Polock. L'ordine religioso cavalleresco si mosse verso i possedimenti che facevano circa 150 anni prima del Ducato di Lituania, mentre Sviatoslav II di Smolensk attaccò Mscislaŭ, sottratta al Principato di Smolensk da Algirdas. Tuttavia, Sviatoslav riportò una disastrosa sconfitta nella battaglia del fiume Vichra e il Principato di Smolensk divenne vassallo della Lituania.