На початку 1386 р., під час перебування Яґайла в Польщі, Андрій розпочав військову кампанію на Литві спрямовану проти Ягайла і польсько-литовської унії. Але вислані з Кракова війська організували оборону й відбили його напад. Згодом Скиргайло вирушив на Полоцьк й на цей раз здобув його. З 1386 року Андрій — лукомський князь.