Utover på 1700-tallet og begynnelsen av 1800-tallet var det en rekke ulike historiske begivenheter knyttet til palasset. Den siste biskopen bodde her, Litauen ble annektert av Det russiske keiserdømmet, og selve bygningen ble sterkt skadet av to større branner i 1737 og 1748. Palasset ble ombygget i 1750 under ledelse av arkitekt Laurynas Gucevičius. Etter denne gjenoppbyggingen ble palasset brukt som residens for keisere, konger og adelsmenn. I løpet av 1796 bodde tsar Paul I i palasset. Ved innledningen til 1800-tallet var palasset residens for flere keiserlige russiske guvernører, blant dem Mikhail Muravjev, også kalt «bøddelen». Det ble også besøkt av den fremtidige kongen av Frankrike, Ludvig XVIII i 1804.