El 1812, tant el tsar Alexandre I i l'emperador francès Napoleó acostumaven a tenir el palau com la seva residència. Durant la invasió napoleònica de Rússia, es van organitzar les operacions militars i les unitats de l'exèrcit lituà en aquest palau, entre ells cinc regiments d'infanteria, quatre regiments de cavalleria, i la Guàrdia Nacional de Vílnius. Es van rebre en aquest palau nobles lituans, els funcionaris acabats de nomenar de l'administració, i d'altres dignataris. Després de la derrota de Napoleó el 1812, el palau va ser utilitzat per a cerimònies oficials, va ser aquí on l'aleshores general Mikhaïl Kutúzov va rebre l'Orde de Sant Jordi, la més alta condecoració russa. Entre 1824 i 1834 va ser reconstruït per l'arquitecte de Sant Petersburg, Vasili Stàsov, en estil Imperi, sota la supervisió de Karol Podczaszyński. La reconstrucció del palau de Stàsov s'ha mantingut fins als nostres dies.