I 1812 brukte både den russiske tsaren [Aleksander I av Russland|Aleksander I]] og den franske keiseren Napoleon palasset som residens. Under Napoleons felttog i Russland 1812 organiserte han de militære operasjonene og litauiske hærenheter fra dette palasset, herunder fem infanteriregimenter, fire kavaleriregimenter og Vilnius nasjonalgarde, som skulle holde lov og orden i byen, og sørge for vakthold av nøkkelanlegg under det franske styret. Napoleon tok imot adelsmenn, nylig utnevnte embets- og tjenestemenn og andre viktige personer i palasset. Etter Napoleons nederlag i 1812, gikk palasset over til å bli brukt til mer seremonielle formål, det var eksempelvis her den daværende generalen Mikhail Kutuzov mottok Russlands høyeste militære orden, Sankt Georgsordenen. I årene 1824-1834 ble palasset ombygget av den framstående arkitekten fra St. Petersburg, Vasilij Stasov i empirestil, under ledelse av Karol Podczaszyński. Stasovs rekonstruksjon av bygningen er slik den står i dag.