בשנת 1812 השתמשו גם אלכסנדר הראשון, קיסר רוסיה וגם הקיסר הצרפתי נפוליאון בונפרטה בארמון כמקום מגוריהם. במהלך פלישת נפוליאון לרוסיה ב-1812 הוא ארגן פעולות ויחידות צבאיות ליטאיות מארמון זה, כולל חמישה גדודים של חיל רגלי, ארבעה גדודי חיל פרשים ואת המשמר הלאומי של וילנה, כוח צבאי למחצה של ליטא. נפוליאון הוסיף לקבל אצילים ליטאים, מינה פקידי ממשל חדשים, וכן נכבדים אחרים בארמון. לאחר תבוסתו של נפוליאון בשנת 1812, שימש הארמון לאירועים טקסיים; בארמון, לגנרל מיכאיל קוטוזוב הוענק העיטור הצבאי הגבוה ביותר של רוסיה - מסדר סנט ג'ורג'. במהלך השנים 1824–1834, הארמון שוחזר לצורתו המקורית בידי וסילי סטאסוב, אדריכל בולט מסנקט פטרבורג, והפעם לסגנון אימפריאליסטי. שחזורו של סטאטוב עומד במקומו עד עצם היום הזה.