לאחר סיפוח ליטא לברית המועצות בעקבות הסכם ריבנטרופ–מולוטוב הוא נאלץ לעזוב את כל תפקידיו. רבים מבני משפחתו הוגלו לסיביר.