21 грудня 1918 року Вольдемарас разом з президентом Смятоною виїхали за кордон для перемовин щодо грошової позики з Німеччини, а також для участі у Паризькій мирній конференції. Проте від'їзд прем'єра викликав обурення в Литві і був розцінений як втеча від наступу армії Червоної армії. Заочно 26 грудня він був замінений на посаді прем'єр-міністра Міколасом Сляжявічусом. Тим не менш розлючений подіями Вольдемерас залишився на посаді міністра закордонних справ і представляв Литву на конференції в Парижі.