Однако затем последовало отступление лета 1919 года, во многом обусловленное растянутостью коммуникаций, разногласиями в белом командовании, отсутствием пополнений. Был обвинён в «неспособности остановить отступление и разложение войск», заменён генералом К. В. Сахаровым и зачислен в резерв Ставки. С 6 октября 1919 — военный министр. В январе 1920 вошёл в состав «Троектории» — комитета из трёх членов правительства, которые в Иркутске взяли на себя руководство деятельностью кабинета министров в условиях распада режима Верховного правителя А. В. Колчака. В январе 1920 смог эвакуироваться в Китай (двое других членов «Троектории», А. А. Червен-Водали и А. М. Ларионов, были расстреляны по приговору Чрезвычайного революционного трибунала при Сибирском революционном комитете в июне 1920).