セルゲイ・ウィッテ
ロシアは一方で清国との交渉を進め、同年4月に満洲還付条約を結んで3段階に分けてロシア軍を満洲から撤兵させることを約束した。しかし、第2次撤兵以降の約束は果たされず、そのため日本やイギリスとの関係はきわめて悪化した。ウィッテ自身は、清国におけるロシアの利権獲得は鉄道利権に限るべきとする見解をつねづね表明し、それ以上の領土・権益を求めることには反対してきたが、満洲撤退条約の規定そのものが満洲政策の挫折と受け止められていた。そして、ウィッテこそロシア極東政策の推進者であるという認識がロシア国内では抜きがたく定まっていたため、彼の国内での地位もまた大いに揺らいだのである。
陸軍大臣のクロパトキンはもともと、ロシアの勢力圏が保障されるまではロシア軍の満洲駐留を継続すべきであるという意見であり、その点ではウィッテやラムスドルフ外相とは対立していた。強硬派による満洲撤兵反対論はきわめて強固であり、ウィッテもラムスドルフも結局、北満洲の占領継続はやむをえないという見解に落ち着くほかなかった。
一方、ウィッテ、ラムスドルフ、クロパトキンの3大臣は日本を刺激しなければ戦争は回避できるという考えでは一致していた。このときウィッテが最優先と考えたのは、門戸開放を唱えてロシアの満洲占有を厳しく批判するアメリカが日英同盟の陣営に加わらないことであった。なお、ウィッテは、1902年夏、サンクトペテルブルクを訪問した元老の松方正義と会談しており、日露関係改善について協議している。クロパトキンも日本軍との対決は極力避けるべきという考えに立つようになり、1903年の訪日時には桂太郎首相らと会談した。
ベゾブラーゾフもまた、ウィッテの運営する鉄道のサービスのひどさをこきおろしたり、かれがユダヤに近いこと、出世するのはユダヤ人とポーランド人ばかりだということ、彼の闇取引による蓄財、また、最初の妻への仕打ちなど、さまざまな誹謗中傷を展開した。
1903年8月、皇帝ニコライ2世の専断により、ウィッテ蔵相・ラムスドルフ外相およびクロパトキン陸相のあずかり知らぬところで旅順に極東総督府が設置され、ベゾブラーゾフ一派のエヴゲーニイ・アレクセーエフ関東州駐留軍司令官が極東総督(ロシア語版)に任じられ、同月16日、ウィッテは蔵相を解任された。ニコライ2世は、日本との妥協を拒否する新方針を携え、こもっていた修道院から姿を現し、「これより余が統治する」との言葉を日記に残した。ベゾブラーゾフが朝鮮半島で通商面で攻勢をかけようとしていることを皇帝は称えた。
ウィッテには大臣委員会議長への転出が命じられ、1905年10月までその職にあった。一見昇進のようにもみえるこの人事はしかし、内閣制度が確立していない当時のロシアにあっては権限の少ない閑職への左遷であり、ウィッテの政治的失脚にほかならなかった。ウィッテの蔵相解任が政敵の圧力下で行われたことであることは確かなことであるが、しかし、歴史家のニコラス・ヴァレンタイン・リアサノフスキー(英語版)とロバート.K.マッシーは、ロシアの対韓国政策についてウィッテが反対したことが失脚につながったとみている。
ウィッテの失脚は、伊藤博文や松方正義といった日本国内の対露協調派に大きな衝撃をあたえた。