明治六年政変
しかし、日本側が一旦帰国した森山からの報告を受けた後に、大阪会議や佐賀の乱への対応で朝鮮問題が後回しにされて「九月協定」への了承を先延ばしにしているうちに、朝鮮では大院君側が巻き返しを図り再び攘夷論が巻き起こったのである。このため、明治8年(1875年)2月から始められた細部を詰めるための2次交渉は全く噛み合わない物になってしまった。しかも交渉は双方の首都から離れた倭館のある釜山で開かれ、相手側政府の状況は勿論、担当者が自国政府の状況も十分把握できない状況下で交渉が行われたために相互ともに相手側が「九月協定」の合意内容を破ったと非難を始めて、6月には決裂した。
一方、日本政府と国内世論は士族反乱や立憲制確立を巡る議論に注目が移り、かつての征韓派も朝鮮問題への関心を失いつつあった。このため、8月27日に森山特使に引上げを命じて当面様子見を行うことが決定したのである。その直後に江華島事件が発生、その結果日朝修好条規を締結することになる。
明治6年(1873年)になると、大蔵省とその他官庁の軋轢は、予算を巡ってますます強くなった。あまりの混乱に1月19日には木戸・大久保に対して早期帰国の命令が下った。4月、井上は正院を改革して大蔵省の権力を強めようともくろんだが、4月19日に新たな参議となったのは司法卿江藤新平・文部卿大木喬任・左院議長後藤象二郎という反大蔵省の人物ばかりであり、井上は参議となれなかっただけでなく、各省の権限が正院に移されたことで、大蔵省の権力はかえって弱まった。これを受けて井上とその腹心渋沢栄一は大蔵省を辞任し、また従来木戸派であった大隈重信が留守政府に接近し、陸軍で木戸派を代表していた山縣有朋が一時失脚したことで、木戸派が中央政界に与える影響力は著しく減退した。
しかし留守政府派といっても反大蔵省以外の結束理由があったわけではなく、また病気がちの西郷隆盛も青山の別荘に籠もりきりで、各参議はそれぞれ勝手な行動を行う状況だった。大久保は5月29日に帰国したが、留守政府に不満を持っていたため意図的に復帰せず、岩倉の帰国まで様子見に徹し国内の視察旅行に出かけている。