Kido innså at Japan ikke var i noen posisjon til å utfordre de vestlige makter i landets nåværende tilstand. Han kom tilbake til Japan akkurat i tide til å forhindre en invasjon av Korea (Seikanron). Kido trakk seg fra regjeringen og han mistet dermed sin dominerende posisjon i protest mot den japanske Taiwan-ekspedisjonen i 1874, som han hadde kjempet iherdig for å forhindre. Han var også ansvarlig for opplæringen til den unge keiseren Meiji.