Le décès de Kido Takayoshi en 1877 suivi de l'assassinat en 1878 de son supérieur, le ministre de l'Intérieur Ōkubo Toshimichi, lui permet de succéder à ce dernier. Dès lors, plus rien n'entrave son "cursus honorum". Jusqu'en 1888, il est Premier ministre du Japon, poste qu'il occupe quatre fois, notamment durant la guerre sino-japonaise (1894-1895). Il participe au projet de la Constitution de 1889 et à la mise en place d'un parlement bicaméral. En 1889, il fonde l'un des premiers partis politiques japonais, le . Il est l'un des représentants du Japon durant la signature du traité de Shimonoseki, qui marque la fin de la guerre sino-japonaise et permet au Japon d'annexer nombre de territoires jusque-là sous autorité chinoise.