Von 1923 bis 1924 war Inoue Finanzminister im Kabinett Yamamoto II und bemühte sich um die Lösung von finanziellen Problemen bemühte, die aus dem Kantō-Erdbeben 1923 herrührten. 1927 wurde er wieder Gouverneur der Bank of Japan, 1928 schloss er sich der Partei Minseitō an und wurde zum zweiten Mal Finanzminister, diesmal im Kabinett Hamaguchi, anschließend im zweiten Kabinett Wakatsuki. Er setzte eine strikte deflationäre Politik durch, um auf den Goldstandard zurückkehren zu können. Dies verschlimmerte allerdings die bereits beträchtliche Depression in Japan. Das Kabinett trat im Dezember 1931 über die Mandschurei-Krise zurück.