Senere tjenestegjorde Inoue i landbruks- og handelsdepartementet i Kurodaadministrasjonen. Fra 1901 ble han betraktet som den japanske regjeringens fremste rådgiver når de trengte hjelp og råd angående økonomiske anliggender. Han døde i september 1915, 79 år gammel, mens han befant seg i sitt sommerhus ved Okitsu-Juku i prefekturet Shizuoka.