Inoue se convirtió en primer comandante de la Academia Naval Imperial Japonesa el 16 de agosto de 1888. Se convirtió en comandante en jefe de la flota de preparación el 29 de julio de 1889 y vicealmirante y comandante en jefe del Distrito Naval de Sasebo el 12 de diciembre de 1892. Permaneció a cargo de las fuerzas de reserva, y por lo tanto no vio ningún combate durante la Primera guerra sino-japonesa de 1895. Fue comandante en jefe del Distrito Naval de Kure desde el 26 de febrero de 1896 hasta el 20 de mayo de 1900. En noviembre de 1900, fue galardonado con la Orden del Sagrado Tesoro, primera clase. Inoue fue comandante en jefe del Distrito Naval de Yokosuka desde el 20 de mayo de 1901 hasta el 14 de enero de 1905. Fue ascendido a almirante el 12 de diciembre de 1901. En noviembre de 1905, fue galardonado con el Gran Cordón de la Orden del Sol Naciente.