Boshin-sodan jälkeen perustettiin uusi Japanin keisarillinen armeija, jonka riveihin Kuroki liittyi kapteenina. Hänet ylennettiin pian everstiluutnantiksi ja vuonna 1877 hän komensi tykmenttiä oman klaaninsa joukkoja vastaan Satsuman kapinan aikana. Vuonna 1894 Kuroki komenski nyt kenraaliluutnantiksi ylenneenä Japanin 6. divisioonaa ensimmäisen Kiinan–Japanin sodan aikana. Kurokiista tuli edelleen Japanin 1. armeijan komentaja ja hänet ylennettiin kenraaliksi marraskuussa 1903. Seuraavana vuonna syttyi Venäjän–Japanin sota, jonka aikana Kuroki johti ensin joukkonsa Koreaan. Hänen komentamansa joukot ottivat useita voittoja venäläisistä Jalujoella, Liaoyangissa, Shahossa ja lopulta Mukdenissa.