Promovido al grado de general de ejército en 1903, Kuroki fue designado jefe del Primer Ejército japonés poco antes de estallar la guerra ruso-japonesa al año siguiente. Después de desembarcar sus hombres en la ciudad coreana de Chemulpo, cerca de Seúl, a mediados de febrero, Kuroki avanzó al norte y venció a una pequeña fuerza rusa en la batalla del río Yalu, librada entre el 30 de abril y el 1 de mayo de 1904. Luego mandó el flanco izquierdo durante la batalla de Liaoyang y pudo repeler un ataque desorganizado de los rusos entre el 25 de agosto y el 3 de septiembre del mismo año.