Trở thành đại tướng tháng 11 năm 1903, Kuroki được bổ nhiệm làm chỉ huy trưởng Tập đoàn quân số 1 khi Chiến tranh Nga-Nhật bùng nổ. Ông đã cho quân mình đổ bộ lên vịnh Chemulpo (ngày này là Inchon, Hàn Quốc) gần Seoul vào giữa tháng 2 rồi tiến lên phía bắc bao vây một lực lượng quân Nga nhỏ hơn trong Trận sông Áp Lục từ ngày 30 tháng 4 đến ngày 1 tháng 5 năm 1904. Trong Trận Liêu Dương từ 25 tháng 8 đến 3 tháng 9, ông đã chỉ huy cánh trái quân Nhật đẩy lùi một đợt tấn công thiếu tổ chức của quân Nga.