Im Alter von 55 Jahren erlebte Scarlett seine erste Schlacht, die Schlacht bei Balaklawa. Diese erlangte Berühmtheit durch zwei in den britischen Sprachgebrauch eingegangene Ereignisse, "The Thin Red Line" und die "Attacke der Leichten Brigade". Scarlett führte die weniger bekannte Attacke der Schweren Brigade. Diese hatte jedoch, im Vergleich zur Attacke der Leichten Brigade, entscheidenden Anteil am Ausgang der Schlacht. Scarlett griff mit 800 Mann ca. 3.000 Russen an. Scarlett wurde für die erfolgreiche Attacke zum Generalmajor befördert und zum Knight Commander of the Order of the Bath ernannt. Nach einem kurzen Aufenthalt in der Heimat kehrte er als Brevet-Generalleutnant auf die Krim zurück, um das Kommando über die gesamte britische Kavallerie zu übernehmen.