1854 erhielt Brown das Kommando über die Leichte Division im Krimkrieg. In der Schlacht an der Alma wurde sein Pferd unter ihm erschossen und in der Schlacht bei Inkerman wurde er verwundet. Im Mai 1855 wurden die britische "Highland Brigade", die "Rifle Brigade", die "Royal Marines" und 8.500 französische Soldaten unter dem Kommando von Brown nach Kertsch im Südosten der Krim eingeschifft. Brown kehrte aber zurück, ohne die Stadt anzugreifen. Der Grund dafür war ein telegraphischer Befehl des französischen Kaisers. Das Verhältnis zwischen den Alliierten hatte durch den Abbruch der Expedition gelitten. Nach einer Verwundung kehrte er im Juni 1855 nach England zurück.