L'85º Reggimento fu poi impiegato, al comando del generale Robert Ross (1766-1814) nella Guerra anglo-americana e Brown, che fu ferito gravemente nella battaglia di Bladensburg (24 agosto 1814), fu promosso tenente colonnello. All'età di venticinque anni, con un brillante curriculum militare, ricevette un incarico nelle "Royal Horse Guards" e rimase a Londra per più di venticinque anni in varie posizione dello stato maggiore. Fu promosso colonnello e cavaliere dell'Ordine reale guelfo nel 1831 e nel 1852 arrivò al grado di tenente generale e alla onorificenza di cavaliere commendatore dell'Ordine del bagno. Nel 1850 fu nominato "Adjutant-General to the Forces" ma, dopo la nomina di lord Hardinge al posto di comandante in capo, Brown lasciò le "Horse Guards" nel 1853.