George Brown nacque e fu educato ad Elgin in Scozia. Ottenne il brevetto di ufficiale nel 43º Reggimento di fanteria leggera del Monmouthshire (poi 1º Battaglione di fanteria leggera dell'Oxfordshire e Buckinghamshire) nel 1806, e fu promosso tenente pochi mesi dopo. Prestò servizio attivo per la prima volta nel mar Mediterraneo e, durante le guerre napoleoniche, a Copenaghen tra il 1806 e il 1807. Il 43º Reggimento fu uno dei primi ad arrivare in Spagna quando scoppiò la guerra d'indipendenza spagnola, e Brown fu a Vimeiro e nella ritirata di La Coruña.