Il est né à Édimbourg le , fils aîné d'Alexander Gordon (4e duc de Gordon) et de sa femme, la célèbre Jane Gordon, duchesse de Gordon, née Lady Jane Maxwell. Il a fait ses études à Eton. Il est devenu un militaire de carrière et a atteint le rang de général. En tant que marquis de Huntly, il a servi avec les gardes en Flandre de 1793 à 1794. Il commanda le Gordon Highlanders, qui fut à l'origine levé par son père Alexander Gordon sous le nom de Régiment d'infanterie 1794 et renuméroté en 1798 . Il commanda le régiment en Espagne, en Corse, en Irlande et aux Pays-Bas de 1795 à 1799, où il a été grièvement blessé. Il commanda une division lors de l'Expédition de Walcheren en 1809.