Graham was die tweede seun van Robert Graham, laaste laird van die Fintry-landgoed en 12de verteenwoordiger van die Grahams van Fintry, in Forfarshire, noord van Glasgow, en sy eggenote, Peggy Mylne. Hy het gestam uit 'n ou en adellike geslag wat afstam van die eerste graaf van Montrose, en oorspronklik van sir William Grame, laird van Kincardine in die vroeë 15de eeu.
Op sestienjarige leeftyd het John Graham as luitenant by die 90th Regiment aangesluit wat 'n familielid, Thomas Graham van Balgowan (later lord Lynedoch), in 1794 op die been gebring word. In 1795 vertrek hy aan die hoof van 'n afdeling na Isle de Dun aan die Franse kus, maar weens swak gesondheid het hy in die volgende jaar na Brittanje teruggekeer. Later het hy diens onder kol. Graham van Balgowan gedoen en in 1799 was hy lid van graaf Hood se ekspedisie na Toulon. In dieselfde jaar is hy aangestel as aide-de-camp van die graaf van Chatham, en in September vertrek hy na Holland.
Tot hy in 1803 na Ierland gestuur is, het hy van Oktober 1800 af met sy regiment diens gedoen op die eiland Guernsey. In Ierland het hy assistent-kwartiermeester-generaal geword en in Januarie 1806 het hy as majoor van die 93rd Regiment by Blouberg aan die Britse verowering van die Kaap gedien. Hierna het hy opdrag gekry om met behulp van lede van die Hottentotkorps wat in 1804 tydens die bewind van genl. J.W. Janssens ontstaan het, die Cape Corps (ook bekend as Cape Regiment, Hottentot Regiment of Hottentot Light Infantry) op die been te bring.
Op 26 Januarie 1806 het hy bevelvoerder met die rang luitenant-kolonel van hierdie regiment geword wat naas die blanke burgers in die Vierde Grensoorlog (1811–'12) 'n rol van besonderse betekenis onder sy leiding sou speel. Hy het die regiment, wat tot 1811 sy hoofkwartier in die militêre kamp in Wynberg gehad het, op bekwame wyse uitgebou as 'n eenheid van die ligte infanterie wat in 'n bosryke terrein uitstekende diens sou lewer.