Graham var født i Dundee i Skottland. Han var den andre sønnen av Robert Graham. 16 år gammel gikk Graham inn i hæren hvor han sluttet seg til det 90. regiment som ble opprettet av hans slektning, Thomas Graham av Balgowan (senere lord Lynedoch). To felttog til Frankrike sent i 1790–årene ble etterfulgt av hans utnevning som adjutant for jarlen av Chatham som Graham tjente i De forente Nederlandene. Etter tre år på Guernsey med sitt regiment, ble Graham sendt til Irland i 1803 og ble assisterende intendantur–general.