Graham stammte aus einer schottischen Offiziersfamilie und trat nach seiner Schulzeit im Cheltenham College 1852 in die britische Armee ein, in der er den Rang eines Captains erreichte. Er war während seiner Dienstzeit mit der "28th Native Infantry" in Indien stationiert und nahm auf britischer Seite unter anderem an der Niederwerfung des Sepoy-Aufstands teil. 1859 quittierte er den Dienst, kehrte nach Europa zurück und erwarb 1862 in Dursley das "Oaklands House", das er nach dem schottischen Stammsitz seiner Familie in "Rednock House" umbenannte.