Gordon var sønn av en generalmajor og gjennomgikk Krigsakademiet i Woolwich og mottok sin offisersutnevnelse 1852 som fenrik i ingeniørtroppene.