Han var i slekt med Granville Gordon. Han var sønn av James Gordon og Elsie født Riach. Han fikk sin utdannelse fra St Aloysius' College i Glasgow og University of Glasgow, der han tok graden Master of Arts i klassiske fag i 1958.