Gordon nació en Woolwich, Londres, hijo del mayor general Henry William Gordon (1786-1865) y de Elizabeth (Enderby) Gordon (1792-1873).