第2代アボイン伯爵チャールズ・ゴードンとエリザベス・ライアン(、1739年1月没、の娘)の息子として生まれた。