Da han kom tilbake til England ble han opphevet til den britiske adelsstanden som vicomte Gordon av Aberdeen i grevskapet Aberdeen, også i 1814, og ble gjort til medlem av Det kongelige råd. I juli 1815 giftet han seg for annen gang, nå med Harriet, datter av John Douglas, og enke etter James, vicomte Hamilton I løpet av de neste 13 årene hadde Aberdeen en mindre framtredende plass i politikken.