Deretter ble han britisk ambassadør i De forente stater med stasjonering i Washington fra 1803 til 1806. Han følte seg ikke velkommen, noe som fikk ham til å agere mot den amerikanske regjering. Dette førte til at han ble tilbakekalt av utenriksminister Charles James Fox, som fant hans diskusjoner med Aaron Burr mindre passende.