Som utenriksminister er han mest husket for hans sterke føderalistiske bånd til engelske saker samt viljen til å føre krig mot Frankrike i tjeneste av disse sakene under Adams-administrasjonen, spesielt etter den såkalte XYZ-affæren. Etter en krangel med president John Adams over Adams plan om å skape fred med Frankrike ble Pickering avskjediget fra embetet i midten av mai 1800 mot Pickerings egen vilje.