A partir de 1797, comienza una etapa como diplomático en Francia, a petición de Adams, en el caso XYZ, en el cual los estadounidenses casi llegan a un conflicto bélico con los franceses por interceptar sus barcos rumbo a Reino Unido, y casi se comienza una guerra, al regresar fue recibido por un país entusiasmado por su decisión ante los franceses, al rehusarse a pagarle tributo a las autoridades, diciendo: ""Millions for defense, but not one cent for tribute"" (Millones para la defensa, pero ni un centavo para tributo), frase que fue usada como eslogan, aunque se dice que el verdadero autor de la frase fue el compañero de Marshall, Charles Cotesworth Pinckney.