Después se hizo miembro del "Secret du Roi", el Servicio secreto bajo Luis XV, donde su habilidad como diplomático alcanzó su máxima expresión. En 1770 se le encomendó una misión en Polonia ante la Confederación de Bar donde, aparte de su trabajo político, organizó una milicia polaca. El 23 de mayo su formación polaca fue aplastada por las fuerzas rusas del general Alexander Suvorov en la batalla de Lanckorona. Entretanto la caída de Choiseul (1770) provocó su regreso, y poco después fue encarcelado en la Bastilla, donde pasó seis meses, ocupándose en actividades literarias. Fue posteriormente enviado a Caen, donde estuvo retenido hasta el ascenso de Luis XVI en 1774.