Allí, sin embargo, no sólo se enfrentó con su antiguo amigo Casanova, sino que fue acusado por el duque de Choiseul, ministro de Asuntos exteriores del Rey Luis, de conspiración contra Francia, lo que precipitó su huida.