En 1757 se enamora apasionadamente de madame Sophie d'Houdetot, compitiendo con su otro amante, el poeta y académico Jean François de Saint-Lambert, pero su relación no llega a ser más que platónica.