El titular de la abadía, Jean de Caulet, muerto obispo de Grenoble, adivinó las disposiciones del joven Mercier y le dedicó atención preferente; de vuelta a París en 1754, se aproximó a Pingré, bibliotecario de Sainte-Geneviève y se convirtió en su colaborador y sucesor en 1760; tuvo este cargo doce años con celo infatigable; atrajo la atención de Luis XV tras una visista del monarca y fue nombrado en 1764 para la abadía de Saint-Léger de Soissons en recompensa a sus servicios a las bellas letras.