Varlet ble kalt tilbake til Paris for så å bli sendt til Persia. Pave Klemens XI utnevnte ham i 1718 til titulærbiskop av Ascalon og koadjutorbiskop i Babylon, det vil si det latinske erkebispedømme med sete i Bagdad. Den ordinære biskop der var Louis-Marie Pidou de Saint-Olon. Den 19. februar 1719 ble han bispeviet av Jacques de Goyon de Matignon, biskop av Condom. Medkonsekrerende var Louis-François Du Plessis de Mornay, koadjutorbiskop av Québec, og Jean-Baptiste Massillon, biskop av Clermont. Dagen etter kom nyheten til Paris om at biskop Pidou av Babylon var død på slutten av 1717 og at Varlet derfor med det samme var blitt hans etterfølger.