Den 22. desember 1891 ordinerte François-Marie-Benjamin Richard de la Vergne, erkebiskopen av Paris, Roland-Gosselin til diakon i Saint-Sulpice. Den 21. desember 1892 ordinerte Paul-François-Marie de Forges, emeritert hjelpebiskop i Rennes, ham til prest i Saint-Sulpice.