En sogneprest sendte i 1902 en kritisk rapport til ham der han ble anklaget å være frimurer. Rapporten ble sendt til den pavelige nuntius i Paris, erkebiskop Benedetto Lorenzelli, og så videresendt til Pavestolens kardinalsekretær Mariano Rampolla. Under Rampollas etterfølger, Rafael Merry del Val, ble Le Nordez i 1904 innkalt til Roma, for rådføringer med den nye pavem Pius X. Biskop Le Nordez dro til Roma i juli, med stor publisitet i fransk presse, så vel som i andre land - også i USA, og ble holdt «i retrett» etter ankomsten.