Desde la audiencia privada que tuvo con el papa Pío IX el 18 de abril de 1864, ya con el título imperial por haber aceptado días antes la Corona de México, los vínculos con la Iglesia comenzaron a deteriorarse.