Hans temperament og progressive synspunkter skapte mam fiender blant de mer tradisjonelle deler i det romerske samfunn. Han angrep den franske keisers dobbeltspill, og fikk dermed også fiender i ledelsen til den franske okkupasjonshær. Lamoricières død den 19. september 1865 tillot fiendtligheten å komme til overflaten. I oktober 1865 ble han fritatt fra sin portefølje av den sterkt destabiliserte Pius IX, etter press innenfra (kardinal Antonelli) og utenfra. Han fikk bare beholde tittelen som en enkel .