Den 2. desember 1875 truet presidenten av Rhinprovinsen med å forvise ham dersom han ikke fratrådte sitt embede som erkebiskop frivillig. Da erkebiskopen fant ut at man forberedte å forvise ham til Küstrin (da tysk, i dag vest i Polen), flyktet han 13. desember til det nærliggende Maastricht i Nederland der han tok tilflukt i et fransiskanerkloster. Derfra fortsatte han å lede sitt erkebispedømme, inntil han la ned sitt embede i 1885. Pave Leo XIII kalte ham til Roma og kreerte ham til kardinal, med Santo Stefano al Monte Celio som tittelkirke.