Mistenkt for liberale tendenser ble han etter et oppsiktsvekkende offentlig ble bannlyst med det større bannet - ekskommunikasjon -i 1869. Han gikk så tilbake til navnet Charles Loyson.