Han ble arrestert i 1652 og holdt i fangenskap først i Vincennes, senere i Nantes. I 1654 lyktes det ham å flykte fra Nantes, og han førte i de neste årene et omflakkende liv i utlandet. Etter Mazarins død i 1661 ga Ludvig XIV ham tillatelse til å vende tilbake til Frankrike, hvor han ga avkall på erkebispedømmet og i stedet ble utnevnt til abbed i Saint-Denis.