En 1817 las tensiones se incrementaron entre de Broglie y la casa de Orange y el obispo fue depuesto y expulsado del país.