Siden den eldste sønnen til hertugen, Charles-Louis-Victor de Broglie, døde under terrorveldet, ble han etterfulgt av barnebarnet Victor de Broglie. Han døde i Münster i 1804.