Era el hijo mayor de Victor, 3º Duque de Broglie, un político y aristócrata que ejerció de Primer Ministro durante la Monarquía de julio.