1845年6月18日、ポーリーヌ・ド・ガラール・ド・ブラサック・ド・ベアルンと結婚し、二人の間には、ルイ・アルフォンス・ヴィクトル・ド・ブロイ（第5代ブロイ公）、モーリス、アンリ・アメデ・ド・ブロイ、フランソワ・マリー・アルベール、セザール・ポール・エマヌエルの5男が生まれた。
1982年2月20日，他与EmiliaAlfaro结婚，两人育有四个孩子：LuisFedericoFranco,ClaudiaVanessa,IvanAlexander及EnzoSebastian。