En 1801 se casa con Catherine Grand, una francesa nativa de la India, ello debido a que Napoleón Bonaparte lo presionaba para tener una esposa y en 1803 adquiere el suntuoso Castillo de Valençay a expensas del mismo Napoleón, el cual serviría como una suerte de prisión para la realeza española durante un tiempo, cuando Francia invadiese España, deponiendo a sus reyes en el proceso, pero que la mayor parte del tiempo sería su residencia oficial.