Tuvo seis hermanos, de los cuales únicamente sobrevivió Joaquín, con quien tuvo una estrecha relación durante toda su vida, y a quien cedió el condado de la Corzana para él y sus sucesores, casando con María de las Mercedes de Heredia y Zafra-Vázquez, III marquesa de los Arenales.