El 29 de agosto de 1942 nació su hija Carmen Díez de Rivera, a la que nunca reconoció, fruto de una relación extramatrimonial con María Sonsoles de Icaza y de León, esposa de Francisco de Paula Díez de Rivera y Casares, marqués de Llanzol.