Su esposa, María Teresa de Borbón y Vallabriga, prima de Carlos IV y condesa de Chinchón, con quien casó en 1797, lo abandonó cansada de su constante infidelidad con Pepita Tudó, para la que Godoy había solicitado los títulos de condesa de Castillofiel y vizcondesa de Rocafuerte con el fin de que ambos títulos pudieran ser transmitidos a los dos hijos extramatrimoniales que había tenido con ella.