Godoy estaba casado con María Teresa Josefa de Borbón y Vallabriga, XV condesa de Chinchón y I condesa de Boadilla del Monte, pero mantuvo hasta el final de su vida su relación con Pepita.