Casó con Mariana Ramírez de Velasco en 1750, con la que no tuvo hijos, aunque adoptaron a una niña, María Rosa Antonia, posiblemente su hija natural, que llegaría a ser autora de teatro de notable éxito en la corte de Carlos IV.