Su primera esposa y madre de sus hijos, Úrsula de Lubice, muere en 1758 y Juan se casa en segundas nupcias en 1769 con su sirvienta, Dominique de Elizagaray.