El fallecimiento en 1766 de Isabel de Farnesio, madre de don Luis, complicó la situación: el infante heredó de ella un importante patrimonio, lo cual coincidió con un relajamiento de su vida íntima; mantuvo relaciones con varias mujeres del pueblo llano, lo que desembocó en el nacimiento de al menos dos hijos ilegítimos y además él contrajo una enfermedad venérea, posiblemente sífilis.