Pero pronto el infante protagoniza un escándalo que involucra al pintor y trunca su carrera: en 1775 Carlos III castiga a don Luis por su promiscua vida íntima, ordenando su alejamiento de la corte, y Paret es acusado de ser su alcahuete y es desterrado a Puerto Rico.