Se alegó el despilfarro en que incurrió para ser apartado y sustituido de las obras por un arquitecto más tratable, que fundamentalmente se dedicó a seguir el proyecto elaborado por Mansart.