Sus años en la corte de Madrid fueron complicados.