In this task, you are given a paper review. Based on the review, your job is to identify language and generate "en" if the review is in English or generate "es" if the review is in Spanish. Note that URLs in the text have been replaced with [Link].

[EX Q]: Este artículo presenta una comparación, en base a una lista de criterios, de dos enfoques de bases de datos: relacional vs. temporal.  El artículo en general tiene un orden lógico y es legible. No obstante, la comparativa presenta al menos dos inconvenientes:  1) falta mucha información de cómo se obtuvieron los resultados de las tablas 3 y 4. Debe existir una descripción suficientemente detallada para luego poder replicar el trabajo.  2) El caso de estudio que se presenta forma la base de la comparación. Una real comparación debe sustentarse en una variedad de casos y dominios, para poder luego concluir con una base más amplia.  Sugiero abordar estos dos aspectos primero para sustentar mejor los resultados y conclusiones.
[EX A]: es

[EX Q]: El artículo trata la construcción de sistemas de recuperación de imágenes basada en el contenido (de las imágenes), CBIR. Se introduce el problema del CBIR y se presentan algunos algoritmos que permiten acelerar las búsquedas de vecinos más cercanos a un vector de entrada (correspondiente a una imagen) en el espacio de características elegido para representar las imágenes.  Se utilizan características basadas en el color, la respuesta en frecuencia y globales para cada uno de los cuadros locales en los que se divide una imagen de entrada. De esta forma se introduce información de diferentes tipos al sistema CBIR para representar las imágenes.  - El artículo no delimita claramente sus aportaciones. Parece que se aporta algo en cuanto al espacio de características en el que se representan las imágenes y también parece que aporta algo en los algoritmos y estructuras de datos necesarias para acelerar las búsquedas en espacios métricos.  - En general el artículo emplea poco espacio en explicar la aproximación propuesta a CBIR (se dan dos referencias a tesis de máster). En las conclusiones se presentan resultados experimentales, cuando claramente deberían ir en una sección anterior con los experimentos.  - En cuanto a las características visuales empleadas para representar una imagen:    Se echan en falta experimentos que permitan establecer lo que aporta cada una de las características que se plantea utilizar. Esto es, creo que es importante responder a la pregunta ¿Por qué estas y no otras? y también a la pregunta ¿Es alguna de ellas redundante y se podría dejar de utilizar? Si bien es cierto que se utiliza un procedimiento de selección de características, se echa de menos un experimento estableciendo cuál es el efecto de la selección ¿Cuánto se gana en tasa de acierto sobre la utilización del vector completo?  Parece que el espacio de características después de la selección tiene una dimensión de 3078 (sección 2.4). ¿Es así o las 3078 características se han extraído "manualmente"?  - No se entiende el experimento de comparación de sistemas CBIR (sección 2.3). ¿Qué se hace con las 100 imágenes comunes a las bases de datos? ¿Se hace la misma query en todos los sistemas y se mide la precisión y recall utilizando únicamente las 100 imágenes comunes cuando aparecen o no en la respuesta del sistema? Eso no está explicado en absoluto en el artículo.  - Cuando se da un dato como la sensibilidad y especificidad en las conclusiones, hay que decir sobre qué conjunto de datos se ha probado. Es posible hacer una prueba sobre unos datos y obtener un resultado completamente diferente sobre otros. Por tanto sensibilidad y especificidad sin referencia a los datos de los que se ha obtenido carecen de sentido.  - A este revisor le parece que un artículo sobre CBIR no debería pasar por alto desarrollos en Visión por Computadora basados en características locales (ya clásicos) como:    Sivic, J. and Zisserman, A.   Video Google: A Text Retrieval Approach to Object Matching in Videos   Proceedings of the IEEE International Conference on Computer Vision (2003)    D. Nistér and H. Stewénius,   Scalable recognition with a vocabulary tree   Proceedings of the IEEE International Conference on Computer Vision and Pattern Recognition (2006)    - Algunas de las referencias, como la [10,11,13], están incompletas ¿A qué se refieren? ¿Un artículo? ¿Un sistema de ejemplo funcionando en una URL?    - El sistema funcionando en la URL que refieren los autores da fallos de ejecución cuando se intenta probar con imágenes extraídas de google images.
[EX A]: es

[EX Q]: - Strengths: This paper proposes an evaluation metric for automatically evaluating the quality of dialogue responses in non-task-oriented dialogue. The metric operates on continuous vector space representations obtained by using RNNs and it comprises two components: one that compares the context and the given response and the other that compares a reference response and the given response. The comparisons are conducted by means of dot product after projecting the response into corresponding context and reference response spaces. These projection matrices are learned by minimizing the squared error between the model predictions and human annotations.  I think this work gives a remarkable step forward towards the evaluation of non-task-oriented dialogue systems. Different from previous works in this area, where pure semantic similarity was pursued, the authors are going beyond pure semantic similarity in a very elegant manner by learning projection matrices that transform the response vector into both context and reference space representations. I am very curious on how your projection matrices M and N differ from the original identity initialization after training the models. I think the paper will be more valuable if further discussion on this is introduced, rather than focusing so much on resulting correlations.   - Weaknesses:  The paper also leaves lots questions related to the implementation. For instance, it is not clear whether the human scores used to train and evaluate the system were single AMT annotations or the resulting average of few annotations. Also, it is not clear how the dataset was split into train/dev/test and whether n-fold cross validation was conducted or not. Also, it would be nice to better explain why in table 2 correlation for ADEM related scores are presented for the validation and test sets, while for the other scores they are presented for the full dataset and test set. The section on pre-training with VHRED is also very clumsy and confusing, probably it is better to give less technical details but a better high level explanation of the pre-training strategy and its advantages.  - General Discussion:  “There are many obvious cases where these metrics fail, as they are often incapable of considering the semantic similarity between responses (see Figure 1).” Be careful with statements like this one. This is not a problem of semantic similarity! Opposite to it, the problem is that completely different semantic cues might constitute pragmatically valid responses. Then, semantic similarity itself is not enough to evaluate a dialogue system response. Dialogue system response evaluation must go beyond semantics (This is actually what your M and N matrices are helping to do!!!)   “an accurate model that can evaluate dialogue response quality automatically — what could be considered an automatic Turing test —“ The original intention of Turing test was to be a proxy to identify/define intelligent behaviour. It actually proposes a test on intelligence based on an “intelligent” machine capability to imitate human behaviour in such a way that it would be difficult for a common human to distinguish between such a machine responses and actual human responses. It is of course related to dialogue system performance, but I think it is not correct to say that automatically evaluating dialogue response quality is an automatic Turing test. Actually, the title itself “Towards an Automatic Turing Test” is somehow misleading!  “the simplifying assumption that a ‘good’ chatbot is one whose responses are scored highly on appropriateness by human evaluators.” This is certainly the correct angle to introduce the problem of non-task-oriented dialogue systems, rather than “Turing Test”. Regarding this, there has been related work you might like to take a look at, as well as to make reference to, in the WOCHAT workshop series (see the shared task description and corresponding annotation guidelines).  In the discussion session: “and has has been used” -> “and it has been used”
[EX A]:
en