In this task, you are given a paper review. Based on the review, your job is to identify language and generate "en" if the review is in English or generate "es" if the review is in Spanish. Note that URLs in the text have been replaced with [Link].
--------
Question: El artículo presenta una propuesta de un modelo para evaluar la calidad de productos de software para video conferencias basado en open source. Si bien es cierto es tema es de interés y la propuesta tiene elementos de interés, el artículo presenta algunas oportunidades de mejora que deberían ser abordadas antes de su aceptación.  Contenido: - El apartado de "Antecedentes" provee muy poca información para ser un apartado como tal. Se recomienda explicar brevemente el sustento teórico que entregan las investigaciones base utilizadas.  - En varias ocasiones se menciona que también se definieron métricas, pero en ningún momento se entrega alguna referencia respecto a dónde pueden ser vistas en detalles si el lector está interesado. Además, en la página 5 se indica que son 73 métricas, luego en la pág. 7 se dice que son 72 y en las conclusiones sólo se resaltan 68.  - Sugiero que la sección "Algoritmo para aplicar el Modelo de Calidad..." sea apoyado por algún diagrama para representar algoritmos, por ejemplo, un diagrama de flujo o de actividades, ya que el texto es algo confuso y no permite entender de manera fácil el algoritmo propuesto.  - No queda claro cómo se determinaron los valores de la Tabla 4.  - No queda claro cómo se aplicó el modelo, ¿cómo se calculan los porcentajes de la Tabla 5?  - La tablas 2 y 3 son muy extensas lo cual provoca que el lector se pierda un poco del contexto analizado. Sugiero separarlas en diferentes tablas (separar la tabla 2 por categoría y la tabla 3 por características)  Formato:  - En el apartado "Metodología" dice "...el objeto se define...." creo que debe decir "...el objetivo se define..."  - El nombre de la figura 1 presenta un error. Dice "Caliad" en lugar de "Calidad"  - El abstract en inglés no incorpora todo lo que dice en su versión en español (no se indica nada de las métricas)  - El formato de referencias bibliográficas indica que se numera según el orden de aparición, y en el artículo se parte por la referencia 6, luego del 6 salta al 13.  - Hay artículos mencionados en la sección de referencias que nunca son referenciadas en el texto del artículo.  - En la pág. 7 hay un error en el formato de las referencias, debe ser formato numerado, y aquí aparece "(Basili et. al., 2001)

Answer: es


Question: This paper proposes a neural network architecture that represent structural linguistic knowledge in a memory network for sequence tagging tasks (in particular, slot-filling of the natural language understanding unit in conversation systems). Substructures (e.g. a node in the parse tree) is encoded as a vector (a memory slot) and a weighted sum of the substructure embeddings are fed in a RNN at each time step as additional context for labeling.  -----Strengths-----  I think the main contribution of this paper is a simple way to "flatten" structured information to an array of vectors (the memory), which is then connected to the tagger as additional knowledge. The idea is similar to structured / syntax-based attention (i.e. attention over nodes from treeLSTM); related work includes Zhao et al on textual entailment, Liu et al. on natural language inference, and Eriguchi et al. for machine translation. The proposed substructure encoder is similar to DCNN (Ma et al.): each node is embedded from a sequence of ancestor words. The architecture does not look entirely novel, but I kind of like the simple and practical approach compared to prior work.  -----Weaknesses-----  I'm not very convinced by the empirical results, mostly due to the lack of details of the baselines. Comments below are ranked by decreasing importance.  -  The proposed model has two main parts: sentence embedding and substructure embedding. In Table 1, the baseline models are TreeRNN and DCNN, they are originally used for sentence embedding but one can easily take the node/substructure embedding from them too. It's not clear how they are used to compute the two parts.  - The model uses two RNNs: a chain-based one and a knowledge guided one. The only difference in the knowledge-guided RNN is the addition of a "knowledge" vector from the memory in the RNN input (Eqn 5 and 8). It seems completely unnecessary to me to have separate weights for the two RNNs. The only advantage of using two is an increase of model capacity, i.e. more parameters. Furthermore, what are the hyper-parameters / size of the baseline neural networks? They should have comparable numbers of parameters.  - I also think it is reasonable to include a baseline that just input additional knowledge as features to the RNN, e.g. the head of each word, NER results etc.  - Any comments / results on the model's sensitivity to parser errors?  Comments on the model:  - After computing the substructure embeddings, it seems very natural to compute an attention over them at each word. Is there any reason to use a static attention for all words? I guess as it is, the "knowledge" is acting more like a filter to mark important words. Then it is reasonable to include the baseline suggest above, i.e. input additional features.  - Since the weight on a word is computed by inner product of the sentence embedding and the substructure embedding, and the two embeddings are computed by the same RNN/CNN, doesn't it means nodes / phrases similar to the whole sentence gets higher weights, i.e. all leaf nodes?  - The paper claims the model generalizes to different knowledge but I think the substructure has to be represented as a sequence of words, e.g. it doesn't seem straightforward for me to use constituent parse as knowledge here.  Finally, I'm hesitating to call it "knowledge". This is misleading as usually it is used to refer to world / external knowledge such as a knowledge base of entities, whereas here it is really just syntax, or arguably semantics if AMR parsing is used.  -----General Discussion-----  This paper proposes a practical model which seems working well on one dataset, but the main ideas are not very novel (see comments in Strengths). I think as an ACL paper there should be more takeaways. More importantly, the experiments are not convincing as it is presented now. Will need some clarification to better judge the results.  -----Post-rebuttal-----  The authors did not address my main concern, which is whether the baselines (e.g. TreeRNN) are used to compute substructure embeddings independent of the sentence embedding and the joint tagger. Another major concern is the use of two separate RNNs which gives the proposed model more parameters than the baselines. Therefore I'm not changing my scores.

Answer: en


Question: Interesante propuesta de desarrollo de un vídeo juego para tratar el deterioro cognitivo del adulto mayor. Se ve como una propuesta novedosa, y que abre un nuevo campo de desarrollo de video juegos. Desde este sentido se considera un aporte al congreso.  Sin embargo, lo que el paper presenta es todavía una propuesta en desarrollo, por lo que todavía no se puede validar el enfoque del proyecto, lo cual se presenta como trabajo futuro. Por lo mismo, tampoco queda muy claro como encajaría el uso del video juego dentro de una estrategia mayor del tratamiento del deterioro mental de los adultos mayores, dentro de la cual el juego debería ser una herramienta más.  Por último, hay algunas afirmaciones que no están debidamente respaldadas por evidencias en el paper, tales como: "cuando hay tareas complejas es mucho más difícil para el joven que para el adulto mayor, ya que el adulto mayor tiene la experiencia mientras que el entrenamiento es sólo práctico"

Answer:
es