In this task, you are given a paper review. Based on the review, your job is to identify language and generate "en" if the review is in English or generate "es" if the review is in Spanish. Note that URLs in the text have been replaced with [Link].

Q: Paper Summary:  This paper presents a new comprehension dataset called NewsQA dataset, containing 100,000 question-answer pairs from over 10,000 news articles from CNN. The dataset is collected through a four-stage process -- article filtering, question collection, answer collection and answer validation. Examples from the dataset are divided into different types based on answer types and reasoning required to answer questions. Human and machine performances on NewsQA are reported and compared with SQuAD.  Paper Strengths:  -- I agree that models can benefit from diverse set of datasets. This dataset is collected from news articles, hence might pose different sets of problems from current popular datasets such as SQuAD. -- The proposed dataset is sufficiently large for data hungry deep learning models to train.  -- The inclusion of questions with null answers is a nice property to have. -- A good amount of thought has gone into formulating the four-stage data collection process. -- The proposed BARB model is performing as good as a published state-of-the-art model, while being much faster.      Paper Weaknesses:  -- Human evaluation is weak. Two near-native English speakers' performance on 100 examples each can hardly be a representative of the complete dataset. Also, what is the model performance on these 200 examples? -- Not that it is necessary for this paper, but to clearly demonstrate that this dataset is harder than SQuAD, the authors should either calculate the human performance the same way as SQuAD or calculate human performances on both NewsQA and SQuAD in some other consistent manner on large enough subsets which are good representatives of the complete datasets. Dataset from other communities such as VQA dataset (Antol et al., ICCV 2015) also use the same method as SQuAD to compute human performance.  -- Section 3.5 says that 86% of questions have answers agreed upon by atleast 2 workers. Why is this number inconsistent with the 4.5% of questions which have answers without agreement after validation (last line in Section 4.1)? -- Is the same article shown to multiple Questioners? If yes, is it ensured that the Questioners asking questions about the same article are not asking the same/similar questions? -- Authors mention that they keep the same hyperparameters as SQuAD. What are the accuracies if the hyperparameters are tuned using a validation set from NewsQA? -- 500 examples which are labeled for reasoning types do not seem enough to represent the complete dataset. Also, what is the model performance on these 500 examples? -- Which model's performance has been shown in Figure 1? -- Are the two "students" graduate/undergraduate students or researchers? -- Test set seems to be very small. -- Suggestion: Answer validation step is nice, but maybe the dataset can be released in 2 versions -- one with all the answers collected in 3rd stage (without the validation step), and one in the current format with the validation step.   Preliminary Evaluation:  The proposed dataset is a large scale machine comprehension dataset collected from news articles, which in my suggestion, is diverse enough from existing datasets that state-of-the-art models can definitely benefit from it. With a better human evaluation, I think this paper will make a good poster.

A: en
****
Q: Los datos abiertos de Chile Este trabajo analiza de manera general un tema que ha adquirido real relevancia en los gobiernos a nivel mundial, los datos abiertos.  La problemática que aborda el artículo está sustentada adecuadamente en las necesidades que existen de proveer datos para evaluar la transparencia y el interés público. Se realiza una investigación aplicada a las principales plataformas web gubernamentales  en Chile. El objetivo está declarado por el autor  y establece que se  presenta el estado de los datos abiertos en Chile y se realiza un diagnóstico  de los principales sitios y herramientas provistas por el estado para mejorar la transparencia y potenciar la participación  ciudadana. La revisión bibliográfica es relevante al tema pero bastante general. El modelo que se utiliza para medir la calidad de los datos en la web  es elegido sin justificar a través de  un análisis que establezca su eficiencia en comparación a otros modelos.  La revisión que se realiza del concepto de datos abiertos es mínima y no está  presente en la revisión realizada como este tema ha sido abordado en diferentes países y  los resultados que han obtenido. Los autores deberían  profundizar más el concepto de datos abiertos a nivel gubernamental para transparencia y  el interés público y sustentar mejor esta división en la literatura. El aspecto metodológico del trabajo se  enfoca a utilizar el modelo de 5 estrellas y describir una clasificación general que se realiza en base a este modelo. Aunque este enfoque metodológico es adecuado y se asocia claramente a la temática no presenta proposiciones a evaluar (preguntas de investigación o hipótesis a testear). El diagnóstico es básico y general a partir de un cuatro variables que permiten clasificar a cada plataforma. El autor  debería establecer también una categorización de lo que son los  sujetos de estudio (se menciona al  de gobierno de Chile pero son solo cuatro plataformas del total de plataformas que posee el gobierno). En este sentido debería referirse a plataformas transversales de  servicio centrales (ya que no analiza gobiernos locales en ningún momento) Este trabajo  se sustenta en la utilización de un modelo de diagnóstico ya validado en la literatura  sin embargo su aplicación es limitada y a mi juicio no permite generalizar  para el gobierno en su totalidad.  La contribución del trabajo es importante ya que presenta información relevante en el proceso de llegar a lo que es el gobierno abierto. Sin embargo la generalización de sus resultados es cuestionable ya que  está limitada  a  cuatro variables y cuatro sitios web. En  las conclusiones no se reflejan  con toda claridad las principales  contribuciones del articulo y se sugiere a los autores mejorarlas  incluyendo aspectos relevantes a la temática evaluada (los sitios web), los aportes  al estudio del gobierno abierto en Chile y reconocer las limitaciones que tiene este estudio. Los aspectos formales del trabajo son satisfactorios para el congreso.

A: es
****
Q: The reviewers seem to agree that the framework presented is not very novel, something I agree with.  The experiments show that the low rank + diagonal parameterization can be useful, however. The paper could be improved by making a more tightened message, and clearer arguments. As it currently stands, however it does not seem ready for publication in ICLR.

A:
en
****