[en] Information retrieval systems play a crucial role in addressing users' information needs by aiding their exploration of vast collections of information. This thesis is framed in a critical information retrieval research aspect: evaluation. In particular, we propose new approaches for creating annotated test collections. Such collections are essential for evaluating retrieval systems' effectiveness in controlled experiments. Reflecting real-world conditions accurately in these test collections is pivotal for progress in the field. We aim to introduce innovative techniques for efficiently assembling reliable test collections, facilitating broader research and development in information retrieval. The thesis first proposes a new method for building new pooled test collections without requiring costly evaluation campaigns. This approach simplifies and economizes the process of building new benchmarks. Then, we introduce a novel adjudication method for determining which pooled documents warrant human judgment, aiming to reduce the need for extensive expert assessments. This method is both cost-effective and efficient. Additionally, the thesis presents a fresh perspective on evaluating adjudication methods, emphasizing statistical significance, an aspect often overlooked in previous document adjudication research. As a demonstration of the methods explored in this thesis, we applied them to develop a new test collection whose construction process we describe here as an example of the use of reduced-budget methods. In summary, this thesis integrates established information retrieval knowledge with new methodologies to create annotated collections that are both cost-effective and reliable. This fusion is crucial for advancing the development of more effective retrieval systems.

[es] Los sistemas de recuperación de información desempeñan un papel crucial a la hora de satisfacer las necesidades de información de los usuarios, ayudándoles a explorar vastas colecciones de información. Esta tesis se enmarca en un aspecto crítico de la investigación en recuperación de información: la evaluación. En concreto, proponemos nuevos enfoques para crear colecciones de prueba. Éstas son esenciales para evaluar la eficacia de los sistemas de recuperación en experimentos controlados. Reflejar con precisión las condiciones del mundo real en estas colecciones es fundamental para avanzar en este campo. Nuestro objetivo es introducir técnicas innovadoras para construir colecciones anotadas que sean fiables, y facilitar así la investigación y el desarrollo en el campo de la recuperación de información. En primer lugar, la tesis propone un nuevo método para crear nuevas colecciones de prueba sin necesidad de costosas campañas de evaluación, simplificando y economizando el proceso. A continuación, presentamos un nuevo método de adjudicación para determinar qué documentos merecen un juicio humano, con el objetivo de reducir el numero de juicios expertos necesarios. Este método es rentable y eficiente. Además, la tesis presenta una nueva perspectiva de la evaluación de los métodos de adjudicación, haciendo hincapié en la significancia estadística, un aspecto que a menudo se pasa por alto en anteriores investigaciones sobre adjudicación de documentos. Finalmente, aplicamos los métodos explorados en esta tesis para construir una nueva colección de prueba, cuyo proceso de construcción describimos, para demostrar la utilidad de nuestras propuestas. En resumen, esta tesis integra conocimiento establecido en el campo con nuevas metodologías para así crear nuevas colecciones de prueba fiables y con bajo coste. Esta combinación es crucial para avanzar en el desarrollo de sistemas de recuperación de información más efectivos.