[en] Information retrieval systems play a crucial role in addressing users' information needs by aiding their exploration of vast collections of information. This thesis is framed in a critical information retrieval research aspect: evaluation. In particular, we propose new approaches for creating annotated test collections. Such collections are essential for evaluating retrieval systems' effectiveness in controlled experiments. Reflecting real-world conditions accurately in these test collections is pivotal for progress in the field. We aim to introduce innovative techniques for efficiently assembling reliable test collections, facilitating broader research and development in information retrieval. The thesis first proposes a new method for building new pooled test collections without requiring costly evaluation campaigns. This approach simplifies and economizes the process of building new benchmarks. Then, we introduce a novel adjudication method for determining which pooled documents warrant human judgment, aiming to reduce the need for extensive expert assessments. This method is both cost-effective and efficient. Additionally, the thesis presents a fresh perspective on evaluating adjudication methods, emphasizing statistical significance, an aspect often overlooked in previous document adjudication research. As a demonstration of the methods explored in this thesis, we applied them to develop a new test collection whose construction process we describe here as an example of the use of reduced-budget methods. In summary, this thesis integrates established information retrieval knowledge with new methodologies to create annotated collections that are both cost-effective and reliable. This fusion is crucial for advancing the development of more effective retrieval systems.

[gl] Os sistemas de recuperación de información desempeñan un papel crucial á hora de satisfacer as necesidades de información dos usuarios, axudándolles a explorar vastas coleccións de información. Esta tese enmárcase nun aspecto crítico da investigación en recuperación de información: a avaliación. En concreto, propoñemos novos enfoques para crear coleccións de proba. Estas son esenciais para avaliar a eficacia dos sistemas de recuperación en experimentos controlados. Reflectir con precisión as condicións do mundo real nestas coleccións é fundamental para avanzar neste campo. O noso obxectivo é introducir técnicas innovadoras para construír coleccións anotadas que sexan fiables, e facilitar así a investigación e o desenvolvemento no campo da recuperación de información. En primeiro lugar, a tese propón un novo método para crear novas coleccións de proba sen necesidade de custosas campañas de avaliación, simplificando e economizando o proceso. A continuación, presentamos un novo método de adxudicación para determinar que documentos merecen un xuízo humano, co obxectivo de reducir o numero de xuízos expertos necesarios. Este método é rentable e eficiente. Ademais, a tese presenta unha nova perspectiva da avaliación dos métodos de adxudicación, facendo fincapé na significancia estatística, un aspecto que a miúdo se pasa por alto en anteriores investigacións sobre adxudicación de documentos. Finalmente, aplicamos os métodos explorados nesta tese para consruir unha nova colección de proba, cuxo proceso de construción describimos, para demostrar a utilidade das nosas propostas. En resumo, esta tese integra coñecemento establecido no campo con novas metodoloxías para así crear novas coleccións de proba fiables e con baixo custo. Esta combinación é crucial para avanzar no desenvolvemento de sistemas de recuperación de información máis efectivos.