Sampling Plans for Fitting the Psychometric Function

Research on estimation of a psychometric function Ψ has usually focused on comparing alternative algorithms to apply to the data, rarely addressing how best to gather the data themselves (i.e., what sampling plan best deploys the affordable number of trials). Simulation methods were used here to assess the performance of several sampling plans in yes–no and forced-choice tasks, including the QUEST method and several variants of up–down staircases and of the method of constant stimuli (MOCS). We also assessed the efficacy of four parameter estimation methods. Performance comparisons were based on analyses of usability (i.e., the percentage of times that a plan yields usable data for the estimation of all the parameters of Ψ) and of the resultant distributions of parameter estimates. Maximum likelihood turned out to be the best parameter estimation method. As for sampling plans, QUEST never exceeded 80% usability even when 1000 trials were administered and rendered accurate estimates of threshold but misestimated the remaining parameters. MOCS and up–down staircases yielded similar and acceptable usability (above 95% with 400–500 trials) and, although neither type of plan allowed estimating all parameters with optimal precision, each type appeared well suited to estimating a distinct subset of parameters. An analysis of the causes of this differential suitability allowed designing alternative sampling plans (all based on up–down staircases) for yes–no and forced-choice tasks. These alternative plans rendered near optimal distributions of estimates for all parameters. The results just described apply when the fitted Ψ has the same mathematical form as the actual Ψ generating the data; in case of form mismatch, all parameters except threshold were generally misestimated but the relative performance of all the sampling plans remained identical. Detailed practical recommendations are given. Los estudios sobre estimación de la función psicométrica Ψ se han centrado tradicionalmente en comparar los algoritmos que se pueden aplicar a los datos, dejando al margen el problema de cómo recoger los propios datos (es decir, qué esquema de muestreo despliega de mejor forma los ensayos disponibles). Aquí se utilizan técnicas de simulación para evaluar el rendimiento de varios esquemas de muestreo en tareas de sí–no y de elección forzada, incluyendo QUEST y distintas variantes de escaleras de paso fijo y del método de los estímulos constantes. También se evalúa la eficacia de cuatro métodos de estimación de parámetros. Las comparaciones se basan en análisis de usabilidad (es decir, del porcentaje de veces que un esquema proporciona datos válidos para estimar todos los parámetros de Ψ) y de las distribuciones de las estimaciones. El mejor método de estimación resultó ser el de máxima verosimilitud. En cuanto a esquemas de muestreo, QUEST no llegó a rendir una usabilidad del 80% ni siquiera cuando se administraron 1000 ensayos y, aunque proporcionó buenas estimaciones del umbral, estimó erróneamente el resto de los parámetros. El método de los estímulos constantes y las escaleras de paso fijo rindieron una usabilidad similar (superior al 95% con 400–500 ensayos) y, aunque ninguno de estos esquemas permitió estimar con precisión óptima todos los parámetros, cada tipo de esquema se mostró adecuado para estimar un subconjunto distinto de parámetros. El análisis de las causas de estas diferencias permitió diseñar esquemas alternativos (todos ellos basados en escaleras de paso fijo) para tareas de sí–no y de elección forzada. Estos esquemas alternativos proporcionaron estimaciones con distribuciones casi óptimas. Los resultados descritos son válidos cuando la función cuyos parámetros se estiman tiene la misma forma analítica que la función psicométrica que ha generado los datos; cuando esas funciones difieren en forma, todos los parámetros excepto el umbral resultan estimados erróneamente, aunque la eficacia relativa de los distintos esquemas de muestreo no varía. Se ofrecen recomendaciones prácticas basadas en estos resultados.