假设检验的意义主要是确认结论(在统计学意义下的)正确性。0.05这个阈值只是一个惯例,物理学中就要求5 sigma (p-value=0.00006%)才能被认可,临床医学/新药开发中也都要求p值很小。
如果想要得到更容易解释的结果,置信区间可能是一个更好的选择。以题目中的例子,使用A方法提高的分数的97.5%置信区间为(1,3), 使用B方法提高分数的97.5%置信区间为(-1, 0.5), 那么我们可以在5%的置信水平上认为A比B好;如果B方法的置信区间是(-1, 11), 那么我们无法确定哪种方法更好。也许B方法更好,但我们并没有足够的样本来验证,也可能是B方法只适用于部分学生,方差较大。