В статистике величину (значение) переменной называют статисти́чески зна́чимой, если мала вероятность случайного возникновения этой или ещё более крайних величин. Здесь под крайностью понимается степень отклонения тестовой статистики от нуль-гипотезы.
 Разница называется статистически значимой, если появление имеющихся данных (или ещё более крайних данных) было бы маловероятно, если предположить, что эта разница отсутствует; это выражение не означает, что данная разница должна быть велика, важна, или значима в общем смысле этого слова.
 Общая картина проблемы такова: дана выборка из некоторого пространства 
  
    
      
        Ω
      
    
    {\displaystyle \Omega }
  
 элементарных событий (например, список пациентов, прошедших обследование на некоторую болезнь) и, возможно, значения на этой выборке некоторых переменных (функций от 
  
    
      
        ω
        ∈
        Ω
      
    
    {\displaystyle \omega \in \Omega }
  
, например — возраст пациента, интенсивность курения, количество часов физических упражнений и т. п.). Вероятностное распределение на 
  
    
      
        Ω
      
    
    {\displaystyle \Omega }
  
 не известно, а, наоборот, является здесь главным объектом поиска.
 Различные гипотезы соответствуют различным возможным вероятностным распределениям на 
  
    
      
        Ω
      
    
    {\displaystyle \Omega }
  
. Точный смысл термина «гипотеза» — набор утверждений, который содержит полное описание некоторого вероятностного распределения.
 Проверка гипотезы 
  
    
      
        H
      
    
    {\displaystyle H}
  
 (задающей вероятностное распределение 
  
    
      
        
          P
          
            H
          
        
      
    
    {\displaystyle P_{H}}
  
) состоит в следующем. Выбирается событие 
  
    
      
        S
        ⊂
        Ω
      
    
    {\displaystyle S\subset \Omega }
  
 (называемое статистическим критерием), которое (по каким-либо соображениям) «почти несовместимо» с гипотезой 
  
    
      
        H
      
    
    {\displaystyle H}
  
 в том смысле, что условная вероятность 
  
    
      
        
          P
          
            H
          
        
        (
        S
        )
      
    
    {\displaystyle P_{H}(S)}
  
 события 
  
    
      
        S
      
    
    {\displaystyle S}
  
 (при условии, что гипотеза 
  
    
      
        H
      
    
    {\displaystyle H}
  
 верна) не превышает какого-то малого (по сравнению с единицей) числа 
  
    
      
        α
      
    
    {\displaystyle \alpha }
  
, называемого уровнем значимости: 
  
    
      
        
          P
          
            H
          
        
        (
        S
        )
        ≤
        α
      
    
    {\displaystyle P_{H}(S)\leq \alpha }
  
. Затем проводится опыт. Если событие 
  
    
      
        S
      
    
    {\displaystyle S}
  
 происходит, то гипотеза 
  
    
      
        H
      
    
    {\displaystyle H}
  
 отвергается (говорят, что наблюдается отклонение от гипотезы на уровне значимости 
  
    
      
        α
      
    
    {\displaystyle \alpha }
  
). В противном случае, гипотеза не отвергается (однако никакой метод статистики, ни даже науки в целом, не может «окончательно доказать» гипотезу).
 Таким образом, уровень 
  
    
      
        α
      
    
    {\displaystyle \alpha }
  
 значимости теста — вероятность отклонить гипотезу 
  
    
      
        H
      
    
    {\displaystyle H}
  
, если на самом деле она верна (решение известное как ошибка первого рода, или ложноположительное решение).
 Популярными уровнями значимости являются 10 %, 5 %, 1 %, и 0,1 %.
 Различные значения α-уровня имеют свои достоинства и недостатки. Меньшие α-уровни дают бо́льшую уверенность в том, что уже установленная альтернативная гипотеза значима, но при этом есть больший риск не отвергнуть ложную нулевую (или отвергнуть истинную альтернативную) гипотезу (ошибка второго рода, или «ложноотрицательное решение»), и таким образом меньшая статистическая мощность. Выбор α-уровня неизбежно требует компромисса между значимостью и мощностью, и следовательно между вероятностями ошибок первого и второго рода.
 При использовании тестов на статистическую значимость нужно иметь в виду, что тест вовсе не дает оснований для принятия гипотезы.