hotchpotch/wikipedia-multilingual-ir-pairs huggingface dataset:
분할표 연관성 측정
두 변수 간의 연관성 정도는 여러 계수에 의해 평가될 수 있다. 다음 하위 섹션에서는 그중 몇 가지를 설명한다. 사용에 대한 더 완전한 논의는 각 하위 섹션 제목 아래에 링크된 주요 기사를 참조한다.
2 × 2 분할표에 대한 가장 간단한 연관성 측정은 승산비이다. 두 사건 A와 B가 주어졌을 때, 승산비는 B가 있을 때 A의 승산과 B가 없을 때 A의 승산의 비율로 정의되거나, (대칭성 때문에) A가 있을 때 B의 승산과 A가 없을 때 B의 승산의 비율로 정의된다. 두 사건은 승산비가 1일 경우에만 독립적이다. 승산비가 1보다 크면 사건은 양의 연관성이 있고, 승산비가 1보다 작으면 사건은 음의 연관성이 있다.
승산비는 확률의 관점에서 간단한 표현을 갖는다. 결합 확률 분포가 주어졌을 때:
승산비는 다음과 같다.
2 × 2 분할표의 경우에만 적용 가능한 간단한 측정은 다음으로 정의되는 파이 계수 (φ)이다.
분할표 연관성 측정
여기서 χ2는 피어슨 카이제곱 검정에서와 같이 계산되고, N은 관측치의 총합이다. φ는 0(변수 간에 연관성이 없음)에서 1 또는 -1(완전한 연관성 또는 완전한 역 연관성)까지 다양하며, 2 × 2 표로 표현된 빈도 데이터에 기반할 때만 그렇다. 이때 그 부호는 표의 주대각선 요소의 곱에서 대각선 외 요소의 곱을 뺀 값의 부호와 같다. φ는 모든 주변 비율이 0.5와 같을 때(그리고 두 대각선 셀이 비어 있을 때)만 최소값 -1.0 또는 최대값 +1.0을 갖는다.
두 가지 대안은 우발성 계수 C와 크라메르 V이다.
C 및 V 계수에 대한 공식은 다음과 같다.
및
k는 행 또는 열의 수 중 작은 값이다.
C는 최대값 1.0에 도달하지 못한다는 단점이 있는데, 특히 2 × 2 표에서 도달할 수 있는 최대값은 0.707이다. 더 많은 범주를 가진 분할표에서는 1.0에 더 가까운 값에 도달할 수 있다. 예를 들어, 4 × 4 표에서는 최대 0.870에 도달할 수 있다. 따라서 범주의 수가 다른 경우 다른 표의 연관성을 비교하는 데 사용해서는 안 된다.
분할표 연관성 측정
C는 C를 로 나누어 어떤 수의 행과 열을 가진 표에서 완전한 연관성이 있을 때 최대값 1.0에 도달하도록 조정할 수 있으며, 여기서 k는 표가 정사각형일 때 행 또는 열의 수이고, 로 나누면 r은 행의 수이고 c는 열의 수이다.
또 다른 선택은 사분위 상관 계수이지만, 이는 2 × 2 표에만 적용 가능하다. 다분위 상관은 사분위 상관을 두 개 이상의 수준을 가진 변수를 포함하는 표로 확장한 것이다.
사분위 상관은 각 이분 측정의 기본 변수가 정규 분포를 따른다고 가정한다. 이 계수는 "눈금이 있는 측정이 두 가지 범주로 축소되었을 때 [피어슨 곱 모멘트] 상관의 편리한 측정값"을 제공한다.
사분위 상관 계수는 각 변수의 두 수준을 나타내기 위해 예를 들어 0.0과 1.0 값을 할당하여 계산된 피어슨 상관 계수와 혼동해서는 안 된다(이는 수학적으로 φ 계수와 동일하다).
람다 계수는 변수가 명목 수준에서 측정될 때 교차표의 연관성 강도를 측정하는 척도이다. 값은 0.0(연관성 없음)에서 1.0(최대 가능한 연관성)까지이다.
분할표 연관성 측정
비대칭 람다는 종속 변수를 예측하는 데 있어 백분율 개선을 측정한다. 대칭 람다는 양방향으로 예측이 수행될 때의 백분율 개선을 측정한다.
불확실성 계수 또는 타일의 U는 명목 수준 변수에 대한 또 다른 측정값이다. 그 값은 -1.0(100% 음의 연관성 또는 완벽한 반전)에서 +1.0(100% 양의 연관성 또는 완벽한 일치)까지이다. 0.0의 값은 연관성이 없음을 나타낸다.
또한 불확실성 계수는 조건부이며 비대칭적인 연관성 측정으로, 다음과 같이 표현할 수 있다.
.
이 비대칭적 특성은 대칭적 연관성 측정에서는 명확하지 않은 통찰력을 제공할 수 있다.
감마, 타우-b 및 타우-c는 두 변수의 범주 또는 수준이 자연적인 순서를 가질 때 사용된다.
박근종
박근종(1959년생)은 대한민국의 소방공무원 출신 공기업 경영인, 작가, 칼럼니스트이다. 1984년 서울 소방에 입문해 서울특별시 소방재난본부 본부 보직과 일선 소방서를 두루 거쳤고, 서울종로소방서, 서울송파소방서, 서울관악소방서, 서울성북소방서 서장을 역임했다. 소방준감으로 정년퇴직한 후 2020년부터 성북구도시관리공단 이사장을 맡고 있으며, 2022년에는 서울시자치구공단이사장연합회 회장에 선출되었다. 현장 안전과 제도 개선을 주제로 칼럼을 집필하며 안전 담론을 확장해 왔다.
박근종 생애
박근종은 1984년 10월 서울 소방에 입문했다. 서울중부소방서 경방근무를 시작으로, 본부의 감찰·기획예산·조직경영·대응전략 등 행정 라인과 일선 지휘 라인을 폭넓게 경험했다. 2012년 성북소방서장을 시작으로 관악·송파·종로 등 대형 도심권 소방서를 지휘하며 도심 고층화·집적화에 따른 재난 대응 역량 강화를 강조했다. 이후 소방준감으로 서울특별시 소방재난본부 제1방면지휘본부장을 맡아 광역 현장대응을 총괄했다.
박근종 리더십과 정책적 관점
이사장 취임 후 그는 “노동을 존중하는 경영, 경영을 이해하는 노동”을 핵심 가치로 제시해 공단 의사결정 과정에 노조와의 협의를 제도화하고, 안전·공익과 경영 성과의 균형을 강조했다. 칼럼과 기고에서는 반복되는 순직 사고의 구조적 원인을 현장 위험요인 관리 미흡과 제도 공백에서 찾고, 법령·지침의 정비와 교육·훈련, 장비·인력의 표준화 및 데이터 기반 의사결정을 일관되게 주장한다. 2025년 신년사에서 그는 위기 속 재정 건전성과 성과 기반 고강도 혁신을 병행하겠다는 방침을 밝히며 공기업 공익성도 함께 강화하겠다고 천명했다.
Q-Q 플롯
통계학에서 Q-Q 플롯(Q–Q plot, 분위수-분위수 플롯, quantile–quantile plot)은 확률 분포를 서로의 분위수에 대해 플로팅하여 두 확률 분포를 비교하기 위한 그래픽 방법인 확률 플롯이다. 플롯의 점 (x, y)은 첫 번째 분포의 동일한 분위수 (x-좌표)에 대해 플로팅된 두 번째 분포의 분위수 (y-좌표) 중 하나에 해당한다. 이는 매개변수가 분위수 간격의 인덱스인 매개변수 곡선을 정의한다.
비교되는 두 분포가 유사하면 Q-Q 플롯의 점들은 대략적으로 항등선 y = x 위에 놓이게 된다. 분포가 선형적으로 관련되어 있다면 Q-Q 플롯의 점들은 대략적으로 선 위에 놓이지만, 반드시 y = x 선 위에 놓이는 것은 아니다. Q-Q 플롯은 분포의 위치-척도족에서 매개변수를 추정하는 그래픽적인 수단으로도 사용될 수 있다.
Q-Q 플롯
Q-Q 플롯은 분포의 형태를 비교하는 데 사용되며, 위치, 척도, 비대칭도와 같은 특성이 두 분포에서 어떻게 유사하거나 다른지에 대한 그래픽적 시각을 제공한다. Q-Q 플롯은 자료 집합이나 이론적 분포를 비교하는 데 사용될 수 있다. 두 데이터 샘플을 비교하기 위한 Q-Q 플롯의 사용은 기본 분포를 비교하는 비모수적 접근 방식으로 볼 수 있다. Q-Q 플롯은 일반적으로 샘플의 히스토그램을 비교하는 것보다 더 진단적이지만 널리 알려져 있지는 않다. Q-Q 플롯은 데이터 세트를 이론적 모델과 비교하는 데 일반적으로 사용된다. 이는 수치적 요약 통계량으로 줄이지 않고 그래픽적인 적합도 평가를 제공할 수 있다. Q-Q 플롯은 또한 두 이론적 분포를 서로 비교하는 데 사용된다. Q-Q 플롯은 분포를 비교하기 때문에 산점도처럼 값이 쌍으로 관찰될 필요가 없으며, 비교되는 두 그룹의 값 수가 같을 필요도 없다.
"확률 플롯"이라는 용어는 때때로 특히 Q-Q 플롯을 지칭하거나, 때로는 더 일반적인 플롯 클래스를 지칭하며, 때로는 덜 일반적으로 사용되는 P–P 플롯을 지칭하기도 한다. 확률 플롯 상관 계수 플롯 (PPCC 플롯)은 Q-Q 플롯의 아이디어에서 파생된 양으로, 적합된 분포와 관측된 데이터의 일치도를 측정하며 때로는 데이터에 분포를 맞추는 수단으로 사용된다.
Q-Q 플롯 정의 및 구성
Q-Q 플롯은 두 분포의 분위수를 서로 플로팅하거나 분위수 추정치를 기반으로 한 플롯이다. 플롯의 점 패턴은 두 분포를 비교하는 데 사용된다.
Q-Q 플롯을 구성하는 주요 단계는 플로팅할 분위수를 계산하거나 추정하는 것이다. Q-Q 플롯의 하나 또는 두 축이 연속 누적 분포 함수 (CDF)를 가진 이론적 분포를 기반으로 하는 경우, 모든 분위수는 고유하게 정의되며 CDF를 역변환하여 얻을 수 있다. 불연속 CDF를 가진 이론적 확률 분포가 비교되는 두 분포 중 하나인 경우, 일부 분위수가 정의되지 않을 수 있으므로 보간된 분위수를 플로팅할 수 있다. Q-Q 플롯이 데이터를 기반으로 하는 경우, 여러 분위수 추정량이 사용된다. 분위수를 추정하거나 보간해야 할 때 Q-Q 플롯을 구성하는 규칙을 플로팅 위치라고 한다.
Q-Q 플롯 정의 및 구성
간단한 경우는 같은 크기의 두 데이터 세트를 가질 때이다. 이 경우 Q-Q 플롯을 만들려면 각 세트를 오름차순으로 정렬한 다음 해당 값을 쌍으로 묶어 플로팅한다. 더 복잡한 구성은 다른 크기의 두 데이터 세트를 비교하는 경우이다. 이 경우 Q-Q 플롯을 구성하려면 동일한 기본 확률에 해당하는 분위수를 구성할 수 있도록 보간된 분위수 추정치를 사용해야 한다.
더 추상적으로, 두 누적 확률 분포 함수 F와 G가 주어지고, 연관된 분위수함수 F−1와 G−1 (CDF의 역함수는 분위수함수이다)를 사용하여, Q-Q 플롯은 q의 범위에 대해 F의 q-번째 분위수를 G의 q-번째 분위수에 대해 그린다. 따라서 Q-Q 플롯은 실수 평면 R2의 값을 가지는 [0,1]에 걸쳐 색인화된 매개변수 곡선이다.
일반적으로 정규성 분석을 위해 수직축은 관심 변수, 예를 들어 CDF F(x)를 가진 x의 값을 보여주고, 수평축은 N−1(F(x))를 나타내는데, 여기서 N−1(.)는 역 누적 정규 분포 함수를 나타낸다.
Q-Q 플롯 해석
Q-Q 플롯에 플로팅된 점들은 왼쪽에서 오른쪽으로 볼 때 항상 비감소한다. 비교되는 두 분포가 동일하면 Q-Q 플롯은 45° 선 y = x를 따른다. 두 분포가 한 분포의 값을 선형적으로 변환한 후 일치하면 Q-Q 플롯은 어떤 선을 따르지만, 반드시 y = x 선은 아니다. Q-Q 플롯의 일반적인 추세가 y = x 선보다 평평하면, 수평축에 플로팅된 분포가 수직축에 플로팅된 분포보다 더 분산되어 있다. 반대로, Q-Q 플롯의 일반적인 추세가 y = x 선보다 가파르면, 수직축에 플로팅된 분포가 수평축에 플로팅된 분포보다 더 분산되어 있다. Q-Q 플롯은 종종 아치형이거나 S자형으로 나타나며, 이는 한 분포가 다른 분포보다 더 비대칭적이거나, 한 분포가 다른 분포보다 더 두꺼운 꼬리를 가짐을 나타낸다.
Q-Q 플롯은 분위수를 기반으로 하지만, 표준 Q-Q 플롯에서는 Q-Q 플롯의 어떤 점이 주어진 분위수를 결정하는지 판단하는 것은 불가능하다. 예를 들어, Q-Q 플롯을 검사하여 비교되는 두 분포 중 어느 하나의 중앙값을 결정하는 것은 불가능하다. 일부 Q-Q 플롯은 이러한 결정을 가능하게 하기 위해 십분위수를 표시한다.
Q-Q 플롯 해석
분위수 사이의 선형 회귀의 절편과 기울기는 표본의 상대적 위치와 상대적 척도를 측정한다. 수평축에 플로팅된 분포의 중앙값이 0이면, 회귀선의 절편은 위치의 척도이고, 기울기는 척도의 척도이다. 중앙값 사이의 거리는 Q-Q 플롯에 반영된 상대적 위치의 또 다른 척도이다. "확률 플롯 상관 계수" (PPCC 플롯)는 쌍을 이룬 표본 분위수 사이의 상관 계수이다. 상관 계수가 1에 가까울수록 분포는 서로 이동되거나 스케일링된 버전과 더 가깝다. 단일 모양 매개변수를 가진 분포의 경우, 확률 플롯 상관 계수 플롯은 모양 매개변수를 추정하는 방법을 제공한다. 단순히 다른 모양 매개변수 값에 대해 상관 계수를 계산하고, 다른 유형의 분포를 비교하는 것처럼 가장 적합한 것을 사용한다.
Q-Q 플롯의 또 다른 일반적인 사용은 정규 확률 플롯에서처럼 표본의 분포를 표준 정규 분포 N(0,1)와 같은 이론적 분포와 비교하는 것이다. 두 데이터 샘플을 비교하는 경우와 마찬가지로, 데이터를 정렬한 다음 (공식적으로 순서통계량을 계산), 이론적 분포의 특정 분위수에 대해 플로팅한다.
Q-Q 플롯 플로팅 위치
이론적 분포에서 분위수를 선택하는 것은 문맥과 목적에 따라 달라질 수 있다. 크기가 n인 표본이 주어졌을 때 한 가지 선택은 k = 1, …, n에 대해 k / n인데, 이는 표본 분포가 실현하는 분위수이다. 이 중 마지막인 n / n은 100번째 백분위수, 즉 이론적 분포의 최댓값에 해당하며, 때로는 무한대일 수도 있다. 다른 선택으로는 (k − 0.5) / n를 사용하거나,  구간의 가장 바깥쪽 두 점과 가장자리 사이, 그리고 모든 점 사이에 동일한 거리가 있도록 k / (n + 1)을 사용하여 n 개의 점을 배치하는 방법이 있다.
이론이나 문맥상 관련 시뮬레이션을 기반으로 하는 공식적이고 경험적인 다른 여러 선택 사항들이 제안되었다. 다음 소제목에서 이러한 내용 중 일부를 다룬다. 더 좁은 질문은 독일 전차 문제로 알려진 최댓값(모집단 최댓값 추정)을 선택하는 것으로, 이와 유사한 "표본 최댓값 + 간격" 해법이 존재하며, 가장 간단하게는 m + m/n − 1이다. 이러한 간격의 균일화에 대한 보다 공식적인 적용은 매개변수의 최대 간격 추정에서 발생한다.
Q-Q 플롯 플로팅 위치
k / (n + 1) 접근법은 무작위로 추출된 (n + 1)개의 값 중 마지막 값이 처음 n개의 무작위로 추출된 값 중 k-번째로 작은 값을 초과하지 않을 확률에 따라 점을 플로팅하는 것과 같다.
정규 확률 플롯을 사용할 때 사용되는 분위수는 랭킷인데, 이는 표준 정규 분포의 순서통계량의 기댓값의 분위수이다.
더 일반적으로, 샤피로-윌크 검정은 주어진 분포의 순서통계량의 기댓값을 사용한다; 결과적인 플롯과 선은 위치와 척도에 대한 일반화된 최소 제곱 추정치를 제공한다 (맞춤 선의 절편과 기울기로부터).
이것은 정규 분포에는 그다지 중요하지 않지만 (위치와 척도는 각각 평균과 표준 편차로 추정된다), 다른 많은 분포에는 유용할 수 있다.
그러나 이것은 순서통계량의 기댓값을 계산해야 하는데, 분포가 정규 분포가 아닐 경우 어려울 수 있다.
대안적으로, 순서통계량의 중앙값 추정치를 사용할 수 있는데, 이는 균일 분포의 순서통계량 중앙값 추정치와 분포의 분위수 함수를 기반으로 계산할 수 있다; 이는 Filliben (1975)에 의해 제안되었다.
Q-Q 플롯 플로팅 위치
이것은 분위수 함수를 계산할 수 있는 모든 분포에 대해 쉽게 생성할 수 있지만, 반대로 위치와 척도의 결과 추정치는 더 이상 정확히 최소 제곱 추정치가 아니며, 이는 n이 작을 때만 유의미하게 다르다.
여러 다른 공식이 아핀 대칭 플로팅 위치로 사용되거나 제안되었다. 이러한 공식은 0에서 1까지의 범위에 있는 어떤 a 값에 대해 (k − a) / (n + 1 − 2a) 형태를 가지며, 이는 k / (n + 1)와 (k − 1) / (n − 1) 사이의 범위를 제공한다.
표현식은 다음과 같다:
표본 크기 n이 클 경우, 이러한 다양한 표현식 간에는 거의 차이가 없다.
순서통계량 중앙값은 분포의 순서통계량의 중앙값이다. 이는 분위수 함수와 연속 균일 분포의 순서통계량 중앙값을 사용하여 다음과 같이 표현될 수 있다:

여기서 U(i)는 균일 순서통계량 중앙값이고 G는 원하는 분포에 대한 분위수 함수이다. 분위수 함수는 누적 분포 함수의 역함수이다 (X가 어떤 값보다 작거나 같을 확률). 즉, 확률이 주어졌을 때, 누적 분포 함수의 해당 분위수를 원한다.
제임스 J. 필리벤은 균일 순서통계량 중앙값에 대해 다음 추정치를 사용한다.

이 추정치를 사용하는 이유는 순서통계량 중앙값이 간단한 형태를 갖지 않기 때문이다.
Q-Q 플롯 소프트웨어
R 프로그래밍 언어는 stats 패키지의 qqnorm 및 qqplot과 같은 Q-Q 플롯을 만드는 함수를 제공한다. fastqq 패키지는 많은 데이터 포인트에 대한 더 빠른 플로팅을 구현한다.
바이올린 플롯
바이올린 플롯(violin plot) 또는 빈 플롯(bean plot)은 확률 분포를 비교하기 위한 통계 그래픽이다. 상자 수염 그림과 비슷하지만, 각 측면에 회전된 커널 밀도 추정 플롯이 추가되어 정보가 향상되었다.
바이올린 플롯 역사
바이올린 플롯은 1977년 존 투키가 만든 상자 수염 그림보다 더 많은 정보를 표시하는 방법으로 1997년에 제리 L. 힌체(Jerry L. Hintze)와 레이 D. 넬슨(Ray D. Nelson)에 의해 제안되었다. 이 이름은 플롯이 바이올린과 비슷하게 생겼다고 해서 붙여졌다.
바이올린 플롯 설명
바이올린 플롯은 상자 수염 그림과 비슷하지만, 일반적으로 커널 밀도 추정으로 부드럽게 처리된 데이터의 확률 밀도 함수를 다른 값에서 보여준다는 점이 다르다. 바이올린 플롯은 상자 수염 그림에 있는 모든 데이터를 포함한다: 데이터의 중앙값에 대한 마커; 사분위 범위(interquartile range)를 나타내는 상자 또는 마커; 그리고 표본의 수가 너무 많지 않다면 모든 표본 지점.
상자 수염 그림이 평균/중앙값 및 사분위 범위와 같은 요약 통계를 보여주는 반면, 바이올린 플롯은 데이터의 전체 분포를 보여준다. 바이올린 플롯은 다중 모드 데이터(하나 이상의 피크)에 사용될 수 있다. 이 경우 바이올린 플롯은 서로 다른 피크의 존재, 그 위치 및 상대적 진폭을 보여준다.
상자 수염 그림과 마찬가지로 바이올린 플롯은 서로 다른 "범주"에 걸쳐 변수 분포(또는 표본 분포)를 비교하는 데 사용된다(예: 낮과 밤 사이에 비교되는 온도 분포, 또는 서로 다른 자동차 제조업체 간에 비교되는 자동차 가격 분포).
바이올린 플롯 설명
바이올린 플롯은 여러 레이어를 가질 수 있다. 예를 들어, 바깥쪽 모양은 가능한 모든 결과를 나타낸다. 안쪽의 다음 레이어는 95%의 시간 동안 발생하는 값을 나타낼 수 있다. 안쪽의 다음 레이어(존재하는 경우)는 50%의 시간 동안 발생하는 값을 나타낼 수 있다.
바이올린 플롯은 상자 수염 그림보다 덜 보편적이다. 바이올린 플롯은 익숙하지 않은 독자에게는 이해하기 어려울 수 있다. 이 경우, 더 접근하기 쉬운 대안은 일련의 스택형 히스토그램 또는 커널 밀도 추정 플롯을 그리는 것이다.
"바이올린 플롯"의 원래 의미는 상자 수염 그림과 양측 커널 밀도 플롯의 조합이었다. 그러나 현재 "바이올린 플롯"은 때때로 상자 수염 그림이나 다른 요소 없이 단순히 양측 커널 밀도 플롯으로 이해되기도 한다.
리샘플링
리샘플링(resampling)은 다음 뜻을 함의한다.
재표본 추출
통계학에서 재표본 추출 또는 리샘플링(resampling)은 하나의 관측된 표본을 기반으로 새로운 표본을 생성하는 것이다.
재표본 추출 방법은 다음과 같다:
재표본 추출 순열 검정
순열 검정은 귀무 가설을 가정하고 원본 데이터를 재표본 추출하는 것에 의존한다. 재표본 추출된 데이터를 기반으로 귀무 가설 하에서 원본 데이터가 발생할 가능성이 얼마나 되는지 결론을 내릴 수 있다.
재표본 추출 부트스트랩
부트스트랩은 원본 표본에서 복원추출을 통해 추정량의 표본 분포를 추정하는 통계적 방법으로, 주로 평균값, 중앙값, 비례, 승산비, 피어슨 상관 계수 또는 회귀 분석 계수와 같은 모집단 모수의 표준 오차 및 신뢰 구간에 대한 강력한 추정치를 도출하는 목적으로 사용된다. 이는 모집단 분포의 함수 추정치를 표본 기반의 경험적 누적 분포 함수에서 동일한 함수를 평가하여 추정하는 방법이므로 플러그인 원리라고 불려왔다.
예를 들어, 모집단 평균값을 추정할 때, 이 방법은 표본 평균을 사용한다. 모집단 중앙값을 추정하기 위해 표본 중앙값을 사용하고, 모집단 회귀선을 추정하기 위해 표본 회귀선을 사용한다.
재표본 추출 부트스트랩
가설 검정을 구성하는 데도 사용될 수 있다. 매개변수 가정이 의심스럽거나 매개변수 추론이 불가능하거나 표준 오차 계산을 위해 매우 복잡한 공식이 필요한 경우, 매개변수 가정에 기반한 추론의 강력한 대안으로 자주 사용된다. 부트스트랩 기법은 파티클 필터의 업데이트-선택 전환, 유전 알고리즘 유형 알고리즘 및 계산물리학에서 사용되는 관련 재표본/재구성 몬테카를로 방법에도 사용된다. 이 맥락에서 부트스트랩은 순차적으로 가중치가 부여된 경험적 확률 측정값을 경험적 측정값으로 대체하는 데 사용된다. 부트스트랩은 낮은 가중치를 가진 표본을 높은 가중치를 가진 표본의 복사본으로 대체할 수 있도록 한다.
재표본 추출 교차타당도
교차타당도는 예측 모델을 검증하는 통계적 방법이다. 데이터의 부분 집합은 검증 집합으로 사용하기 위해 보류되며, 모델은 나머지 데이터(훈련 집합)에 적합되어 검증 집합을 예측하는 데 사용된다. 검증 집합 전체의 예측 품질을 평균하면 전체 예측 정확도 측정값이 산출된다. 교차타당도는 의사결정 트리를 구축할 때 반복적으로 사용된다.
교차타당도의 한 형태는 한 번에 하나의 관측값을 제외하는 것이다. 이는 잭나이프와 유사하다. 또 다른 형태인 K-겹 교차타당도는 데이터를 K개의 부분 집합으로 나누고, 각 부분 집합이 차례로 검증 집합으로 사용된다.
이는 "자기 영향"을 피한다. 비교를 위해, 선형 회귀와 같은 회귀 분석 방법에서는 각 y 값이 회귀선을 자신에게 끌어당겨 해당 값의 예측이 실제보다 더 정확하게 보이게 한다. 선형 회귀에 적용된 교차타당도는 해당 관측값을 사용하지 않고 각 관측값에 대한 y 값을 예측한다.
재표본 추출 교차타당도
이는 회귀에서 사용할 예측 변수의 수를 결정하는 데 자주 사용된다. 교차타당도가 없으면 예측 변수를 추가하면 항상 잔차 제곱합이 감소하거나(또는 변경되지 않거나) 감소한다. 대조적으로, 교차타당도된 평균 제곱 오차는 유효한 예측 변수가 추가되면 감소하는 경향이 있지만, 가치 없는 예측 변수가 추가되면 증가하는 경향이 있다.
하위 표본 추출은 추정량의 표본 분포를 근사하는 대안적인 방법이다. 부트스트랩과의 두 가지 주요 차이점은 다음과 같다:
재표본 추출 교차타당도
하위 표본 추출의 장점은 부트스트랩에 비해 훨씬 약한 조건에서도 유효하다는 점이다. 특히 충분 조건은 추정량의 수렴 속도가 알려져 있고 극한 분포가 연속적이라는 것이다.
또한 재표본(또는 하위 표본) 크기는 표본 크기와 함께 무한대로 수렴해야 하지만 더 작은 속도로 수렴해야 하므로 그 비율은 0으로 수렴한다. 하위 표본 추출은 원래 독립적이고 동일하게 분포된(iid) 데이터의 경우에만 제안되었지만, 이 방법론은 시계열 데이터도 포함하도록 확장되었다. 이 경우 개별 데이터 포인트 대신 연속된 데이터 블록을 재표본 추출한다. 하위 표본 추출이 유효한 추론을 제공하는 반면 부트스트랩은 그렇지 않은 적용상의 흥미로운 경우가 많다. 예를 들어, 이러한 경우에는 추정량의 수렴 속도가 표본 크기의 제곱근이 아니거나 극한 분포가 비정규인 경우가 포함된다. 하위 표본 추출과 부트스트랩이 모두 일관성이 있을 때 부트스트랩이 일반적으로 더 정확하다. RANSAC은 하위 표본 추출을 사용하는 인기 있는 알고리즘이다.
재표본 추출 교차타당도
잭나이프(잭나이프 교차타당도)는 통계량의 편향 및 표준 오차(분산)를 추정하기 위해 사용되는 통계적 추론 방법으로, 관측값의 무작위 표본을 사용하여 계산된다. 역사적으로 이 방법은 부트스트랩의 발명보다 앞서 모리스 케누이가 1949년에 이 방법을 발명하고 존 투키가 1958년에 확장했다. 이 방법은 프라산타 찬드라 마할라노비스가 1946년에 표본의 절반을 무작위로 선택하여 관심 통계량의 반복 추정치를 제안하면서 예고되었다. 그는 이 방법을 '상호 침투 표본(interpenetrating samples)'이라고 명명했다.
케누이는 표본 추정치의 편향을 줄일 목적으로 이 방법을 발명했다. 투키는 복제본을 동일하게 독립적으로 분포된 것으로 간주할 수 있다면 표본 모수의 분산 추정치를 만들 수 있고, 이는 n-1 자유도를 가진 t 변수(n은 표본 크기)로 근사적으로 분포될 것이라고 가정하여 이 방법을 확장했다.
재표본 추출 교차타당도
잭나이프 분산 추정량의 기본 아이디어는 표본 집합에서 한 번에 하나 이상의 관측값을 제외하고 통계량 추정치를 체계적으로 다시 계산하는 것이다. 이 새로운 통계량 복제본 집합으로부터 편향 추정치와 통계량의 분산 추정치를 계산할 수 있다. 잭나이프는 무작위(하위 표본 추출) Leave-One-Out 교차타당도와 동일하며, 목표만 다르다.
많은 통계적 모수에 대해 잭나이프 분산 추정치는 거의 확실하게 참값으로 점근적으로 수렴하는 경향이 있다. 기술적인 용어로 잭나이프 추정치는 일치성이 있다고 말한다. 잭나이프는 표본 평균값, 표본 분산, 중심 및 비중심 t-통계량(비정규 모집단 가능), 표본 변동 계수, 최대 우도 추정량, 최소 제곱 추정량, 피어슨 상관 계수 및 회귀 계수에 대해 일치성을 갖는다.
표본 중앙값에는 일치하지 않는다. 단일 모드 변수의 경우 잭나이프 분산 대 표본 분산의 비율은 두 자유도를 가진 카이 제곱 분포의 제곱의 절반으로 분포되는 경향이 있다.
분산을 추정하기 위해 잭나이프를 사용하는 대신 분산의 로그에 적용할 수도 있다. 이 변환은 특히 분산 자체의 분포가 비정규일 때 더 나은 추정치를 얻을 수 있다.
재표본 추출 교차타당도
잭나이프는 원래 부트스트랩과 마찬가지로 데이터의 독립성에 의존한다. 데이터의 의존성을 허용하기 위한 잭나이프 확장이 제안되었다. 그러한 확장 중 하나는 푸아송 표본 추출과 함께 사용되는 그룹 삭제 방법이다.
두 방법, 부트스트랩과 잭나이프는 모수적 가정에서가 아니라 하위 표본들 사이의 통계량 변동성으로부터 통계량의 변동성을 추정한다. 보다 일반적인 잭나이프인 m개 관측값을 삭제하는 잭나이프의 경우, 부트스트랩은 그것의 무작위 근사치로 볼 수 있다. 둘 다 유사한 수치 결과를 산출하며, 이는 각 방법이 서로의 근사치로 볼 수 있는 이유이다. 수학적 통찰력에 큰 이론적 차이가 있지만, 통계 사용자에게 주요 실질적인 차이점은 부트스트랩은 동일한 데이터에 반복적으로 적용될 때 다른 결과를 제공하는 반면, 잭나이프는 매번 정확히 동일한 결과를 제공한다는 것이다. 이 때문에 잭나이프는 추정치가 발행 전에 여러 번 검증되어야 할 때 (예: 공식 통계 기관) 인기가 있다. 반면에 이러한 검증 기능이 중요하지 않고 숫자가 아니라 분포에 대한 아이디어만 있으면 되는 경우 (예: 물리학, 경제학, 생물학 분야 연구) 부트스트랩이 선호된다.
재표본 추출 교차타당도
부트스트랩을 사용할지 잭나이프를 사용할지는 설문 조사의 통계적 고려 사항보다는 운영적인 측면에 더 많이 의존할 수 있다. 원래 편향 감소를 위해 사용된 잭나이프는 보다 전문적인 방법이며 점 추정량의 분산만 추정한다. 이는 기본적인 통계적 추론(예: 가설 검정, 신뢰 구간)에 충분할 수 있다. 반면에 부트스트랩은 먼저 (점 추정량의) 전체 분포를 추정하고 그로부터 분산을 계산한다. 강력하고 쉽지만, 이는 계산적으로 매우 집약적일 수 있다.
"부트스트랩은 분산 및 분포 추정 문제 모두에 적용될 수 있다. 그러나 부트스트랩 분산 추정량은 경험적 결과 측면에서 잭나이프 또는 균형 반복 복제 (BRR) 분산 추정량만큼 좋지 않다. 또한 부트스트랩 분산 추정량은 일반적으로 잭나이프 또는 BRR보다 더 많은 계산을 필요로 한다. 따라서 부트스트랩은 주로 분포 추정에 권장된다."
잭나이프, 특히 1개 관측값 삭제 잭나이프에는 특별한 고려 사항이 있다. 이는 매끄럽고 미분 가능한 통계량(예: 총합, 평균, 비율, 승산비, 회귀 계수 등; 중앙값 또는 분위수에는 해당되지 않음)에만 사용해야 한다. 이는 실질적인 단점이 될 수 있다. 이 단점은 일반적으로 잭나이프보다 부트스트랩을 선호하는 주장이 된다. m개 삭제 잭나이프 또는 2개만 남기고 모두 삭제하는 호지스-레만 추정량과 같은 1개 삭제보다 더 일반적인 잭나이프는 일치 분산 추정을 위한 매끄러움 요구 사항을 완화하여 중앙값 및 분위수에 대한 이 문제를 극복한다.
일반적으로 잭나이프는 부트스트랩보다 복잡한 표본 추출 방식에 적용하기 더 쉽다. 복잡한 표본 추출 방식에는 층화, 다단계(군집화), 다양한 표본 추출 가중치(무응답 조정, 보정, 후층화) 및 불균등 확률 표본 추출 설계가 포함될 수 있다. 부트스트랩과 잭나이프의 이론적 측면은 Shao와 Tu (1995)에서 찾을 수 있으며, 기본적인 소개는 Wolter (2007)에 설명되어 있다. 모델 예측 편향의 부트스트랩 추정치는 선형 판별 함수 또는 다중 회귀와 같은 선형 모델에서 잭나이프 추정치보다 더 정확하다.
재표본 추출 참고문헌
Pierre Del Moral (2004). Feynman-Kac formulae. Genealogical and Interacting particle systems with applications, Springer, Series Probability and Applications. ISBN 978-0-387-20268-6
Pierre Del Moral (2013). Del Moral, Pierre (2013). Mean field simulation for Monte Carlo integration. Chapman & Hall/CRC Press, Monographs on Statistics and Applied Probability. ISBN 9781466504059
재표본 추출 참고문헌
Jiang W, Simon R. A comparison of bootstrap methods and an adjusted bootstrap approach for estimating the prediction error in microarray classification. Stat Med. 2007 Dec 20;26(29):5320-34. doi: 10.1002/sim.2968. PMID: 17624926. https://brb.nci.nih.gov/techreport/prederr_rev_0407.pdf
콜모고로프-스미르노프 검정
통계학에서 콜모고로프-스미르노프 검정(Kolmogorov–Smirnov test, K-S 검정 또는 KS 검정)은 연속(또는 불연속, 섹션 2.2 참조) 1차원 확률 분포의 등가성에 대한 비모수 검정이다. 이 검정은 표본이 주어진 기준 확률 분포에서 나왔는지(1-표본 K-S 검정), 또는 두 표본이 같은 분포에서 나왔는지(2-표본 K-S 검정)를 검정하는 데 사용될 수 있다. 이 검정은 1930년대에 이를 개발한 안드레이 콜모고로프와 니콜라이 스미르노프의 이름을 따서 명명되었다.
콜모고로프-스미르노프 통계량은 표본의 경험적 누적 분포 함수와 기준 분포의 누적 분포 함수 사이, 또는 두 표본의 경험적 누적 분포 함수 사이의 거리를 정량화한다. 이 통계량의 영 분포는 표본이 기준 분포에서 추출되었거나(1-표본의 경우) 표본이 동일한 분포에서 추출되었다는(2-표본의 경우) 귀무 가설 하에 계산된다. 1-표본의 경우, 귀무 가설 하에 고려되는 분포는 연속적일 수 있거나(섹션 2 참조), 순수하게 이산적이거나 혼합될 수 있다(섹션 2.2 참조). 2-표본의 경우(섹션 3 참조), 귀무 가설 하에 고려되는 분포는 연속 분포이지만 그 외에는 제한이 없다.
콜모고로프-스미르노프 검정
2-표본 K-S 검정은 두 표본의 경험적 누적 분포 함수의 위치와 형태의 차이에 모두 민감하므로 두 표본을 비교하는 데 가장 유용하고 일반적인 비모수 방법 중 하나이다.
콜모고로프-스미르노프 검정은 적합도 검정으로 사용되도록 수정될 수 있다. 분포의 정규성을 검정하는 특수한 경우, 표본은 표준화되어 표준 정규 분포와 비교된다. 이는 기준 분포의 평균과 분산을 표본 추정치와 동일하게 설정하는 것과 같으며, 이를 사용하여 특정 기준 분포를 정의하면 검정 통계량의 영 분포가 변경되는 것으로 알려져 있다(추정된 매개변수를 사용한 검정 참조). 다양한 연구에서 이 보정된 형태에서도 이 검정이 샤피로-윌크 검정 또는 앤더슨-달링 검정보다 정규성을 검정하는 데 검정력이 낮다는 사실이 밝혀졌다. 그러나 이러한 다른 검정에는 자체적인 단점이 있다. 예를 들어, 샤피로-윌크 검정은 동일한 값이 많은 표본에서는 잘 작동하지 않는 것으로 알려져 있다.
콜모고로프-스미르노프 검정 1-표본 콜모고로프-스미르노프 통계량
n개의 독립적이고 동일하게 분포된(i.i.d.) 순서 관측치 Xi에 대한 경험적 누적 분포 함수 Fn은 다음과 같이 정의된다.
여기서 는 지시 함수이며, 이면 1이고 그렇지 않으면 0이다.
주어진 누적 분포 함수 F(x)에 대한 콜모고로프-스미르노프 통계량은 다음과 같다.
여기서 supx는 거리 집합의 상한이다. 직관적으로 이 통계량은 모든 x 값에서 두 분포 함수 사이의 가장 큰 절대 차이를 취한다.
글리벤코-칸텔리 정리에 따르면, 표본이 분포 F(x)에서 나온 경우, 이 무한대로 갈 때 Dn은 거의 확실하게 0으로 수렴한다. 콜모고로프는 이 수렴 속도를 효과적으로 제공함으로써 이 결과를 강화했다(콜모고로프 분포 참조). 돈스커 정리는 훨씬 더 강력한 결과를 제공한다.
실제로 이 통계량은 귀무 가설을 적절하게 기각하기 위해 상대적으로 많은 수의 데이터 포인트가 필요하다(앤더슨-달링 검정 통계량과 같은 다른 적합도 기준과 비교할 때).
콜모고로프-스미르노프 검정 콜모고로프 분포
콜모고로프 분포는 다음 확률 변수의 분포이다.
여기서 B(t)는 브라운교이다. K의 누적 분포 함수는 다음과 같다.
이는 야코비 세타 함수 로도 표현될 수 있다. 콜모고로프-스미르노프 검정 통계량의 형식과 귀무 가설 하에서의 점근 분포는 안드레이 콜모고로프가 발표했으며, 분포 표는 니콜라이 스미르노프가 발표했다. 유한 표본에서 검정 통계량 분포에 대한 점화식도 구할 수 있다.
표본이 가설 분포 F(x)에서 나왔다는 귀무 가설 하에,
분포 수렴이 발생하며, 여기서 B(t)는 브라운교이다. F가 연속이면 귀무 가설 하에 은 콜모고로프 분포로 수렴하며, 이는 F에 의존하지 않는다. 이 결과는 콜모고로프 정리로도 알려져 있다.
이 유한할 때 의 정확한 CDF에 대한 근사치로서 이 극한의 정확도는 그리 인상적이지 않다. 일 때조차 해당 최대 오차는 약 이며, 일 때 이 오차는 로 증가하고, 일 때는 전혀 허용할 수 없는 로 증가한다. 그러나 자코비 세타 함수의 인수에  대신
을 대입하는 매우 간단한 방법으로 이러한 오차는 각각
, , 로 줄어든다. 이러한 정확도는 일반적으로 모든 실제 적용에 충분한 것으로 간주될 것이다.
콜모고로프-스미르노프 검정 콜모고로프 분포
적합도 검정 또는 콜모고로프-스미르노프 검정은 콜모고로프 분포의 임계값을 사용하여 구성될 수 있다. 이 검정은 일 때 점근적으로 유효하다. 귀무 가설은 수준 에서 기각되며,
여기서 Kα는 다음으로부터 얻어진다.
이 검정의 점근 검정력은 1이다.
임의의 과 에 대해 cdf  또는 그 보수를 계산하는 빠르고 정확한 알고리즘은 다음에서 찾을 수 있다.
F(x)의 형식이나 매개변수가 데이터 Xi에서 결정되는 경우, 이러한 방식으로 결정된 임계값은 유효하지 않다. 이러한 경우에는 몬테카를로 또는 다른 방법이 필요할 수 있지만, 일부 경우에는 표가 작성되어 있다. 정규 분포 및 지수 분포에 대한 검정 통계량의 필요한 수정 및 임계값에 대한 세부 정보가 게시되었으며, 이후 출판물에는 굼벨 분포도 포함된다. 릴리포스 검정은 정규 분포에 대한 이 특수한 경우를 나타낸다. 로그 변환은 콜모고로프 검정 데이터가 정규 분포에서 나왔다는 가정에 맞지 않는 경우를 극복하는 데 도움이 될 수 있다.
콜모고로프-스미르노프 검정 콜모고로프 분포
매개변수를 추정할 때는 어떤 추정 방법을 사용해야 하는지에 대한 의문이 생긴다. 일반적으로 최대가능도 방법이 사용되지만, 예를 들어 정규 분포의 경우 MLE는 시그마에 대한 큰 편향 오차를 가지고 있다. 대신 모멘트 적합 또는 KS 최소화를 사용하면 임계값에 큰 영향을 미치고, 검정력에도 어느 정도 영향을 미친다. df = 2인 스튜던트-T 데이터에 대해 KS 검정을 통해 데이터가 정규 분포인지 아닌지를 결정해야 하는 경우, H0(데이터가 정규 분포이므로 스케일에는 표준 편차 사용)에 기반한 ML 추정은 KS 최소화를 통한 적합보다 훨씬 큰 KS 거리를 제공할 것이다. 이 경우 H0를 기각해야 하는데, 이는 MLE의 경우 종종 발생한다. 왜냐하면 T-2 데이터의 표본 표준 편차는 매우 클 수 있지만, KS 최소화를 사용하면 H0를 기각하기에는 여전히 너무 낮은 KS를 얻을 수 있기 때문이다. 스튜던트-T의 경우, MLE 대신 KS 추정치를 사용한 수정된 KS 검정은 KS 검정을 실제로 약간 더 나쁘게 만든다. 그러나 다른 경우에는 이러한 수정된 KS 검정이 약간 더 나은 검정력을 제공한다.
콜모고로프-스미르노프 검정 콜모고로프 분포
가 비감소적이고 우연속적이며 셀 수 있는(무한할 수도 있는) 수의 점프를 가진다는 가정 하에, KS 검정 통계량은 다음과 같이 표현될 수 있다.
의 우연속성으로부터  및 가 성립하며, 따라서 의 분포는 영 분포 에 의존하게 된다. 즉, 연속적인 경우처럼 분포에 독립적이지 않다. 따라서 가 순수 이산적이거나 혼합일 때 의 정확하고 점근적인 분포를 계산하기 위한 빠르고 정확한 방법이 개발되었으며, C++ 및 R 언어의 KSgeneral 패키지에 구현되어 있다. disc_ks_test(), mixed_ks_test() 및 cont_ks_test() 함수는 순수 이산, 혼합 또는 연속 영 분포 및 임의 표본 크기에 대한 KS 검정 통계량과 p-값도 계산한다. 이산 영 분포 및 작은 표본 크기에 대한 KS 검정 및 p-값은에서 R 언어의 dgof 패키지의 일부로 계산된다. SAS PROC NPAR1WAY, Stata ksmirnov와 같은 주요 통계 패키지는 가 연속이라는 가정 하에 KS 검정을 구현하는데, 이는 영 분포가 실제로 연속이 아닌 경우 더 보수적이다(Noether63Noether GE (1963). 《Note on the Kolmogorov Statistic in the Discrete Case》. 《Metrika》 7. 115–116쪽. doi:10.1007/bf02613966. S2CID 120687545. </ref>

 참조).
콜모고로프-스미르노프 검정 2-표본 콜모고로프-스미르노프 검정
콜모고로프-스미르노프 검정은 두 개의 기초적인 1차원 확률 분포가 다른지 여부를 검정하는 데에도 사용될 수 있다. 이 경우 콜모고로프-스미르노프 통계량은 다음과 같다.
여기서  및 은 각각 첫 번째 표본과 두 번째 표본의 경험적 누적 분포 함수이며, 는 상한 함수이다.
큰 표본의 경우, 귀무 가설은 수준 에서 기각된다.
여기서 과 은 각각 첫 번째와 두 번째 표본의 크기이다.  값은 가장 일반적인  수준에 대해 아래 표에 나와 있다.
그리고 일반적으로 다음으로 주어진다.
따라서 조건은 다음과 같다.
여기서 다시 표본 크기가 클수록 최소 경계가 더 민감해진다. 주어진 표본 크기 비율(예: )의 경우, 최소 경계는 표본 중 하나의 크기에 따라 역제곱근에 비례하여 조정된다.
콜모고로프-스미르노프 검정 2-표본 콜모고로프-스미르노프 검정
두 표본 검정은 두 데이터 표본이 동일한 분포에서 왔는지 여부를 확인한다. 이는 공통 분포가 무엇인지(예: 정규 분포인지 아닌지)를 지정하지 않는다. 다시, 임계값 표가 발행되었다. 단변량 콜모고로프-스미르노프 검정의 단점은 두 분포 함수 간의 모든 가능한 유형의 차이에 민감하도록 고안되었기 때문에 검정력이 그리 강하지 않다는 것이다. 일부 사람들은 원래 위치와 스케일을 동시에 비교하기 위해 제안된 쿠코니 검정이 두 분포 함수를 비교할 때 콜모고로프-스미르노프 검정보다 훨씬 더 강력할 수 있다고 주장한다.
2-표본 KS 검정은 경제학에서 비대칭 효과를 감지하고 자연 실험을 연구하는 데 적용되었다.
콜모고로프-스미르노프 검정 분포 함수의 형태에 대한 신뢰 한계 설정
콜모고로프-스미르노프 검정은 일반적으로 주어진 F(x)가 Fn(x)의 기초 확률 분포인지 여부를 검정하는 데 사용되지만, 이 절차를 역으로 적용하여 F(x) 자체에 대한 신뢰 한계를 제공할 수 있다. 검정 통계량 Dα의 임계값을 P(Dn > Dα) = α가 되도록 선택하면 Fn(x) 주변의 ±Dα 폭의 구간은 확률 1 − α로 F(x)를 완전히 포함한다.
콜모고로프-스미르노프 검정 다차원 콜모고로프-스미르노프 통계량
분포에 독립적인 다변량 콜모고로프-스미르노프 적합도 검정이 후스텔, 페냐, 자마르(1997)에 의해 제안되었다. 이 검정은 로젠블라트 변환을 사용하여 구축된 통계량을 사용하며, 이변량 경우에 이를 계산하는 알고리즘이 개발되었다. 또한 어떤 차원에서도 쉽게 계산할 수 있는 근사 검정도 제시되어 있다.
다변량 데이터에 유사한 검정을 적용하려면 콜모고로프-스미르노프 검정 통계량을 수정해야 한다. 이는 두 결합 누적 분포 함수 간의 최대 차이가 일반적으로 보완 분포 함수 중 어느 하나와의 최대 차이와 같지 않기 때문에 간단하지 않다. 따라서  또는  또는 다른 두 가지 가능한 배치 중 어느 것을 사용하는지에 따라 최대 차이가 달라질 것이다. 사용된 검정 결과가 어떤 선택에 의존하지 않아야 한다고 요구할 수 있다.
콜모고로프-스미르노프 검정 다차원 콜모고로프-스미르노프 통계량
콜모고로프-스미르노프 통계량을 더 높은 차원으로 일반화하는 한 가지 접근 방식은 두 표본의 cdf를 가능한 모든 순서로 비교하고 결과 KS 통계량 세트 중 가장 큰 값을 취하는 것이다. d차원에서 이러한 순서는 2d − 1개가 있다. 이러한 변형 중 하나는 피콕(Peacock)의 것이며
(3D 버전은 고세트(Gosset)도 참조)
다른 하나는 파사노(Fasano)와 프란체스키니(Franceschini)의 것이다 (비교 및 계산 세부 정보는 로페스 등 참조). 검정 통계량의 임계값은 시뮬레이션을 통해 얻을 수 있지만, 결합 분포의 의존성 구조에 따라 달라진다.
콜모고로프-스미르노프 검정 구현
콜모고로프-스미르노프 검정은 많은 소프트웨어 프로그램에 구현되어 있다. 대부분은 1-표본 및 2-표본 검정을 모두 구현한다.
콜모고로프-스미르노프 검정 추가 자료
Stuart, Alan; Ord, Keith; Arnold, Steven [F.] (1999). 《Classical Inference and the Linear Model》 Six판. Kendall's Advanced Theory of Statistics 2A. London: Arnold. 25.37–25.43쪽. ISBN 978-0-340-66230-4. MR 1687411.
Kesemen, O.; Tiryaki, B.K.; Tezel, Ö.; Özkul, E. (2021). 《A new goodness of fit test for multivariate normality》. 《Hacettepe Journal of Mathematics and Statistics》 50. 872–894쪽. doi:10.15672/hujms.644516.
자크-베라 검정
통계학에서 자크-베라 검정(Jarque–Bera test)은 표본 데이터가 정규 분포와 일치하는 비대칭도와 첨도를 가지는지 여부를 확인하는 적합도 검정이다. 이 검정은 카를로스 자크와 아닐 K. 베라의 이름을 따서 명명되었다.
검정 통계량은 항상 음수가 아니다. 0에서 멀리 떨어져 있으면 데이터가 정규 분포를 따르지 않는다는 신호이다.
검정 통계량 JB는 다음과 같이 정의된다.
여기서 n은 관측치 수(또는 일반적으로 자유도)이고, S는 표본 비대칭도, K는 표본 첨도이다.
여기서 와 는 각각 3차 및 4차 중심 모멘트의 추정값이며, 는 표본 평균이고,
는 2차 중심 모멘트인 분산의 추정값이다.
데이터가 정규 분포에서 나온 경우, JB 통계량은 점근적으로 두 자유도를 가진 카이제곱 분포를 따르므로, 이 통계량을 사용하여 데이터가 정규 분포에서 나왔다는 가설을 검정할 수 있다. 귀무 가설은 비대칭도가 0이고 초과 첨도가 0이라는 결합 가설이다. 정규 분포에서 추출된 표본은 기대 비대칭도가 0이고 기대 초과 첨도가 0(첨도 3과 동일)이다. JB의 정의에서 알 수 있듯이, 이로부터의 모든 편차는 JB 통계량을 증가시킨다.
자크-베라 검정
작은 표본의 경우 카이제곱 근사는 지나치게 민감하여 귀무 가설이 참일 때에도 종종 기각한다. 또한, p-값의 분포는 균일 분포에서 벗어나 특히 작은 p-값에 대해 오른쪽으로 치우친 단봉 분포가 된다. 이는 높은 1종 오류율을 초래한다. 아래 표는 작은 표본에 대해 참 알파 수준과 다른, 카이제곱 분포로 근사된 일부 p-값을 보여준다.
(이 값들은 매트랩에서 몬테카를로 시뮬레이션을 사용하여 근사되었다.)
매트랩의 구현에서 JB 통계량 분포에 대한 카이제곱 근사는 큰 표본 크기(> 2000)에만 사용된다. 작은 표본의 경우, p-값을 보간하기 위해 몬테카를로 시뮬레이션에서 파생된 테이블을 사용한다.
자크-베라 검정 역사
이 통계량은 카를로스 M. 자크와 아닐 K. 베라가 호주 국립대학교에서 박사 학위 논문을 작업하는 동안 도출되었다.
자크-베라 검정 회귀 분석에서의 자크-베라 검정
로버트 홀, 데이비드 릴리언 외 (1995)에 따르면, 다중 회귀 분석과 함께 이 검정을 사용할 때 올바른 추정값은 다음과 같다.
여기서 n은 관측치 수이고 k는 방정식에 대한 잔차를 검토할 때의 회귀변수 수이다.
자크-베라 검정 추가 자료
Jarque, Carlos M.; Bera, Anil K. (1980). 《Efficient tests for normality, homoscedasticity and serial independence of regression residuals》. 《Economics Letters》 6. 255–259쪽. doi:10.1016/0165-1765(80)90024-5.
Jarque, Carlos M.; Bera, Anil K. (1981). 《Efficient tests for normality, homoscedasticity and serial independence of regression residuals: Monte Carlo evidence》. 《Economics Letters》 7. 313–318쪽. doi:10.1016/0165-1765(81)90035-5.
자크-베라 검정 추가 자료
Jarque, Carlos M.; Bera, Anil K. (1987). 《A test for normality of observations and regression residuals》. 《International Statistical Review》 55. 163–172쪽. doi:10.2307/1403192. JSTOR 1403192.
아카이케 정보 기준
아카이케 정보 기준(Akaike information criterion, AIC)은 예측 오류의 추정량이자 주어진 데이터 세트에 대한 통계 모델의 상대적인 품질을 나타내는 지표이다. 주어진 데이터에 대한 모델 집합이 있을 때, AIC는 각 모델의 품질을 다른 모델들과 비교하여 추정한다. 따라서 AIC는 모형 선택을 위한 수단을 제공한다.
AIC는 정보 이론에 기반을 둔다. 통계 모델이 데이터를 생성한 프로세스를 나타내는 데 사용될 때, 그 표현은 거의 정확하지 않으므로 모델을 사용하여 프로세스를 나타내면 일부 정보가 손실된다. AIC는 주어진 모델이 잃는 상대적인 정보량을 추정한다. 모델이 잃는 정보가 적을수록 모델의 품질은 더 높다.
모델이 잃는 정보량을 추정할 때, AIC는 모델의 적합도와 모델의 단순성 사이의 균형을 다룬다. 즉, AIC는 과적합 위험과 과소적합 위험을 모두 다룬다.
아카이케 정보 기준은 이를 공식화한 일본 통계학자 아카이케 히로쓰구의 이름을 따서 명명되었다. 현재 이 기준은 통계학의 기초를 위한 패러다임의 기반을 형성하며, 통계적 추론에도 널리 사용된다.
아카이케 정보 기준 정의
어떤 데이터의 통계 모델이 있다고 가정해 보자. 모델에서 추정된 매개변수의 수를 k라고 하자. 모델의 가능도 함수의 최댓값을 이라고 하자. 그러면 모델의 AIC 값은 다음과 같다.
데이터에 대한 후보 모델 세트가 주어지면, 최소 AIC 값을 가진 모델이 선호되는 모델이다. 따라서 AIC는 적합도 (가능도 함수로 평가됨)에 보상을 주지만, 추정된 매개변수 수의 증가 함수인 페널티도 포함한다. 페널티는 과적합을 막는데, 이는 모델의 매개변수 수를 늘리면 거의 항상 적합도가 향상되기 때문에 바람직하다.
데이터가 어떤 알 수 없는 프로세스 f에 의해 생성되었다고 가정해 보자. 우리는 f를 나타내기 위한 두 가지 후보 모델 g1과 g2를 고려한다. 만약 f를 알았다면, g1을 사용하여 f를 나타낼 때 손실되는 정보를 쿨백-라이블러 발산, DKL(f ‖ g1)를 계산하여 찾을 수 있을 것이고, 마찬가지로 g2를 사용하여 f를 나타낼 때 손실되는 정보는 DKL(f ‖ g2)를 계산하여 찾을 수 있을 것이다. 그러면 우리는 일반적으로 정보 손실을 최소화하는 후보 모델을 선택할 것이다.
아카이케 정보 기준 정의
우리는 f를 알지 못하기 때문에 확실하게 선택할 수 없다. 하지만 Akaike (1974)는 AIC를 통해 g1이 g2보다 얼마나 더(또는 덜) 정보를 잃는지 추정할 수 있음을 보여주었다. 그러나 이 추정치는 점근적으로만 유효하다. 데이터 포인트 수가 적으면 종종 어떤 보정이 필요하다(아래 AICc 참조).
AIC는 모델의 절대적인 품질이 아니라 다른 모델에 대한 상대적인 품질만을 알려준다는 점에 유의해야 한다. 따라서 모든 후보 모델이 적합도가 낮다면 AIC는 이에 대한 경고를 주지 않는다. 그러므로 AIC를 통해 모델을 선택한 후에는 일반적으로 모델의 절대적인 품질을 검증하는 것이 좋은 관행이다. 이러한 검증은 일반적으로 모델의 잔차 (잔차가 무작위로 보이는지 확인하기 위해) 및 모델 예측에 대한 테스트를 포함한다. 이 주제에 대한 자세한 내용은 통계 모델 검증을 참조하라.