Exact & Asymptotic p-values

Original Post

The p-value is generally the probability that the observed data would occur under the null hypothesis, which is contrary to the claim being made. As this value is observed on the extreme tail of the distribution generated by the null hypothesis, a lower probability, or a lower p-value, is obtained. If this value is less than 0.05, it is generally claimed that the null hypothesis is incorrect (rejected!). This looks like a proof by contradiction. (Note that 0.05 can also be interpreted as a cut-off that allows for Type I errors, which are incorrectly rejecting the null hypothesis.)

Today's topic is related to the null distribution created under the null hypothesis in this sequence of steps to calculate the p-value. Generally, if there are a large number of samples and the situation is complex, creating the null distribution takes a significant amount of time. However, the law of large numbers and the central limit theorem approximate this distribution to a known distribution in many real-world scenarios. The p-value obtained through this method is referred to as the asymptotic p-value.

This parametric assumption makes statistical claims easy, but often, when the sample size is small, it's not possible to make such assumptions. In such cases, with a small sample, there's not enough information to know the approximate distribution, but on the flip side, there's enough time to directly compute the null distribution. The p-value obtained through this way is referred to as the exact p-value.

Two prominent examples of such tests are Pearson’s chi-squared test and Fisher’s exact test. You can check this example on the reference (wikipedia)

정리

  p-value는 관측된 데이터가, 영가설 하에서 발생할 확률을 의미한다. 관측된 자료가 영가설을 지지하지 않는다면, 이 값은 영가설로부터 생성된 영분포에서 낮은 확률로 등장한다는 의미이다. 이 경우 영 분포의 극단적인 꼬리에서 관측되며, 낮은 확률를 얻게 되고, 이때의 확률을 p-value라고 한다. 만약 이 값이 0.05보다 작다면, 일반적으로 주어진 데이터를 보니 영가설이 잘못되었더라고 이야기가 전개된다 (rejected!). 사회과학에서는 조금 더 느슨하게 0.15를 쓰는 경우도 있다. 이를 크게 보면 귀류법과 비슷한 논리이다. 참고로 0.05는 영가설을 잘못 기각하는 제1종 오류를 허용하는 경계로 해석될 수도 있다.

 

  오늘의 주제는 p-value를 계산하기 위한 단계에서 영가설 하에서 생성된 영분포와 관련이 있다. 구체적으로 영분포는 자료를 통해 계산 가능한 이미 알려진 검정통계량의 분포이다. 이때 알려져있는 분포가 없다면, 영분포는 주어진 자료의 조합으로 일어날 수 있는 거의 모든 경우의 수를 계산하여나온 각각의 경우에 대한 히스토그램 (분포) 이라고 생각하면 된다.

 

  일반적으로 많은 수의 샘플이 있고 상황이 복잡한 경우, 영분포를 생성하는 것은 상당한 시간이 소요된다. 그러나 표본의 수가 충분하다면 중심극한정리는 많은 실제 시나리오에서 검정통계량의 분포를 알려진 분포로 근사한다. 이렇게 근사적인 영분포에서 계산하여 얻은 p-value를 asymptotic p-value라고 한다.

from the paper "Methods and biostatistics: A consise guide for peer reviewers" (2010, Kyrgidis A & Triaridis S)

 

  이러한 모수 가정은 통계적 주장을 용이하게 만들어주지만, 종종 샘플 크기가 작을 때는 근사적인 분포의 가정을 만족시킬 수 없다. 이 경우 작은 샘플로는 근사 분포의 정보를 쓰기에는 충분하지 않지만, 반면에, 영분포를 직접 계산할 충분한 시간이 있게된다. 영분포를 만드는 과정은, 영가설을 따른다는 가정하에 주어진 데이터의 모든 조합을 통해 검정통계량의 분포를 구하면 된다. (histogram을 그리면 아래와 같이 된다.) 이 방법으로 영분포를 구하고, 그 영분포를 통해 얻은 p-value를 exact p-value라고 한다. 이러한 일련의 검정을 exact test라고 한다.

 

 

  이러한 두가지 계열의 검정에는 대표적으로 피어슨 카이제곱 검정과 피셔의 정확 검정이 있다. 해당 예제는 참고 문헌(wikipedia)에서 확인하실 수 있다.

 

참고

1. Exact distribution을 이용한 p-value는 분포의 discretness로 인해 asymptotic distribution을 이용한 결과보다 보수적일 수 있다.
2. 근사치를 사용한다는 여러 유명한 검정들은 당연히도, 주어진 데이터로 영분포를 만들어 정확검정을 시행할 수 있다.
3. 주어진 데이터를 가지고 만드는 영분포를 위해 가능한 모든 조합을 만들게 되는데, 가장 많이 쓰이는 방법이 바로 순열법이다. 때문에 순열검정법은 가끔 정확검정과 같다고 이야기되거나, 그런식으로 논문에 등장하기도 하지만, 정확히는 그게 아니다. 모든 순열검정법은 정확검정이지만, (조합의 경우를 고려하는 방식은 다른 방식도 있기때문에) 모든 정확검정은 순열검정법이 아니다.

 

References

https://en.wikipedia.org/wiki/Exact_test

Exact test - Wikipedia

https://en.wikipedia.org/wiki/Permutation_test

Permutation test - Wikipedia

Figures:

"Methods and biostatistics: A consise guide for peer reviewers" (2010, Kyrgidis A & Triaridis S)