[통계] 다중가설검정 (Multiple Comparison)

다중검정 (Multiple Comparison)

---

1. 다중검정이란?

- 다중 검정이란 여러 개의 가설검정을 동시에 수행하는 것. 예를 들어, 정상인과 환자간의 유의한 변수들(ex. 진료 데이터)을 식별하기 위해 데이터 피쳐의 갯수만큼의 가설을 검정하는 것이다. 이전의 가설 검정 방법은 단일 가설을 검정하는 것에 관심이 있었지만, 빅데이터가 많이 생섬됨에 따라 다중검정이 더 중요한 경우도 발생한다.

 각각의 가설에 대해 유의수준 α(1종오류)인 검정을 동시에 수행할 경우 전체오류율(1종오류)이 매우 커지게 된다. 이를 다중 검정의 문제라고 하며, 전체오류율을 유지하는 방법이 필요하다. 대표적으로 FWER을 통제하는 방법, FDR을 조절하는 방법이 있다. 

 

2-1. FWER (Family-Wise Error Rate)

- 유의하다고 판정된 feature들 중 적어도 하나 이상이 false positive일 확률을 통제하여 제 1종 오류를 최소화하는 기법. 너무 과도하게 보정된다는 단점이 있다.

• Bonferroni 검정
  • Bonferroni 검정은 가장 간단하고 보수적인 방법으로 유의수준을 보정한다. 이 방식은 각 검정에서 사용할 유의수준을 전체 검정 수로 나눈 값으로 보정한다. 예를 들어, 5개의 검정을 수행하고 유의 수준을 0.05로 설정했다면, Bonferroni 검정을 사용하면 유의수준은 0.01로 보정된다.

• Holm's Step-Down 검정
  • Bonferroni 검정의 단점을 보완한 방법으로 FWER을 통제하면서 Bonferroni 검정보다 덜 보수적인 방법이다. 귀무가설을 더 기각 시키면서 Type Ⅱ error를 줄임으로써 검정력을 증가시킨다

 

2-2. FDR (False Discovery Rate)

- 유의미한 결과를 얻기 위한 유의수준을 조절하는 방법이다. FDR은 FWER에 비해 덜 보수적인 방법으로, 복수의 가설 중 일부에서 오류를 범할 가능성을 허용하면서도 유의미한 결과를 얻을 수 있도록 한다.

• 참고: https://www.youtube.com/watch?v=K8LQSvtjcEo *StatQuest FDR 설명 영상