후속검정은 유의한 분산분석에 대해 실행하는 것으로, 분산분석은 단순히 여러 군집 중 적어도 하나의 군집이 다른 하나의 군집과 유의한 차이가 있다는 것일뿐, 어느 군집이 어느 군집과 차이가 있는 것인지를 알기 위해서는 후속검정의 방법들 중 하나를 시행해보아야 하는데 이는 결국 2개 군집들의 조합들에 대해서 모두 유의한 차이의 여부를 확인하는 것임.
군집이 5개라면 5C2 가 되므로 총 10개의 2개 군집들의 조합이 있을 수 있으므로 10번의 비교를 하게 되는데 이때 1회의 비교마다 5%의 유의수준을 사용한다면 총 50%의 제1형 오류의 가능성을 가져오게 되므로, 전체 후속검정의 유의수준을 5%로 고정하는 방법을 고려하게 되는 것임. 이 방법이 무엇인가가 여러 후속검정들 사이의 차이에 해당됨.
Bonferroni의 방법은 이중 가장 단순한 방법으로 5%/10(비교의 횟수)=0.5%의 유의수준을 각각의 비교에 대해 적용하는 방법임. 각 비교는 일반적인 t-검정과 같은 방법으로 진행하되, 그 유의수준을 0.5%, 즉 99.5%의 신뢰수준으로 검정하여 유의한 차이를 보이는 짝들을 찾아나가는 것이 Bonferroni의 방법임. 끝.

추) 군집별 시료수가 '3'이라면, 자유도가 너무 작아서, 심각한 정도로 검정력이 작을수밖에 없으므로 의미있는 결과를 기대하는 것은 무리임.

multiple comparison correction 방법중 가장 보수적인 방법입니다. 보통 p <0.05를 만족한다는건, 데이터에 의미있는 차이가 없을때 우연히 현재와 같은 양상이 관찰될 확률이 5%미만이라는 거죠. 즉, '차이있음'이라고 선언했을때 '앗 진실이 아닌데 속았구만'할 확률(=false positive)이 5%미만이란 말입니다. 그런데 비교를 한번이 아니라 두번,세번...만약 20번을 한다고 하면 그중에 한번정도는 자연스럽게 false positive가 나올수 있겠죠. 본페로니는 그래서 원하는 p-value를 비교횟수로 나눈 새로운 p-value를 적용하는방법입니다.

ANOVA는 셋 이상의 그룹들이 있을때 우선, 세 그룹이 모두 동일한 그룹인지 아닌지르 검정하게 되고, 만약 '세그룹이 모두 동일하지는 않음.'이라고 나오면 구체적으로 누구랑 누구랑 서로 다른그룹인지를 밝혀야 하는 상황이 됩니다. 이게 post hoc test고, 실제로는 t-test를 모든 가능한 조합만큼 실시하는거죠. 그리고 그 가능한 조합의 수로 원하는 p-값을 나눈 새로운 p-value보다 적은 쌍이 있다면, 유의하게 차이가 나는 그룹쌍이라고 보는겁니다.

위에 두 분 말씀이 다 맞습니다. 쉽게 설명드릴께요:

1) 본 퍼로니: 그래프패드에서 선택하여 수행할 수 있는 가장 보수적인 포스트 학 테스트 입니다. 여기서 통과되어 유의미한 차이가 있다고 나오면, 다른 테스트에서도 그렇함.

2) 튜키 : 본 퍼로니 보다는 걸 보수적인 방법. 피셔 보다는 보수적인 방법

3) 피셔 테스트: 가장 리버럴한 (혹은 덜 보수적인) 방법. 여기서 유의미한 차이를 보았더라도, 본퍼로니에서는 두 그룹에 차이가 없다고 나올 우려가 많이 있음.

하지만, 전제가 하나 있어요. 님이 지금하시는 비교는 티 테스트와 아노바와 같이 Parametric test로 검증할 때 그렇다는 얘기이고, 난 파라메트릭 (예. 멘-휘트니-윌콕슨)으로 하면 보다 더 보수적으로 검증해 볼 수 있습니다.

통계를 적용하는 기준으로 0.05 로 많이 놓습니다만, 이것도 약하니, 0.005로 놓아야 한다는 주장도 많이 있습니다 (브릭 홈페이지 내에 그런 논문 소개란이 있음).