통계적 결론 타당성과 이를 위협하는 요소들

통계적 결론 타당성

연구에서 통계적 결론이라는 것은 추리통계에 관한 것이다. 추리가 없는 기술통계라면 검증의 절차가 없기 때문에 추리에 의한 결론을 내릴 필요가 없으며 이 결론의 타당성을 논할 필요도 없다. 통계적 검증에는 여러 가지의 절차가 있지만 여기에는 몇 가지 필수적인 요소들이 있다. 첫째는 통계적 검증은 표본 모집한 자료를 가지고 전체집단의 내용을 추정하는 것이다. 그래서 이를 추리통계라고 칭한다. 어떤 상관계수가 의미 있다고 결론짓는 것은 비록 얻어진 자료는 표본 모집의 자료이지만 그 결론은 전체집단에 대한 결론이다. 즉 전체집단에서 상관이 있다는 결론이다. 둘째는 귀무가설을 세운다는 점이다. 귀무가설이란 검증하고자 하는 통계치가 의미가 없다는 가설을 말한다. 일단 통계치가 의미가 없다는 귀무가설을 세워놓고 그것을 부정하는(혹은 부정하지 못하는) 방식으로 검증 절차를 밟는다. 이 귀무가설 부정의 절차는 통계검증에서 매우 특이한 점이다. 가령. 부부간의 의사소통 능력(변인 ‘A’)은 그들의 결혼 만족도(변인 ‘B’)와 상관이 있을 것이라는 가설을 검증하려고 연구하고 있다고 하자. 연구자의 당초 가설은 ‘A’와 ‘B’ 간에 상관이 있다는 것이었다. 그런데 통계검증 과정에서는 ‘A’와 ‘B’ 간에 상관이 없다는 귀무가설을 세운 뒤, 그 귀무가설이 부정되는지를 보는 것이다. 귀무가설이 부정되면 연구자는 당초의 연구가설을 수용하고자 하는 것이며, 귀무가설이 부정되지 않으면 당초의 연구가설을 기각하려는 전략이다. 즉, 통계적 검증의 절차를 밟으면 연구자는 귀무가설을 부정하거나 혹은 귀무가설을 부정하지 않거나 둘 중 하나의 결론을 채택하게 된다. 이것이 바로 통계적 결론이다. 그런데 이 통계적 결론은 반드시 오류의 가능성이 있다. 그 오류에는 크게 두 종류가 있으며 오류를 발생시키거나 오류 가능성의 크기를 결정하는 요인들은 여러 가지가 있다. 첫 번째로, 1종 오류는 전체집단에서는 ‘A’와 ‘B’ 간에 상관이 없는데, 연구된 표본 모집의 자료에서는 상관이 있다고 결론 내리게 되는 경우를 말한다. 다시 말해서, 원래는 귀무가설이 맞지만 표본 모집된 통계자료는 귀무가설을 기각한 것이다. 두 번째로, 2종 오류는 그 반대로써 ‘A’와 ‘B’ 간에 상관이 있는데, 연구된 표본 모집의 자료에서는 상관이 없다고 결론 내리게 되는 경우를 말한다. 즉, 귀무가설이 기각되어야 맞지만 표본 모집에 의한 통계점증 결과는 귀무가설을 기각하지 않은 것이다. 이 말은 모든 통계적 결론은 오류, 즉 틀릴 가능성이 있다는 것이다. 아무리 잘 계획된 연구도 표본 모집의 자료이기 때문에 전체집단에 대한 결론으로서는 반드시 오류의 가능성이 내재되어 있다. 따라서 연구자는 자기가 내리는 결론에 대해서 100% 확신을 가진 결론을 내릴 수는 없다. 그러나 연구자는 가능한 한 높은 확신을 가지고 결론을 내리고 싶어 한다. 통계적 결론 타당성이란 통계검증을 근거로 한 연구자의 결론이 가지는 확신의 정도를 의미한다.

 

통계적 결론 타당성을 위협하는 몇 가지 요소

낮은 통계적 검증력

통계적 검증력이란 대안가설이 맞을 때 귀무가설을 기각할 수 있는 힘, 즉 확률을 말한다. 다시 말해서 전체집단에서 ‘A’와 ‘B’ 간에 상관이 있다는 것이 진실이라면 표본 모집자료에서 귀무가설을 기각하고 대안가설, 즉 연구자의 당초 가설을 수용할 확률을 말한다. 이것이 바로 연구자들이 원하는 것이기 때문에 이를 ‘검증력’이라고 부르는 것이다. 통계적 검증력이 낮다는 것은 대안가설이 진실임에도 불구하고 귀무가설을 기각하지 못하는 경우를 말한다. 흥미롭게도 앞에서 말한 바로 2종 오류가 높다는 것이 통계적 검증력이 낮다는 것을 의미한다. 통계적 검증력이 낮을수록 연구자는 가설을 검증하지 못하고 가설이 진실임에도 불구하고 그릇된 결론을 내릴 가능성이 높아지므로 통계적 결론 타당도가 위협을 받는 것이다. 통계적 검증력을 높이려면 사례 수를 늘려 표본 모집의 크기를 크게 하거나, 실험의 절차 혹은 측정의 신뢰도를 높여서 오차 변량을 줄이거나, 가설의 방향을 분명히 알고 있을 경우 양방 검증보다는 일방 검증을 사용하는 등의 방법들이 있다.

 

통계적 가정의 위반

통계적 가정은 어떤 통계분석 절차가 유효하기 위한 선행조건들을 의미한다. 특히 우리들이 자주 사용하는 모수적 통계는 몇 가지 조건들을 요구하는데 대표적으로 세 가지를 들 수 있다. 표집분포의 정상 분포성, 피험자 선발 과정이 무작위이고 독립적일 것, 집단 간 변량의 동질성. 물론 이런 가정을 약간 위반하는 것은 모수통계를 적용하는 데 큰 문제가 없지만 지나치게 위반하면 1종 오류를 증가시키기 때문에 얻어진 통계 결과를 가지고 결론을 내리는 것이 부정확한 결론이 될 가능성이 높다. 그런데 어떤 가정의 위반이 어느 정도의 오류를 범할 가능성이 있는지에 대한 일률적인 규칙이 없다. 따라서 연구자는 얻어진 연구자료가 통계절차의 가정을 어느 정도 위반하는지, 즉 그 통계절차를 적용해도 무방한지 아니면 다른 통계 방법을 사용해야 하는지에 대한 자문을 통계전문가에게 받는 것이 안전하다.

 

투망질식 검증

한 세트의 자료를 가지고 여러 번 통계검증을 하여서 의의 있는 결과만을 뽑아내려는 전략을 이른바 투망질식 검증, 영어로 fishing이라고 부른다. 즉 미리 연구된 가설을 가지지 않은 채 얻어진 자료에서 모든 가능한 분석과 검증을 하여 의의 있는 결과에 대해서 의미 있는 해석을 하려는 것이다. 그런데 문제는 이렇게 한 자료에 여러 개의 검증을 하면 할수록 그것을 통한 결론은 오류를 범할 확률이 증가한다는 것이다. 우연히 의의 있는 결과가 나와서 잘못된 결론을 내릴 가능성이 높아지는 것이다. 이것이 바로 부망질식 검증이 통계적 결론 타당성을 위협하는 이유이다. 그러므로 연구자는 한 자료에 대해서 한 번의 통계검증을 실시하든지, 혹은 미리 설정된 가설에 대한 검증만을 실시하는 것이 바람직하다.