통계적 결론 타당성에 영향을 미치는 요인과 구성개념 타당도

통계적 결론 타당성에 영향을 미치는 요인

신뢰도 낮은 측정

연구에 사용된 측정의 신뢰도가 낮으면 이른바 오차변량이 커지며 이는 통제적 검증력의 약화를 초래한다. 신뢰도가 지나치게 낮으면 그 측정은 어떤 변인과도 상관을 가지지 못한다. 예컨대 칼로리 섭취량과 체중과는 정적 상관이 있다고 믿어지는데, 만약에 측정할 때마다 결과가 변하는 신뢰할 수 없는 저울로 체중을 측정했다고 상상해 보라. 결과는 칼로리 섭취량과 체중 간에 상관이 없다고 나왔을 것이다. 즉 측정의 신뢰도 문제는 이렇게 통계적 결론 타당성을 위협한다.

신뢰성이 낮은 처치

상담연구에서 처치는 독립변인으로 활용된다. 연구자는 독립변인인 처치를 매우 주의 깊게 개발하고 실시해야 한다. 그런데 이것이 사실은 매우 어려운 일이다. 예컨대, 내담자중심상담의 효과를 검증하고자 하는 연구에서 10개의 사례에 대해 내담자중심상담을 적용했다고 하자. 이 10개 사례의 상담이 얼마나 일관성이 있는가가 바로 처치의 신뢰성인데. 상담처치는 사례마다 크게 변동될 가능성이 크다. 즉 상담연구는 한 연구에서 사례마다 처치가 사실상 달라질 가능성이 큰 것이다. 이것은 연구의 결과에 대해서 측정의 신뢰도 문제와 똑같은 문제를 야기한다. 사실은 의미 있는 결과가 나와야 하는데 처치의 신뢰성이 낮기 때문에 의미 있는 결과가 나오지 않을 수 있다는 것이다. 이런 문제를 극복하기 위해서 최근의 상담연구에서는 처치를 표준화시키는 경향이 생겼다. 이를 다른 말로 처치를 매뉴얼화한다고 한다.

반응의 무작위적 다양성

처치에 대한 반응이 중구난방으로 다양성을 띨 때 오차변량이 커지고 진정한 관계를 밝히는 데 장해를 일으킨다. 불안증상에 대한 상담에서 행동연습을 처방하였는데 그 행동연습의 장소가 통제되지 않았다고 하자. 어떤 피험자는 술집에서 행동연습을 하였고, 어떤 내담자는 직장에서. 어떤 내담자는 가게에서 연습하였다. 이런 연습상황의 다양성과 차이는 행동의 다양성을 낳고, 이는 다시 오차변량을 증가시켜서 결국 통계적 결론 타당성을 위협한다.

피험자의 무작위적 이질성

연구에 참여하는 피험자가 모든 면에서 동일할 수는 없다. 앞에서 예로 든 행동연습에서 잘생긴 피험자는 못생긴 피험자에 비해 비교적 성공적인 경험을 더 할 가능성이 높다. 즉 용모의 차이가 클수록 결과에서 오차변량이 커지게 되고 진정한 관계를 발견하는 데 방해가 될 것이다. 즉 피험자들의 이질성이 통계적 결론 타당성을 위협하는 것이다. 그렇다고 해서 용모가 비슷한 피험자만을 연구에 참여시켰다면 그 결과를 일반화시키는데 제한을 받게 된다. 만약 용모라는 변인이 불안증상을 극복하는 연습효과에 영향을 미친다면 공변량분석의 기법을 사용해서 통계적으로 용모 변인의 영향을 제거할 수 있다. 이는 많은 교육심리학 연구에서 지능변인이 각종 연구결과에 영향을 미치기 때문에 공변량분석을 사용하는 것과 같다.

 

구성개념 타당성(구성 타당성)

연구에서 구성개념 타당성은 다른 이름으로도 불린다. 구성 타당성이 그것이다. 영어로는 construct validity of putative causes and effects 혹은 간단히 construct validity라고 부른다. 여기서 putative causes and effects는 ‘추정되는 원인과 결과’라고 이해할 수 있겠다. 그러나 모든 구성개념 타당성이 인과관계 연구에만 적용되는 것은 아니다. 구성개념 타당성의 의미는 다음과 같이 이해할 수 있을 것이다. 모든 연구에는 모종의 이름을 가진 구성요인이 등장한다. 이 구성요인은 연구자들이 관심을 가지는 개념으로서 어떤 개념은 매우 구체적이고 어떤 개념은 매우 추상적이다. 그리고 이 구성요인이 자료(데이터)로 변환되려면 양적 측정이나 질적 기록의 과정을 거친다. 이 측정과 기록과정은 매우 체계적이어야 하는데 그러기 위해서는 애매모호하지 않은 준거가 필요하다. 이 준거의 역할을 하는 것이 바로 변인이라고 생각하면 된다. 즉 변인은 구성요인을 구체화시키는 개념이다. 연구에서는 변인을 크게 독립변인과 종속변인으로 나누는데 연구의 구성요인타당도란 '연구의 독립변인과 종속변인으로 수집된 자료가 당초에 연구자가 측정하고자 의도했던 바로 그 구성 요인을 얼마나 잘 반영하는가를 의미한다.