내적타당성에 영향을 주는 다양한 요인들

통계적 회귀

통계적 회귀란 다음과 같은 현상을 말한다. 시험성적이 잘 나온 사람은 다음 시험에서 이번보다는 성적이 잘 나오지 않을 확률이 더 높고, 이번에 성적이 좋지 못한 사람은 다음에 성적이 더 잘 나올 확률이 크다는 것이다. 검사를 두 번 이상 실시할 때 두 번째 점수는 평균 혹은 중앙값 쪽으로 이동할 확률이 더 크다는 것이다. 이런 현상은 피험자들이 극단적 점수를 보일 때 더 분명하게 드러난다. 예를 들면, 고 불안증 환자들에게 심리치료를 실시했는데 사전검사보다 사후검사의 불안도가 낮아졌다고 하자. 그런데 이 경우 그 점수의 변화는 심리치료에 기인한 것이 아니라 통계적 회귀 현상일 수도 있는 대안 가설이 가능하다. 이 문제를 극복하는 전형적인 전략은 무작위 배정, 즉 실험집단과 통제집단에 피험자들을 무작위로 배정하는 것이다.

 

선발

실험집단과 통제집단이 이미 실험 처치 이전에 차이가 있는 경우를 선발의 문제라고 칭한다. 결과의 차이는 처치에 기인한 것이 아니라 애초부터 내담자 선발에 기인했다는 대안 가설이다. 실험집단은 주로 우울증이 심한 내담자를, 통제집단은 우울증이 약한 내담자를 배정했다면 처치 결과의 차이는 바로 이 원래 증상의 차이에 기인했을 가능성이 높다. 이 문제도 역시 무작위 배정에 의해서 극복할 수 있다. 혹은 실험집단과 통제집단에 내담자들을 짝지어서 배정하는 방법을 적용할 수도 있다. 예를 들면 실험집단에 배정된 내담자와 거의 유사한 정도의 증상을 보이는 내담자를 통제집단에 배정하는 방법이다. 이렇게 함으로써 두 집단을 거의 동일하게 구성할 수가 있다.

 

탈락

연구 기간에 피험자가 실험에서 이탈하는 현상을 말한다. 전형적인 예를 들면, 강박증 치료의 사전, 사후검사를 비교해 보았더니 사후검사에서 현저하게 우울증세가 약화한 것으로 결과가 나왔다. 그런데 사실은 연구 도중에 강박증이 심한 내담자들의 탈락률이 현저하게 높았기 때문에 사후검사의 평균 점수가 달라진 것이다. 즉, 사후검사의 변화는 처치의 효과가 아니라 증상이 심한 피험자들의 탈락에 기인한 것이다. 통제집단을 사용하는 경우 만약에 실험집단과 통제집단에 같은 정도로 탈락이 발생했다면 내적 타당성의 장애가 다소 줄어든다. 그러나 그렇지 않고 어느 한 집단에 집중적으로 탈락이 발생했다면 이것은 내적 타당성에 치명적인 문제가 된다. 이것을 차별적 탈락이라 부른다.

 

피험자 선발과의 상호작용

이것은 앞에서 설명한 선발 문제의 일종이다. 즉 실험집단과 통제집단의 선발이 잘못되어서 두 집단이 이질집단일 때 생기는 문제이다. 특히, 앞에서 설명한 역사의 문제나, 성숙의 문제가 한 집단에는 심하게 일어나고 다른 집단에는 일어나지 않을 수 있는데 이런 경우를 바로 선발과 역사의 상호작용, 선발과 성숙의 상호작용이라고 부른다. 예를 들면, 교육심리 실험에서 실험집단은 주로 부유층 학생들이 선발되었고 통제집단은 주로 빈곤층 학생들이 선발되었다고 하자. 그런데 실험 기간에 개인과외가 허용되어 부유층 학생들이 과외를 받을 수 있었고(역사) 빈곤층 학생들은 개인과외를 받을 수 없었기 때문에 이 사건은 선발과 상호작용한 것이다.

 

인과관계 방향성의 애매함

실험연구에서 종속변인은 독립변인의 조절에 의해서 영향을 받는 것으로 추론한다. 그러나 모든 연구에서 독립변인과 종속변인 간의 인과성이 분명하게 드러나는 것은 아니다. 특히 독립변인을 실험자가 마음대로 조절할 수 있는 것이 아닐 때 그런 어려움은 가중된다. 인과의 방향이 애매해진다는 뜻이다. 예컨대, 상담자의 공감적 이해의 표현이 내담자에게 치료적 효과를 초래하는지 알아보는 연구에서 그 인과적 방향을 분명하게 하기는 쉽지 않다. 즉, 상담자의 공감이 내담자의 개선을 초래했는지, 아니면 내담자의 개선이 상담자의 공감을 끌어냈는지 방향성을 정하기란 쉽지 않다.

 

처치 내용의 누설과 처치의 모방

처치는 원칙적으로 실험집단만 받고 통제집단은 받아서는 안 된다. 그러나 통제집단 피험자들에게 처치의 내용이 누설될 수 있으며 그렇게 되면 그들은 그 처치를 모방할 가능성이 크다. 이것은 실험 결과에 중대한 오염을 일으킨다. 실험 결과가 처치에 기인한 것이라는 결론을 내릴 수가 없다.

 

처치에 대한 보상적 형평화

처치를 받지 못하는 통제집단 내담자들도 처치 기간 동안 무엇인가 ‘처치 아닌 처치’를 받게 된다. 상담 대신에 영화감상, 토론 등을 하는 것이 보통이다. 이때 연구자는 통제집단 피험자들이 아무런 서비스도 받지 못하기 때문에 이런 불공평을 평형화시킬 수 있는 무엇인가 보상적인 서비스를 주게 될 가능성이 있다. 혹은 피험자들이 스스로 다른 곳에 가서 상담받는다든지 하여 형평화를 꾀하기도 한다. 어떤 경우이든지 연구 결과에 치명적인 오염을 일으킨다.

 

통제집단 피험자들의 보상적인 경쟁

실험연구에서 통제집단 피험자들은 실험집단 피험자보다 덜 바람직한 처치를 받거나 혹은 아예 처치를 받지 않는다. 이런 인식을 하는 통제집단 피험자 중에는 자기들도 실험집단만큼 잘 할 수 있다는 것을 보여 주기 위해서 경쟁적으로 노력할 가능성이 있다. 만약 이런 보상적 경쟁이 현저했다면 실험 결과는 왜곡되었기 때문에 결과에 대한 원인이 무엇이었는지 분명하게 해석할 수가 없다. 즉, 내적 타당성이 손상을 입은 것이다.

 

통제집단 피험자들의 사기 저하

이것은 앞에서 말한 보상적 경쟁과 반대 현상이다. 실험집단보다 덜 바람직한 처치를 받는다는 것을 인식한 통제집단 피험자들은 사기가 저하되어 자연적인 처치가 없는 상태, 혹은 계획된 통제조건보다 더 심한 사기 저하가 일어날 수 있다. 교육심리 실험에 참여한 우울증 피험자 학생 등을 생각해 보면 이들이 통제집단에 배정되었음을 알게 되었을 때 사기가 떨어질 수 있음을 쉽게 이해할 수 있을 것이다. 이 마지막 3개의 위협 요소는 피험자들이 자기가 어느 집단에 배정되었는지를 알게 되기 때문에 발생하는 문제들이다. 따라서 피험자들이 그런 눈치채지 못하도록 실험조건과 통제조건을 구성하는 것이 중요하지만, 상담 연구에서 그런 완벽한 설계가 절대 쉽지 않음은 물론이다.