내적 타당성과 이를 위협하는 요인

과학적 연구의 타당성 중 내적 타당성

독자들은 이미 연구의 타당성이라는 개념에 대해서 익숙해지고 있을 것이다. 연구의 타당성에는 여러 가지 종류가 있다. 연구의 주제나 목적 혹은 방법에 따라서 타당성의 개념이 조금씩 다르게 적용되기 때문이다. 연구설계 단계에서 거론되는 대표적인 타당성 개념인 내적 타당성, 외적 타당성, 통계적 결론의 타당성, 구인 타당성 중 내적 타당성의 개념에 대해 알아보자. 타당성의 개념이 Campbell과 Stanley(1963)에 의해서 체계적으로 분석되었을 때 그것은 주로 내적 타당성에 관한 것이었다. 그들은 교육 심리학 연구에서 많은 실험연구가 내포하는 추론적 문제점들을 심각하게 고찰해 보았다. 연구자가 실험설계를 하는 것은 대개 인과관계를 구명하려는 목적을 가지고 있다. 예를 들면, 새로운 교수법 ‘A’가 학습 향상을 초래한다는 것을 증명한다는 것은 새로운 교수법 ‘A’가 성적 향상의 원인임을 밝혀내는 것이다. 연구자는 새 교수법 ‘A’를 실시한 학급들의 성적과 기존 교수법을 실시한 학급들의 성적을 비교해 볼 것이다. 이때 전자의 성적이 후자의 성적보다 높게 나왔다면 연구자는 새 교수법의 우월성을 증명했다는 결론을 내린다. 이런 전형적인 효과검증연구는 교육심리학뿐만 아니라 경영학, 심리치료 및 상담, 의학 및 약학 등에서 다양하게 실행되고 있다. 효과검증은 특정한 처치(교수법. 경영기법. 투약 등)가 효과를 일으킨다는 것을 경험적으로 보여 준다는 것인데 이는 다른 말로 처치가 효과 발생의 원인임을 밝히려는 것이다. 그런데 문제는 어떤 처치와 결과 사이에 인과관계가 있다는 결론을 내리기에는 연구방법론상 여러 가지 조건들이 만족하여야 하는데, 연구들은 인과적 결론을 타당하게 내리는 데 방해가 되는 수많은 요소를 내포하고 있다는 것이다. 이런 방해요인들에 관해서 1963년 Campbell과 Stanley는 자신들의 저서에서 매우 상세하게 논의하였다. 내적 타당성이란 변인 간에 원인과 결과의 관계가 있다는 결론을 내리는 데 대한 타당성인데, 거기에는 수많은 장애 요인들이 있다는 것이며 타당한 연구가 되려면 이러한 장애 요인들을 제거할 수 있는 설계를 취해야 한다는 것이다. 다음은 내적 타당성을 위협하는 요인들이다.

 

역사

여기서 말하는 역사는 다른 말로 실험이 진행되는 동안에 피험자의 학교, 직장, 가정 등에서 일어나는 어떤 사건을 지칭하는 특별한 용어이다. 이 사건 중에는 관찰 결과에 영향을 미칠 수 있는 것들이 있는데. 연구 기간에 대학입시제도에 큰 변화가 발표되었다면 이는 피험자들의 학업 행동에 크게 영향을 미쳤을 가능성이 높다. 만약에 새 교수법을 실시하는 학교와 구 교수법을 실시하는 학교 간에 대학입시제도의 변화가 다르게 작용하였다면 이는 더 큰 문제를 야기한다. 혹은 새 교수법을 실시한 시기와 구 교수법을 실시한 시기가 다른데 교육개혁안이 새 교수법을 실시한 시기에 적용된 경우도 발생할 수 있다.

 

성숙

새 교수법의 효과를 알아보려면 새 교습법을 적용하기 이전과 이후의 성적을 비교하는 전략을 흔히 사용한다. 이를 흔히 사전검사, 사후검사라고 칭한다. 기호로 표시하면 O1-X-O2이다. 여기서 O는 관찰, 즉 observation의 첫 글자를 딴 것이고, X는 처치에 대한 기호이다. 내적 타당성을 위협하는 요인으로서의 성숙은 이 처치 기간 동안. 즉 O1과 O2 사이의 기간에 자연적으로 발생할 수 있는 정신적, 신체적 발달이나 변화를 의미한다. 이는 특히 발달 속도가 빠른 아동이나 청소년이 피험자일 패 반드시 등장하는 요소이다. 그뿐만 아니라 우울증을 비롯한 많은 정신장애는 시간의 경과에 의해서 자연적인 변화가 발생한다. 즉 사전검사와 사후검사 간의 점수 차이가 처치 때문만이 아니라 숙의 요인이 크게 작용했을지도 모른다는 가설이 유력하다면 이는 그만큼 연구의 내적 타당성이 약화되는 것이다. 이때 후자의 가설을 대안가설 혹은 대립가설이라고 칭한다. 따라서 연구의 내적 타당성이란 대안가설의 가능성을 배제할 수 있는 정도를 의미한다.

 

반복 검사

검사를 두 번 혹은 그 이상 여러 번 실시한다는 것이 내적 타당성을 낮추기도 한다. 피험자는 사전검사에서 자기가 대답한 내용을 기억할 수 있기 때문에 이 기억이 사후검사에 영향을 미칠 수 있다. 피험자는 사전검사와 같은 대답을 할 수도 있고, 혹은 고의로 다른 대답을 할 수도 있다. 중요한 것은 사후검사 결과가 왜곡될 가능성이 있다는 것이다. 이 문제를 해소하기 위해서 사전검사를 하지 않고 사후검사만을 하는 전략을 쓸 수가 있는데, 이때 꼭 필요한 것이 통제집단이다.

 

측정 도구의 변화

연구기간 중에 측정 도구에 변화가 생길 수 있다. 실제 현상의 변화가 아닌 측정 도구의 변화에 기인해서 결과의 차이가 발생했다면 이는 중대한 내적 타당성의 문제이다. 예컨대, 온도. 압력, 기류 등이 극단적인 장소에서는 측정 기계에 이상이 생기기 쉽다. 행동과학에서는 사람이 측정 도구의 역할을 수행할 때가 자주 있다. 내담자의 행동을 관찰하고 분류하거나 몇 가지 범주로 분류하는 경우 그 범주의 기준이 수시로 변할 수가 있다. 범주로 분류할 때 분류자의 주관이 많이 개입할 수 있을수록 측정 도구의 변화 가능성은 높아진다. 따라서 이런 문제를 극복하기 위해 연구자는 관찰기록자와 분류자를 철저하게 훈련시켜서 일치도를 높이거나. 범주 분류체계에서 분류자의 추론이 최소한이 되도록 행동 목록을 만든다.