외적 타당성과 이에 영향을 미치는 요인들

외적 타당성

외적 타당성이란 연구의 결과를 다른 대상, 상황, 시기 등에 일반화시킬 수 있는 정도를 의미한다. 대상에 대한 일반화는 연구에 참여한 피험자 이외의 다른 대상(성별, 나이, 직업, 국적, 민족 등)에 대한 일반화이며, 상황에 대한 일반화는 연구에 사용된 상황과 다른 조건(장소, 기관. 과목, 상담자, 상담 방법 등), 시기에 대한 일반화는 연구가 이루어진 바로 그 시기가 아닌 다른 시기(하루의 다른 시간대, 다른 시대 등)에 대한 일반화를 뜻한다. 외적 타당성은 전형적으로 표본과 전체집단의 개념을 사용한다. 실제 연구에서는 표본이 된 대상. 표본이 모집된 상황, 표본이 모집된 시기가 있기 마련인데 전통적 의미의 일반화는 표본의 모집을 통한 연구 결과를 전체집단으로(대상, 상황, 시기적 측면에서) 일반화시킬 수 있는지의 문제를 다룬다. 그러나 이런 논리는 사실상 적용하기 어렵다. 그런 이상적인 표본 모집과정이 실제 연구에서 드물기 때문이다. 그래서 새로 도입된 개념이 전체집단 간에 일반화를 시킨다는 개념이다. 결국 일반화는 연구 결과를 ‘연구에서 사용된 표본이 모집된 전체집단’이 아닌 다른 전체집단에 일반화시킨다는 의미라고 볼 수 있다. 이 전체집단 간에라는 개념은 전체집단으로의 개념보다 일반화의 개념을 더 현실에 가깝게, 즉 더 정확하게 표현한 것이라고 사료된다. 다음은 외적 타당성에 영향을 미칠 수 있는 요인들을 세 가지로 정리한 것이다. 여기서 영향이라는 것은 외적 타당성을 위협하는 부정적인 의미만을 담고 있지는 않다. 이 세 가지 요인들은 모두 상호작용이라는 개념인데 이 상호작용을 발견한다는 것은 일반화의 범위를 분명하게 한다는 것을 의미하기 때문에 긍정적인 의미가 있다. 외적 타당성을 높인다는 것이 단지 일반화의 범위를 넓힌다는 것을 의미할 수가 없다. 왜냐하면 무한정 일반화 범위를 넓히는 것은 실제적으로 불가능하기 때문이다. 현실적으로는 일반화의 범위를 분명히 알고 일반화의 제한에 대한 분명한 인식하는 것이 외적 타당성을 높이는 방법인 것이다. 여기서 사용되는 개념이 바로 상호작용인데, 연구설계에서는 이 상호작용을 발견할 수 있도록 연구 대상, 상황, 시기를 변인으로 고려한다. 요인설계나 ATI(Aptitude Treatment Interaction) 설계 등은 바로 이 상호작용을 발견하기 위한 설계법이다.

 

선발과 처치의 상호작용

이것은 대상의 일반화와 관련이 있는 부분이다. 피험자들은 성, 성역할 의식, 교육 수준, 전문경력의 수준, 인지 스타일, 성격, 지능, 증상의 심각도, 민족, 문화 배경 등 수많은 종류의 다른 특징을 가지고 있다. 이들 특성 중 어느 것이 처치와 상호작용할지 모른다. 여기서 상호작용의 의미를 좀 더 잘 이해할 필요가 있다. 예컨대, 내담자의 증상 심각도가 처치와 상호작용한 경우를 보자. 우울증 치료에서 증상이 비교적 약한 내담자들은 심리치료와 약물치료에 각각 비슷한 정도의 효과를 보였다. 그런데 증상이 심한 내담자들은 심리치료보다 약물치료에서 더 많은 효과를 보았다. 심리치료만의 효과는 약물치료와는 달리 심각한 우울증 내담자 전체집단에 일반화하기 어렵다. 반면에 다소 정도가 약한 우울증 내담자 전체집단에는 일반화할 수 있다. 이와 같이 서로 다른 피험자들을(증상 심각도) 연구에 포함시킴으로써 독립변인과(처치법) 종속변인(치료 효과) 간의 관계가 피험자 특징에 따라 달리 나타난다는 것을 알게 되면 그 연구 결과를 피험자 전체집단 간에 다르게 일반화시켜야 함을 알게 되는 것이므로 그만큼 더 외적 타당성이 강화되는 것이다.

 

상황과 처치의 상호작용

우리의 상담 연구는 흔히 대학 학생상담소의 사례를 사용한다. 이 점에서 미국도 예외가 아니다. 대학 부설 상담소에서 연구된 결과를 다른 상담 기관에 일반화시키는 데 아무런 문제가 없는가? 대학상담소는 무료이고 사설 상담 기관은 유료라는 차이가 있는데 이런 차이는 대학상담소에서의 연구 결과가 사설 상담 기관에 일반화되기 어렵게 만들 것이다. 또 정부 기관, 지방자치단체, 종교기관에서 운영하는 상담소도 상호 다른 특징을 가지고 있다. 이런 상황의 차이가 처치와 상호작용할 가능성은 쉽게 수긍이 가는데, 구체적으로 어떻게 상호작용하는지를 안다는 것이 중요하다. 즉 다른 상황에서 독립변인과 종속변인 간에 다른 방식으로 관계를 보인다는 것을 발견했다면 이는 상황 간의 일반화 가능성에 관한 정보를 얻은 것이므로 앞에서 말한 것처럼 그만큼 외적 타당성을 더 강화하는 것이기 때문이다.

 

시기와 처치의 상호작용

1970년대의 연구 결과를 1990년대와 2000년대에 일반화하는 데 문제가 없겠는가? 이 두 시기는 경제적 풍족도, 정치적 불안 등 여러 측면에서 큰 차이를 가지고 있다. 1997년도 외환위기 이전과 이후 간에도 마찬가지이다. 이런 시기적 차이는 내담자와 상담자의 행동과 반응 혹은 상담이라는 전문 활동의 각종 양상에서 차이를 야기 시킬 수 있다. 만약에 1970년의 연구를 1990년대에 다시 반복 실시하였을 때 다른(혹은 유사한) 결과가 나왔다면 연구자들은 시기 간의 일반화 가능성에 대한 분명한 정보를 얻는 셈이다. 즉 그만큼 더 외적 타당성을 강화하는 것이다.