<신뢰도와 타당도 1편> 심리검사 어디까지 믿을 수 있을까?

인간의 심리적인 행동을 한 개인이 가진 고유한 특성으로 간주하면서, 그 고유한 특성의 개인차에 대한 관심이 '심리 검사'라는 측정 도구의 접근법을 낳았습니다. 갈톤 경(Francis Galton, 1822~1911)이 감각과 운동기능을 측정하는 인체측정 실험을 시작으로 통계학의 창시자인 영국의 피어슨(Karl Pearson, 1857~1936)은 측정 이론의 중핵을 이루는 통계 방법을 개발하였고, 프랑스의 비네(Afread Binet, 1857~1911)는 개인차 연구 작업의 일부로서 개인 지능검사를 최초로 개발하였습니다. (1905). 독일의 슈테른(William Stern, 1871~1938)은 실제 연령에 대한 정신 연령의 비율로 정의하는 지능지수(IQ)를 개발하였습니다.

심리검사는 그 과정이 객관적이고 타당한 방법일 때 비로소 의미가 있습니다. 한 개인이 갖는 심리적 특성은 자연 과학에서 어떤 물체의 길이를 잰다든지, 무게를 단다든지 하는 것과 같이 직접적으로 물체의 특성을 파악하고자 하는 것과는 달리 직접적인 관찰이 불가능하므로 간접적인 방법인 심리검사를 통하여 그 특성을 알게 됩니다. 이때 중요한 점은 만약 심리 검사가 심리 검사로서 해야 할 역할을 다하지 못하면 측정하고자 하는 목적에 충실할 수 없기 때문에 그러한 검사는 차라리 하지 않는 것이 낫다는 것입니다. 그래서 검사를 통해서 나오는 측정치는 그 심리 검사가 어떻냐에 따른 측정치의 신뢰도와 타당 당도의 문제를 반드시 논의해야만 합니다.

▶ 신뢰도란?
신뢰도란 측정하고자 하는 것을 그 감사가 얼마나 '신뢰할 수 있게' 재고 있느냐의 정도를 나타내는 것입니다. 한 검사의 신뢰도란 여러 가지 오차의 근원인 검사 도구, 피검사자 또는 검사 실시 과정에서 오는 변산적 오차의 정도를 나타내는 지수라고 할 수 있습니다. 신뢰도에 접근법은 다음 두 가지를 들 수 있습니다. 첫째, 측정의 표준오차입니다. 이것은 단일한 측정 대상을 같은 측정 도구를 가지고 여러 번 반복 측정한 결과, 어느 정도로 같은 결과를 얻느냐의 일치성에 기초를 둔 항상성, 즉 예언성의 개념입니다. 만약 얻은 측정이 신뢰할 수 있다면 여러 번의 측정 결과치는 같게 나올 것이고, 그렇지 못하면 변화가 크게 나타날 것입니다. 이것은 어느 특정한 개인이 측정치 내에 존재하는 변산이 원천이기 때문에 개인 내 변산의 일관성을 문제 삼는 경우입니다. 둘째, 한 집단의 피검사자에게 측정을 두 번 실시하고 첫 번째 실시했을 때의 측정치의 상대적인 순서와 두 번째 실시했을 때의 상대적 순서가 어느 정도 일관성이 있느냐를 보는 것입니다. 즉, 처음의 측정치와 다음의 측정치 사이에 점수의 상대적 순서의 '일관성 정도'를 보아 신뢰도를 측정하는 방법입니다. 이것은 변산의 원천을 개인 간의 점수에 두기 때문에 개인 간 변산이라고 볼 수 있습니다. 이 개념은 측정치의 안정성, 신뢰성, 예언성을 관심의 대상으로 삼는 신뢰도 추정 방법입니다. 신장과 같이 비교적 안정성이 있다고 볼 수 있는 측정도 안정성이 보장되지 않습니다. 더욱이 행동 과학에서 다루는 인간의 심리 행동 특성은 그 속성이 갖는 불명료성, 측정 도구의 간접적 측정 때문에 정확한 측정이 어렵습니다. 따라서 측정자가 개별적으로 제작해서 사용하는 검사들은 여러 가지 이유로 신뢰도에 의구심을 자아낼 가능성이 있습니다.

신뢰도 계수를 해석하는 방법으로 첫째, 검사의 신뢰도는 두 평행 검사의 관찰 점수 사이의 상관계수와 같다는 뜻입니다. 두 평행 검사에서 각 피실험자의 관찰 점수가 동일하고 각 검사 내에서 관찰 점수의 분산에 있을 때 그 검사는 완전한 신뢰도를 갖습니다. 둘째, 피어슨 (Pearson) 상관계수에 대한 해석이 있습니다. 상관계수의 제곱은 한 변인이 다른 변인과 선형 관계에 의해 설명되는 변량의 비라고 해석할 수 있습니다. 셋째, 신뢰도 계수는 관찰 점수 변량에 대한 진점수 변량의 비율로 검사의 신뢰도가 증가함에 따라 오차 점수 변량은 상대적으로 작아집니다. 넷째, 관찰 점수와 진점수 간의 상관 계수의 제곱으로 신뢰도 계수를 나타냅니다. 검사의 관찰 점수는 평행 검사의 관찰 점수보다 그 검사의 진점수와 더 높은 상관을 갖습니다. 신뢰도는 타당도에 영향을 미칩니다. 타당도 계수는 신뢰도 계수의 제곱근보다 더 높을 수는 없지만, 신뢰도 계수 자체보다는 더 클 수 있습니다. 다섯째, 신뢰도를 오차 점수 분산과 관찰 점수 변량과의 관계로 나타냅니다. 피험자 집단으로부터 수집한 관찰 점수의 변량 정도는 신뢰도에 큰 영향을 미칩니다.

그럼 신뢰도의 개념을 이해하기 위해서 진점수라는 개념을 알아야 합니다. 진저수는 한 검사가 오차 없이 어떤 특성을 측정할 때 얻어지는 점수를 말합니다. 한 검사에서 한 개인의 심리적 특성에 대해 얻은 관찰 점수라 하면 이 관찰 점수는 복합된 점수라고 볼 수 있는데, 최소한 진점수와 오차 점수의 합으로 볼 수 있습니다.

「관찰 점수=진점수+오차점수」

오차 점수는 검사 점수의 변동을 일으키는 모든 요인에 의해서 생기는 변동 점수를 말합니다. 오차 점수는 '+' 방향 혹은 '-'방향으로 영향이 있습니다. 이 오차 점수는 무선적, 우연적이므로 한 개인이나 집단에 있어서 이 점수는 상호 독립적이고 점수의 분포는 정상 분포를 이룬다고 가정할 수 있습니다.

 

① 측정의 표준오차에 대한 해석

측정의 표준오차는 정상 분포를 이루고 있다는 가정하에서 정상분포의 해석을 적용할 수 있습니다. 표준오차가 크면 클수록 신뢰도는 낮아지고 거기에서 얻어진 측정치는 부정확하므로 진점수의 추정의 범위는 넓어지게 됩니다. 따라서 검사를 해석할 때에는 조그만 점수의 차를 지나치게 과장해서 해석하는 일이 없도록 해야 합니다.

② 표준오차와 신뢰도 계수의 관계

;한 검사의 신뢰도 계수는 그 검사에 포함되어 있는 오차 점수의 크기를 표시해 줌으로써 그 검사의 신뢰도를 나타내 줍니다. 얻은 신뢰도 계수를 의미 있게 해석하기 위해서는, 측정의 표준오차를 통한 해석과 그 신뢰도 계수를 결정한 요인들을 고려해야 합니다. 각 신뢰도 계수는 계산방법에서 요구되는 전제조건이 충족되는 상태에서 계산되었기 때문에 어떤 방법(검사-재검사 신뢰도, 동형 검사 신뢰도, 반분 신뢰도 등)에 의해 계산한 것인가를 밝혀주어야 합니다. 신뢰도 계수는 같은 검사라도 대상 집단이 다르면 대상 집단의 연령, 교육 정도, 성별, 사회·경제적 지위 등의 요인 때문에 신뢰도 계수가 다르게 나타날 수 있으므로 대상 집단의 성격을 고려하여 해석해야만 합니다. 반드시 신뢰도 계수는 추상적인 의미가 아닌 계산된 구체적인 집단의 기술임을 명심해야 합니다.