<신뢰도와 타당도 2편> 신뢰도도 종류가 있다?!!

심리 검사에서 신뢰도는 매우 중요한 부분이라고 에서 살펴보았습니다. 그렇다 보니 신뢰도를 나타내는 종류도 다양하고 그를 검증하는 방법도 여러 가지가 있습니다. 이번에는 신뢰도의 종류와 검증에 대해 소개합니다.

 

◆ 신뢰도 추정 방법 ◆

1. 검사-재검사 신뢰도 : 안정성 계수

한 개의 평가 도구를 피실험자에게 두 번 실시하여 두 번의 결과에서 얻은 점수로 상관계수를 산출하는 접근방법입니다. 두 번의 검사 결과 점수 사이에 어느 정도의 안정성이 있느냐를 보는 관점이기 때문에 안정성 계수라고도 합니다.
저울의 신뢰도를 검증하기 위해서 물건을 여러 번 반복하여 측정하고 그 분포를 나타내면 저울의 신뢰도의 정도를 표시해 줍니다. 그러나 인간을 대상으로 하는 심리 측정에서는 검사를 여러 번 반복하여 실시한다는 것이 사실상 어렵습니다. 해서 한 집단에 대한 검사를 두 번 실시하고, 그 두 결과 간의 상관 계수를 내어 신뢰도를 추정하려는 것입니다. 두 검사의 결과 간의 상관계수가 높으면 신뢰도가 높다고 할 수 있습니다.
그러나 문항 표본의 성질에 따라 같은 능력을 갖춘 학생의 점수가 다르게도 나오고 두 번의 검사를 실시하는데 여러 가지 조건인 내적 동기 상태, 수험 대도, 검사 지시, 검사 시간 등을 똑같이 통제하기 어렵습니다. 검사란 표준화된 수험 상태, 수험 방법은 전제해야 하나 이 방법에서는 오차가 가중될 확률이 있습니다. 이런 난점 때문에 검사-재검사 신뢰도는 기억과 연습의 효과에 의한 영향을 비교적 적게 받는 검사를 제외하고는 널리 쓰이지 않습니다. 검사-재검사 신뢰도에 의해 결정된 신뢰도는 진짜 신뢰도보다 과대 추정될 가능성이 크다는 점을 고려해야 합니다.

 

2. 동형검사 신뢰도 : 동형성 계수, 동등성 계수

동형 검사 신뢰도는 어떤 검사의 내용과 곤란도는 같으나 문항의 형태가 다른 두 개의 동형 검사를 제작하여 같은 피실험자에게 실시하여 두 동형 검사에서 얻은 점수 사이의 상관을 산출하여 신뢰도 계수를 얻는 방법입니다. 동일한 특석을 측정하고자 하는 두 검사가 얼마나 동등한 특성을 재느냐를 따지는 게 주목적인 방법으로 여기서 나온 신뢰도를 동등성 계수라고도 합니다.
이 접근 방법은 기억 효과, 연습 효과를 극소화하며, 문항 표본에서 파생하는 오차도 오차 변량으로 취급하게 된다는 장점을 갖고 있습니다. 그러나 실제로 동질적인 검사를 2개 제작한다는 데 어려움이 있습니다.

 

3. 반분신뢰도: 동질성계수

여러 문항으로 이루어진 검사를 어떤 방법으로 나누어 각각의 반쪽짜리 검사를 하나의 검사로 취급하여 얻은 점수를 서로 비교하여 이들 간의 일치도 또는 동질성 정보를 보는 방법입니다. 한 검사를 두 개의 동등한 부분으로 나누어 방법은 문항 분석을 통해 문항의 내용, 곤란도 및 변별도 등을 고려하여 두 문항이 가장 동등한 것끼리 선정하여 2개로 동등하게 나누는 것입니다. 그러나 너무 복잡한 방법이기에 조금 더 간편한 다음과 같은 방법을 사용하고 있습니다.

① 전후반분법 - 전체 문항을 반으로 나눠 각각 채점하고 둘 사이의 상관관계를 내는 방법입니다. 이 방법은 검사에 속도 요인이 많이 포함되었거나 검사 문항의 곤란도를 순위 순으로 배치했을 경우에는 동형 검사로 나뉘었다는 보장하기가 어렵습니다.

② 기우반분법 - 문항 번호를 홀수 번과 짝수 번으로 나누어 따로 채점하고 둘 사이의 상관을 내는 방법입니다. 문항들이 동질적이고 곤란도 순이 쉬운 것에서 어려운 것으로 배열된 경우에는 적당하지만, 이질적인 문항이 산재해 있거나 군란도의 순서로 문항 배열이 되어 있지 않을 경우에는 아무 의미 없는 분할법이 될 수 있습니다.

③ 난수표에 의해 두 부분으로 나누는 방법으로 문항의 선택이 비교적 자유로운 검사에서 적용됩니다.

④ 반분법 - 의식적으로 문항의 내용, 종목, 곤란도 등의 성질을 고려하여 비슷한 두 부분으로 분할하는 방법입니다.