 .gif) 지난 호에서는 검사의 타당화를 위해 알아야 할 제반 개념을 다루었다. 검사의 종류, 신뢰도, 난이도, 변별도 등의 개념을 살펴보았고, Rasch 모형에 대해 간단히 소개했다. 이번에는 Rasch 모형의 실제 분석결과를 보며 결과를 해석해보고, 나아가 기업에서 사용하는 검사의 타당화를 위한 결과의 활용방안을 다루고자 한다. Rasch 모형을 통한 검사의 타당화 Rasch 모형을 간단히 복습해보자. Rasch 모형은 문항의 추정값(난이도)과 피험자의 추정값(능력)을 동일 척도 상에 위치시켜, 문항, 검사도구 전체, 그리고 피험자에 대해 분석하는 방법이며, 다음과 같이 식으로 표현할 수 있다. .gif) i는 문항, s는 응답자,  는 능력,  는 문항의 난이도이므로,  는 응답자 s의 능력,  는 문항 i의 난이도를 의미한다. Rasch 모형의 식은 응답자의 능력과 문항의 난이도 차이 , 그리고 문항을 맞게 응답할 확률 의 관계를 로지스틱 함수로 표현한 것이다. 응답자의 능력과 문항의 난이도가 같다면, exp 안의 수는 0이 된다. exp(0)은 1이므로(exp(0)=1이므로), 문항을 맞힐(비인적 검사라면 동의할) 확률은 50%가 된다.만약 문항의 난이도( .gif) )보다 응답자의 능력(.gif) )이 높다면, 문항을 맞힐 확률은 50%보다 높아지며, 반대로 문항의 난이도()보다 응답자의 능력()이 낮다면, 문항을 맞힐 확률은 50%보다 낮아진다. 응답자의 능력과 난이도를 바탕으로 문항의 정답 확률을 예측하기 위해서는 응답자의 능력과 난이도를 서로 비교 가능한 동일 척도 상의 값으로 치환하는 과정이 선행되어야 한다. Rasch 모형에서는 능력과 난이도의 단위를 로짓logit으로 변환하여 두 점수를 직접적으로 비교 가능하도록 한다. 이때 로짓으로 변환된 난이도는 높을수록 어려운 문항을 나타낸다. Rasch 모형의 분석 결과는 모든 응답자의 능력과 모든 문항 난이도의 로짓값을 제공하며, 이를 통해 각 문항, 검사, 응답자의 특성을 다방면으로 검토할 수 있다. Rasch 모형을 통해 얻은 결과 이어서 Rasch 모형을 통해 얻은 결과들을 몇 개 살펴보자. 자료와 결과는 모두 홍세희 교수의 고급연구방법론 워크숍의 내용을 바탕으로 하며, 분석에는 jMetrik 프로그램을 사용했다. 56개 문항으로 이루어진 인지검사에 응시자 6,000명의 각 문항 정답 여부가 기재된 예시 자료를 활용했다(물론 동의/비동의의 비인지적 검사로 생각해도 무방하다). 각 문항의 선택 옵션은 4가지(A, B, C, D)로 동일했다.  결과 1. <그림 1>은 고전검사 이론에 입각한 각 문항의 난이도와 변별도에 대한 분석 결과이다. Option (Score) 열에는 어떠한 옵션이 정답인지가 표기되어 있다. item 1은 A, 2는 D, 27은 D가 정답임을 알 수 있다. Difficulty 열에는 각 문항의 난이도가 표기되어 있다. item 1은 전체 응시자 중 70.93%, item 2는 52.98%, item 27은 16.30%가 정답을 맞혔음을 알 수 있다. 이 열의 값을 통해 정답이 아닌 각 옵션을 선택한 인원의 비율 역시 확인할 수 있다. 마지막 열을 통해서는 문항 변별도와 각 옵션의 선택빈도와 총점의 상관을 확인할 수 있다. 上편에서 설명한 것과 같이, 문항 변별도는 정답과 총점의 상관이다. 따라서 정답 옵션의 변별도는 양의 상관계수(정적상관)여야 한다. item 1, 2는 변별도가 각각 0.312, 0.262로 문항과 총점이 정적상관 관계에 있음을 알 수 있다. 그런데 item 27을 보면, 옵션 C의 경우도 총점과 상관이 양수(정적상관)다. 이는 옵션 C가 오답임에도 불구하고, C의 선택빈도와 총점이 정적상관의 관계에 있음을 나타낸다. 이 경우 해당 문항에 대한 재검토가 필요할 것이다. 검사가 비인지적 검사(동의/비동의 검사)인 경우에도, Rasch 모형의 분석 결과는 각 문항에 대한 난이도와 변별도를 제공한다. 이 경우 응답은 0(비동의)과 1(동의)만 있으므로, 인지검사처럼 각 옵션에 대한 통계치는 없을 것이다. ... 중략 ... |
|
기사 전문은 구독권한이 있는 회원께만 제공됩니다. 먼저 로그인 하세요.
로그인
|
