컴퓨터 기반 검사의 도입으로 인해 기존 지필평가에서 다룰 수 없는 다양하고 새로운 문항 유형들이 개발되었다. 이에 검사 개발자들은 컴퓨터의 기술공학적 기능을 활용하여 피험자가 과제를 직접 수행하는 활동형 문항들에 다른 문항보다 높은 배점을 부여하는 것이 타당하지 않을까 하는 의문이 들 수 있다. 문항 간 차등배점을 부여하는 것은 개별 문항 점수의 가중치를 피험자가 알고 문항 풀이의 우선순위를 정할 수 있다는 장점이 있다. 그러나 차등배점을 부여하는 것이 검사 타당도와 신뢰도를 실제로 높이는지에 대해서는 부정적인 결과를 드러낸 연구들이 있어 왔다. 이에 대해 본 연구에서는 원점수 기반 검사의 문항 배점의 역할에 대해 정리하고, 선다형 문항의 균등배점과 차등배점이 측정의 신뢰도에 미치는 영향력을 검증하였다. 이를 위해 배점부여 방식에 따라 피험자의 학업성취수준이 얼마나 정확하게 판별되는지 비교하는 모의실험을 수행하였다. 그 결과, 차등배점보다 균등배점 상황에서 성취수준의 분류일치도가 높게 나타났다. 이처럼 국내외 컴퓨터 기반 학업성취도 평가에서 공통적으로 사용하고 있는 문항반응이론을 적용하여 점수를 산출한다면 배점을 차등적으로 고려하지 않아도 문항의 고유 특성에 따라 가중치를 부여할 수 있기 때문에 배점 부여 방식에 대한 논란을 해소할 수 있다. 끝으로 컴퓨터 기반 검사처럼 문항의 유형과 기능이 다양하고 복잡한 검사에 대한 분석과 채점 시 문항반응이론을 적용할 수 있음을 강조하였다.
The introduction of computer-based testing has led to the development of various new item types that cannot be covered by traditional paper-and-pencil assessments. Consequently, test developers may wonder whether it is more valid to assign higher scores to drag-and-drop or active performance-based items that require examinees to perform more tasks than to other items. The advantage of the differential item score is that examinees are informed about the weighting of individual item scores and can prioritize item completion. However, some studies have shown negative results regarding whether differential item scores improve test validity and reliability. In this study, we summarized the role of item scores in raw score-based tests and conducted a simple simulation to test the impact of equal and differential item scores on the reliability of multiple-choice items. The results showed that the classification agreement of achievement levels was higher in the equalized item score scenario than in the differential item score scenario. Applying item response theory, which is commonly used in domestic and international computer-based academic achievement tests, to calculate scores can resolve the controversy over how to assign scores because it weights items according to their unique characteristics without considering their differential scoring. Therefore, this study suggests that item response theory should be applied to the analysis and scoring of tests with complex item types and functions, such as computer-based tests.