This study aims to find out the features that affect the score when automated scoring Korean learners' writing according to the assessment environment that gradually switches to automated scoring to increase the reliability of the score of the large-scale writing assessment. For this purpose, we collected 151 pieces of intermediate Korean learners’ writing works and examined the relationship between mechanically measurable language features and scores. After examining the automated scoring features of prior foreign language assessment, and also reviewing features affecting the Korean writing score, the language features to be analyzed in the study were determined based on this. We tried to analyze the characteristics of the sentence unit and the qualitative characteristics of the vocabulary, and analyzed the correlation with the writing score to examine the features affecting the writing score. As a result of analyzing the total number of vocabulary, the number of word segments, the number of sentences, and the number of vocabulary in a sentence, it was found that all features of the sentence unit had a correlation with the score. It was found that among them, the features affecting the score was the total number of vocabulary. Meanwhile, as a result of analyzing each lexical features, it was found that all features except density affect the score. In this study, based on these results, multi-linear regression was conducted again with the total number of vocabulary, L value, sophistication, and error, and it was found that it was a variable that influenced the score in the order of total vocabulary, error, and sophistication. This is similar to the variable used as a scoring feature in the English essay automated scoring program, and it can be said that the applicability of Korean narrative type questions to the automated scoring program has been confirmed.
본 연구는 대규모 쓰기 평가의 채점자 신뢰성과 효율성을 높이기 위해 자동 채점으로 전환되는 평가 환경에 따라, 한국어 학습자의 쓰기 답안을 자동 채점 시 점수에 영향을 미치는 요인이 무엇인가를 파악해 보기 위한 연구이다. 이를 위해 중급 학습자의 쓰기 자료 151점을 수집하여 기계적으로 측정 가능한 언어 특징과 점수의 관계를 살펴보았다. 선행 외국어 평가의 자동 채점 자질을 살펴보고, 한국어 쓰기 점수에 영향을 미치는 요인을 검토한 후, 이를 바탕으로 본 연구에서 분석하고자 하는 언어 자질을 결정하였고 문장 단위의 특성과 어휘의 질적 특성에 대한 분석을 시도하여 쓰기 점수와의 상관관계를 분석함으로써 쓰기 점수에 영향을 미치는 요인을 살펴보았다. 한국어 학습자들의 쓰기 자료를 문장 단위의 특징(총 어휘 수, 어절 수, 문장 수, 문장 안에서의 어절 수)으로 분석한 결과, 모든 요인이 모두 점수와 상관관계가 있는 것으로 나타났으며 그중에서 점수에 영향을 주는 요인은 총 어휘 수라는 것을 알 수 있었다. 한편 어휘 특성별로 분석을 실시한 결과, 밀도를 제외한 다른 모든 요인들이 점수에 영향을 주는 것으로 나타났다. 본 연구에서는 이러한 결과를 바탕으로 총 어휘 수, L값, 세련도, 오류 수를 가지고 다시 다중선형회귀분석을 실시해보니, 총 어휘 수, 오류 수, 세련도의 순서로 점수에 영향을 주는 변수인 것으로 나타났다. 이는 영어 에세이 자동 채점 프로그램에서 채점 자질로서 사용되는 변수와도 유사한 것으로 한국어 서술형 문항의 자동 채점 프로그램에의 적용 가능성을 확인하였다고 할 수 있다.