Among the educational innovations using the latest ICT technology is to automatically score narrative evaluations using artificial intelligence and provide feedback accordingly. In particular, the possibility of using automatic scoring system in narrative evaluation is being pursued since the narrative evaluation can efficiently help learners understand and grow. The effect of automatic scoring has been well reported worldwide as a research has shown that the automatic scoring system has a high reliability comparable to human scoring results. Another research was conducted to analyze the effect of automatic scoring on learners’ recognition when used in actual teaching and learning situations. Through this, a plan to use automatic scoring in a teaching-learning situation was sought, but no study has been conducted on the dimension of learning outcomes such as academic achievement.In this study, two types of feedback were compared and analyzed, one generated by using the artificial intelligence automatic scoring program, Scoring Assistant using artistic intelligence(SAAI), recently developed by domestic researchers and the other, human instructors’ feedback. The expected educational effect was set as an acceptance of feedback, an ability to meaningfully utilize the feedback, academic achievement, and satisfaction level on learning. 194 students of first graders in a high school were divided into two groups. One group was given AI automatic scoring feedback, and the other group was provided with human instructor’s feedback. Both have been given feedbacks through 8 classes. As for the data to confirm the educational effect, the results of the pre and post survey and the academic performance of before and after the feedback have been used. A covariance analysis (ANCOVA) was produced to certify the difference of the two groups on educational effects.The results of the study are as follows. First, artificial intelligence automatic scoring feedback can negatively affect learners' acceptance on feedback compared to human instructor’s feedback. Since an acceptance of feedback is related to the learner's psychological and affective factors, it can be interpreted that the learner has a negative perspective on the fact that artificial intelligence performs automatic scoring and the A.I. is the subject of feedback. Second, artificial intelligence automatic scoring feedback does not affect the improvement of a learners’ ability to utilize the feedback. The learner took the corrective feedback only to find the correct answer and since it was a delayed feedback, it could have led to learner's forgetting the learning objective. Third, artificial intelligence automatic scoring feedback does not have a good impact on learners’ satisfaction level. This was again interpreted as it was also related to learners' psychological and emotional factors like an acceptance of feedback. Fourth, AI automatic scoring can be efficient in producing feedback that can help learners improve their academic achievement. It could be put that given the fact that it is a narrative evaluation situation and there is no difference from human instructor’s feedback.The implications of this study are as follows. In order to enhance learning effects such as learners' academic achievement, an artificial intelligence automatic scoring program can be used. Second, in consideration of an acceptance of feedback and learners’ satisfaction level, it is necessary to seek different ways to use artificial intelligence automatic scoring program. Third, finding ways to enhance learners’ literacy is crucial given that students show little of an ability to utilize the feedback.The limitations of this study are below. First, the subject of the study was limited to a specific gender of a specific grade. Second, there was a limit to the analysis of learners' psychological and emotional factors for automatic AI scoring. On the other hand, this study is meaningful in that it examined the educational effectiveness of artificial intelligence automatic scoring feedback compared to human instructor’s feedback. In particular, as the effect has been confirmed in terms of academic achievement, it can be used as the grounds for various educational uses of artificial intelligence automatic scoring feedback in the future.
최신 ICT 기술이 활용된 교육 혁신 중에는 인공지능을 활용하여 서술형 평가를 자동채점하고 그에 따른 피드백을 제공하는 것이 있다. 특히, 학습자의 이해와 성장의 과정을 효율적으로 도울 수 있는 서술형 평가에서 자동채점의 활용 가능성이 모색되고 있다. 자동채점의 효과에 대해서는 국외와 국내에서 모두 보고되었다. 자동채점이 인간채점 결과에 상응하는 신뢰도가 있다는 연구 결과를 비롯해 실제 교수-학습 상황에서 활용했을 때, 그것이 학습자 인식에 미치는 영향을 분석한 연구가 진행되었다. 이를 통해 교수-학습 상황에서 자동채점의 활용 방안을 모색하였으나, 학업 성취도 등 학습성과 차원을 규명한 연구는 없었다.본 연구에서는 최근 국내 연구진에 의해 개발된 인공지능 자동채점 프로그램 Scoring assistant using artificial intelligence(SAAI)를 활용해 생성한 피드백과 인간 교수자의 피드백 효과를 분석하였다. 교육적 효과는 피드백 수용성, 피드백 활용능력, 학성 성취도와 학습 만족도로 설정하였다. 이를 위해 일반계 고등학교 1학년 194명, 8학급을 대상으로 국어 교과에서 총 8차시의 피드백 제공 수업을 진행하였다. 이때, 4학급씩 두 집단으로 나누어 한 집단은 인공지능 자동채점 피드백을 제공하였으며, 나머지 한 집단은 인간 교수자 피드백을 제공하였다. 교육적 효과를 확인하기 위한 자료는 사전-사후 설문 결과와 피드백 제공 수업 전후의 교과성적을 활용하였다. 이후 공분산분석(ANCOVA)을 통해 교육적 효과별로 집단 간 차이를 검정하였다.연구 결과는 다음과 같다. 첫째, 인공지능 자동채점 피드백은 인간 교수자 피드백과 비교했을 때, 학습자의 피드백 수용성에 부정적인 영향을 미칠 수 있다. 피드백 수용성은 학습자의 심리·정서적 요인과 관련이 있으므로, 인공지능이 자동채점을 수행하고 피드백의 주체라는 점을 학습자가 부정적으로 인식했다고 해석할 수 있다. 둘째, 인공지능 자동채점 피드백은 인간 교수자 피드백과 비교했을 때, 피드백 활용능력 향상에 영향을 미치지 않는다. 교정적 피드백의 내용을 학습자가 단순히 정답을 확인하는 용도로만 활용하였으며, 지연된 피드백이므로 학습자가 학습 목표를 망각한 결과로 해석하였다. 셋째, 인공지능 자동채점 피드백은 인간 교수자 피드백과 비교했을 때, 학습 만족도 향상에 영향을 미치지 않는다. 이는 학습 만족도 역시 피드백 수용성과 마찬가지로 학습자의 심리·정서적 요인과 관련되었기 때문으로 해석하였다. 넷째, 인공지능 자동채점은 인간 교수자 피드백과 비교했을 때, 학습자의 학업 성취도 향상에 도움을 줄 수 있는 피드백을 효율적으로 생산할 수 있다. 서술형 평가 상황이고, 인간 교수자 피드백의 효과와 차이가 없다는 점에 따라 해석하였다.본 연구에 따른 시사점은 다음과 같다. 학습자의 학업 성취도와 같은 학습 효과를 증진하기 위해, 인공지능 자동채점 프로그램의 활용이 가능하다. 둘째, 피드백 수용성과 학습 만족도를 고려하여, 인공지능 자동채점 프로그램의 적극적인 활용 방안을 모색해야 한다. 셋째, 피드백 활용능력을 고려하여, 학습자의 피드백 리터러시(literacy) 증진 방안을 모색해야 한다.본 연구의 한계점은 다음과 같다. 첫째, 연구 대상이 특정 학년의 특정 성별로 한정되었다는 점이다. 둘째, 인공지능 자동채점에 대한 학습자의 심리·정서적 요인에 관한 분석에 한계가 있었다. 본 연구는 인공지능 자동채점 피드백의 교육 효과성을 인간 교수자 피드백과 비교하여 살펴봤다는 점에서 의미가 있다. 특히, 학업 성취도 측면에서 그 효과가 확인된 만큼, 향후 인공지능 자동채점 피드백의 다양한 교육적 활용 방안의 근거가 될 수 있을 것이다.