최근, 거대 언어 모델의 성능 향상에 따라 인간의 의사 결정 과정에 LLM이 활용된 사례들이 빠르게 늘고 있고, 이러한 발전은 인간의 윤리적 원칙과 일치하는 의사결정을 내리는 것을 보장해야 한다는 논의를 가져왔다. 이에 따라 윤리적 판단을 내릴 수 있는 모델의 필요성이 부각되었으며, 여러 연구에서 이를 위한 데이터셋을 제작하고 그 성능을 평가했다. 본 연구에서는 다양한 상황에 대한 윤리적 판단 학습 환경을 제공할 수 있는 이야기에서 등장인물의 윤리성을 분석할 수 있는 방법론을 제안하고, 윤리 판단 능력을 실험하고자 한다. 또한 본 연구에서 제안하는 방법론을 이야기 등장인물이 윤리적인 성격 측면에서 역동적인지 아닌지 분석할 수 있는 도구로 활용해 이야기 인물 분석 연구에 유의미한 결과를 도출한다.본 연구에서 제안하는 등장인물 윤리성 분석 방법론은 3단계로 진행된다. 첫 번째는 길이가 긴 서사 데이터셋을 등장인물의 등장 유무를 참고해 사건 중심으로 세그먼테이션을 진행한다. 두 번째는 분할된 각 세그먼트에서 인물의 윤리적 정보를 추출하기 위해 프롬프트 기반 언어 모델을 활용해 세그먼트 핵심 인물의 행동과 행동에 대한 주변 정보를 생성한다. 마지막으로, 윤리적 행동 분류기(Moral Action Detector)를 사용하여 각 세그먼트에서의 핵심 인물의 행동이 윤리적인지 아닌지 예측하고, 세그먼트 진행에 따른 이야기 속 등장인물의 윤리적 변화를 확인한다. 이때 사용하는 윤리적 행동 분류기(Moral Action Detector)는 이야기 내 윤리적 행동에 대한 주석이 없어 학습이 불가능하다는 문제를 해결하기 위해 고안된 판별 모델로, 윤리성에 대한 주석이 있고, 5개 문장으로 구성되어 있는 별도의 짧은 이야기 데이터셋으로 학습된다.본 연구를 통해 등장인물, 사건, 그리고 등장인물들의 행동과 같은 이야기 정보가 없어도, 자동으로 이야기 등장인물의 윤리적 행동 변화를 분석할 수 있다는 것을 보였다. 방법론 내 인물의 윤리적 행동 예측 성능은 GPT-3.5 모델을 통한 예측 성능보다 약 14% 높았으며, 기존 LLM 보다 더 효과적으로 윤리적 행동을 예측할 수 있음을 알 수 있었다.
Recently, with the improvement in the performance of massive language models, there has been a rapid increase in cases where Large Language Models (LLMs) are utilized in the human decision-making process. This development has sparked discussions about ensuring that such advancements align with human ethical principles when making decisions. Consequently, there has been a growing need for models capable of ethical judgments, and several studies have been conducted to create datasets for this purpose and evaluate their performance.In this study, we propose a methodology for analyzing the ethics of characters in stories that can provide a learning environment for ethical judgments in various situations. We aim to experiment with the model's ethical judgment capabilities using our methodology. Furthermore, our research demonstrates that through our framework, we can detect whether main characters in a story exhibit ethical dynamic.The character ethics analysis methodology consists of three main steps. The first step involves segmenting a story focused on event centric. The second step utilizes prompt-based language models to extract ethical information about characters in each segmented segment, generating information about the core actions of characters and the surrounding context. Finally, a Moral Action Detector (MAD) is used to classify whether the actions of characters generated in each segment are ethical or not, thereby confirming the ethical changes of characters in the story as the segments progress. By utilizing our methodology, it becomes useful in automatically detecting ethical behavior changes in story characters even in cases where there is no information available about story, characters, or their actions. The performance of predicting ethical actions by characters is approximately 14% higher than predictions made through the GPT-3.5 model, indicating that it is more effective in predicting ethical behavior than previous LLMs.