많은 미디어 콘텐츠는 디지털 콘텐츠의 물리적 속성에 따라 경험되는 감성을 가지고 있다. 성공적인 콘텐츠는 사용자나 시청자에게 전달하고자 했던 것을 통해 공감을 끌어내야 한다. 콘텐츠의 감각적 경험은 본능적 반응과 인지적 반응에 의해 촉발되었다. 물체에 대한 직접적인 인식은 물체와 표면의 색상, 모양, 크기에 대한 시각적 경험으로부터 온다.본 연구는 공감평가 방법을 개발하여 공감의 물리적 속성을 밝혀냈다. 사람들이 공감하는 상태를 인지하게 되면, 우리는 공감을 생성하는 디지털 미디어(비디오)에서 물리적 속성을 추출한다. 광고에 대한 시청자의 공감평가와 영화와 드라마에 대한 공감평가 두 가지 실험을 설계하였다.분석 방법은 공감하는 디지털 콘텐츠에서 이미지와 소리의 물리적 속성을 추출하는 것이다. 상관분석, 관심영역(ROI) 추출, 통계 분석을 통해 물리적 속성을 추출하고 공감에 영향을 미치는 물리적 속성의 특징 변수를 추출한다. 추출된 공감의 물리 속성 특징 변수는 공감 인식을 위한 기계 학습하고 예측 모델로 사용된다. 결과는 관심 영역의 특징 변수를 추출하기 위해 시선 추적을 고려하였을 때 정확도가 다른 유형의 비디오보다 1.8%로 높다는 것을 보여준다. 소리 데이터는 스펙트럼 프로그램 이미지 방법을 사용하여 특징 변수를 추출하고 정확도가 높은 머신 러닝 모델을 선정하고 모델의 매개 변수까지 조정하였다. 머신러닝 랜덤 포레스트 분류기는 머신러닝을 통해 얻은 데이터를 분류하는데 사용되며, 훈련된 모델은 공감 시스템의 발전을 실시간으로 모니터링 하는 데 사용된다. 그 결과는 훈련 정확도 99.173%로 테스트 정확도 86.171%로 최적의 모델을 얻었다. 위의 주관평가 기반으로 공감 영상과 비 공감 영상을 분류하는 방법은 단점이 있기 때문에 보완하기 위해 아래 연구 진행을 하였다. 따라서 주관평가를 대체하기 위해 뇌파 활성화와 눈 움직임의 동기화를 기반으로 한 공감 평가 모델을 추가로 개발하여 시청자의 공감 상태 생리적 특징을 분석하였다. 동기화 지표는 기계학습의 다중 회귀 분석 방법을 사용하여 평가를 하였다. 통계 분석은 뇌파와 눈 움직임의 동기화가 사용자의 공감 상태와 밀접한 관련이 있다는 가설을 검증하였다. 사용자가 공감 상태를 유발될 때 다른 주파수 영역에서 뇌의 활성화 상태, 눈 움직임 특징 변수와 뇌 연결성에 대해 논의하였다. 그 결과는 세 가지 정리 하며 (1) 시청자는 쾌-각성과 불쾌-이완 영상에 대한 공감을 높게 나타났다. (2) 공감하는 동안 눈 움직임 특징 변수(saccadic amplitude, fixation)과 뇌파 지역의 전두엽, 측두엽 동기화 발생한다는 것이 발견 되였다. (3) 뇌파의 특징 변수와 동공 변화의 동기화 결과 보면 오른쪽 동공과 전두엽, 두정엽, 측두엽의 부분 채널을 동기화 발생한다는 것이 발견되었다. 이 세 가지 결과로 결론 해석하며 안구 운동을 동영상에 대한 인식적 공감 지표로 활용할 수 있고 동공변수는 감성적 공감과 인식적 공감을 종합적인 동영상의 공감을 지표로 볼 수 있다. 공감 평가 시스템의 향후 연구는 눈 움직임 변수만 사용해도 뇌 활성화와 공감 수준을 예측 가능 하는 것을 알 수 있다.
A lot of media content has emotion experienced from physical attributes of digital contents. Successful contents have to attract the empathy to what they tried to transfer to a user or an audience. The sensory experience of contents has triggered by an instinctive reaction and cognitive responses. The direct acquaintance with objects is from visual experience of the colors, shapes, sizes of the objects and surfaces. In this study, an empathy evaluation method was developed and uncovered the physical attributes of empathy. When people become aware of the empathic state, we extract physical attributes from the digital media (video) that generates empathy. Two experiments were designed: viewer empathy evaluation for advertisements and empathy evaluation for movies and dramas.The analysis method is extracting physical attributes of images and sounds from empathic digital content. Physical attributes are extracted by correlation analysis, region of interest(ROI) extraction, and statistical analysis, and the eigenvalues of physical attributes that affect empathy are extracted. The extracted physical attribute eigenvalues of empathy are used as predictive models in machine learning for empathy recognition. The results show that considering gaze tracking to extract the feature values of the region of interest, and the accuracy is 1.8% higher than other types of videos. The sound data used the MFCC RGB Image method to extract feature values, then selected a machine learning model with higher accuracy and adjusted the model's parameters. The machine learning random forest classifier is used to classify the data obtained by machine learning, and the trained model is used to monitor the development of the advertising empathy system in real-time. As a result, the optimal model was obtained, with a training accuracy rate of 99.173% and a test accuracy rate of 86.171%. By comparing the three models of the analysis of the audio eigenvalues, the optimal solution is obtained. The above methods of classifying empathy videos and non-empathy videos based on subjective evaluation have many shortcomings, to make up for the lack of subjective evaluation. Therefore, we further developed an empathy evaluation model based on brain activity and eye movement synchronization to analyze and audience's empathy physiological features as a substitute for subjective evaluation. Synchronization is assessed by using multiple regression analysis methods of machine learning. Our statistical analysis of the metrics validates our hypothesis that the synchronization between brain activity and eye movements is closely related to the user's empathy state. The brain activity state, eye movement features, and the connectivity of the brain in different frequency domains are discussed when the user produces an empathic state. The results showed that (1): subjects were more likely to empathize with pleasant-aroused and negative-relaxed videos. (2): Observed in brain wave and eye movement biometrics that eye movement eigenvalues saccade and fixation occur synchronously with frontal lobe and temporal lobe channels during empathy. (3): In the eigenvalues of brain waves and pupil changes, it was found that the right pupil of the pupil and the partial channels of the prefrontal, parietal and temporal lobes occurred synchronously during empathy. From these three results, eye movements can be used as an indicator of cognitive empathy for videos, and the pupil as an indicator has a comprehensive effect on emotional empathy and cognitive empathy in videos.