Emotion recognition is a rapidly growing research field, especially in the human-computer interface community. Numerous studies have been performed in the past few decades, and now it is even possible to decode a person’s emotional states from brain and physiological activities. However, neural mechanisms of different emotional states remained unclear. The purpose of this study is to characterize the changes of cortical and physiological activity due to different emotional states during watching movies. EEG has high temporal resolution but EEG electrodes are separated from current sources in the brain by cerebrospinal fluid, the skull, and the scalp. As a consequence, EEG has poor spatial resolution. Thus, Distributed cortical sources were localized in order to mitigate the problem of poor spatial resolution in scalp EEG. In research on the affective processing, many different materials have been used to elicit emotions in the laboratory such as pictures, sounds and movies. Among these materials, movies seem to be the most effective ways to elicit emotions for long periods of time. Movies contain dynamic audio and visual features and it is possible to expose participants to potential real-life scenarios. For these reasons, movies are suggested that the most reliable stimulus to elicit human emotion. Fifteen right-handed subjects (age: 22.8±1.66 years, 10 men) participated in the experiment. 64 channel EEGs (10-10 system), photoplethysmogram (PPG), Galvanic skin response, (GSR) and skin temperature (SKT) were recorded during watching movies. Selected Korean movies were categorized into four types of emotional states based on the valence-arousal (V-A) model, and 32 movie clips were selected. Eight movies were assigned in each category after two minute highlight scenes were extracted. Just after watching each movie clips, the subjects completed self-assessment forms on the arousal and valence levels induced by watching movies (in binary scales). Distributed cortical sources were localized using weighted minimum norm estimation (wMNE) in order to mitigate the problem of poor spatial resolution and volume conduction in scalp EEG. 62 regions of interest (ROIs) were determined based on the anatomical labels of cortex proposed by Mindboggle, and weighted phase lag index (wPLI) were calculated between all possible ROI pairs. We compute correlation coefficients between emotional score and theta, alpha, beta, and gamma frequency power in each ROIs and physiological features. In our study, gamma-band power was significantly higher in bilateral frontal regions for low valence (i.e. negative emotion) than for high valence (i.e. positive emotion). We also observed negative correlation between frontal gamma-band power and valence score. In source localization result, we observed significant difference in anterior cingulate cortex (ACC), medial prefrontal cortex (mPFC) and insula areas. We also observed remarkable interregional phase synchrony in gamma-band between frontal and temporal regions. It was significantly higher for low valence. Although it has remained uncertain what exactly their functional contributions might be, frontal and temporal lobe, comprised of the Insula, ACC and mPFC, medial temporal sulcus, have long been thought to play a critical role in emotional processing and increased activity in negative emotion. Thus increasing frontal gamma-band activity may reflect integrative activity of distributed neural populations participating emotional processing.Gamma-band power in fronto-temporal regions and alpha desynchronization were higher for high arousal than low arousal. We also observed positive correlation between these activities and arousal level. In source localization result, we observed significant difference in anterior cingulate cortex (ACC), medial prefrontal cortex (mPFC), inferior temporal sulcus and medial temporal sulcus between arousal level. Behavioral studies have long shown that emotional stimuli can modulate the allocation of attentional resources. Increased alpha-band desynchronization in high arousal is reasonable considering the well-known alpha-band desynchronization in attentive states, such as alertness and expectancy. ACC and mPFC have been thought to play an important role in emotion and attention processing and Inferior temporal sulcus and medial temporal sulcus has been thought to play an import role in visual and auditory processing. These activations may reflect combined effect of emotional information and cognitive attention.Heart rate and SCR index was significant higher in low valence and high arousal emotional state. It is well-known sympathetic nervous system activity is increased in low valence and high arousal emotional states and heart rate and SCR are sensitive index of sympathetic activity. We found considerable difference in EEG, PPG, GSR signals in different valence/arousal state. These results may reflect that these features are related to emotional state, and they can be used emotional state decoding.
인간-컴퓨터 상호작용(Human-computer interface, HCI) 분야의 발달과 함께 사람의 감정상태를 인식하기 위한 기술에 대한 연구가 활발히 진행되고 있다. 다수의 선행연구에서 얼굴 표정, 제스처, 음성 등의 행동반응과 자율신경계를 반영하는 생리신호들을 이용하여 감정상태를 인식하는 것이 가능함이 밝혀졌으며 최근에는 뇌 활동을 직접적으로 반영하는 뇌파, 뇌자도, 기능적 자기공명영상 등을 이용해 높은 정확도로 감정상태를 인식하는 기술들이 제안되었다. 그러나 다양한 감정상태에 대한 신경기전은 아직 명확히 밝혀져 있지 않은 상태이다. 본 연구에서는 다양한 감정상태에 따른 뇌 활동 및 자율신경계 생리신호의 변화를 관찰하고, 더 나아가 감정 인식에 활용할 수 있는 감정관련 생체지표를 찾아보고자 한다. 감정을 유발시키기 위해 사진, 소리, 영화 등 다양한 방법이 제안되었으며, 그 중 영화자극은 다이나믹한 시각 및 청각자극을 포함하며 오랜 시간 동안 가장 효과적으로 감정을 유발시킬 수 있는 자극이라고 알려져 있다. 또한 영화는 피험자를 일상생활과 비슷한 환경에 노출시키며 감정을 유발시킬 수 있다는 장점이 있다. 따라서 본 연구에서는 감정을 분류하는 다양한 방법 중 감정의 긍정, 부정을 나타내는 valence 지표와, 각성 정도를 나타내는 arousal 지표를 이용한 Valence-Arousal (V-A) 모델에 기반하여 총 4가지 감정상태를 유발시키는 영화를 감정유발 자극으로 선정하였다. 선정된 영화를 이용하여 영화시청 시 valence, arousal 감정상태에 따른 뇌전도(Electroencephalogram, EEG), 생리신호의 차이를 통계분석 및 상호작용 분석을 통해 감정평가에 활용될 수 있는 지표를 추출하고자 하였다. 과거 신경과 및 정신과적 질환 병력이 없는 15명의 대학생 (남성 10명, 여성 5명, 22.8±1.66세)을 대상으로 영화자극을 보여주며 64채널 EEG, 피부온도 (Skin temperature, SKT), 피부전도도 (Galvanic skin response, GSR), 광혈류량 (photoplethysmogram, PPG) 등 생리신호들을 측정하였다. 각 영화가 종료될 때마다 유발된 감정을 피험자 스스로 평가하여 수치화하도록 하였다. 측정된 뇌파 및 생리신호들이 서로 다른 감정상태에서 어떠한 특징적 변화를 보이는지 분석하기 위해 감정과 관련된 지표들을 추출하여 자가 평가점수와의 상관관계 분석 및 통계 비교를 수행하였다. 한 전극에서 여러 대뇌 신호원들의 중첩된 신호가 기록되는 뇌전도의 단점을 완화시키기 위하여 신호원 국소화(source localization) 방법을 통해 신호원들의 대뇌 피질 상의 분포특성을 추정하였으며 계산된 뇌 신호원 신호에 시간-주파수 분석과 위상동기화 방법을 수행하여 valence, arousal 감정상태에 따른 주파수 대역 별 파워와 피질 영역 간 기능적 연결성의 변화를 관찰하였다. 또한 자극 제시 후, 감정상태에 따라 변화하는 광혈류량, 피부전도도, 체온 등의 다양한 생리신호 특징들을 관찰하였다. Low valence, high arousal 감정상태에 따라 전두엽 영역의 감마 대역활동이 증가함을 통계분석, 상관관계 분석, 위상 동기화 분석을 통해 확인하였고 이는 부정적 감정과 높은 주의과정에서 활성화되는 medial prefrontal cortex(mPFC), Anterior cingulate cortex(ACC)에 의해 영향을 받는 것으로 보인다. arousal 감정상태는 전두엽 감마 활성화 외에도 두정역 알파대역과 음의 상관관계가 있음을 확인하였고 이는 높은 각성상태의 자극에 attention 프로세스가 일어나며 알파 비 동기화가 증가하며 발생하는 것으로 판단된다. 또한 광혈류계, 피부전도도에서 추출한 heart rate, SCR지표도 low valence, high arousal감정상태에서 활성화됨을 확인하였고 이는 low valence, high arousal감정상태에서 활성화되는 교감신경계의 영향을 받아 변화하는 것으로 판단된다. 본 연구를 통해 valence, arousal 감정상태를 잘 반영하는 뇌파 및 자율신경계 신호들의 지표들을 추출하였으며, 이러한 지표들은 추후 감정평가 및 영화의 효율성 평가에 활용될 수 있을 것이다.