멀티모달 비디오 영상을 이용한 딥러닝 기반 스트레스 인식 / Multimodal Video based Stress Recognition using 3D-ConvNet
- Resource Type
- Dissertation/ Thesis
- Authors
- 강경휘 / Jiang, Jinghui
- Source
- Subject
- 스트레스 인식
멀티모달 영상 처리
비디오 영상 처리
딥 컨볼루션 뉴럴 네트워크
- Language
- Korean
본 논문에서는 얼굴의 컬러 영상과 열화상 영상으로 이루어진 멀티모달 비디오 영상을 이용하여 3D-ConvNet(3 Dimensional Convolutional Neural Network)을 기반으로 딥러닝 모델을 학습시켜 스트레스를 인식하는 연구를 수행하였다. 멀티모달 비디오 영상은 카메라를 통해 불편한 신체접촉이 없이 획득하고 다양한 영상의 장점을 결합할 수 있는 특징이 있다. 본 연구에서는 스트레스 인식 연구를 위한 컬러 비디오 영상과 열화상 비디오 영상을 직접 획득하기 위하여 피실험자 45명에게 스트레스 유발 시나리오를 진행하였고 Microsoft Kinect v2 카메라와 FLIR(Forward Looking Infrared) A65 열화상 카메라를 이용하여 실험 데이터베이스를 획득하였다. 멀티모달 비디오 영상 처리를 위하여 시공간적 정보를 동시에 추출할 수 있는 딥러닝 알고리즘인 3D-ConvNet 모델을 기반으로 하여 컬러-열화상 퓨전 네트워크를 설계하였다. 컬러 비디오 영상으로부터 피실험자 얼굴의 텍스처 변화 정보를 획득하였고, 열화상 비디오 영상으로부터 피실험자 얼굴의 온도 변화 정보를 획득한 후, 두 가지 정보를 결합하는 퓨전 네트워크를 설계하여 스트레스 인식 실험을 실시하였다. 본 연구의 실험 부분에서는 네트워크의 입력 영상이 단일 영상일 때와 비디오 영상일 때를 비교하여 시간 정보의 필요성을 확인하였고, 컬러와 열화상 비디오 영상을 각각 사용한 스트레스 인식 실험과 멀티모달 비디오 영상을 이용한 스트레스 인식 실험의 결과를 비교 분석하여 각 모달리티의 장단점을 확인하고 퓨전의 필요성을 입증하였다.