호흡기 질환 진단 및 환자 모니터링에 있어서 빈번하고 정확한 산소포화도 추정은 필수적이다. 기존에는 주로 접촉식 산소포화도 측정기를 통해 산소포화도를 측정하였으나, 이러한 방법은 화상환자나 손발이 떨리는 환자, 접촉으로 인한 감염 등의 원인으로 기계적인 격리가 필요한 경우 사용할 수 없다는 문제가 있다. iPPG(imaging Photoplethysmography)기반 비접촉식 산소포화도 측정은 이러한 문제를 해결할 수 있는 대체 방법이다. 그러나 기존의 iPPG기반의 비접촉식 산소포화도 추정은 RGB카메라기반의 이중 파장 방식으로써 산소포화도 추정을 위해 사용하는 교류성분이 노이즈에 취약하다는 문제점이 있다. 또한 iPPG 신호가 표면 반사, 음영 및 피부 톤과 같은 외부적 요인과 개인별 요인에 영향을 받을 수 있다는 문제점이 존재한다. 본 논문에서는 하이퍼스펙트럴 카메라를 통해 사람의 얼굴 영역에 대한 다중 스펙트럼 iPPG 데이터를 수집하고 인공신경망 모델을 활용하여 산소포화도를 추정하는 방법을 제안한다. 먼저 기존 iPPG기반 산소포화도 추정에 있어서 외부적 요인으로 인한 문제점에 해당하는 표면 반사와 음영을 제거하는 방법에 대해 제안한다. 이후 멜라닌과 피부두께와 같은 개인별 요인에 강인하게 산소포화도를 추정하기 위한 인공신경망 모델을 제안한다. 이 모델은 iPPG로부터 멜라닌과 피부두께를 추정하는 네트워크와 추정 결과와 iPPG를 입력으로 함께 사용하여 최종 산소포화도를 추정하는 네트워크로 구성된다. 멜라닌과 피부두께 추정을 위해 확률기반 회귀모델을 제안하며 이를 Fully Connected Layer기반 단순 회귀 모델의 결과와의 비교를 통해 제안하는 모델의 성능 향상을 보인다. 또한 산소포화도 추정을 위한 iPPG신호가 시계열 특징을 가지고 있는 점을 반영하여 시계열 데이터 처리에 유용한 LSTM(Long Short-Term Memory) 기반의 인공 신경망 모델을 통해 최종 산소포화도를 예측한다. 제안하는 모델의 검증을 위한 실험은 12명의 건강한 개인을 대상으로 수행되었으며, 사람의 얼굴 영역에서 이마, 눈 밑, 뺨 그리고 코 밑으로 총 4가지 ROI 영역을 선정하고 각 ROI에 대한 산소포화도 예측 결과를 비교한다. 추정한 산소포화도 결과를 기준 접촉식 맥박 산소 측정기로 얻은 산소포화도 수치와 비교할 때 제안하는 방법은 2% 미만의 오차로 높은 정확도를 보였다.
Frequent and accurate oxygen saturation estimation is essential for respiratory disease diagnosis and patient monitoring. In the past, oxygen saturation was mainly measured using a contact oxygen saturation meter, but this method has a problem in that it cannot be used when mechanical isolation is required due to burns, trembling hands and feet, or infection due to contact. Non-contact oxygen saturation measurement based on iPPG (imaging photoplethysmography) is an alternative method to solve this problem. However, the existing iPPG-based oxygen saturation estimation has a problem in that the AC component used for oxygen saturation estimation is vulnerable to noise. In addition, there is a problem that the iPPG signal may be affected by external factors such as surface reflection, shading, and skin tone and individual factors.In this paper, we propose a method to collect multispectral iPPG data on a human face region through a hyperspectral camera and estimate oxygen saturation using an artificial neural network model. First, we propose a method to remove surface reflectance and shading, which are problems caused by external factors. Afterwards, we propose an artificial neural network model to robustly estimate oxygen saturation based on individual factors such as melanin and skin thickness. This model consists of a network for estimating melanin and skin thickness from iPPG and a network for estimating final oxygen saturation using the estimation results and iPPG as inputs. A probability-based regression model is proposed for estimating melanin and skin thickness, and the performance of the proposed model is improved by comparing it with the results of a fully connected layer-based simple regression model. In addition, the final oxygen saturation is predicted through an artificial neural network model based on LSTM (Long Short-Term Memory) by reflecting the fact that the iPPG signal for estimating oxygen saturation has a time series characteristic.The experiment for the verification of the proposed model was performed on 12 healthy individuals, and a total of 4 ROI areas were selected from the human face area: forehead, under the eyes, under the cheeks and under the nose. When comparing the estimated oxygen saturation results with the oxygen saturation values obtained with a reference contact pulse oximeter, the proposed method showed high accuracy with an error of less than 2%.