혈액 내 총 헤모글로빈에 대한 산소화 헤모글로빈의 비율을 나타내는 혈중 산소포화도는 건강 상태와 밀접한 관련이 있다. 산소포화도는 일반적으로 펄스 옥시미터를 이용하여 측정된다. 하지만 이 방법은 피부에 자극을 주고 피부색에 영향을 받는다는 단점이 있다. 그래서 최근에는 얼굴이나 손 영상을 이용하여 산소포화도를 추정하는 방법이 제안되고 있다. 본 논문에서는 Convolutional Neural Network를 기반으로 얼굴 영상에서 산소포화도를 추정하는 방법을 제안한다. 특히 산소포화도를 측정하는 원리에서 필수적으로 계산되는 AC 성분과 DC 성분을 임의로 계산하지 않고 얼굴 영상에서 얻은 신호를 그대로 사용하여 모델을 훈련하고 산소포화도를 예측한다. 또한 산소포화도를 정확하게 측정하는 데에 시간이 소요될 것을 고려하여 모델의 입력을 다양화하였다. 그 결과 10초 입력의 경우 평균 상관 계수 0.570, 평균 절대 오차 1.755%, 평균 제곱근 오차 2.284%, 급내 상관 계수 0.574로 계산되었으며 20초 입력의 경우 평균 상관 계수 0.630, 평균 절대 오차 1.720%, 평균 제곱근 오차 2.219%, 급내 상관 계수 0.681로, 30초 입력의 경우 평균 상관 계수 0.663, 평균 절대 오차 2.142%, 평균 제곱근 오차 2.612%, 급내 상관 계수 0.646으로 계산되었다. 이를 통해 산소포화도 예측 결과에 큰 영향을 주던 AC 성분과 DC 성분을 계산하지 않고도 산소포화도를 추정하는 것이 가능하다는 것을 확인하였다. 나아가 학습된 모델이 어떤 특징을 활용하여 산소포화도를 예측하였는지 SHapley Additive exPlanations를 통해 분석하였으며 피험자마다 특징의 기여도에 큰 차이가 있다는 것을 확인할 수 있었다. 이는 산소포화도를 더 정확하게 예측하기 위해서는 피험자마다 적절한 color channel을 개별적으로 선택해야 할 수도 있다는 것을 나타낸다.
Blood oxygen saturation, which represents the ratio of oxygenated hemoglobin to total hemoglobin in the blood, is closely related to health status. Oxygen saturation is usually measured using a pulse oximeter. However, this method has the disadvantage of irritating the skin and being affected by the skin color. Therefore, recently, a method of estimating oxygen saturation using face or hand images has been proposed. In this paper, we propose a method for estimating oxygen saturation in facial images based on convolutional neural networks. In particular, the model is trained and the oxygen saturation is predicted by using the signal obtained from the face image without arbitrarily calculating the AC and DC components, which are essentially calculated in the principle of measuring oxygen saturation. In addition, considering the time required to accurately measure oxygen saturation, the input of the model was diversified. As a result, in the case of 10-second input, the mean pearson correlation coefficient was calculated as 0.570, the mean absolute error was 1.755%, the root mean squared error was 2.284%, and the intraclass correlation coefficient was 0.574. For the 20-second input, the average pearson correlation coefficient was calculated as 0.630, the mean absolute error was 1.720%, the root mean squared error was 2.219%, and the intraclass correlation coefficient was 0.681. For the 30-second input, the mean pearson correlation coefficient was calculated as 0.663, the mean absolute error was 2.142%, the root mean squared error was 2.612%, and the intraclass correlation coefficient was 0.646. Through this, it was confirmed that it is possible to estimate oxygen saturation without calculating the AC and DC components, which had a great influence on the result of predicting oxygen saturation. Furthermore, it was analyzed through SHapley Additive exPlanations which features the learned model used to predict oxygen saturation, and it was confirmed that there was a big difference in the contribution of features for each subject. This indicates that an appropriate color channel may need to be individually selected for each subject in order to more accurately predict oxygen saturation.