Recently, sign language recognition services and applications using deep learning-based sign language recognition models have been actively developed. In such a sign language recognition service or application, the accuracy of the sign language recognition model is very important. Most sign language datasets contain not only sign language utterance data but also information that is not related to the sign language utterance data. Therefore, in this paper, we propose a scheme for detecting the start and end points of sign language based on the amount of change in the movement of each keypoint to improve the sign language recognition accuracy. The proposed method uses the average value of each keypoint change as a threshold value. It detects the point where the average change becomes larger than the threshold as the sign language start point, and the point where the average change becomes smaller than the threshold as the sign language end point. As a result of the performance evaluation, it is confirmed that the start and end points of sign language can be accurately detected within an average of about two frames when using information on 10 keypoints.
최근 딥러닝 기반 수어 인식 모델을 활용한 수어 인식 서비스나 응용의 개발이 활발하게 이루어지고 있다. 이와 같은 수어 인식 서비스나 응용에서는 수어 인식 모델의 정확도가 매우 중요하다. 대부분의 수어 데이터셋은 실제 수어의 발화 데이터뿐만 아니라, 실제 수어 발화와 관련이 없는 정보가 공통적으로 포함되어 있다. 따라서, 본 논문에서는 수어 인식 정확도를 향상시키기 위해 수어 데이터에서 발화자의 주요 키포인트 정보를 추출하고 각 키포인트의 변화량에 기반하여 수어의 시작 시점과 종료 시점을 탐지하는 기법을 제안한다. 제안기법은 각 키포인트 변화량의 평균값을 임곗값으로 사용하여 임곗값보다 평균 변화량이 커지는 시점을 수어 시작 시점으로 탐지하고, 평균 변화량이 임계값보다 다시 작아지는 시점을 수어 종료 시점으로 탐지한다. 실험을 통해 제안기법의 성능을 분석하였다. 성능 평가 결과 10개의 키포인트 정보를 이용하는 경우, 평균 약 2프레임 내외에서 정확하게 수어의 시작 시점과 종료 시점을 탐지할 수 있음을 확인하였다.