최근 해양레저 및 관광에 대한 관심과 참여가 늘어나고 있지만, 해양활동의 특성상 수중활동이 자유롭지 않을 뿐만 아니라 공기통에 의지한 호흡으로 산소잔량 부족, 위험 해양생물, 빠른 조류 등 주변 위험요소들에 대해 신속한 대처가 어렵기 때문에 해양안전사고도 지속적으로 증가하고 있다. 해양안전사고 발생 시 촬영된 현장 사진의 경우 수중환경의 탁도와 부유물 문제 등으로 인해 객체의 선명도가 떨어지거나 불필요한 잡음이 포함되어 있어 안전사고 원인 규명이 매우 어려워 이미지 화질 개선을 위한 연구가 절실한 실정이다. 수중 영상의 화질 저하 문제를 해결하기 위한 연구로서는 전통적인 신호처리 기반 이미지 초해상화 기법과 심층신경망 기반 이미지 초해상화 기법을 들 수 있다. 특히, 수중 이미지에 대한 초해상화 기법은 심층신경망 구현시 파라미터의 개수가 기하급수적으로 늘어나기 때문에 방대한 저장 공간이 필요하고, 신경망의 학습시간이 장시간 소요되며, 수중 이미지 경계면의 불명확한 구분과 불필요한 잡음을 효과적으로 제거하지 못한다는 문제가 있다. 이러한 문제를 해결하기 위해서는 초해상화 기법에서 사용한 채널 개수가 늘어나더라도 적은 양의 파라미터만으로 일반적인 합성곱 연산의 결과와 유사한 성능을 나타낼 수 있는 학습방법에 대한 연구가 필요하다. 또한, 수중 이미지의 특징을 효과적으로 판단하기 위해서는 합성곱에서 사용한 채널간 중요도 및 공간적 중요도를 결정하는 방법에 대한 연구도 필요하다. 따라서, 본 논문에서는 수중 이미지 초해상화 기법에서 사용되는 파라미터의 개수를 줄이고 장시간의 학습시간을 단축하면서 유사한 성능을 도출할 수 있도록 저해상도 이미지의 고주파 성분을 효과적으로 복원하기 위해 전역 잔차학습 방법을 적용한 경량화 기반 합성곱 신경망 기법을 제안하였다. 이 기법은 신경망에 사용되는 LRB에 DWC를 적용해 적은 양의 파라미터만으로도 이미지의 특징을 효과적으로 추출할 수 있다. 또한, 밀집연결을 활용한 복수개의 LRB로 구성된 GRDB는 수중 이미지의 초해상화 성능향상에 기여한다는 것을 실험으로 입증하였다. ULSR 기준의 일반형 및 확장형 2x 이미지에 대한 성능분석 결과는 각각 0.80dB, 0.90dB 높게 나타났으며, 일반형 및 확장형 4x 이미지에 대한 성능분석 결과도 각각 0.45dB, 0.53dB 높게 나타났다. 본 논문에서 제안한 어텐션 기반 합성곱 신경망을 이용한 수중 이미지 초해상화 기법은 수중 이미지의 중요도를 결정해 경계면의 명확한 구분과 불필요한 잡음 제거를 통해 이미지 개선이 가능하도록 한 것이다. 신경망에 사용되는 복수개의 ALRB로 구성된 GRDB는 이전에 생성된 특징맵을 재활용 할 수 있도록 밀집연결을 활용한다. 또한, 특징맵의 중요도를 결정하기 위해 CA와 SA기법을 활용한 FWB를 함께 사용하여 수중 이미지의 초해상화 성능향상에 기여한다는 것을 실험으로 입증하였다. UASR 기준의 일반형 및 확장형 2x 이미지에 대한 성능분석 결과는 각각 0.68dB, 1.03dB 높게 나타났으며, 일반형 및 확장형 4x 이미지에 대한 성능분석 결과도 각각 0.35dB, 0.58dB 높게 나타났다. 이상으로부터 ULSR과 UASR 모두 기존의 기법보다 높은 PSNR 성능을 보여줌으로서 수중환경에서 효과적임이 확인되었다. 본 연구결과는 해양안전사고에 대한 수중 이미지 분석을 통해 보다 정확한 해양안전사고원인을 파악할 수 있기 때문에 향후 발생할 수 있는 해양안전사고의 재발방지연구를 위한 기초자료로서의 많은 활용이 기대된다.
Recently, there has been increasing interest and participation in marine leisure and tourism. However, due to the nature of marine activities, not only is underwater activity restricted, but there are also difficulties in quickly addressing surrounding hazards such as insufficient oxygen reserves. It is due to reliance on air supply, dangerous marine organisms, and rapid currents. As a result, maritime safety accidents continue to increase. In the event of a maritime safety accident, photographs taken at the scene often suffer from reduced object clarity and unnecessary noise due to issues such as water turbidity and suspended particles in the underwater environment. This makes it extremely difficult to determine the causes of the accidents. Therefore, there is an urgent need for research on improving image quality to enhance the investigation of safety accident causes. In research aimed at addressing the issue of reduced image quality in underwater videos, two approaches can be mentioned: traditional signal processing-based image super-resolution techniques and deep neural network-based image super-resolution techniques. In particular, image super-resolution techniques for underwater images suffer from challenges such as the exponential increase in the number of parameters when implementing as deep neural networks, which require extensive storage space. Additionally, the training time of the neural networks is prolonged, and they may not effectively remove unclear boundaries and unnecessary noise in underwater image interfaces. To address these issues, research is needed on learning methods that can achieve performance similar to conventional convolutional operations with a small number of parameters, even as the number of channels used in super-resolution techniques increases. Additionally, studying methods to effectively determine the importance of channels and spatial importance between channels in convolution operation is necessary to accurately assess the characteristics of underwater images. Therefore, in this thesis, we propose a lightweight convolutional neural network technique that applies a global residual learning method to effectively restore the high-frequency components of low-resolution images used in underwater image super-resolution techniques. This technique utilizes Depth Wise Convolution (DWC) in the Lightweight Residual Block (LRB) employed in the neural network, allowing for effective feature extraction with a small number of parameters. Additionally, the Grouped Residual Dense Block (GRDB), which consists of multiple LRBs with dense connections, contributes to the improvement of super-resolution performance for underwater images, as demonstrated through experiments. Performance analysis results, which are for both the general and extended 2x images based on the proposed Underwater Lightweight Super-Resolution (ULSR) approach, showed improvements of 0.80dB and 0.90dB, respectively. The performance analysis results for the 4x images also showed improvements of 0.45dB and 0.53dB, respectively. The proposed super-resolution technique for underwater image, utilizing the attention-based convolutional neural network, designed in this thesis aims to improve image quality by determining the important underwater image regions. It enables clear boundary separation and removal of unnecessary noise. The Grouped Residual Dense Block (GRDB), consisting of multiple Attention Lightweight Residual Blocks (ALRB), utilizes dense connections to allow for the reuse of previously generated feature maps. Additionally, in Underwater Attention Super-Resolution (UASR), the Feature Weighting Block (FWB) combines Channel Attention (CA) and Spatial Attention (SA) techniques to determine the important feature maps and contributes to the enhancement of super-resolution performance for underwater images, as demonstrated through experiments. Performance analysis results, which are for both the general and extended 2x images based on the UASR approach, showed improvements of 0.68dB and 1.03dB, respectively. The performance analysis results for the 4x images also showed improvements of 0.35dB and 0.58dB, respectively. From the above-mentioned, both ULSR and UASR have demonstrated higher PSNR performance compared to existing techniques, confirming their effectiveness in underwater environments. The results of this thesis, through the analysis of underwater images related to maritime safety accidents, provide valuable foundational data for future research aimed at preventing the recurrence of maritime safety accidents. These findings enable a more accurate understanding of the causes of maritime safety accidents and are expected to be widely utilized in research on accident prevention in the future.