In this dissertation, we propose preprocessing methods based on adaptive smoothing for face recognition and depth-image-based rendering (DIBR). Both face recognition and DIBR are very attracting research fields of computer vision which are receiving significant attention although they have relatively different technical characteristics. However, both applications suffer from several problems which interrupt commercialization. Face recognition has the major problem that the recognition performance is highly affected by the varying illumination. DIBR also has the intrinsic problem that some artifacts, such as holes, appear in generated virtual views, and consequently depth perception and image quality decrease while visual fatigue increases. To solve these problems, we employ adaptive smoothing with the discontinuity-preserving characteristic, proposed by Saint-Marc et al. The adaptive smoothing is the nonlinear smoothing method where the input image is iteratively convolved with the $3\times3$ smoothing mask whose coefficients reflect the discontinuity level of the input image at each point.First, we propose the illumination normalization for robust face recognition. Illumination normalization is the most general solution for solving the illumination problem in face recognition. Among many methods for illumination normalization, Retinex methods have common advantages in that they do not require training images and have relatively low computational complexity. In Retinex methods, illumination is generally estimated and normalized by smoothing the input image first and then dividing the estimate into the original input image. Therefore, performance mainly depends on how good the estimated illumination is. In this dissertation, we propose two novel Retinex methods, namely Method I and Method II, which have their originality mostly with respect to the illumination estimation. Method I determines weights of a smoothing mask by the simple measure of illumination discontinuity and then encode them into a local binary pattern(LBP) for fast and memory efficient processing. On the other hand, Method II determines coefficients of a smoothing mask for each pixel via combining two measures of the illumination discontinuity at each pixel. Additionally, we address the new conduction function, which are designed to be suitable especially for face images. In this way, we can achieve an efficient illumination normalization in which face images with even strong shadows are normalized efficiently. The proposed methods are evaluated based on Yale face database B, CMU PIE database and AR face database by applying PCA and DCV.Second, in DIBR, a new depth preprocessing is proposed to minimize holes and image distortions in generated virtual views. DIBR is the process of generating virtual views of a real-world scene from monoscopic color video and associated per-pixel depth information. In the proposed depth preprocessing method, two adaptive smoothing filters of the discontinuity-preserving smoothing and the gradient direction-based smoothing are sequentially conducted. The discontinuity-preserving smoothing not only fulfills the requirement of low bitrates for transmitting depth information, but also removes artifacts such as noise in the original depth image. The gradient direction-based smoothing suppresses horizontal depth transitions based on the gradient direction and, as a result, holes are reduced with minimized distortion in rendered virtual images. The proposed depth preprocessing is evaluated in T-DMB environment by coding efficiency, image quality and subjective evaluation.
본 논문에서는 얼굴 인식과 깊이 영상 기반 렌더링 (DIBR)의 두 어플리케이션에 적용될 수 있는 경계 보존 특성을 지닌 적응적 평활화에 기반을 둔 전처리 방법을 제안한다. 얼굴 인식과 깊이 영상 기반 렌더링은 기술적으로 비교적 상이한 연구분야이지만 최근들어 가장 많은 관심을 끌고 있는 주요 컴퓨터 비전 연구 분야들이다. 특히, 두 어플리케이션들은 모두 상업화를 가로막는 기술적 문제점들을 지니고 있다. 먼저 얼굴 인식은 조명 변화에 따라 인식이 정확도가 크게 저하되는 문제점을 지니고 있으며 깊이 영상 기반 렌더링은 렌더링된 가상 시점 영상에서 홀이나 왜곡이 발생해 화질이나 입체감이 저하되고 시청자의 눈의 피로도가 높아지는 문제점을 지니고 있다. 본 논문에서는 이러한 두 어플리케이션에서의 문제점들을 해결하기 위해 경계 보존 특성을 지닌 Saint-Marc등에 의해 제안된 적응적 평활화 방법을 이용한다. 적응적 평활화는 영상의 각 화소에서의 불연속성에 따라 다르게 가중치가 할당된 $3\times3$크기의 평활화 마스크를 이용해 반복적으로 컨볼루션을 수행하는 대표적인 경계 보존 평활화 방법이다.먼저 얼굴 인식에서는 조명 변화에 따른 영향을 최소화하기 위한 조명 정규화 방법이 제안된다. 조명 정규화 방법은 얼굴 인식에서의 조명 변화에 따른 문제를 해결하기 위한 가장 보편화된 방법으로써 제안된 조명 정규화 방법은 훈련 영상을 필요로 하지 않으며 계산적 복잡도가 작은 레티넥스 방법에 기반을 두고 있다. 레티넥스 방법에서는 조명이 평활화 방법에 의해 추정되며 추정된 조명을 입력 영상으로부터 나누어 줌으로써 정규화된 영상을 얻는다. 그러므로 정규화 성능은 얼마나 정확하게 조명을 추정하는 가에 의존한다. 본 논문에서는 적응적 평활화를 이용해 조명을 추정하는 것을 제안하며 각기 다른 특성을 지닌 Method I 와 Method II의 두 가지 방법이 제안된다. 먼저 Method I는 조명의 불연속성을 간단한 방법에 의해 측정하고 이를 이용해 평활화 마스크의 가중치를 국부 바이너리 패턴 (LBP) 으로 인코딩한다. Method I는 LBP로 인코딩된 평활화 마스크를 이용해 적응적 평활화를 수행함으로써 빠르고 메모리 효율적인 조명 추정이 가능하게 된다. 한편, Method II는 두 가지의 불연속성 측정 방법을 결합함으로써 마스크의 가중치를 결정한다. 특히, 불연속성 측정값으로부터 마스크의 가중치를 결정하기 위해 이용되는 새로운 전달 함수가 제안된다. 제안된 전달 함수는 기존에 제안된 전달 함수와는 달리 경계 활성화 특성을 지니지 않은 것으로 조명 정규화에 맞게 설계된 것이다. 제안된 방법들을 평가하기 위해 대표적인 얼굴 데이터베이스들인 Yale face database B, CMU PIE database 및 AR face database가 이용되며 인식 알고리즘으로써 PCA와 DCV.깊이 영상 기반 렌더링에서는 홀의 발생과 영상 왜곡을 최소화하기 위한 깊이 전처리 방법이 제안된다. 깊이 영상 기반 렌더링은 한 장의 중간 시점 영상과 한 장의 깊이 영상을 전송 받아 임의의 시점 영상을 생성할 수 있는 방법이다. 제안된 깊이 전처리 방법은 깊이 영상 기반 렌더링을 이용해 생성된 양안 시점 영상에서의 홀과 왜곡이 최소화될 수 있도록 하기 위해 적응적 평활화에 기반을 둔 두 개의 전처리 필터를 순차적으로 적용한다. 먼저 입력 깊이 영상의 잡음 요소를 줄이고 중요한 깊이 불연속성은 보존하는 경계 보존 평활화 필터가 적용된다. 이 후 경사도 방향에 기반을 둔 적응적 평활화가 적용된다. 홀이 발생하는 방향에 따라 평활화를 수행함으로써 홀의 발생과 시점 영상의 왜곡을 최소화한다. 제안된 깊이 전처리 방법은 대표적인 3차원 방송 서비스 환경인 T-DMB 전송 환경에서 전송 효율, 화질이 검증되고 눈의 피로도, 입체감 및 화질 측면에서의 주관적 평가를 통해 기존 전처리 방법과 비교된다.제안된 전처리 방법들은 각 어플리케이션이 가진 기술적 어려움을 해결할 수 있는 요소 기술로써 적극적으로 활용될 수 있을 것으로 기대되며 이러한 기술적 어려움의 해소는 각 어플리케이션이 지닌 잠재성을 극대화시킴으로서 시장에서 활발하게 이용될 수 있을 것이다.