최근 가상 현실(Virtual Reality) 기술에 관한 관심이 급증함에 따라 이를 효과적으로 지원하는 몰입형 미디어 기술의 필요성이 대두하고 있다. 이러한 수요에 맞추어 국제 표준화 단체인 MPEG(Moving Picture Experts Group)에서는 6DoF(Degrees of Freedom)을 지원하는 몰입형 미디어 기술에 관한 표준화를 진행했다. 그 결과 다수 시점에서 획득한 색상 및 깊이 영상의 효율적인 압축 및 전송을 위한 MIV(MPEG Immersive Video) 표준이 발표되었다. 본 논문에서는 MIV 렌더러 파이프라인 확장을 위한 3D 렌더링 효과 적용 기법을 제시한다. 첫째, 렌더링 품질을 향상하기 위한 영상 혼합 기법을 제안한다. 색상 및 깊이 정보 오차로 발생하는 품질 문제를 해결하기 위해 렌더러 파이프라인 내에 가상 시점에서의 가중치 정보를 저장하고, 저장된 정보를 바탕으로 색상을 혼합하는 단계를 추가한다. 깊이, 각도, 삼각형의 왜곡도를 가중치 정보로 활용하여 렌더링 품질을 개선한다. 둘째, 기존의 렌더러 파이프라인에 3D 렌더링 효과를 적용하는데 필수적인 물체의 표면에서 법선 벡터를 효과적으로 추정하는 방법을 제시한다. 본 방법에서는 먼저 깊이 정보를 기반으로 계산된 3D 위치의 인접한 픽셀 간의 차이를 통해 법선 벡터를 추정한다. 단순한 기하학적 법선 벡터 추정 방식으로는 깊이 정보의 디지털적 특성으로 인해 표면의 미세한 변화에 따른 법선 벡터의 급격한 변동이 생길 수 있고, 렌더링 된 장면의 사실감에 영향을 미친다. 따라서 이러한 문제를 완화하기 위해 곡률 기반의 법선 벡터 평활화 방식을 제안한다. 특히 법선 벡터의 연속성을 유지하고 깊이 정보의 불연속성으로 인한 시각적 왜곡을 최소화하는 해결책을 제시한다. 추정된 법선 벡터를 바탕으로 주어진 장면 내에 다양한 3D 렌더링 기법을 추가하여, 보다 사실적이고 몰입감 있는 시각적 효과를 생성하도록 한다.
As interest in virtual reality technology has recently increased, the need for immersive media technology that effectively supports it is emerging. In response to this demand, MPEG(Moving Picture Experts Group), an international standardization organization, has standardized immersive media technology that supports 6DoF(Degrees of Freedom). As a result, the MIV(MPEG Immersive Video) standard was announced for efficient compression and transmission of color and depth images acquired from multiple cameras. In this paper, I present a 3D rendering effect application technique to expand the MIV renderer pipeline. First, I propose an image blending technique to improve rendering quality. To solve quality problems caused by color and depth information errors, a step is added to store weight information from a virtual camera within the renderer pipeline and blend colors based on the stored information. Rendering quality is improved by using depth, angle, and triangle distortion as weight information. Second, I present a method to effectively estimate normal vectors on the surface of an object, which is essential for applying 3D rendering effects to existing renderer pipelines. In this method, the normal vector is first estimated through the difference between adjacent pixels in 3D positions calculated based on depth information. With a simple geometric normal vector estimation method, the digital nature of depth information can cause rapid fluctuations in the normal vector due to subtle changes in the surface, affecting the realism of the rendered scene. Therefore, to alleviate this problem, I propose a curvature-based normal vector smoothing method. In particular, I propose a solution that maintains the continuity of normal vectors and minimizes visual distortion due to discontinuity of depth information. Based on the estimated normal vector, various 3D rendering techniques are added within a given scene to create a more realistic and immersive visual effect.