HEVC 비디오 영상 포맷

비디오 영상 포맷

HEVC를 비롯한 표준 비디오 코덱들은
디지털 영상의 해상도와 시간 길이에 비례해서 늘어나는 데이터의 표현량을 줄이는 인코더와
압축 스트림(Stream)만으로도 양질의 영상을 복원하는 디코더로 구성된다.

 

1. 영상 취득

우리가 인지하는 3차원 공간의 모든 위치들은 x, y, z 세 개의 연속 변수들로 충분히 표현할 수 있고, 지속적으로 흘러가는 모든 시간과 순간들도 연속된 도메인 위에 표현할 수 있다.

그리고 이러한 것은 모두 적당한 시간 (ex. 기업의 1~4분기, 다이어트 한달 계획,..)을 기준으로 나누어 이산적으로 표현할 필요가 있다.

영상의 이산 표현은

연속성을 가지는 시간을 이산 도메인에서 표현하는 경우는, 동영상을 취득, 저장, 재현 하는 경우에도 적용되는데 우리가 멀티미디어 장치를 통해 시청되는 동영상은 약 1/25초 ~ 1/30초 간격으로 재생되는 일련의 정지영상(사진)으로 볼 수 있다.

사람의 눈을 비롯한 시각 인지 체계가 시간 도메인에서 저대역 통과 필터(LPF: Low Pass Filter)의 특성을 가지고 있다.

3차원 공간과 2차원 디지털 영상

일반적으로 사용하는 방식은 3차원 공간에서 표현되는 영상 신호를 2차원 매체로 투영(Projection)한 후 2차원 영상을 취득하는 방식을 사용한다.

카메라를 통해 영상을 취득하는 경우, 카메라 내 영상 센서가 망막을 대신하는데
광원(전구, 태양, 등 빛의 근원)에서 발산된 빛은 직접 눈으로 향하는 경우도 있고, 여러 물체를 향하는 경우를 비롯하여 사방으로 발산한다.
(물체에 입사된 빛은 물체의 광학적 특성에 따라물체에 흡수되기도 하고 표면에서 반사되기도 한다.)

이 때 광원이 어떤 물체에 도달해 그 물체의 광학적 특성에 따라 빛이 반사되고, 그 일부가 우리의 눈으로 들어온다.(망막에 투영된다)
이들 빛이 모두 모여 망막에 맺히면 망막 내 시세포를 통해 물체의 상이 형성된다.

안구의 수정체 혹은 카메라의 렌즈로 입사되는 빛들은 렌즈의 특성에 따라 공간적으로 흩어지는 현상이 일어나는데, 이러한 영상 취득 체계의 특성을

PSF (Point Spread Function)으로 나타낼 수 있다.

디지털 카메라가 출현하기 이전에 사용하던 아날로그 필름 카메라는 렌즈를 통해 모아진 빛이 형성하는 실상이 필름 위의 감광성 재료에 기록되는 과정을 통해 영상이 저장된다.

반면 디지털 영상 취득 장치의 경우 CCD (Charge-Coupled Device) 혹은 CMOS (Complementary Metal-Oxide Semiconductor) 등의 센서가 아날로그 카메라의 필름을 대신한다.
이러한 경우, 광전효과에 의해 센서에 도달한 빛의 에너지 크기에 따라 발생하는 각기 다른 전자의 양이
센서에 부착된 축전기를 기록하는 형태로 영상 정보를 취득한다.

디지털 영상 기기 스펙에서 접할 수 있는 해상도(Resolution)이란 용어는 장치에서 영상 한 장 혹은 동영상에서 한 프레임(Frame)을 구성하는 픽셀의 수를 의미하는 것으로, 상대적으로 높은 해상도를 가지는 기기가 높은 품질의 영상을 다루는 것으로 이해할 수 있다.

픽셀 하나의 공간은 0이 아닌 면적을 가지고, 그 면적 내에 존재하는 무수히 많은 위치마다 각각의 밝기 값들이 존재한다. 하지만, 2차원 이산 공간을 사용하는 디지털 영상의 경우 한 픽셀 면적 전체를 대표해서 하나의 대표 밝기 값만을 저장하는데, 이러한 과정에서 정보 손실이 일어난다.
– 예를 들어 100만개의 픽셀이 모두 같은 밝기 값을 가지는데, 단 하나의 픽셀이 보다 옅은 밝기 값을 가지는 상황에서 이 픽셀 값이 대표 밝기 값으로 설정된 경우 정보의 손실이 일어난다.