Raw Data와 Bayer Filter의 원리

최초의 이미지 생성 및 베이어 필터와 패턴

영상이 이미지 센서를 통해 최종적으로 디지털 데이터로 변환된다는 것을 배웠다. 그 과정 중 하나인 CFA(Color Filter Array)의 종류과 Raw Image에 대해 알아보자.

Raw Image

Raw란 사전적 의미로 날 것의, 가공되지 않은 것을 의미한다. 따라서 Raw Data란 말 그대로 가공되지 않은 데이터(영상)라 할 수 있다. 물론 실제로 아무런 가공이 되지 않은 것은 아니다. 다만 전반적인 프로세싱 과정 중 아직 압축 등의 변환이 되지 않은 순수한 데이터라 할 수 있다.

Raw Image를 한마디로 정의하면 DSP(Digital Signal Processing)가 이뤄지지 않은 상태로 저장된 원본 데이터라 할 수 있다. 다른 의미로 Pattern의 변환이 이루어지지 않은 것이라 할 수 있다. 그렇다면 Pattern은 무엇일까?

픽셀의 정의

패턴을 알아보기 전 먼저 화소의 의미부터 살펴보자. 화소란 단어는 픽셀을 의미하는데, 실제로 영상처리 과정에서 화소보단 픽셀이란 단어를 자주 사용한다.

옛날 휴대폰 광고에서 몇백만 화소, 천만 화소와 같은 문구를 본 적이 있을 것이다. 휴대폰에서 1200만 화소의 카메라(꼭 휴대폰이 아니더라도)라고 하면 대략 4000 x 3000(= 1200만) 정도의 해상도를 가지는 이미지를 생성하는 카메라가 들어 있는 휴대폰이란 의미이다.

즉, 다른 말로 1200만 화소 카메라는 정확한 의미로 1200만개의 셀(Cell, 이미지 센서의 구성 요소 단위)로 구성된 이미지 센서가 탑재된 카메라라는 의미이다. 이는 또 다른 말로 촬영한 피사체의 R, G, B 색을 감지할 수 있는 셀이 1200만개라는 의미이다.

참고로 Cell과 Pixel의 차이… 아직 헷갈리지만 Cell은 단위 픽셀의 물리적 구조 또는 화소 그 자체라는 의미를 가진다.. 그리고 Pixel은 모든 범위의 휘도와 색도를 재현할 수 있는 가장 작은 단위라고 나와있다. 어디에 쓰냐에 따라 그 단위가 바뀌는 것이지 결과적으로 구성하는 단위를 의미 하는 것은 똑같은 것 같다.. 이미지 센서의 단위는 셀.. 이미지의 단위는 픽셀..?

아무튼 실제로 여기서 1200만개의 모든 셀이 칼라 값을 감지하는 것은 아니다. 이 것들은 흑백의 밝기(Gray Scale)를 감지하는데 이러한 셀들을 모노크롬(Monochrome, 단색화, 한 빛깔) 픽셀이라 한다. 그리고 칼라 값은 이러한 모노크롬 픽셀에 필터가 결합되어 생성된다.

필터와 패턴

위에서 필터는 색상을 입히는 것이라 유추할 수 있다. 이미지 센서에는 Color Filter Array(CFA)가 존재하는데 어떤 CFA를 쓰느냐에 따라 생성되는 색 공간 타입이 달라진다. 대표적으로 가장 많이 쓰는 CFA에는 Bayer Filter가 존재하고 그 외 CYYM Filter, RGBE Filter 등이 존재한다.

대부분의 이미지 센서는 Bayer Filter를 적용하는데 해당 필터를 적용하여 나온 결과 이미지들을 Bayer Pattern이라 한다. 베이어 패턴은 보통 BGGR 순서로 배치된 2×2의 배열이 반복적으로 구성된다.

베이어 패턴은 G 값을 2개 가지는데 그 이유는 G가 자연계에서 존재하는 가장 많은 색상이기 때문이라는 이유도 있지만 실제로 Green 값의 비중이 휘도(밝기)값에 가장 큰 영향을 주기 때문이다.

그런데 하나의 셀은 R, G, B 필터 중 하나로만 결합되기 때문에 하나의 이미지 픽셀은 하나의 색만 감지할 수 있다. 따라서 각 화소에서 없는 색상은 주변 화소를 이용하여 인위적으로 생성한다. 실제로 우리가 보는 이미지 영상 역시 R, G, B 모든 색상이 같이 보여지는데 이러한 과정 역시 모두 주변 화소를 통하여 인위적으로 생성된 결과이며 이를 Demosaicing(디모자이킹)이라 한다.