가정에서 4K 해상도가 HD를 대체하는 추세에 따라, 제조업체들은 “UHD 업스케일링”과 같은 매력적인 마케팅 용어를 사용하고 있습니다. 하지만 업스케일링 자체는 특별한 기능이 아닙니다. 단지 4K TV가 1080p나 720p와 같은 저해상도 비디오를 처리할 수 있도록 하는 기본적인 기능일 뿐입니다.
모든 TV에는 업스케일링 기능이 탑재되어 있습니다
업스케일링이란 저해상도 콘텐츠를 TV 화면 전체에 맞춰 표시하는 것을 의미합니다. 이 기능이 없다면 저해상도 비디오는 화면의 일부분만 차지하게 됩니다. 이는 모든 TV에 기본적으로 내장된 기능입니다. 심지어 1080p TV도 720p 콘텐츠를 업스케일하여 전체 화면으로 보여줄 수 있었습니다.
UHD 업스케일링은 4K TV가 다른 TV와 마찬가지로 저해상도 콘텐츠를 4K 화면 전체에 표시할 수 있도록 하는 기능입니다.
4K 화면에서 업스케일된 1080p 콘텐츠는 일반 1080p 화면에서 보는 것보다 더 나아 보일 수 있습니다. 하지만 업스케일링은 마법이 아니므로, 네이티브 4K 콘텐츠의 선명함을 따라올 수는 없습니다. 작동 원리를 좀 더 자세히 살펴보겠습니다.
해상도는 물리적 수준과 시각적 수준에서 모두 고려해야 합니다
업스케일링을 이해하기 전에 먼저 이미지 해상도의 개념을 명확히 해야 합니다. 단순하게 생각하면, 고해상도 이미지나 비디오는 저해상도보다 더 좋아 보인다는 것을 알 수 있습니다.
하지만 물리적 해상도와 광학적 해상도의 차이처럼 간과하기 쉬운 중요한 측면들이 있습니다. 이 두 가지 요소가 조화롭게 작용해야 좋은 이미지를 얻을 수 있으며, 업스케일링을 이해하는 데도 중요한 기초가 됩니다. 또한 픽셀 밀도에 대해서도 간단히 알아보겠습니다.
물리적 해상도: TV 사양표에서 “해상도”라고 표기된 것은 바로 물리적 해상도를 의미합니다. 이는 디스플레이에 있는 픽셀의 총 개수입니다. 4K TV는 1080p TV보다 픽셀 수가 훨씬 많으며, 4K 이미지는 1080p 이미지의 4배 크기입니다. 모든 4K 디스플레이는 크기에 상관없이 동일한 픽셀 수를 가지고 있습니다. 물리적 해상도가 높은 TV는 더 많은 픽셀을 활용하여 추가적인 세부 묘사를 제공할 수 있지만, 항상 그런 것은 아닙니다. 물리적 해상도는 광학적 해상도에 영향을 받기 때문입니다.
광학적 해상도: 오래된 일회용 카메라로 찍은 사진이 친구의 최신 디지털 카메라 사진보다 더 잘 나오는 경우가 바로 광학적 해상도 때문입니다. 선명하고 또렷하며 넓은 다이내믹 레인지를 가진 이미지는 광학적 해상도가 높다고 할 수 있습니다. TV는 때때로 형편없는 광학적 해상도로 인해 높은 물리적 해상도를 제대로 활용하지 못합니다. 이로 인해 흐릿하거나 대비가 낮은 이미지가 나타날 수 있습니다. 이러한 현상의 원인 중 하나가 업스케일링이지만, 이에 대해서는 나중에 다시 설명하겠습니다.
픽셀 밀도: 픽셀 밀도는 디스플레이의 인치당 픽셀 수를 의미합니다. 모든 4K 디스플레이는 같은 수의 픽셀을 가지고 있지만, 작은 4K 디스플레이는 픽셀들이 더 조밀하게 모여있기 때문에 픽셀 밀도가 더 높습니다. 예를 들어, 4K 아이폰은 70인치 4K TV보다 픽셀 밀도가 높습니다. 화면 크기가 물리적 해상도와 같지 않으며, 화면의 픽셀 밀도가 물리적 해상도를 결정하는 것도 아니라는 점을 강조하기 위해 픽셀 밀도를 설명했습니다.
이제 물리적 해상도와 광학적 해상도의 차이를 이해했으니, 업스케일링에 대해 자세히 알아보겠습니다.
업스케일링: 이미지를 “확대”하는 기술
모든 TV에는 저해상도 이미지를 업스케일하는 복잡한 보간 알고리즘이 내장되어 있습니다. 이 알고리즘은 이미지에 픽셀을 추가하여 해상도를 높입니다. 그렇다면 왜 이미지를 업스케일해야 할까요?
물리적 해상도는 디스플레이의 픽셀 수를 의미하며, TV의 실제 크기와는 관련이 없습니다. 1080p TV 화면은 2,073,600개의 픽셀로 구성되어 있지만, 4K 화면은 8,294,400개의 픽셀로 이루어져 있습니다. 만약 업스케일링 없이 4K TV에서 1080p 비디오를 재생하면, 해당 비디오는 화면의 1/4만 차지하게 됩니다.
1080p 이미지를 4K 디스플레이에 맞추려면 업스케일링 과정을 통해 600만 개 이상의 픽셀을 추가해야 합니다. 업스케일링은 보간이라는 추정 과정을 통해 이루어집니다.
업스케일링이 광학 해상도를 감소시키는 이유
이미지를 보간하는 방법은 여러 가지가 있습니다. 가장 기본적인 방법은 “최근접 이웃” 보간입니다. 이 알고리즘은 이미지에 “빈” 픽셀 격자를 추가한 다음, 주변 4개의 픽셀을 참고하여 각 빈 픽셀에 어떤 색상 값을 채울지 추측합니다.
예를 들어, 흰색 픽셀로 둘러싸인 빈 픽셀은 흰색으로 채워집니다. 반면 흰색과 파란색 픽셀로 둘러싸인 빈 픽셀은 밝은 파란색으로 채워질 수 있습니다. 이 방법은 간단하지만, 이미지에 많은 디지털 왜곡, 흐릿함, 거친 윤곽선을 남길 수 있습니다. 즉, 보간된 이미지는 광학적 해상도가 좋지 않게 됩니다.
왼쪽: 원본 이미지. 오른쪽: 최근접 이웃 보간 적용 후 이미지.
위 두 이미지를 비교해 보면, 왼쪽은 편집되지 않은 원본 이미지이고 오른쪽은 최근접 이웃 보간 과정을 거친 이미지입니다. 오른쪽 이미지는 왼쪽 이미지와 물리적 해상도가 같더라도 훨씬 끔찍해 보입니다. 4K TV가 최근접 이웃 보간을 사용하여 이미지를 업스케일링할 때마다 이와 유사한 현상이 발생합니다.
“잠깐, 내 새 4K TV는 저렇지 않은데?”라고 생각할 수 있습니다. 이는 TV가 최근접 이웃 보간에만 의존하지 않고 여러 방법을 조합하여 이미지를 확대하기 때문입니다.
업스케일링은 광학 해상도도 개선하려고 노력합니다
최근접 이웃 보간은 이미지의 해상도를 높이지만 광학적 해상도를 고려하지 않는다는 단점이 있습니다. 그래서 TV에서는 최근접 이웃 보간과 함께 쌍삼차(평활화) 보간 및 쌍선형(선명화) 보간과 같은 다른 보간 방법을 함께 사용합니다.
왼쪽: 쌍선형 보간 예시. 오른쪽: 쌍삼차 보간 예시.
쌍삼차(평활화) 보간은 이미지에 추가되는 각 픽셀의 색상 값을 주변 16개의 픽셀을 참고하여 결정합니다. 그 결과 이미지가 “부드럽게” 나타납니다. 반면에 쌍선형(선명화) 보간은 가장 가까운 두 픽셀만 참고하여 “선명한” 이미지를 만듭니다. 이러한 방법들을 혼합하고 대비 및 색상에 필터를 적용하면, TV는 광학적 품질 저하를 최소화하여 만족스러운 이미지를 만들어낼 수 있습니다.
물론 보간은 여전히 추정 과정입니다. 적절한 보간 방법을 사용하더라도 일부 비디오는 업스케일링 후 “고스트” 현상이 나타날 수 있습니다. 이러한 왜곡은 특히 저화질(720p 이하) 이미지를 4K 해상도로 업스케일하거나, 픽셀 밀도가 낮은 대형 TV에서 이미지를 업스케일할 때 더 두드러집니다.
위 이미지는 TV에서 업스케일링한 예가 아니라, “뱀파이어 해결사 버피” HD DVD 출시를 위해 수행된 업스케일링 작업의 예입니다(괴짜의 열정 비디오 에세이에서 가져옴). 이는 잘못된 보간법이 이미지를 얼마나 망칠 수 있는지 보여주는 (극단적이긴 하지만) 좋은 예입니다. 니콜라스 브렌든이 왁스 인형 같은 뱀파이어 메이크업을 하고 있는 것이 아니라, 업스케일링 과정에서 그의 얼굴이 이렇게 변한 것입니다.
모든 TV가 업스케일링을 제공하지만, 일부 TV는 더 뛰어난 업스케일링 알고리즘을 사용하여 더 나은 화질을 제공합니다.
업스케일링은 필요하며, 대부분 눈에 띄지 않습니다
약간의 단점에도 불구하고 업스케일링은 유용한 기능입니다. 이 기술은 다양한 비디오 형식을 같은 TV에서 문제없이 볼 수 있도록 해줍니다. 완벽한 기술은 아니지만, 이 기술 덕분에 우리는 다양한 콘텐츠를 편리하게 즐길 수 있습니다. 일부 영화 및 비디오 게임 매니아들은 고전적인 작품을 원래 매체와 오래된 TV로 보는 것을 선호하기도 합니다. 하지만 현재로서는 업스케일링에 대해 지나치게 열광하거나 비판할 필요는 없습니다.
8K, 10K, 16K 비디오 포맷이 이미 일부 하드웨어에서 지원되고 있다는 점을 언급할 가치가 있습니다. 업스케일링 기술이 이러한 고해상도 포맷을 따라잡지 못한다면, 우리가 익숙한 것보다 훨씬 큰 화질 저하를 초래할 수 있습니다.
하지만 제조업체와 스트리밍 서비스는 여전히 4K에 집중하고 있기 때문에, 아직 8K에 대해 크게 걱정할 필요는 없습니다.