1. 동영상 화질 평가 방법
동영상 화질 평가는 주관적 화질 평가와 객관적 화질 평가로 나눌 수 있다. 주관적 화질 평가는 사람이 보기에 좋은 정도를 판단하기 때문에 훨씬 신롸성이 높은 결과라고 할 수 있지만, 비싸고 오래걸리기 때문에 최종 평가 단계에서나 사용할까, 절대 선호될 수 없는 방법이다. (조만간 여기에 대해서도 한번 정리 해야 겠다.)
객관적 화질 평가 방법은 수식에 의해서 화질 왜곡 정도를 계산하는 방법으로서, 컴퓨터 프로그램에 수식과 동영상을 입력하면 바로 화질 척도가 계산되어 나오기 때문에 바로바로 확인할 수가 있어 매우 선호되는 방식이다. 여기에도 화질 평가에 사용되는 정보의 양에 따라 전 기준법(Full reference: 원본 영상과 비교), 감소 기준법(Reduced Reference: 원본 영상에서 주요 정보만 추출하여 평가), 무기준법(원본 영상 없이 화질 평가)으로 분류 할 수 있다. 당연하게도, 원본 정보가 많을수록 좀 더 화질 손실에 대해서 정확하게 판단 할 수 있기 때문에 무기준 법 보다는 감소기준법이, 감소 기준법 보다는 전 기준법이 더 좋은 성능을 보인다.
2. BD-rate
일반적으로 동영상 압축 분야에서 기술 비교의 핵심은 같은 용량일 때 원본 영상으로부터 손실을 얼마나 줄이느냐(또는 같은 화질에서 얼마나 용량을 줄이느냐) 이기 때문에, 압축 용량 대비 PSNR을 평가 척도로서 사용한다.
두 압축 기술을 비교할 때, 같은 용량을 만들어서 비교하거나 같은 화질로 고정시키고 성능을 비교하는것은 힘들 뿐 더러, 기술에 따라 강점을 보이는 영역(고화질 또는 저용량)이 다르기 때문에 한 지점에서 비교는 곤란하다. 그래서 흔히 4개 정도의 지점을 적당히 골라 용량 대비 화질을 그래프 상에서 비교함으로서 기술의 우위를 판단하곤 하는데, 이것이 R-D curve이다.
위의 그림은 예로서, 가로축은 Bitrate(용량/재생시간), 세로축은 PSNR이다. 각각 사각형으로 마크되어 있는 곳이 측정 된 지점들이다. 위 그림에서는 모든 지점에서 파란색 곡선이 더 위에 있기(같은 용량 대비 높은 PSNR을 보이기) 때문에 HE가 더 높은 효율을 가지는 압축 기술이라고 할 수 있다.
여기서 문제라면, 두 기술간의 차이는 명확하더라도 그게 얼마나 되는지 알수 없다는 것이다. 게다가 두 곡선이 교차라도 하게 되면 대체 어느게 좋은지 애매해 질 수 있다. 수치상으로 비교하기 위해서 도입한 척도가 BD-PSNR(Bjøntegaard Delta - PSNR: 이 방법을 제안한 사람 이름이 Bjøntegaard. 어떻게 발음하는지는 여기를 참조 : 한글 표기법에 의하면 "비엔테고르'라고 한단다.)과 BD-rate가 되겠다. 간단하게 말하자면, 두 곡선의 사이 면적을 적분하는 방식이다.
위 그림의 R-D curve와 비교하면 x축 간격이 다른것을 볼 수 있는데, 이것은 x축을 log 값으로 표현 한 것이기 때문이다. 그림에서 보는것과 같이 x값도 로그를 취하여 보면 좀 거 직선적으로 나타나기 때문에 좀 더 공정한 평가가 가능하다. (세로축인 PSNR은 원래 로그척도를 가지기 때문이기도 하다.) 왼쪽의 그림은(같은 bitrate에서) PSNR의 변화를 기준으로 평가한 것이고, 오른쪽의 그림은 (같은 PSNR에서) bitrate의 변화를 평가한 것이다. 일반적으로 소수점 이하로 많이 내려가게 되는 BD-PSNR보다는 0.x%정도의 척도에서 끝나는 BD-rate가 좀 더 흔하게 사용되고 있다.
일반적으로 4개의 점을 가지고 기술을 비교하기 때문에 3차 방적식으로 예측하여 두 3차식의 사이 구간을 적분하는 식으로 구할 수 있다. 각각을 삼차함수로 예측한 후, 적분하여 차를 구하고, 그 차를 적분 구간으로 나누여 평균적으로 PSNR(bit-rate)증가를 나타내는 것이다. 4x4 행렬의 역행렬을 구하고, 로그값을 구하고, 다시 지수승을 하는 과정만 제외하면 귀찮은 산수문제 수준.
3. 문제 제기
BD-PSNR이라는 근사 접근은 가로 log(bitrate), 세로 PSNR일 경우와 같이 각 지점이 선형 비슷하게 배치될 때를 가정하며 제작되었다. 따라서 선형으로 배치되지 않는 경우가 생긴다면 문제가 발생할 가능성이 있다. 이러한 현상이 최근 실제로 발생되어 RIM에서 최초로 보고되었다.
아래 그림들은 발견된 오류에 관한 리포트[JCTVC-F270]및 관련 이메일에서 발췌한 것이다. 각 그림에서 왼쪽은 원 데이터의 그래프이고, 오른쪽 그림은 x축을 로그로 표시하고, 3차 함수로 interpolation이건 이런 경우에는 그럭저럭 잘 동작하지만,
조금 차이가 벌어지면 이런 결과가 나오고, 계산 수치는 (bd-rate 1747%라는등의.. bd-psnr로 보면 0.49db) 말도 안되는 결과가 나온다..... 이러한 극단적인 경우 외에도 경우에 따라서는, 이득과 손실이 뒤바뀌어 나오는 경우나 rate는 11%정도로 보이는데, psnr로 보면 0.04db에 그치는 등의 일관되지 못한 경우가 발생한다.
이건 명백히 3차 함수로 예측하면서 생긴 오류이기 때문에, 이러한 문제를 해결 할 수 있는 새로운 방식이 요구되었다.
4. interpolation
결국, 문제는 4개의 지점 사이를 부드러운 곡선으로 이어서 추세를 나타낼 수 있으면서, 위와 같은 오류가 나타나지 않는 보간법(interpolation method)을 찾는것이 문제의 핵심으로 떠오르게 된다.
물론, 제일 쉬운 방법은 측정 지점을 늘려서 저렇게 엉뚱한 방향으로 가는 데이터를 바로잡아주면 된다. 현실적으로 이게 쉽지 않은 것은, 저 데이터 포인트 하나를 구하는데 길게는 20시간까지도 걸린다는 것. - 그것도 기업에서 사용하는 고사양 컴퓨터의 경우 -
어쨌든, 논의 도중, 2008년에 이미 비슷한 문제에 대한 해결이 VCEG에서 제시된 적 있다는 이야기가 나왔고, 여기에서 제시된 방법이 pchip interpolation이다. 이 방법은 1980년 SIAM(산업 및 응용 수학 학회 정도로 번역될듯)에 나온 방법인데,앞에서의 오류는 없을것이라 확신할 수 있는것이, 이 방법은 단조증가(또는 단조 감소)를 가정하고 값을 채워 나가기 때문이다. 따라서 위 그림같은 요동은 나타나지 않으며 좀 더 안정된 결과를 얻을 수 있다.
5. 결론.
여기에서 방법을 논하면서, 이 평가방법에 대한 일관성만을 논했지 신뢰성을 논하지는 않았다. 제일 위에서 가볍게 언급했지만 PSNR 방법 자체가 오차를 측정하기 위한 방법이지 화질을 측정하는 방법이 아니기 때문에, 기술간 우열만 가릴 수 있으면 족하기 때문이다. (그래서 성능 비슷하면 간이 주관평가를 거쳐서 더 좋아보이는 쪽(이라고 쓰고 주변에서 편 많이 들어주는 쪽 이라고 해석한다) 기술이 채택되는 경우가 있다.)
아래는 HEVC 의장중 한명인 Gary Sullivan씨의 코멘트:
I think it is possible to improve our metric somewhat. However, we
should not put too much emphasis or faith in any such metric. PSNR
isn't a perfect way to measure video quality anyway
