画質を評価する客観評価指標として、PSNR(Peak signal-to-noise ratio:ピーク信号対雑音比)がよく知られています。今回は画像のPSNRについて紹介し、測定を行うプログラムを紹介したいと思います。
PSNRは信号が取りうる最大のパワーと劣化をもたらすノイズの比率を表す工学用語であり、信号処理全般における品質の評価に使用できる指標です。
早速ですが、PSNRは以下の式で表されます。MSE(最小二乗誤差)については、こちらの記事を参照してください。
Rには、0~255の画素値で表される画像の場合、一般にR=255を入力します。すなわち以下となります。
MSEは0~255の画素値で表される画像の場合、最大でMSE=255×255です。このとき、 PSNR=10×log10(1)=0 [dB]となります。つまり、PSNRは最も劣化が大きい場合に0[dB]を示します。
逆にMSEは最小で0となります(正解画像と評価画像が完全一致)。このとき、logの内部が∞に発散するためPSNRも∞となります。
すなわち、0~+∞の間で、値が大きいほど画質が良いことを示すのがPSNRです。
何故MSEそのものではなく、PSNRを使うのでしょうか。メリットは二つあると思います。
では、一体PSNRがいくつであれば品質が良いと言えるのでしょうか。
このあたりは論文によっても意見が分かれますが、35~40[dB]以上を高品質と見なすことが多いです。感覚的には劣化がわからない、ほぼわからないと言えるのは40[dB]以上かなと思います。
ただPSNRでは、2つの画像の同じ位置のピクセル同士の比較しかしていないので、2つの画像の間でほんのわずかにテクスチャが横にずれているようなケースでは差が大きくなり、「人間の目ではあまり劣化は気づかないけれども、PSNRの値は悪い」ようなことも起こり得ます。
そのため、他の客観評価指標も提案されていますが、PSNRはMPEGの標準化などでも評価指標として使われている非常に強力で明快な評価指標です。
動作環境:OpenCV 4.5.5
今回は確認の意味も込めて、NumpyとOpenCVそれぞれでPSNRを計算するプログラムを書きました。
PSNRの測定の際に、RGBのようにカラーを複数持つ場合にどう測定するかは様々なやり方がありますが、今回は赤、緑、青ごとにそれぞれのPSNRを求めるプログラムとしました。
入力データとしては、以下の画像を用いました。
gt_imageがGroundTruthの画像(正解画像)であり、noisy_imageがノイズが付与された画像となります。画像には全チャネルにガウシアンノイズを付与しています。ガウシアンノイズに関してはこちらの記事を参照してください。
1) σ=2
■ 正解画像
■ ノイズ画像
■ PSNR評価結果
PSNR Numpy (blue): 41.771813947144274
PSNR Numpy (green): 41.813327054781496
PSNR Numpy (red): 41.790405117447364
PSNR OpenCV (blue): 41.771813947144274
PSNR OpenCV (green): 41.813327054781496
PSNR OpenCV (red): 41.790405117447364
2) σ=10
■ 正解画像
■ ノイズ画像
■ PSNR評価結果
PSNR Numpy (blue): 28.07932035412719
PSNR Numpy (green): 28.191091756777116
PSNR Numpy (red): 28.158323853405093
PSNR OpenCV (blue): 28.07932035412719
PSNR OpenCV (green): 28.191091756777116
PSNR OpenCV (red): 28.158323853405093
3) σ=30
■ 正解画像
■ ノイズ画像
■ PSNR評価結果
PSNR Numpy (blue): 18.663475053760926
PSNR Numpy (green): 18.883317187710837
PSNR Numpy (red): 19.05536035311013
PSNR OpenCV (blue): 18.663475053760926
PSNR OpenCV (green): 18.883317187710837
PSNR OpenCV (red): 19.05536035311013
σ=2の場合には40付近、σ=10の場合は30弱、σ=30の場合には20弱のPSNRとなりました。
σ=2に関しては正解画像にかなり近いと言えますが、σ=10やσ=30に関してはノイズがわかるという結果となりそうです。
画像のPSNRを測定し、画像の品質を評価するプログラムを紹介しました。PSNRを用いることで、画像のノイズ除去アルゴリズムの性能評価等を行うことが可能となります。
PSNR以外にも、SSIMなどの人間の視覚特性により近いとされている客観評価指標も提案されていますので、今後他の指標も評価してみたいと思います。