バイラテラルフィルタ適用による画像のノイズ除去(Python+OpenCV)

これまで画像のノイズ除去ができるフィルタとして、

  1. 平均値フィルタ
  2. ガウシアンフィルタ
  3. メディアンフィルタ

を過去の記事で紹介しました。

さらに、高機能なフィルタとして、ガウシアンフィルタを改善したバイラテラルフィルタというフィルタが存在します。

こちらは、OpenCVにも関数が整備されていて、容易に実験ができますので、本日はこのバイラテラルフィルタについて紹介し、プログラムを実装して効果を見ていきたいと思います。

バイラテラルフィルタとは

バイラテラルフィルタとは、エッジを保存しつつ、平均化を行うように設計されたフィルタです。

過去の記事で紹介したガウシアンフィルタでは、計算する際に画像のエッジがぼやけてしまうという欠点がありました。

この問題点を軽減しようと開発されたのがバイラテラルフィルタです。

バイラテラルフィルタの式は以下で表され、一見すると物凄く複雑な式に見えるため、理解を諦めてしまうことに繋がりがちですが、バイラテラルフィルタの考え方は、ガウシアンフィルタに一工夫を加えたものでしかなく、コンセプトは難解なものではありません。

バイラテラルフィルタでは、対象画素と輝度値の差が大きい画素は小さい重み付けになるようにガウシアンフィルタの重みを変更します。

以下の図で3×3のフィルタを用いて説明します。

まず、下の図は通常のガウシアンフィルタを表しています。ガウシアンフィルタでは、中央に近い画素ほど大きな重みづけが成されるように処理がされますが、左のような入力画像が入力された場合、周囲の255、254、254、253などの高い値に引っ張られて、フィルタ出力後の値もそれなりに大きい値になります。結果、エッジが不鮮明になってしまいます。

次に、以下の図はバイラテラルフィルタを表しています。バイラテラルフィルタでは、中央の画素値「6」に対する差に応じて、ガウシアンフィルタにさらに重みづけが成されます。255、254、254、253あたりの画素は「6」との差が非常に大きいので、このあたりのフィルタ値はほぼ0に近くなると考えてください。結果、出力画像の画素値は1,2,3,6,7などの「6」に近い画素値を重視して生成されます。結果、エッジが保存されることになります。

バイラテラルフィルタ適用によるノイズ除去プログラム(Python+OpenCV)

バイラテラルフィルタはOpenCVの関数で簡単に実現することができます。以下にPythonとOpenCVで書いたプログラムを紹介します。

動作環境:OpenCV 4.5.5

プログラムの解説

バイラテラルフィルタはOpenCVの以下の関数で実現することができます。

与える引数は入力画像に加えて三つで、dが下記の式のwに該当します。ただしdはDiameterらしいので、d=3のときが3×3のバイラテラルフィルタ(式的にはw=1)に該当しそうです。sigmaColorとsigmaSpaceはガウス分布の標準偏差を表し、以下の式のσcとσsに該当します。

最適な値がいくつかは画像の特徴にもよりそうなので、今回は実験的にsigmaColor=100, sigmaSpace=10を設定し、dについては3,5,9の3パターンを確認しています。

プログラムの動作結果

入力データとしては、以下の画像を用いました。

プログラム内のgt_imageがGroundTruthの画像(正解画像)であり、noisy_imageがノイズが付与された画像となります。

画像には全チャネルにガウシアンノイズを付与しています。ガウシアンノイズに関してはこちらの記事を参照してください。

今回は、このnoisy_imageに対してガウシアンフィルタを適用することで、どれだけ正解に近づけることができるのか(ノイズ除去の効果)を確認します。

ノイズレベルを表すσの値をプログラムの18行目「noisy_image = AddGaussianNoise(gt_image, 0, 30)」で変更することができます。

現在はσ=30に設定されていますが、この値を大きくすると、より大きいノイズが付与されます。

プログラムを実行すると、以下のような結果がコンソールに得られます。

PSNR Evaluation Results
   PSNR (Blue): 18.648
   PSNR (Green): 18.888
   PSNR (Red): 19.033
   PSNR (RGB Average): 18.856

SSIM Evaluation Results
   SSIM (Blue): 0.257
   SSIM (Green): 0.35
   SSIM (Red): 0.309
   SSIM (RGB Average): 0.305

PSNR Evaluation Results
   PSNR (Blue): 23.732
   PSNR (Green): 23.728
   PSNR (Red): 23.953
   PSNR (RGB Average): 23.804

SSIM Evaluation Results
   SSIM (Blue): 0.458
   SSIM (Green): 0.541
   SSIM (Red): 0.515
   SSIM (RGB Average): 0.505

PSNR Evaluation Results
   PSNR (Blue): 26.361
   PSNR (Green): 25.857
   PSNR (Red): 26.282
   PSNR (RGB Average): 26.167

SSIM Evaluation Results
   SSIM (Blue): 0.597
   SSIM (Green): 0.65
   SSIM (Red): 0.644
   SSIM (RGB Average): 0.63

PSNR Evaluation Results
   PSNR (Blue): 27.818
   PSNR (Green): 26.572
   PSNR (Red): 27.345
   PSNR (RGB Average): 27.245

SSIM Evaluation Results
   SSIM (Blue): 0.694
   SSIM (Green): 0.72
   SSIM (Red): 0.732
   SSIM (RGB Average): 0.715

上から順に

  • ノイズ画像のPSNR
  • ノイズ画像のSSIM
  • d=3のバイラテラルフィルタ適用時のPSNR
  • d=3のバイラテラルフィルタ適用時のSSIM
  • d=5のバイラテラルフィルタ適用時のPSNR
  • d=5のバイラテラルフィルタ適用時のSSIM
  • d=9のバイラテラルフィルタ適用時のPSNR
  • d=9のバイラテラルフィルタ適用時のSSIM

となります。

実験結果

各ノイズレベルでの結果を表にまとめたものが以下となります。PSNRとSSIM共に値が大きいほど品質が良い(正解画像に類似している)ことを示します。

フィルタにより評価値がかなり改善していることがわかります。パラメータが複数あるので、最適なパラメータについては検討の余地がありそうです。

以下にσ=30の場合の画像も示します。d=9のパターンが主観的にもかなりノイズが除去できているように見えます。

まとめ

本日はバイラテラルフィルタを用いたノイズ除去を紹介しました。このようなフィルタを用いることで、ノイズの多い画像を綺麗にすることが可能になります。

スポンサーリンク

シェアする

フォローする