本記事では、3D Gaussian Splatting（3DGS）の課題を克服し、限られたリソースでも高品質な新視点合成を可能にする画期的な研究「TAMING 3DGS: H IGH -QUALITY RADIANCE FIELDS WITH LIMITED RESOURCES」を紹介します。
最近、3D Gaussian Splatting (3DGS) という技術が、リアルタイムでの高品質な新視点合成（Novel View Synthesis: NVS）において注目を集めています。
これは、複数の視点から撮影された画像データから、3D空間を無数の「3D Gaussian」と呼ばれる点群で表現し、そこから任意の視点の画像を生成する技術です。
その高速性と、写真のようなリアルなレンダリング品質は、eコマースやエンターテイメント、没入型通信など、幅広い分野での応用が期待されています。
しかし、3DGSには大きな課題がありました。それは、そのリソース要求の高さです。
特に、メモリ消費が非常に大きく、多くのGaussianが冗長に生成されるため、モデルサイズが肥大化しやすいという問題がありました。
これにより、トレーニング性能が低下したり、モバイルデバイスのようなリソースが限られた環境では実用が難しかったのです。
本論文「TAMING 3DGS」は、この3DGSが抱えるリソースの課題に正面から取り組み、解決策を提示しています。
研究チームは、以下の主要な課題を特定し、それらを克服するための新しい手法を開発しました。
これらの課題を解決することで、制約のあるデバイス、例えばスマートフォンなどのモバイルデバイスでも、高品質な新視点合成が可能になる未来を目指しています。
「TAMING 3DGS」は、主に以下の3つのアプローチでリソース効率と品質向上を実現しています。
従来の3DGSでは、Gaussianの数が増えるペースが予測できませんでした。これは、シーンの再構築が進むにつれてGaussianが自動的に追加される「高密度化（densification）」プロセスに起因します。
本手法では、この高密度化プロセスを厳密に制御します。ユーザーがあらかじめ設定した「予算（target budget）」に従って、Gaussianの数が最終的にその目標値に収まるように成長カーブを調整します。
これにより、最終的なモデルサイズを正確に予測し、過剰なGaussianの生成を防ぐことができます。
Gaussianを闇雲に増やすのではなく、「どこに」「どれだけ」Gaussianを追加すべきかを賢く判断することが、高品質かつ軽量なモデルを作る鍵です。
本研究では、この高密度化プロセスに「スコアベースのサンプリング」を導入しました。
画像損失、Gaussianの勾配、カバレッジ、不透明度、スケールといった様々な要素を組み合わせて、個々のGaussianの重要度を測る「スコア」を算出します。
このスコアが高いGaussianの周辺を重点的に高密度化することで、限られたGaussian数でもシーンの重要な部分を高精度に再構築し、品質を維持します。
さらに、トレーニングの中盤以降で、Gaussianの不透明度を高く設定する「高opacity Gaussian」を用いることで、より少ないプリミティブで不透明な表面を効率的に表現し、品質を向上させています。
本研究では、3DGSのトレーニングパイプラインを詳細に分析し、特にボトルネックとなっていた部分を大幅に改善しました。
その一つがバックプロパゲーションの並列化です。従来の3DGSではピクセル単位で並列処理を行っていましたが、これによりデータの競合が頻繁に発生し、処理速度が低下していました。
そこで本手法では、これを「Splat（Gaussianの2D投影）単位」の並列化に変更することで、競合を減らし、バックプロパゲーションを劇的に高速化しました。
他にも、Spherical Harmonics（SH）の更新スケジュールのバッチ化や、SSIM損失計算のCUDAカーネル最適化など、様々な工夫が凝らされています。
これらの最適化により、3DGSのトレーニング時間を4～5倍短縮し、数分で高品質なモデルを生成できるようになりました。
「TAMING 3DGS」の評価結果は目覚ましいものです。
モデルサイズとトレーニング時間を従来の3DGSに比べて4〜5倍削減しながら、PSNR、SSIM、LPIPSといった品質指標において、競争力のある、あるいはそれを上回る品質を達成しています。
特に注目すべきは、Mini-Splattingのような既存の軽量化手法が、高密度な初期モデルを「剪定（pruning）」することで軽量化を図るのに対し、本手法は純粋に構築的なアプローチで、最初から目標とするGaussian数に向かって最適化を進める点です。
これは、トレーニング中のピークメモリ使用量を抑えることにも繋がり、より多様なハードウェアでの利用を可能にします。
また、提案手法の柔軟性を示すものとして、顔などの特定の「関心領域（Region of Interest）」の品質を優先するように高密度化プロセスを誘導できることもデモンストレーションされています。これは、ビデオ通話やAR/VRなどのリアルタイムアプリケーションにおいて非常に有用です。
「TAMING 3DGS」は、3D Gaussian Splattingが抱えていたリソース制約という大きな課題を見事に解決しました。
これにより、高品質な新視点合成技術を、モバイルデバイスやエッジデバイスといった、これまで敷居が高かった環境でも利用できる道が開かれます。
将来的に、レイテンシが重要なストリーミングサービスや、リアルタイムでの3D再構築が必要なアプリケーションにおいて、本研究の成果が大きく貢献することが期待されます。
今回の研究は、低コストで高品質なRadiance Fieldを実現する重要な一歩であり、今後の効率的な探索パスやシーン再構築における盲点解消など、さらなる研究の進展が楽しみです。
本記事では、3D Gaussi…