【論文紹介】3D再構成の常識を覆すVGGTの概要

Posted By: Haruoka 2026年1月4日

3Dコンピュータビジョンの分野に、新たな地平を切り開く画期的な研究が登場しました。その名も「VGGT (Visual Geometry Grounded Transformer)」。この新しいAIモデルは、なんとたった1枚の画像から、時には数百枚の画像から、そのシーンの3D情報を瞬時に、しかも高精度で「一発予測」してしまうという驚きの性能を持っています。

本記事で紹介する論文は、以下のArXivリンクから参照できます。

論文タイトル： VGGT: Visual Geometry Grounded Transformer
著者： Jianyuan Wang, Minghao Chen, Nikita Karaev, Andrea Vedaldi, Christian Rupprecht, David Novotny 他
公開日： 2025年3月14日
ArXiv： https://arxiv.org/abs/2503.11651v1

この研究は、3Dコンピュータビジョンの未来を大きく変える可能性を秘めており、その詳細を初心者の方にも分かりやすく解説していきます。

VGGTとは？　3Dシーンの「万能AI」

VGGTは、私たちが普段目にする写真や動画といった「2次元の画像」から、「3次元の空間情報」を直接推論するニューラルネットワークです。従来の3D再構成技術は、複雑な計算を何度も繰り返したり、特定のタDスに特化したりするものがほとんどでした。しかし、VGGTはこれらの常識を覆します。

VGGTが一度に予測できる3D情報は、実に多岐にわたります。

  • カメラのパラメータ： 画像がどの位置から、どのような設定で撮影されたかを推測します。
  • 深度マップ： 画像の各ピクセルがカメラからどれくらいの距離にあるかを示す情報です。
  • ポイントマップ： 画像の各ピクセルに対応する3次元空間上の位置（点群）です。
  • 3Dポイントトラック： 動画など複数枚の画像間で、特定の点がどのように移動しているかを追跡する情報です。

これらすべての情報を、VGGTは「フィードフォワード」と呼ばれる、一度の計算で高速に予測します。その速度は、数百枚の画像を処理しても1秒未満という驚異的なもの。しかも、従来の、後処理で何度も最適化を行う手法をも上回る精度をしばしば達成するのです。まさに3Dシーンの「万能AI」と言えるでしょう。

なぜVGGTが画期的なのか？ 従来の課題とVGGTの挑戦

これまでの3D再構成技術には、いくつかの大きな課題がありました。

従来の課題

  1. 計算コストと複雑性： 「Structure from Motion (SfM)」や「Multi-View Stereo (MVS)」といった従来の主要な手法は、Bundle Adjustment（BA）のような反復的な最適化プロセスに大きく依存していました。これは非常に計算コストが高く、時間がかかります。
  2. タスク特化型： 多くのAIモデルは、深度推定のみ、点群再構成のみ、といった単一の3Dタスクに特化していました。複数の3D情報を得るには、それぞれ異なるモデルやパイプラインが必要でした。
  3. 多画像処理の限界： 最近の進歩としては、DUSt3RやMASt3Rといったモデルが有望でしたが、これらは一度に2枚の画像しか処理できず、多数の画像を再構成するには、ペアごとの再構成結果を後から結合するという手間が必要でした。

VGGTの挑戦

VGGTは、これらの課題に対し、大胆なアプローチで挑戦します。

  • フィードフォワードで高速化： 反復的な最適化をほとんど必要とせず、一度の順方向計算で3D情報を予測します。これにより、処理速度が劇的に向上し、リアルタイムアプリケーションへの道が開かれました。
  • 多機能統合： 3Dシーンの主要な属性すべてを一つのモデルで同時に予測します。これにより、各情報が相互に補完し合い、全体的な精度が向上します。
  • スケーラブルな多画像処理： DUSt3Rのような2枚の画像制限とは異なり、1枚から数百枚の画像を一度に入力として処理できます。これは、より複雑なシーン全体の再構成に大きな利点となります。
  • 最小限の3Dバイアス： 特定の3D形状や構造に対する「思い込み（帰納的バイアス）」を最小限に抑えた汎用的なトランスフォーマーモデルを採用しています。これにより、大量のデータから多様な3Dパターンを自律的に学習し、高い汎化性能を実現しています。

VGGTの仕組み：シンプルでパワフルなトランスフォーマー

VGGTの心臓部には、自然言語処理や画像認識でその威力を発揮している「トランスフォーマー」という強力なAIモデルが使われています。

  1. 画像トークン化： まず、入力された画像をDINOと呼ばれる別のAIモデルを使って、小さな「トークン」と呼ばれる情報単位に分割します。これは、文章を単語に分割するようなイメージです。
  2. カメラトークンの追加： 各画像トークンには、カメラ情報を予測するための特別な「カメラトークン」が追加されます。
  3. Alternating-Attention： VGGTのトランスフォーマーは、「Alternating-Attention（交互アテンション）」というユニークな仕組みを採用しています。これは、トークンが「各フレーム内の情報」と「全フレーム間のグローバルな情報」を交互に、バランスよく学習する設計です。これにより、単一画像の詳細と、複数画像にわたる一貫した3D情報を効果的に統合できます。
  4. 予測ヘッド： トランスフォーマーが処理したトークンは、それぞれカメラパラメータ、深度マップ、ポイントマップ、トラッキング用特徴量などを出力する専用の「ヘッド」に送られます。これにより、多様な3D情報が一挙に予測されます。

このシンプルながらも巧妙な設計により、VGGTは複雑な3Dシーンを効率的かつ高精度に理解することができるのです。

驚きの高性能！ 各タスクでのVGGTの実力

VGGTは、主要な3Dコンピュータビジョンタスクにおいて、軒並み現時点で最高水準の性能（SOTA）を達成しています。

  • カメラ姿勢推定： 他の多くの手法が、高価な後処理最適化を必要とする中で、VGGTはフィードフォワードでこれらを凌駕する結果を出しています。さらに、Bundle Adjustment（3D再構成で使われる、カメラや点の位置を微調整する技術）と組み合わせると、その精度はさらに向上します。
  • マルチビュー深度推定： 複数の画像からシーンの深度を推定するタスクでも、VGGTは後処理なしで従来の最適化ベースの手法と同等、あるいはそれ以上の精度を達成しています。
  • 点群再構成： シーンの3D形状を点群として再構成する際も、VGGTは高速かつ高精度な結果を提供します。特に、深度マップとカメラパラメータから点群を再構築する方が、直接点群を予測するよりも高精度であることが示されています。これは、複雑なタスクをより単純なサブタスクに分解する利点を示唆しています。
  • 画像マッチング： 2枚の画像間で対応する点を見つけるタスクでも、VGGTのトラッキングモジュールは、このタスクに特化して設計された既存のSOTA手法を上回る精度を示しています。

さらに、VGGTで学習された強力な特徴量（フィードフォワードで生成される中間表現）は、以下の「下流タスク」と呼ばれる別の応用分野でも、既存の手法の性能を大幅に向上させることが示されています。

  • 新規視点合成： 少数の画像から、これまで見たことのない視点からの画像を生成するタスク。
  • 動的ポイントトラッキング： 動画内で、動いている物体の特定の点を高精度に追跡するタスク。

油絵や、重なり合わない画像ペア、反復的なテクスチャを持つ砂漠のシーンなど、従来の手法では困難だった「現実世界の複雑なシーン」に対しても、VGGTは高い汎化性能を発揮しています。

まとめ：VGGTが切り開く3Dコンピュータビジョンの未来

VGGTは、フィードフォワード型の大規模トランスフォーマーとして、3Dコンピュータビジョンにおける多くのブレイクスルーをもたらしました。

  • 高速性： 数百枚の画像からでも1秒未満で3D情報を予測できるため、リアルタイムアプリケーションへの応用が期待されます。
  • 高精度： 後処理の最適化なしでも現時点で最高水準の性能を発揮し、従来の複雑な手法を凌駕します。
  • 多機能性： カメラパラメータ、深度マップ、ポイントマップ、ポイントトラッキングといった複数の3D情報を一つのモデルで同時に予測できます。
  • 汎用性： 最小限の3Dバイアス設計と大規模なデータ学習により、多様なシーンや下流タスクにも高い適応性を示します。

論文の著者たちは、VGGTのコードとモデルを公開しています（https://github.com/facebookresearch/vggt）。これにより、さらなる研究が促進され、3Dコンピュータビジョンコミュニティに新たな高速で信頼性が高く、汎用的な3D再構成基盤が提供されることでしょう。

VGGTは、これまで「複雑で時間のかかるもの」とされてきた3D再構成を、「シンプルで高速なもの」へと変革する、まさに新時代の幕開けを告げる研究だと言えます。今後のさらなる発展が非常に楽しみです。