【論文紹介】Luminance-GS: Adapting 3D Gaussian Splatting to Challenging Lighting Conditions with View-Adaptive Curve Adjustment
「3D Gaussian Splatting (3DGS)」は、3Dシーンの再構成や、新しい視点からの画像合成に活用される技術です。照明の条件が良い場合には優れた性能を発揮しますが、照明条件が悪い場合には脆弱であり、現実世界においてはそのような「過酷な照明条件」が多くあります（図１）。今年6月にアメリカのナッシュビル、Music City Center にて開催された国際会議 The IEEE / CVF Computer Vision and Pattern Recognition Conference (CVPR) 2025 では、3DGSの高い効率性を保ちながら、様々な過酷な照明条件に対してロバストな手法「Luminance-GS」を提案する論文 "Luminance-GS: Adapting 3D Gaussian Splatting to Challenging Lighting Conditions with View-Adaptive Curve Adjustment" を発表しました。この成果により、3DGS の利点を活かしたまま、過酷な照明条件に対してロバストな新しい視点合成が可能になりました。将来的には、3DGSをより実世界に近い応用分野で活用する上で役立つ可能性があります。
この記事では、著者の崔 子藤（Ziteng Cui）が、この論文について解説します。
図１ 実世界のマルチビュー環境における様々な照明条件
この記事で紹介する論文
この記事では、以下の論文について紹介します。
Ziteng Cui, Xuangeng Chu, Tatsuya Harada. Luminance-GS: Adapting 3D Gaussian Splatting to Challenging Lighting Conditions with View-Adaptive Curve Adjustment . The IEEE/CVF Conference on Computer Vision and Pattern Recognition, CVPR 2025
論文の概要
Neural Radiance Fields (NeRF) とその発展系である3D Gaussian Splatting (3DGS) は、3Dシーンの再構成と新しい視点からの画像合成において驚異的な進歩を遂げています。しかし、これらの手法は均一で良好な照明条件下では優れた性能を発揮するものの、現実世界で頻繁に遭遇する低照度、過曝露、視点ごとに異なる露出設定といった「過酷な照明条件」には非常に脆弱です。
このような条件下では、画像の輝度や色合いに一貫性がなくなり、3DGSが学習するためのマルチビュー一貫性が損なわれます。その結果、レンダリング画像にはノイズや浮遊物（フローティングアーティファクト）が発生し、品質が大きく低下してしまいます。既存の2D画像強調手法で入力画像を前処理しても、3Dでの一貫性が保たれないため、根本的な解決にはなりません。
そこで我々は、3DGSの高い効率性を保ちながら、様々な過酷な照明条件に対してロバストなLuminance-GSを提案します。本手法は、3DGSの明示的な表現自体を変更するのではなく、視点ごとの色変換と視点適応型のトーンカーブ調整という画像処理に着想を得たアプローチにより問題を解決します。
2.1 3D Gaussian Splatting (3DGS)
2.2 画像処理におけるカーブ調整
2.3 過酷な照明条件下での新しい視点合成
この論文で提案された手法・アルゴリズムなど
これまでの手法の課題
NeRFが暗黙的なニューラルネットワークでシーンを表現するのに対し、3DGSは点群ベースの明示的な表現（3Dガウス関数）を用います。微分可能なスプラッティング技術により、3DGSはNeRFを凌駕する高速な訓練とリアルタイムレンダリングを実現しています。
トーンカーブを用いた画像補正は、Adobe Lightroomなどのソフトウェアでおなじみの技術です。近年では、深層学習を用いてデータから最適なカーブを学習する手法（例：Zero-DCE, CURL）が提案されています。しかし、これらは単一の2D画像を処理するため、マルチビュー画像の3D一貫性を考慮していません。
NeRFの分野では、照明の変化を扱うために各視点に外観埋め込みを導入するNeRF-Wが提案されています。低照度に特化したAleth-NeRFは、暗がりを「遮蔽場」としてモデル化し、テスト時に除去するというユニークなアプローチを提案しています。しかし、これらの手法は暗黙的表現に依存しており、3DGSのような明示的表現には直接適用できず、推論速度も遅いという課題があります。
提案手法「Luminance-GS」
提案手法「Luminance-GS」の核心は訓練時に各視点の画像を「擬似強調画像」に変換し、それを用いて3DGSを学習させることです。この変換は、図２に示す3ステップで構成されます。
図２ Luminance-GSの基本概念：各カメラ視点画像に対する調整手法
ステップ1: 視点ごとのカラーマトリックスマッピング
異なる照明やカメラ設定による色味のばらつきを補正するため、各視点ごとに学習可能な3x3のカラーマトリックス Mk を導入します。このマトリックスで入力画像を変換し、色空間を統一します。
ステップ2: 視点適応型カーブ調整
全ての視点で共有されるグローバルカーブ Lg と、各視点ごとのカーブバイアス Lbk を組み合わせたトーンカーブ Lk = Lg + Lbk を適用します。
- グローバルカーブ：全視点で一貫した明るさとトーンを確保する。
- カーブバイアス：各視点の個別の照明条件に適応する微調整する。
カーブバイアスを適用する上では、入力画像とカメラポーズを入力とする軽量なアテンションネットワークにより、過学習を防ぎます。
ステップ3: カラーマトリックスで逆変換
カーブ調整後の画像を、ステップ1のマトリックスの逆行列 Mk-1 で元のRGB色空間に戻し、擬似強調画像 Ckout を生成します。
変換の品質と3D一貫性を保つため、以下の損失関数を組み合わせて使用します。
Lreg: 元画像と擬似強調画像の両方に対する3DGSの元の損失。
Lspa: 強調前後の画像の構造的類似性を保つ空間損失。
Lcurve: カーブに関する損失。ヒストグラム均等化の目標値や、所望の形状（べき乗曲線、S字曲線）に近づくように導く正則化を考慮する。
Ltv: カーブを滑らかにする全変動損失。
Luminance-GS のパイプラインの全体は、図３のようになります。擬似強調画像への変換の３ステップは、画像の下半分の側に示されています。
図３ Luminance-GSパイプラインの概要
実験結果
実験設定
低照度（LOMデータセット）、過曝露（同）、露出ばらつき（MipNeRF 360データセットを改変）の3条件で評価を行いました。
比較手法
ベースラインとして用いたのは3DGSで、2D画像強調+3DGS: Zero-DCE, SCI, IAT などによる前処理/後処理などを行ったものとも比較しました。また、NeRFベースの手法として、NeRF-W, Aleth-NeRF, GS-W との比較も行いました。
結果
画質: 全ての照明条件において、PSNR, SSIM, LPIPSの主要指標で従来手法を上回る、あるいは競合する最高性能を達成しました。
効率性: 推論速度は元の3DGSと同程度の約150 FPSを維持しています。NeRFベースの手法（0.1〜1 FPS）に比べて、桁違いに高速です。
ロバスト性: 照明条件が異なる複数のシーンに対して、手法やハイパーパラメータを変更することなく優れた適応性を示しました。
図４に、実験結果の一部を示します。
図４ 低照度および過曝露シーンにおける実験結果
今後の展望
Luminance-GSは、3D Gaussian Splattingの効率性と明示的表現の利点を活かしたまま、低照度、過曝露、露出ばらつきといった過酷な照明条件に対して極めてロバストな新しい視点合成を可能にします。画像処理に着想を得たシンプルでありながら効果的な視点適応型カーブ調整が、3D一貫性を保ちつつ照明のばらつきを補正する鍵となりました。本研究は、3DGSをより実世界に近い応用分野へと展開する道を拓くものです。
