(57)【要約】【課題】  ライトフィールドデータの効率的な表現および高圧縮率化を実現すること。【解決手段】  本発明は、画像の集合を取得する画像取得装置の投射の中心が存在する仮想表面において受動的な方法で少なくとも１のオブジェクトの画像の集合を取得する過程と、前記仮想表面を含むパラメータ表示に基づいた統計的解析変換を用いて前記取得された画像の集合の代表を生成する過程とを有するライトフィールドデータの表現方法を提供する。【選択図】      図３
2004199702.tif 000002
【特許請求の範囲】
【請求項１】
画像取得装置の投射の中心を含む仮想表面において受動的な方法により少なくとも１のオブジェクトの画像の集合を取得する過程と、
前記仮想表面を含むパラメータ表示に基づいた統計的解析変換を用いて前記取得された画像の集合の表現を生成する過程と
を有するライトフィールドデータの表現方法。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、画像処理に関し、特に、ライトフィールドデータの処理に関する。
【背景技術】
【０００２】  限られた数の画像から複雑なシーンのリアルなビューを生成するために、従来数多くの研究が行われてきた。コンピュータグラフィックスの方法に関して言えば、レンダリング技術のための入力情報としては、幾何学的モデルおよびシーンの表面特性、並びに光線の特性がある。シーンのモデリング技術および仮想環境の創造技術の重大な進歩にもかかわらず、実時間におけるそのようなシーンのモデリングおよびレンダリングに必要な多大な計算負荷の問題に加えて、シーンの複雑な形状および特性をリアルに再現することはいまだ非常に困難であるという問題がある。これらの問題点は、動的なシーンのモデリングおよびレンダリングに対してさらに増幅される。【０００３】  画像ベース表現およびレンダリング（ＩＢＲ）は、取得された（参照）画像の集合を用いたシーンの新規な（仮想的な）ビューの生成のためのあるクラスのアプローチとして現れてきた。先駆者的なアプローチとして、テクスチャマッピング、テクスチャモーフィング、および環境マップの生成がある。表現およびレンダリングのための画像ベースのアプローチには、数多くの利点がある。最も重要なことは、そのような方法は、コンピュータ的に費用の高い、伝統的なコンピュータグラフィックス的アプローチで用いられるモデリングおよびレンダリング処理を避けることができる点である。また、フレームあたりの計算量がシーンの複雑さに依存しない点も利点である。欠点は、取得段階に関連するものである。すなわち、取得段階において、選択されたパラメータに関連付けるようにカメラを設定することは困難である。また、画像データは、元のデータを劣化させかつコストのかかる処理を用いて、再サンプリングされる必要があるかもしれない。さらに、空間的サンプリングは、新規なビューを生成する際に歪量を制限できるほど十分高精度でなければならず、すなわち、それは画像データが膨大になることを意味する。動的なシーン（動画）の場合、問題はさらに深刻である。【０００４】  空間の領域において光線の流れを取得（キャプチャ）するという概念は、シーンのある領域への光の流れの完全な記述を提供する方法としてプレノプティック関数（Ｐｌｅｎｏｐｔｉｃ  Ｆｕｎｃｔｉｏｎ）の導入を通じて、すなわち、すべての波長の光に対して、すべての時間において、空間内のすべての点における視覚可能なすべての光線を記述することにより（すなわち、７次元のパラメータが必要となる）、実現することができる。プレノプティック関数に関する詳細は、非特許文献１に記載されている。
【非特許文献１】イー・エイチ・アデルソン（Ｅ．Ｈ．Ａｄｅｌｓｏｎ），ジェイ・アール・バーゲン（Ｊ．Ｒ．Ｂｅｒｇｅｎ）著，「プレノプティック関数および初期の視覚の要素（Ｔｈｅ  Ｐｌｅｎｏｐｔｉｃ  Ｆｕｎｃｔｉｏｎ  ａｎｄ  ｔｈｅ  Ｅｌｅｍｅｎｔｓ  ｏｆ  Ｅａｒｌｙ  Ｖｉｓｉｏｎ）」，エムアイティ・プレス（ＭＩＴ  Ｐｒｅｓｓ），１９９１年
【０００５】  ライトフィールドの次元数は、非特許文献２に開示されているように、自由度を放棄することにより（例えば、垂直視差を無視することにより）減らすことができる。
【非特許文献２】エイチ・ワイ・シュン（Ｈ．Ｙ．Ｓｈｕｍ）、エル・ダブリュ・へ（Ｌ．Ｗ．Ｈｅ），「同心のモザイクを用いたレンダリング（Ｒｅｎｄｅｒｉｎｇ  ｗｉｔｈ  Ｃｏｎｃｅｎｔｒｉｃ  Ｍｏｓａｉｃｓ）」，ＳＩＧＧＲＡＰＨ’９９論文集（ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＳＩＧＧＲＡＰＨ’９９），１９９９年，ｐ．２９９−３０６
【０００６】  プレノプティック関数においてあるパラメータを固定することにより、異なった画像処理方法が創造されうる（例えば、空間内のある固定点における全方位画像処理）。多次元信号処理における最適なサンプリングおよび再構築に関する問題点は、以下の非特許文献３、４に記載されている。
【非特許文献３】シー・ツァン（Ｃ．Ｚｈａｎｇ）、ティ・チェン（Ｔ．Ｃｈｅｎ）著，「一般化されたプレノプティックサンプリング（Ｇｅｎｅｒａｌｉｚｅｄ  Ｐｌｅｎｏｐｔｉｃ  Ｓａｍｐｌｉｎｇ）」，カーネギーメロン大学  先端マルチメディア研  紀要（ＴＲ  ＡＭＰ  ０１−０６，Ｃａｒｎｅｇｉｅ  Ｍｅｌｌｏｎ  Ｕｎｉｖｅｒｓｉｔｙ，Ａｄｖａｎｃｅｄ  Ｍｕｌｔｉｍｅｄｉａ  Ｐｒｏｃｅｓｓｉｎｇ  Ｌａｂ），２００１年９月
【非特許文献４】ジェイ・エックス・チャイ（Ｊ．Ｘ．Ｃｈａｉ）、エックス・トン（Ｘ．Ｔｏｎｇ）、エス・シー・チャン（Ｓ．Ｃ．Ｃｈａｎ）、エイチ・ワイ・チュン（Ｈ．Ｙ．Ｃｈｕｍ）著、「プレノプティックサンプリング（Ｐｌｅｎｏｐｔｉｃ  ｓａｍｐｌｉｎｇ）」、ＳＩＧＧＲＡＰＨ  ２０００論文集（ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＳＩＧＧＲＡＰＨ  ２０００），２０００年
【０００７】  ライトフィールドの別のパラメータ表示技術が、以下の非特許文献５〜７において導入されている。
【非特許文献５】アイ・イーム（Ｉ．Ｉｈｍ）、アール・ケイ・リー（Ｒ．Ｋ．Ｌｅｅ）、エス・パーク（Ｓ．Ｐａｒｋ）著，「球面ライトフィールドのレンダリング（Ｒｅｎｄｅｒｉｎｇ  ｏｆＳｐｈｅｒｉｃａｌ  Ｌｉｇｈｔ  Ｆｉｅｌｄｓ）」，第５回コンピュータグラフィックスおよびアプリケーションの太平洋会議  論文集（ｉｎ  ５ｔｈ  Ｐａｃｉｆｉｃ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ  ａｎｄ  Ａｐｐｌｉｃａｔｉｏｎｓ），１９９７年，ｐ．５９−６８
【非特許文献６】イー・カマホート（Ｅ．  Ｃａｍａｈｏｒｔ）、エイ・レリオス（Ａ．Ｌｅｒｉｏｓ）、ディ・フッセル（Ｄ．Ｆｕｓｓｅｌｌ）著，「統一的にサンプリングされたライトフィールド  （Ｕｎｉｆｏｒｍｌｙ  Ｓａｍｐｌｅｄ  Ｌｉｇｈｔ  Ｆｉｅｌｄｓ）」，ユーログラフィクスレンダリングワークショップ１９９８論文集（ｉｎ  Ｅｕｒｏｇｒａｐｈｉｃｓ  Ｒｅｎｄｅｒｉｎｇ  Ｗｏｒｋｓｈｏｐ  １９９８），１９９８年，ｐ．１１７−１３０
【非特許文献７】ジー・サン（Ｇ．Ｔｓａｎｇ）、エス・ガリ（Ｓ．Ｇｈａｌｉ）、イー・エル・フィウメ（Ｅ．Ｌ．Ｆｉｕｍｅ）、エイ・エヌ・ベネトサノポウロス（Ａ．Ｎ．Ｖｅｎｅｔｓａｎｏｐｏｕｌｏｓ）著、  「ライトフィールドの新規なパラメータ表示（Ａ  Ｎｏｖｅｌ  Ｐａｒａｍｅｔｅｒｉｚａｉｏｎ  ｏｆ  ｔｈｅ  Ｌｉｇｈｔ  Ｆｉｅｌｄ）」，画像および多次元デジタル信号処理学会’９８論文集（ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  Ｉｍａｇｅ    ａｎｄ  Ｍｕｌｔｉｄｉｍｅｎｓｉｏｎａｌ  Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ’９８），１９９８年
【０００８】  これらのパラメータ表示は、サンプリングの統一性、すなわち複数のライトフィールドの「スラブ」ではなく単一のライトフィールドを用いたすべての可能な方向の網羅に関連する理由により、および圧縮の目的により導入される。例えば、時間パラメータを固定し、ある光線においては波長が一定であると仮定すると、表現の次元を５次元に減らすことができる（非特許文献８参照）。自由空間（シーンの領域に遮蔽物が無い空間）を仮定すると、さらに４次元まで次元数を減らすことができる。
【非特許文献８】エル・マクミラン（Ｌ．ＭｃＭｉｌｌａｎ）、ジー・ビショップ（Ｇ．Ｂｉｓｈｏｐ）著，「プレノプティックモデリング：画像ベースのレンダリングシステム（Ｐｌｅｎｏｐｔｉｃ  Ｍｏｄｅｌｉｎｇ：Ａｎ  Ｉｍａｇｅ−Ｂａｓｅｄ  Ｒｅｎｄｅｒｉｎｇ  Ｓｙｓｔｅｍ）」，ＳＩＧＧＲＡＰＨ  ９５論文集（ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＳＩＧＧＲＡＰＨ  ９５，Ｌｏｓ  Ａｎｇｅｌｅｓ），１９９５年８月，ｐ．３９−４６
【０００９】  ４次元プレノプティック関数の種々のパラメータ表示が導入されている。例えば、いわゆるライトフィールドおよびルミグラフ表現は、平行面の組を用いて、光線と平行面の組との交点を介して空間中のすべての光線を幾何学的に表現することにより、プレノプティック関数の４次元パラメータ表示を可能にする。ルミグラフ表現の例は、非特許文献９で説明されている。
【非特許文献９】エス・ジェイ・ゴートラー（Ｓ．Ｊ．Ｇｏｒｔｌｅｒ）、アール・グルツェスツゥック（Ｒ．Ｇｒｚｅｓｚｃｚｕｋ）、アール・シュツェリスキ（Ｒ．Ｓｚｅｌｉｓｋｉ）、エム・エフ・コーエン（Ｍ．Ｆ．Ｃｏｈｅｎ）著，「ルミグラフ（Ｔｈｅ  Ｌｕｍｉｇｒａｐｈ）」，ＳＩＧＧＲＡＰＨ’９６コンピュータグラフィックス年会シリーズ論文集（ｉｎ  Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｅｄｉｎｇｓ  Ａｎｎｕａｌ  Ｃｏｎｆｅｒｅｎｃｅ  Ｓｅｒｉｅｓ  ＳＩＧＧＲＡＰＨ’９６．Ｎｅｗ  Ｏｒｌｅａｎｓ），１９９６年８月，ｐ．４３−５４
【００１０】  ルミグラフ表現はライトフィールド表現と似ているが、シーンの形状（物体の形状についての知識）についてさらなる仮定を行っている点が異なる。シーンの画像は、ライトフィールドの２次元スライスを表現している。光線空間に関して、シーンの新しい（合成された）ビューに対応する画像は、光線データベースから１画素ずつ生成される。２つのステップが要求される。すなわち、（１）各光線の座標の計算、（２）その位置における放射輝度の再サンプリング、の２つのステップが必要である。対応する光線の各々に対し、パラメータ表示における光線と１組の平面との交点の座標が計算される。再サンプリングのためには、プレフィルタリングおよびエイリアシングの問題を避けて通ることはできない。【００１１】  前述のルミグラフ表現と共に、ライトフィールド表現は、複数組の平行面（唯一のパラメータ表示の選択肢である）との交点により空間中のあらゆる光線を表現することによりプレノプティック関数の４次元パラメータ表示を可能にする。ライトフィールドのパラメータ表示の概念の説明図が、図１に示されている。このパラメータ表示を実施する物理的取得システムにおいて、カメラは、カメラの面のグリッド上の離散的な位置を占有することができる。ルミグラフおよびライトフィールド表現のいずれも、その画像および焦点面に対応付けて置かれた複数対の２次元画像アレイを含むものとして考えることができる。【００１２】  ライトフィールド表現の例は、非特許文献１０に記載されている。
【非特許文献１０】エム・レボイ（Ｍ．Ｌｅｖｏｙ）、ピー・ハンラハン（Ｐ．Ｈａｎｒａｈａｎ）著，「ライトフィールドレンダリング（Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｒｅｎｄｅｒｉｎｇ）」，ＳＩＧＧＲＡＰＨ’９６コンピュータグラフィックス論文集（ｉｎ  Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｅｄｉｎｇｓ  ＳＩＧＧＲＡＰＨ’９６，Ｎｅｗ  Ｏｒｌｅａｎｓ），１９９６年８月，ｐ，３１−４２
【００１３】  プレノプティック関数の元のライトフィールドのパラメータ表示において、例えばカメラのような光検出器は、ある面の離散的な位置に置かれ、その面と対となる面（焦点面）を交差する光線を受けているようにモデル化されることができる。対応する焦点面において取得されたシーンの画像は、カメラにおける各カメラ位置に対応付けられる。取得された画像は、カメラの面状の画像センサ上に形成される。カメラ（より正確には、その投射の中心）がカメラ面上の離散的な位置を占有するので、取得された画像に対応する２次元アレイは、いわゆる像平面に置かれる。【００１４】  シーンの新規なビューの質を確保するために、ライトフィールドの表現はオーバーサンプリングに依存するので、ライトフィールドの表現により生成されるデータの量は、極端に膨大である。取得モデルの特性が与えられた場合、異なる取得位置に対応する２次元アレイを形成し、かつ前述の像平面を有する画像群の間で高度の関係が存在することが予測される。Ｌｅｍｐｅｌ−Ｚｉｖ（ＬＺ）エントロピー符号化に先立って行われるベクトル量子化、あるいは画像のフレーム内（ＪＰＥＧ）エンコードを用いてデータを圧縮する初期の方法は、この点において、得られる結果は限られたものであった。よりよい圧縮効率は、動き補償予測（ＭＰＥＧのような方法）の直接の拡張をライトフィールドデータの圧縮に適用することにより得られてきた。像平面における画像群の二次元アレイの圧縮は動画のエンコードの場合と同様にアプローチすることができるが、ライトフィールドの表現のある特有の特性は、異なる要求を作ることができる。動画のエンコードにおいて用いられる（歪、空間的および時間的マスキングに対する感度のような）人間の視覚系の目覚しい特性は、この場合用いることができない。また、ＭＰＥＧのような予測的なエンコード技術は、画素の依存性およびメモリ中の参照されたサンプルの分散が与えられた場合のランダムアクセスに対する問題を引き起こす。【００１５】  過去において、ライトフィールドの表現におけるＭＰＥＧのようなコーダの使用が試された。この試験の間、ライトフィールドのデータは、ＬＺエントロピー符号化に先立って行われるベクトル量子化（ＶＱ）を用いてエンコードされた。改良されたＭＰＥＧエンコード技術に対してこのアプローチを用いる動機は、サンプル依存性および予測技術のアクセス特性の既に議論された要因に関連付けられる。圧縮率−歪測定のみを考慮すると、ベクトル量子化およびＬＺエントロピー符号化を用いるエンコードの効率は、低い。また、全体のライトフィールドに対するデータがエンコードされ、したがって、仮想的なカメラのビューを生成するためにライトフィールドデータの関連する部分のみをデコードすればよいときも、インタラクティブなレンダリングを可能にするためにライトフィールドの完全なデコードを余儀なくされる。【００１６】  ライトフィールドデータのエンコーディングに対する別のアプローチとしては、ＪＰＥＧエンコードを表現の像平面における２次元アレイ中の画像の各々に適用するものがある（非特許文献１１参照）。像平面を有する２次元アレイにおける画像群内のエンコードは、視覚化のためにデ���タがデコードされなければならないときの直接のアクセスを見越したものである。新規なビューの生成に必要なデータ含む画像群のみをデコードすることにより、よりよい圧縮が実行され、インタラクティブなレンダリングを達成することができる。
【非特許文献１１】シー・ツァン（Ｃ．Ｚｈａｎｇ）、ジェイ・リ（Ｊ．Ｌｉ）著，「ＭＲＦ予測を用いたルミグラフの圧縮およびジャストインタイムなレンダリング（Ｃｏｍｐｒｅｓｓｉｏｎ  ｏｆ  Ｌｕｍｉｇｒａｐｈ  Ｗｉｔｈ  Ｍｕｌｔｉｐｌｅ  Ｒｅｆｅｒｅｎｃｅ  Ｆｒａｍｅ（ＭＲＦ）Ｐｒｅｄｉｃｔｉｏｎ  ａｎｄ  Ｊｕｓｔ−Ｉｎ−Ｔｉｍｅ  Ｒｅｎｄｅｒｉｎｇ）」，ＩＥＥＥデータ圧縮国際会議論文集（ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＩＥＥＥ  Ｄａｔａ  Ｃｏｍｐｒｅｓｓｉｏｎ  Ｃｏｎｆｅｒｅｎｃｅ），２０００年３月，ｐ．２５３−２６２
【００１７】  ２次元アレイにおける画像間の冗長さを利用するために、動き補償されたＭＰＥＧのようなエンコード技術が、ライトフィールドデータのコーディングに適用され、非特許文献１１〜１３に記載されたＪＰＥＧエンコードと比較して圧縮の点で優れた性能という結果を残してきた。
【非特許文献１２】エム・マグナー（Ｍ．Ｍａｇｎｏｒ）、ビー・ジロッド（Ｂ．Ｇｉｒｏｄ）著，「アダプティブブロックベースのライトフィールドエンコード（Ａｄａｐｔｉｖｅ  Ｂｌｏｃｋ−Ｂａｓｅｄ  Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｃｏｄｉｎｇ）」，第３回シンセティックアンドナチュラルハイブリッドコーディングおよび３次元画像処理の国際ワークショップ論文集（ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ３ｒｄ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ｓｙｎｔｈｅｔｉｃ  ａｎｄ  Ｎａｔｕｒａｌ  Ｈｙｂｒｉｄ  Ｃｏｄｉｎｇ  ａｎｄ  Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ  Ｉｍａｇｉｎｇ，Ｇｒｅｅｃｅ），１９９９年９月，ｐ．１４０−１４３
【非特許文献１３】ピー・ラマナサン（Ｐ．Ｒａｍａｎａｔｈａｎ）、エム・フリエール（Ｍ．Ｆｌｉｅｒｌ）、ビー・ジロッド（Ｂ．Ｇｉｒｏｄ）著，「表示補償されたライトフィールド圧縮の複合仮説予測（Ｍｕｌｔｉ−ｈｙｐｏｔｈｅｓｉｓ  Ｐｒｅｄｉｃｔｉｏｎ  ｆｏｒ  Ｄｉｓｐａｒｉｔｙ−ｃｏｍｐｅｎｓａｔｅｄ  Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｃｏｍｐｒｅｓｓｉｏｎ）」，画像処理国際学会２００１予稿集（ｉｎ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ（ＩＣＩＰ  ２００１）），２００１年
【００１８】  画像群の２次元アレイは、その２次元アレイ全体にわたって統一的に分配された数多くの参照コード内画像（Ｉ画像）と、そのＩ画像を基準にしてエンコードされた予測画像（Ｐ画像）とを用いてエンコードされた。さらに、各Ｐ画像は図２に示される方法における予測処理に数多くの近隣のＩ参照画像を用いたので、Ｐ画像の複合参照フレーム（ＭＲＦ）エンコードを用いることができた。複合参照予測アプローチは、圧縮表示におけるデータの依存性、および新規なビューを合成するために必要な参照サンプルへのアクセスの問題をさらに増加させる可能性がある。一般的に、レンダリング段階において、像平面からのＩ画像あるいはＰ画像からのデータを使用して、（補完を介して）新規なビューを得るのに必要な情報を提供しなければならないことが予測される。ある像平面においてＩ画像とＰ画像の比率が与えられた場合、新しい仮想ビューの補完のためのデータを提供するためにデコードされる必要がある画像の大部分は、Ｐ型の画像であると考えられる。したがって、一般的な場合、必要なＰ画像の再構築に要求される異なる複数の「アンカー」となるＩ画像は、アクセスされ、デコードされなければならない。視点は変化するので、異なるＰ画像は、デコードされ、それらの中に含まれる画像データは補完されなければならない。したがって、新しいＰ画像のために参照画像として供されるＩフレームの（すべてではなく）一部が、デコードされる必要がある。【００１９】  また、過去のいくつかの試みにおいて、予測過程は、ライトフィールドの表現の像平面におけるすべての画像の場合に対して、動き補償は１次元的なもの（不均衡方法ｄｉｓｐａｒｉｔｙ−ｗｉｓｅ）であると認識されたという事実を利用した。このように、カメラにおけるカメラの位置が知られるという事実が与えられた場合に、不均衡な補償が行われた。コンピュータで生成されるオブジェクトにとっては、不均衡が正確に知られているという利点がある。【００２０】  非特許文献１１に示されるように、ライトフィールドデータのエンコードにはＭＰＥＧに非常に似たエンコードアルゴリズムが使用される。非特許文献１１において画像化されたオブジェクトは、視覚可能な人間の投射からレンダリングされた像の頭である。ここでは、複合参照フレーム（ＭＲＦ）が用いられ、Ｐ画像は像平面におけるＩ画像のみを参照するように限定されている。３２．５ｄＢにおいて、ＭＲＦ−ＭＰＥＧエンコード技術は、元のデータサイズと比較して２７０：１の圧縮率を達成した。また、３６ｄＢでは１７０：１の圧縮率を実現した。【００２１】  圧縮率対歪の性能を厳密に考慮した過去のアプローチにおいて最良なものの１つは、非特許文献１２に開示されている。このアプローチにおいて、ライトフィールドデータの、ＭＰＥＧに似たエンコード技術が採用された。動き補償は、ライトフィールドの場合に対して１次元的な「不均衡補償」になった。ラグランジュの圧縮率制御関数の制御のもと、複合マクロブロックエンコードモードが選択された。仏像のようなオブジェクトのライトフィールドデータがエンコードされた。報告されたピーク信号／雑音比（ＰＳＮＲ）は、全ライトフィールド画像を通じての平均の輝���のＰＳＮＲである（１つの像平面に対応している）。しかし、圧縮比計算において使用された元のデータサイズは、輝度情報およびクロミナンス情報の両方を組み入れたものである。直接の結果として、慣例の通りクロミナンス成分のダウンサンプリングが行われた場合、報告された圧縮因子は、さらに２：１の圧縮を組み入れた（クロミナンス信号に対する他の圧縮がない場合）ものである。この関係においては、エンコードアルゴリズムは、仏像のライトフィールド（画像の６．３％がＩ画像である）において３６ｄＢで０．０３ｂｐｐ（ｂｉｔｓ  ｐｅｒ  ｐｉｘｅｌ）の圧縮を実現した。【００２２】  非特許文献１３に開示されているように、複合仮説（ＭＨ）アプローチおよびライトフィールドデータのエンコードに対する不均衡補償が用いられる。このとき、輝度（Ｙ）データのみを処理する。【００２３】  別のアプローチにおいて、４次元離散コサイン変換（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ、以下ＤＣＴともいう）が、非特許文献１４に記載されるようにライトフィールドデータの圧縮に対して、画像群のレイヤー化された分解と共に４次元の光線データに対して適用される。レイヤー化されたモデルを用いた４次元ＤＣＴは、よりよい結果を与えた。結果を表現するために、信号対雑音比測定が使用された。ライトフィールドデータのＪＰＥＧあるいはＭＰＥＧ２エンコードは、相対的にひどい結果を与えた。ＪＰＥＧあるいはＭＰＥＧ２エンコードと、４次元ＤＣＴとを比較すると、４次元ＤＣＴ技術は、レイヤ化されたテクスチャアプローチと組み合わされた場合のみ潜在的に利点を提供できることがわかる。しかしながら一般的なシーンに対しては、それらの本質的な視覚的複雑性を考えると、そのようなレイヤ化された分解を生成することはまだ非常に難しい技術である。これは画像のセグメンテーションと関連してよく認識された問題である。
【非特許文献１４】ティー・ナエムラ（Ｔ．Ｎａｅｍｕｒａ）、エイチ・ハラシマ（Ｈ．Ｈａｒａｓｈｉｍａ）著，「集積された３次元映像通信に対する光線ベースのアプローチ（Ｒａｙ−ｂａｓｅｄ  Ａｐｐｒｏａｃｈ  ｔｏ  Ｉｎｔｅｇｒａｔｅｄ  ３Ｄ  Ｖｉｓｕａｌ  Ｃｏｍｍｕｎｉｃａｔｊｏｎ）」，国際光工学会論文集第ＣＲ７６巻（ＳＰＩＥ，Ｖｏｌ．ＣＲ７６），２０００年１１月，ｐ．２８２−３０５
【００２４】  さらに別のアプローチとして、非特許文献１５に開示されているように表面のライトフィールドの表現および圧縮が存在する。
【非特許文献１５】ダブリュ・シー・チェン（Ｗ．−Ｃ．Ｃｈｅｎ）、ジェイ・ワイ・ブゲット（Ｊ．−Ｙ．Ｂｏｕｇｕｅｔ）、エム・エイチ・チュ（Ｍ．Ｈ．Ｃｈｕ）、アール・グルツェストゥック（Ｒ．Ｇｒｚｅｓｚｃｚｕｋ）著，「ライトフィールドマッピング：表面ライトフィールドの効果的な表現とハードウェアレンダリング（Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｍａｐｐｉｎｇ：Ｅｆｆｉｃｉｅｎｔ  Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ  ａｎｄ  Ｈａｒｄｗａｒｅ  Ｒｅｎｄｅｒｉｎｇ  ｏｆ  Ｓｕｒｆａｃｅ  Ｌｉｇｈｔ  Ｆｉｅｌｄｓ）」，ＡＣＭ  ＳＩＧＧＲＡＰＨ２００２論文集、第２１巻３号（ＡＣＭ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｇｒａｐｈｉｃｓ，Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＡＣＭ  ＳＩＧＧＲＡＰＨ  ２００２，ｖｏｌ．２１，ｎｏ，３），２００２年７月，ｐ．４４７−４５６
【００２５】  このアプローチは、ライトフィールドのデータを画像化されたオブジェクトの表面上の基本要素（三角形）に区分するものである。オブジェクトの表面上の各基本要素に対応する、結果として得られたデータ（頂点のライトフィールド）は、主成分分析（Ｐｒｉｎｃｉｐａｌ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ、以下ＰＣＡともいう）による分解と非ネガティブマトリックス分解（ｎｏｎ−ｎｅｇａｔｉｖｅ  ｍａｔｒｉｘ  ｆａｃｔｏｒｚａｔｉｏｎ、ＮＭＦ）とを用いて近似される。圧縮比は基本要素（三角形）のサイズに依存するので、三角形のサイズは経験的に選択される。個々のライトフィールドマップの冗長性は、ベクトル量子化（ｖｅｃｔｏｒ  ｑｕａｎｔｉｚａｔｉｏｎ、以下ＶＱともいう）を用いて減少される。結果として得られるコードブックは、画像として記憶される。現実のオブジェクトに対しては、アクティブ画像処理技術が用いられることに注意すべきである。オブジェクトは、スキャンを容易にするために（除去可能なペイントを用いて）ペイントされ、ライトパターンはそのオブジェクトに投射される（すなわち、アクティブ画像処理技術を用いている）。また、画像化されたオブジェクトに対して（表面の基本要素を生成するために）メッシュモデルが得られるが、これは、その表面特性が非常に複雑な、受動的に得られた自然のオブジェクトに対しては難しい技術である。三角形の表面マップのグループおよびビューのマップのグループに対してベクトル量子化のコードブックを使用する場合、それらのコードブックは通信に際して送信される必要がある。３２×３２＝１０２４のグリッド解像度を有するカメラを用いた場合のエンコードの性能が、頂点ライトフィールドのＰＣＡと、ベクトル量子化と関連する近似法であるＮＭＦと、Ｓ３ＴＣハードウェア圧縮とを用いて報告されている。頂点のＰＣＡを用いたライトフィールドの近似と、近似項の数（２〜４項）の変化とのみを用いた場合、第１のオブジェクト（像）に対してピーク信号／雑音比（ＰＳＮＲ）は２７．６３ｄＢで、６３：１の圧縮比が得られた。また、より少ない近似項数を用いて、ＰＳＮＲが２６．７７ｄＢでは、１１７：１の圧縮率が得られた。第２のオブジェクト（胸像）に対しては、ＰＳＮＲが３１．０４ｄＢで、１０６：１の圧縮比が得られた。頂点ライトフィールドのＰＣＡ＋ＶＱを用いて得られた最高の圧縮率は、第２のオブジェクトに対応するもので、８８５：１であり、ＰＳＮＲは２７．９０ｄＢである。
【発明の開示】
【発明が解決しようとする課題】
【００２６】  本発明は、ライトフィールドデータの効率的な表現および高圧縮率化を実現することを目的とする。
【課題を解決するための手段】
【００２７】  本発明の１つの態様は、画像取得装置の投射の中心を含む仮想表面において受動的な方法により少なくとも１のオブジェクトの画像の集合をその画像取得装置を用いて取得（キャプチャ）し、仮想表面を含むパラメータ表示に基づいた統計的解析変換を用いて取得された画像の集合の代表を生成することによりライトフィールドデータを表現する方法である。【００２８】  以上の態様は、ライトフィールドデータの非常に効率的な表現を創造する利点を提供し、一方、新規なビューの生成に必要な情報への直接的なランダムアクセスを可能にし、デコードの直接の拡張性を提供するものである。
【発明を実施するための最良の形態】
【００２９】  以下、より一般的な事情を考慮して（すなわち、シーンの幾何学的形状については仮定をせずに）、ライトフィールドの表現に関する実施形態に基づいて、そして前述の特定の面のパラメータ表示に基づいて、本発明の実施形態を説明する。本発明では、別々のカメラ位置において取得された画像群を入力データとして使用するので、他のパラメータ表示への拡張を行うことが可能である。この指針を念頭に置くと、本発明は、ライトフィールドデータの特性と共に主成分分析（ＰＣＡ）の最適性の原理を用いるライトフィールドの表現、エンコードおよびデコードに関するものである。本発明は、ライトフィールドのエンコードに関する２つの相反する要求の間のバランスに一撃を与えるものである。すなわち、相反する２つの要求とは、通常は動き補償法の使用に関連する高圧縮比を得る必要性と、表現の像平面における種々の画像の間の依存性を減少あるいは除去すること（すなわち、画像データへのランダムアクセスを容易にすること）である。【００３０】  本実施形態は、パラメータ表示の像平面に対応する２次元アレイにおける画像の各々の表現に必要な変換係数の数を抑制し、また歪を所定のレベルに維持することを容易にするため、オリジナルのライトフィールドの変換と圧縮の両方を生成するのにＰＣＡを用いるものである。ライトフィールドのＰＣＡの表現によるアプローチは、パラメータ表示の像平面の各々における画像の２次元アレイ上で動作する。シーンの仮想的なビューを生成するために、選択された固有ベクトルにより定義される、その部分空間表現とＰＣＡ部分空間を単純に利用することにより、表現の像平面における２次元アレイからのいかなる画像をも、直接的に再構築し、かつ用いることができる。要求された新規なビューの合成に関連する画素を含む画像のみが、再構築されまた使用される。このように、インタラクティブな（対話式の）レンダリング処理が可能になる。したがって、本発明は、非常に効率的な表現および圧縮を用いて、光線補完のための非予測エンコード技術において好ましいランダムアクセスの技術と、シーンの新規なビューの合成の技術とを組み合わせるものである。【００３１】  本実施形態はまた、ライトフィールドの表現の像平面の各々に対して別々にとられるＰＣＡの部分空間の次元数選択のための圧縮率−歪アプローチに関するものである。このアプローチは、視覚可能なシーンの構成に存在する多様性と、視点が変化することによる複雑さとに基づいている。パラメータ表示のいくつかの像平面における画像は、他の像平面と比較してより低次元のＰＣＡの表現の部分空間を必要とするかもしれない。像平面の各々に対するＰＣＡの部分空間の次元数は、適応できるように選択され、さらに、ライトフィールド全体のパラメータ表示に対するＰＣＡの表現の部分空間の総次元数について大域的な制約を仮定して決定されてもよい。最後に、ＰＣＡ部分空間の表現を構成する固有ベクトルの集合のランク付けされた部分集合は、ライトフィールドデータの拡張可能なデコードに対してＰＣＡ変換された画像データに関連して使用されることができる。【００３２】  本発明の上述の態様の各々は、以下において数学的に記述される。ここで���、一般性を失わないように、前述のライトフィールドのオリジナルの像平面のパラメータ表示が用いられるが、より一般的なパラメータ表示においては、画像の取得は、パラメータ表示された表面（平面に限られない）上の離散的なサンプリング点において行われる。以下で説明する処理には、少なくとも、画像の取得（キャプチャ）に関連する第１の表面と、第１の表面から離れて位置する第２の表面とが必要である。ここで、２つの面は、光線のパラメータ表示に使用される。【００３３】  図３を参照すると、例えば、画像化されるオブジェクト１００は、立方体１０２のような仮想的な多面体により内接あるいは外接されると考えられる。ここで、立方体１０２の仮想表面１０４ａ〜１０４ｆにより、ライトフィールドのパラメータ表示の焦点面（１０６ａ〜１０６ｆ）が定義される。カメラの投射の中心は、表面１０４ａ〜１０４ｆに対しそれぞれ平行な仮想表面１０８ａ〜１０８ｆ上の別々の位置に位置する。なお、図面が煩雑になるのを防ぐため、表面１０８ａおよび焦点面（カメラ）１０６ａのみが図示されている。この場合においては、焦点面（カメラ）１０６ａ〜１０６ｆは、以上で述べたサンプリング点において画像データを収集する検出器の２次元アレイとして機能する。これらの画像は、ライトフィールドの表現の像平面において収集される。いかなるパラメータ表示においても、焦点距離離れた位置に位置する面において取得されたシーンの画像の集合は、本発明によるアルゴリズムへの入力情報となり得る。なお、画像取得プロセスの画質を向上するために、画像処理に先立ってオブジェクトを取り扱うことはしないので、カメラは、オブジェクトの画像を受動的な方法で取得している（すなわち、パッシブな画像取得）ことになる。【００３４】  いま、表面およびカメラの例として表面１０８ａとそれに対応するカメラ１０６ａとを考える。この場合、表面１０８ａは、像平面とみなされ、また、前に図１に関して説明したパラメータ表示に使用する２つの面のうちの１つの面である。カメラ１０６ａは、その像平面においてｍ×ｎ次元の画像の２次元アレイを取得する。そのような画像は、本発明によるＰＣＡの表現および解析を実行する画像データ処理部１１０に送信される入力データとなるものである。それらの使用に先立って、像平面におけるオリジナルの画像の各々は、順番に配列され、その結果、Ｎ次元データベクトルＸｋ（Ｎ×１行列）の集合ができる。ここで、Ｎはそれらの画像における画素の数であり、ｋは、画像の集合の中のｋ番目の画像を示す。また、このようなベクトルＸｋの総数Ｌは、Ｌ＝ｍ×ｎであり、像平面における２次元アレイの画像の数に対応している。すなわち、像平面から利用可能な画像データの総数が非常に膨大であることは明らかである。したがって、本発明の目的の１つは、非常に小数（Ｍ個）の固有ベクトルによりオリジナルの画像空間を近似することにより、画像データの量を減少させることである。以下で説明するように、オリジナルの画像データからより低次元の部分空間への解析および変換には、主成分分析（ＰＣＡ）法が用いられる。【００３５】  本発明で用いられる主成分分析法によれば、行列Ｐは、Ｌ個のＮ次元データベクトルか���なる集合に対応するＮ×Ｌのデータ行列であると定義される。続いて、データの相関行列の推定値として行列Ｃ＝ＰＰＴをとることにより統計的変数の決定論的な推定値が得られる。なお、Ｘｋは、行列Ｐのデータベクトル（列）である。直接主成分分析（直接ＰＣＡ）により、行列Ｃの、最大のものからＭ個（Ｍ＜Ｌ）の固有値およびそれに対応する固有ベクトルが求められる。Ｙｋは、オリジナルのデータベクトルＸｋを変換したものであり、Ｙｋ＝ΦＴＭＸｋである。ここで、ΦＭは最上位のＭ個の固有値に対応する固有ベクトルｅｉ（ｉ＝１、２、…Ｍ）の選択により形成される固有行列である（数１参照）。
【数１】
2004199702.tif 000003
【００３６】  ここで、Ｎが非常に大きい場合（すなわち、Ｎ＞＞Ｌである場合）を考えると、行列Ｃの大きさもまた非常に大きくなる（行列Ｃの要素の数が膨大になる）。これは、直接ＰＣＡによる計算を用いた場合に負荷が大きい計算処理を必要とする。効率的なアプローチとして、非特許文献（エイチ・ムラカミ（Ｈ．Ｍｕｒａｋａｍｉ）、ブイ・クーマー（Ｖ．Ｋｕｍａｒ），「画像の集合からの主要画像の効率的な計算（Ｅｆｆｉｃｉｅｎｔ  ｃａｌｃｕｌａｔｉｏｎ  ｏｆ  ｐｒｉｍａｒｙ  ｉｍａｇｅｓ  ｆｒｏｍ  ａ  ｓｅｔ  ｏｆ  ｉｍａｇｅｓ）」，ＩＥＥＥパターン解析と機械知性の論文集  ＰＡＭＩ−４巻５号（ｉｎ  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ．ｖｏｌ．ＰＡＭＩ−４（５）），１９８２年，ｐ．５１１−５１５）に記載されているように、陰相関行列Ｃ＾＝ＰＴＰを考慮するアプローチがある（ここで、表記「Ｃ＾は、これが使用される分野においては「Ｃ」の上に「∧」を載せたものが一般的であるが、本願明細書においてそのような表記を用いることが困難であったため、その代わりに採用されたものである。従って、これ以降における表記「Ｃ＾」は、実際には「Ｃ」の上に「∧」を載せたものを表していると解されることを望む次第である）。行列Ｃ＾は、Ｌ×Ｌ行列であり、これは、行列Ｃの大きさより非常に小さい（行列Ｃ＾の要素の数は行列Ｃの要素の数より非常に少ない）。したがって、行列Ｃ＾について最大のものからＭ個（Ｍ＜Ｌ）の固有値λｉと、それに対応する固有ベクトルｅｉを求める計算は、行列Ｃについて同様にＭ個の固有値と固有ベクトルを直接計算するよりも速く計算できる。行列Ｃおよび対応する行列Ｃ＾の固有値および固有ベクトルの２つの集合の間の関係により、行列Ｃの、最初のＭ個（Ｍ＜Ｌ）の固有値λｉと固有ベクトルｅｉは、以下に示される最大のものからＭ個（Ｍ＜Ｌ）の固有値と固有ベクトルから正確に求めることができる。
【数２】
2004199702.tif 000004
ここで、λｉ、ｅｉは、行列Ｃ＾の固有値および固有ベクトルである。行列Ｃ＾＝ＰＴＰの固有ベクトルｅｉは、ＳＶＤ（Ｓｉｎｇｕｌａｒ  Ｖａｌｕｅ  Ｄｅｃｏｍｐｏｓｉｔｉｏｎ、特異値分解）を用いて決定される、行列Ｐの右特異ベクトルで与えられる。同様に、固有値λｉは、行列ＰのＳＶＤにより与えられる特異値から得られる。【００３７】  以上の方法は、ベクトルの集合のトレーニングサンプル（代表サンプル）の表現について用いることができる。ここでは、ある数Ｊ個（Ｊ＜Ｌ）のベクトルが、ベクトルの集合全体のトレーニングサンプルとして選択される。Ｊ個のベクトルからなる集合について、それに対応するＰＣＡの表現が前述のように計算される。その結果として得られる、Ｍ個（Ｍ＜Ｊ）の固有ベクトルにより表現される部分空間が、ベクトルの集合全体の代表として使用される。明らかに、このアプローチは、選択されたトレーニングサンプルがベクトルの集合全体の特徴をどの程度表しているかに依存している。【００３８】  ベクトルの集合におけるベクトルの数Ｌが大きい場合、非特許文献（エイチ・ムラカミ（Ｈ．Ｍｕｒａｋａｍｉ）、ブイ・クーマー（Ｖ．Ｋｕｍａｒ），「画像の集合からの主要画像の効率的な計算（Ｅｆｆｉｃｉｅｎｔ  ｃａｌｃｕｌａｔｉｏｎ  ｏｆ  ｐｒｉｍａｒｙ  ｉｍａｇｅｓ  ｆｒｏｍ  ａ  ｓｅｔ  ｏｆ  ｉｍａｇｅｓ）」，ＩＥＥＥパターン解析と機械知性の論文集  ＰＡＭＩ−４巻５号（ｉｎ  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ．ｖｏｌ．ＰＡＭＩ−４（５）），１９８２年，ｐ．５１１−５１５）に記載されているように、行列Ｃの、最大のものからＭ個の固有値およびそれに対応する固有ベクトルの近似値を計算するために、別のアプローチ、すなわち反復アプローチを用いてもよい。反復アプローチでは、データベクトルは順番に処理される。このアルゴリズムは、最初に選択された（Ｍ＋１）個のデータベクトルの集合の固有ベクトルのうち最大のものからＭ個の固有ベクトルを直接計算することにより開始される。なお、代表のためにより少ないＫ個（Ｋ＜Ｍ）の固有ベクトルが保持されてもよい。最大のものからＭ個の固有値に対応するＭ個の固有ベクトルのみが、反復の各段階において保持される（Ｍは、ＰＣＡの表現の最終的な次元数となる）。処理されるすべての新しい入力ベクトルに対して、先のステップで計算されるＭ個の固有ベクトルが保持される。反復が最後まで終了した後、保持されたＭ個の固有ベクトルは正規化される。【００３９】  以上の解析方法を念頭に置くと、主成分分析（ＰＣＡ）を用いたライトフィールドのパラメータ表示の像平面におけるオリジナルの画像の集合を変換するための別のアプローチが可能である。すなわち、まず、像平面を形成する２次元アレイの画像は、前述のように各々ベクトル化することができる。その結果、像平面におけるオリジナルの画像の集合に対応するベクトルの集合ができる。ここで、ベクトルの集合全体は、例えば大域的に（集合全体について）考慮されてもよい。あるいは、そのベクトルの集合を、データの集合の特性に関する自明の知識に基づいた何らかの基準（例えば、���メラの構成に基づいた基準）によりさらに分割し、そしてベクトルの部分集合の各々に局所的な解析を適用してもよい。さらに、ＰＣＡの表現は、後述のように、直接アプローチ、代表サンプルアプローチ、あるいは反復アプローチを用いて計算することができる。統計的解析に使用される直接アプローチおよび主成分分析を用いたライトフィールドデータの表現の場合、そのベクトルの集合のすべてのベクトルが、変換の計算に利用される。したがって、ベクトルの集合の要素の数が大きい場合、このアプローチは明らかに実用的でないものになる。他の２つのＰＣＡの表現アプローチの場合、画像の２次元アレイにおいてサンプルの選択が行われる。サンプルの選択は、トレーニングサンプルに基づいた表現のための代表サンプルを提供する目的で、あるいは反復アプローチを初期化するために実行される。統一的に分割された画像サンプルの集合は、本実施形態においてはライトフィールドの表現の像平面における２次元アレイ（例えば、四角形のグリッド）から選択されるが、サンプルの分割方法はこれに限定されるものではない。【００４０】  オリジナルのベクトルの集合の大域的な考慮については、表面１０８ａ（図３）に対応するもののような、像平面における画像の２次元アレイ全体が、解析のために考慮される。ベクトルの集合における要素の数Ｌが直接ＰＣＡアプローチを実行するには大きすぎる場合、代表サンプルＰＣＡ法を用いることができる。すなわち、まず、ベクトルの集合全体から得られたＪ個（Ｊ＜Ｌ）のサンプルベクトルの集合であるトレーニング部分集合が選択される。この場合トレーニングサンプルは、図４に示されるように画像の２次元アレイから統一的に選択される。ここで、トレーニングサンプルの集合の要素の数は、表現の次元数の制限に基づいた制限を受ける（Ｊ＜Ｌ）。トレーニングサンプルを用いたＰＣＡ変換の決定に対し陰解法（ｉｍｐｌｉｃｉｔ  ｍｅｔｈｏｄ）を用いた場合、この部分集合の、最大のものからＭ個（Ｍ＜Ｊ）の固有値およびそれに対応する固有ベクトルを得ることができる。最大のものからＭ個の保持された固有ベクトルは、Ｌ個のベクトルからなるオリジナルのベクトル空間全体に対する近似部分空間を構成する。したがって、オリジナルの画像データベクトルＸｋの各々は、以下の数３で示されるように、Ｍ次元ベクトルＹｋに変換することができる。
【数３】
2004199702.tif 000005
ここで、ΦＭは、固有ベクトルの集合から得られる固有行列である。【００４１】  画像空間全体の表現にトレーニングサンプルアプローチを使用した場合、表現の品質は、代表（トレーニングサンプル）の集合が全体の画像空間の特徴をどの程度よく含んでいるかに依存している。性能を改善するために、統一的に分割された選択処理を、トレーニングサンプルをさらに選択するプロセスに置き換えてもよい。【００４２】  ＰＣＡの表現のために、トレーニングサンプルの使用以外の別の方法として、反復ＰＣＡアルゴリズムを使用する方法がある。この方法では、初期化のために、Ｊ個（Ｊ＜Ｌ）のベクトルの初期サンプルをベクトルの集合全体から選択しなければならないが、このアプローチは、最終的なＰＣＡの表現の決定のために、代表部分空間を反復的に更新することにより、その集合のすべてのデータベクトルを使用するものである。ＰＣＡの表現の第１の近似値を提供するために（あるいは初期化を行うために）使用される最初のベクトルの集合の選択に対して、先の場合と同様に、同一の一様なベクトルのサンプリングパターンをベクトルの２次元アレイのレベルにおいて適用することができる。続いて、その集合における未処理ベクトルの各々が処理され、ベクトルの集合全体の処理が終わるまでＰＣＡの表現が反復的に更新される。反復アルゴリズムは最終的な表現の計算にベクトルの集合全体を使用するので、トレーニングサンプリングアプローチと比較して、表現の質を改善することができる。【００４３】  （１）トレーニングサンプルアプローチあるいは反復アプローチが利用されたかどうか、（２）固有行列ΦＭにおける保持された固有ベクトルにより提供される固有空間の記述、および（３）対応するベクトルＹｋにより表現されるこの空間の像平面に含まれる各画像の座標（変換係数）といった情報が、画像の再構築に必要である。ＰＣＡ変換の正規直交性を用いた場合、再構築されたベクトルの写像は、次式のように得られる。
【数４】
2004199702.tif 000006
【００４４】  先に記述された、像平面における画像の２次元アレイ全体の処理の例と同様に、２次元アレイを複数の領域に分割することにより局所的なＰＣＡの表現を実行することができる。像平面の分割の例の１つが、図５に示されている。これらの各領域の代表に必要な画像ベクトルの数は、Ｍｉである（なお、ΣｉＭｉ＝Ｍである）。ここで、Ｍは像平面の全体の表現の次元数である。これらの領域は、カメラが設置される表面のサンプリングに関する周知の知識に基づいて決定することができる（例えば、各像平面に対する四角形のグリッドを領域とすることができる）。像平面のこれらの領域の各々において、局所的なＰＣＡは、直接アプローチ、トレーニングサンプルアプローチ、あるいは反復アプローチを利用して実行されることができる。適用する方法は、対応する局所的なベクトルの集合の次元数Ｌｉ（ΣｉＬｉ＝Ｌである）、および要求される表現パフォーマンスに応じて選択される。【００４５】  （１）対応する固有行列Φｉにおける保持された固有ベクトルにより提供される固有空間の記述、および（２）対応するベクトルＹｋにより代表される、この空間における局所的な集合からの各画像の座標（その変換係数）が、局所的な領域の各々における画像の再構築のために必要である。局所的な解析領域ｉにおける再構築されたベクトルの写像は、先の場合と同様、次式のように得られる。
【数５】
2004199702.tif 000007
【００４６】  像平面に対するＰＣＡの表現のデータは、像平面における局所的な表示領域に対して生成されたＰＣＡのデータの収集を含む。【００４７】  オリジナルのライトフィールドデータの表示性能に加え、本発明は、ライトフィールドのデコード、レンダリング、および拡張性に関する２つのさらなる好ましい特性を提供する。提案された表現の元で、レンダリングに対して、パラメータ表示のすべての像平面において生成された２次元アレイに対応する画像のうち必要なもののみを直接デコードすることにより、特定のビューの生成に必要なライトフィールドデータのみがデコードされる。この方法により、像平面において必要な画像へのランダムアクセスが可能になる。この処理の実行のために必要なコンテキスト（前後関係）は、像平面の２次元アレイの画像の各々に対応する変換された画像データと共に、像平面（すなわち、固有行列）におけるオリジナルの画像空間の固有ベクトル記述の利用可能性により提供される。同様に、表現の拡張性は、以下の事実により容易になる。すなわち、現存のレンダリング能力に依存している場合、像平面に対応する利用可能な固有ベクトルの集合の部分集合のみを、新規なビューの生成に必要なデータを含む画像を再構築するための画像変換データと共に利用することができる。【００４８】  送信および再構築される必要があるＰＣＡの表現データは、量子化およびエントロピー符合化を用いてエンコードされる。本実施形態では簡単のため、エンコードは、ＪＰＥＧエンコーダを用いて実行される。エンコードする必要があるデータは、決定されたより低次元のＰＣＡの部分空間におけるオリジナルのベクトルの写像の表現に対応する変換されたベクトルに加え、ＰＣＡの表現の部分空間におよぶ固有ベクトルを含む。再構築のために、これらのデータは、次に、エントロピーデコーダおよび逆量子化器（ＪＰＥＧデコーダを用いたもの）に入力され、続いて、大域的表現アプローチか局所的表現アプローチかに依存して数４あるいは数５で与えられる逆変換が行われる。固有ベクトルおよび変換された画像ベクトルのエンコードの観点において、このアプローチを用いて生成されたデータの統計を付加された専用の量子化およびエントロピー符号化のテーブルを用いてよりよい結果を得ることができる。【００４９】  保持された固有ベクトルの各々は、対応する２次元行列に写像される（これにより「固有画像」が形成される）。これらの固有画像の各々は、次に、ＪＰＥＧコーダを用いて個別にエンコードされる。選択肢の１つとして、ＪＰＥＧコーダと同一の質の設定で固有画像の各々をエンコードすることがあげられる。しかしながら、対応する固有値の大きさによりランク付けされた固有ベクトルの表現の重要度が減少させられた場合、保持された固有画像は、固有ベクトルのランクの減少に対応して品質を落とした設定のＪＰＥＧコーダを用いてエンコードされることが望ましい。したがって、第１の固有画像は、第２の固有画像よりも高い質でエンコードされる。利用されるＪＰＥＧエンコーダは、ランキングを１から１００まで（１００が最高の質である）設定する量子化ステップを反映するある質のエンコードスケールを利用する。ランクにより保持���れた固有画像のエンコードに利用される質の設定は、以下の表１に示される。
【表１】
2004199702.tif 000008
【００５０】  別の案としては、（１）対応する固有値、および（２）固有ベクトルのランクの関数である量子化ステップの依存性をモデル化する解析的関数、を利用することによる、固有画像のエンコードの品質の設定を必要とするものがある。【００５１】  変換されたＭ次元画像ベクトルＹｋは、以下のようにＪＰＥＧエンコーダを用いてエンコードされる。すべてのベクトルＹｋは、Ｍ×Ｌ行列の行列Ｓに集められる。ここで、行列Ｓの各列は、ベクトルＹｋで表される。
【数６】
2004199702.tif 000009
【００５２】  行列Ｓの各行は、Ｌ次元ベクトル（１×Ｌ行列）である。そして、ビューの幾何学的位置から、それは、その集合におけるオリジナルの画像の各々の、表現の部分空間のある軸（固有ベクトル）上への投射を表している。このように、行列Ｓの行の各々は、ＪＰＥＧエンコーダを用いて順番にエンコードされる２次元「画像」（行列）に逆にマッピング（投射）される。しかしながら、さらなる効率化のために、行列Ｓの第１行に対応する結果として得られる画像（第１の固有ベクトルへの投射）は、別々にエンコードされる。他のすべての結果として得られる画像は、連結され、ＪＰＥＧコーダを用いて独自の２次元画像としてエンコードされる。この処理の流れは、図６に示されている。【００５３】  以下の議論では、本発明の概念を採用するシミュレーションが、先に説明した面のパラメータ表示を利用して、ｗｗｗ．ｇｒａｐｈｉｃｓ．ｓｔａｎｆｏｒｄ．ｅｄｕ／ｓｏｆｔｗａｒｅ／ｌｉｇｈｔｐａｃｋ／ｌｉｆｓ．ｈｔｍｌにおいてオンラインで利用可能な、ライトフィールドの表現から得られるデータを用いて実行される。本願明細書で引用した他の文献で用いられるライトフィールドデータのタイプは、ここで議論されるシミュレーションと同様であり、お互いに似通っており、単一の画像化されたオブジェクトに対応するライトフィールドを考慮していることに注意すべきである。このように、画像データのタイプが似ているが厳密に同一ではない場合、一般的な比較が行われ、我々は対応する文献にある結果を報告し、一般的な比較を行うことができる。【００５４】  本実施形態におけるシミュレーションにおいては、入力データは、ｗｗｗ．ｇｒａｐｈｉｃｓ．ｓｔａｎｆｏｒｄ．ｅｄｕ／ｓｏｆｔｗａｒｅ／ｌｉｇｈｔｐａｃｋ／ｌｉｆｓ．ｈｔｍｌにおいて利用可能な仏像のライトフィールドに対応するライトフィールドデータの一部である、表現の像平面の各々において、ｍ×ｎ（ｍ＝ｎ＝３２）の画像のアレイを含む。説明のため、シミュレーションはライトフィールドの表現の１つの面に対応する画像について実行されるが、表現の各面に対して同様のアプローチが適用される。このように、表現の、ある像平面に対応する画像の総数Ｌは、Ｌ＝１０２４である。なお、像平面における画像の各々のサイズは２５６×２５６である。ライトフィールドの表現のある像平面からの画像に対応する輝度情報のみが、シミュレーションに使用される。このように、ある像平面に対応するオリジナルの画像データの総サイズは、６４Ｍバイトである。ある像平面における画像の各々を順に配列した後で、画像データのベクトルの集合全体は、Ｌ＝１０２４個のベクトルを含んでいる。各々のベクトルの要素の数Ｎは、Ｎ＝６５５３６（＝２５６×２５６）である。本実施形態において、シミュレーションは、ＭａｔｈＷｏｒｋｓ社製のＭａｔｌａｂ（登録商標）バージョン６．１を用いて実行される。【００５５】  主成分分析を用いたライトフィールドデータの統計的解析および表現に使用される直接アプローチの場合、ベクトルの集合のすべてのベクトルが変換の直接計算に利用される。このアプローチは、ベクトルの集合の要素の数が膨大で、したがって直接ＰＣＡ計算が非常にコスト��かかるものである場合には実用的でないものになる。他の２つのＰＣＡアプローチ、すなわち、代表（トレーニング）サンプルアプローチおよび反復アプローチにおいて、サンプル選択処理は、前述のように、画像の２次元アレイにおいて実行されなければならない。これは、トレーニングサンプルに基づいた表現のための代表サンプルを提供する目的で、あるいは反復アプローチを初期化するために実行される。本実施形態においては、シミュレーションのために、２次元アレイ（すなわち、四角形のグリッド）から統一的に分配された画像サンプルの集合が選択されるが、サンプルの分配の選択方法はこれに限られない。【００５６】  シミュレーションに使用される反復ＰＣＡ法の場合、ある数Ｊ個（Ｊ＝２５６）のサンプルベクトルが、サンプルの統一的に配置された１６×１６の２次元アレイを考慮して、すべてのベクトルの集合（Ｌ＝１０２４個のベクトル）から選択され、そしてそれらは、前述のように反復アルゴリズムに用いる表現の部分空間の初期化に使用される。これらのサンプルは、画像の２次元アレイ全体にわたって空間的に統一的に分配されるように選択される。異なる空間的サンプル分布も可能であるが。選択されたＪ個のベクトル上でＰＣＡを実行した後、ある数Ｍ個（Ｍ＜Ｊ）の固有ベクトルが、初期ステップにおいて（以降の反復されるステップすべてにおいても）保持される。このように、Ｍは表現の部分空間の次元を表す。本実施形態におけるシミュレーションにおいて、Ｍは、集合｛３２，６４，１２８｝のうちいずれかの値をとる。【００５７】  続いて、その集合からの未処理画像データのベクトルは、すべての画像ベクトルが処理されるまで、Ｍ個の保持された固有ベクトルを含むＰＣＡの表現を更新しつつ処理される。結果として得られたＰＣＡの表現データは、最終的に保持されたＭ個の固有ベクトルと、変換されたオリジナルの画像ベクトルＹｋの各々とを含む。保持された固有ベクトルは、オリジナルの画像ベクトルＸｋの各々を数４によって変換するのに使用される固有行列ΦＭを形成する。Ｍ個（Ｍ＝１２８）の保持された固有ベクトルに対して、固有値の大きさのランク依存性が、図７に図示されている。図７では、固有値の大きさにおける急激な落ち込みと、対応する固有ベクトルの重要性がランクの増加に伴って減少することが示されている。【００５８】  結果として得られた変換されたベクトルＹｋは、空間の保持されたＭ個の固有ベクトルの記述と共に、前述のように、ＪＰＥＧエンコーダを用いて量子化およびエントロピー符号化される。ＰＣＡのデータのＪＰＥＧエンコードに先立って行われる大域的なＰＣＡの表現を用いたライトフィールド画像データの表現およびエンコードの結果が、以下の表２に示される。表２はまた、Ｍａｔｌａｂのベースラインエンコードを用いたライトフィールドデータの分離した完全なＪＰＥＧエンコードの結果を含んでいる。異なる次元数を持つＰＣＡの表現の部分空間に対する圧縮率−歪のエンコードの結果は、図８に示されている。
【表２】
2004199702.tif 000010
【００５９】  大域的な表現の場合についてさらに考えると、前述の反復ＰＣＡアプローチと比較して、像平面における画像データの表現に対するもうひとつの選択肢として、トレーニングサンプルのＰＣＡアプローチを採用することができる。この場合、ある数Ｊ個のトレーニングサンプル（ベクトル）は、オリジナルの画像ベクトルの集合全体から選択される。これらのサンプルは、前述の場合（Ｊ＝２５６、すなわちトレーニングサンプルの統一的に配置された１６×１６の２次元アレイ）と同様、ベクトルの集合全体にわたって統一的に分配されるように選択される。Ｊ個のサンプルベクトルにＰＣＡ変換を適用した結果として得られたＰＣＡの固有ベクトルから、最大のものからＭ個（Ｍ＜Ｊ）の固有ベクトルの部分集合が保持される。この部分集合は、オリジナルの画像データの集合のＰＣＡの表現を構成する。表現の部分空間にわたる、保持される固有ベクトルの数Ｍは、本実施形態におけるシミュレーションにおいて、値の集合｛３２，６４，１２８｝から選択される。結果として得られる変換されたベクトルＹｋは、前述の場合と同様に、空間の保持されたＭ個の固有ベクトルの記述と共に、ＪＰＥＧエンコーダを用いてエンコードされる。ｂｉｔ単位のコストと、エンコードの結果のＰＳＮＲが、以下の表３に示される。
【表３】
2004199702.tif 000011
【００６０】  トレーニングサンプルの表現とエンコードの圧縮率−歪の結果が、図９に示されている。予想されるとおり、集合におけるすべてのベクトルを用いて得られる表現は、部分空間の記述よりもよいので、大域的な反復ＰＣＡは、ＰＣＡアプローチに基づくトレーニングサンプルを用いた場合よりもよい結果をもたらす。【００６１】  局所的な表現の集合を用いたライトフィールドデータの表現の場合、像平面における画像の２次元アレイは、局所的領域に空間的に区分される。ＰＣＡの表現は、この局所的領域において計算される。像平面における１６×１６のサイズの画像の４つの２次元アレイの場合、各アレイは、同一の番号のＭｉ個（ｉ＝１、…、４）の局所的固有ベクトルで表現される。ここで、Ｍ＝４×Ｍｉである。もちろん、像平面あたり総数Ｍの固有ベクトルを有するという制限の基に、何らかの基準に基づいて、各領域に対して異なる数の固有ベクトルを割り当ててもよい。【００６２】  大域的な表現と同様に、像平面における局所的領域（２次元アレイ）の各々に対して、代表サンプルＰＣＡアプローチあるいは反復アプローチを適用することができる。考慮される画像の２次元アレイ（ベクトルの集合の要素の数）が十分に小さい場合は、直接ＰＣＡを実行することができ、それにより、よりよい結果を得ることができる。本実施形態において、２次元局所的画像アレイのサイズは１６×１６になるように選択されるので、対応するオリジナルのベクトルの集合の各々の要素の数は、Ｌ＝２５６である。直接ＰＣＡアプローチは、分割された像平面の画像の４つの局所的２次元アレイの各々に対して実行される。局所的アレイの各々における、保持された固有ベクトルの同一の数Ｍｉは、対応する固有ベクトルの総数Ｍ＝４×Ｍｉ（Ｍｉ∈｛３２，６４，１２８｝）に対して、値の集合Ｍｉ∈｛８，１６，３２｝から得られる。【００６３】  局所的表現とライトフィールドデータのエンコードの結果は、以下の表４および図１０で示される。ここで、局所的な表現と大域的な表現の結果が比較されている。
【表４】
2004199702.tif 000012
【００６４】  局所的アプローチは、表現のために保持された固有ベクトルの総数Ｍが大きくなった場合に、よりよい結果をもたらす。図１０に示されるように、表現の次元数がＭ＝３２からＭ＝６４に近づくにつれ、対応して大きい数の「局所的」固有ベクトルＭｉを有する像平面の局所的記述は、Ｍ＝ΣｉＭｉの大域的固有ベクトルを用いた大域的なＰＣＡの表現よりもよいものとなる。３６ｄＢにおいて、局所的のＰＣＡの表現およびエンコードは、大域的表現と比較してさらに３０％の圧縮を付加する。この傾向は、固有ベクトルの数が増えるにつれ強調される。これは、より高いデータ圧縮率（およびより高いＰＳＮＲ）に対しては、大域的表現ではなく局所的ＰＣＡの表現を選択するべきであること示している。像平面の領域の特性と、対応する局所的ＰＣＡの表現に対する可変次元数部分空間の使用とに基づいたセグメンテーションへのそのような局所的表現の適合をさらに探検することは興味深い。局所的ＰＣＡの表現は、正しく表現された画像データへの線形ＰＣＡの不能なことによる「ゴースト」効果を減少させることができる。【００６５】  図８および図１０に示されるように、ＰＣＡアプローチは、ライトフィールドデータのＪＰＥＧのみのエンコードと比較して非常によい圧縮効率を達成する。ＰＣＡに基づいた表現およびエンコードはまた、ライトフィールドデータに適用されるＭＰＥＧのようなエンコードアルゴリズムと、より高い圧縮比範囲において圧縮率−歪パフォーマンスの点で有望に厳正に比較されることができる。この場合、改良ＭＰＥＧエンコード技術と比較して同じかそれ以上のよいパフォーマンスを示す。すなわち、２７０：１から１０００：１までの圧縮比が得られる。ＰＣＡデータおよび固有ベクトルのエンコードにより高い質のＪＰＥＧエンコーダを用いることにより、また、エントロピー符号化をＰＣＡ変換データの統計に適合させることにより、よりよい結果を得ることができる。圧縮率−歪パフォーマンスに加えて、本発明によるライトフィールドエンコードアプローチは、ライトフィールドのデコードおよびレンダリングに特徴的な他の要素に関連するさらなる利益を提供する。これらの要素は、ランダムアクセス、視覚的なアーティファクト（ディジタル映像を圧縮した時に生ずる特有の歪み）、および拡張性の問題の点でエンコードの予測的な側面と非予測的な側面を含む。直接の拡張性の特徴は、表現の特性により直接的に提供され、また、デコーダによる画像の再構築のために、対応する短縮された変換された画像ベクトルと共に、ランク付けされたＫ個（Ｋ＜Ｍ）の利用可能な固有ベクトルの部分集合の利用により可能となる。【００６６】  ライトフィールド画像データの例が、図１１〜１３に示されている。ここでは、オリジナルの画像がそのＰＣＡ再構築されたものと共に示されている。また、エンコードされていないＰＣＡデータとＪＰＥＧエンコードされたＰＣＡデータを両方用いたＰＣＡ再構築の結果が、使用されるＪＰＥＧエンコーダの効果をＰＣＡ変換の効果から分離するように示されている。ここでは、圧縮比３００：１付近における再構築された画像が示されている。前述のように、より最新のＪＰＥＧコーダは、エンコード（また、���ロッキングのアーティファクトの点でも）のパフォーマンスに重要な貢献をする。オリジナルの画像は像の外縁の周りに「帯状の」ノイズを有していたが、それがエンコード処理で取り除かれた点にも注意すべきである。【００６７】  以上の記述は、発明の説明のために提供されるのであって、本発明を限定するものではない。したがって、上述の実施形態に対し数多くの付加、置換、および変更を施すことが可能である。例えば、主成分分析（ＰＣＡ）の代わりに独立成分分析（Ｉｎｄｅｐｅｎｄｅｎｔ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ、ＩＣＡともいう）を用いてもよい。表現のためのＩＣＡ部分空間の決定は、その変換に特殊な方法論により行われる。独立成分分析を用いた本発明のプロセスの説明は、前述の説明においてＰＣＡをＩＣＡに変更した場合と同様である。本発明に適用可能な興味あるトピックとしては、局所的に適合でき、パラメータ表示の面において表現の部分空間の可変次元選択を可能にする技術の開発である。局所的ＰＣＡに対するサポートの局所的領域の決定は、あらかじめ決められることができるが、他の手段として、局所的ＰＣＡへの入力を構成する像平面における画像の部分集合を決定するのに線形判別分析（Ｌｉｎｅａｒ  Ｄｉｓｃｒｉｍｉｎａｎｔ  Ａｎａｌｙｓｉｓ、ＬＤＡともいう）を使用してもよい。また、プレノプティック関数の異なるパラメータ表示への代表アプローチの拡張を行ってもよい。保持された固有ベクトルは、ＰＣＡの表現データの主要な部分を代表するものであるから、さらにエンコードの効率をあげるために、よりよいエンコードのアプローチ、が考えられよう。また、異なる時点において取得された、ライトフィールドの表現の複数の像平面を含む一連の画像を処理することにより、動的なライトフィールドの表現およびエンコードの場合へエンコードの拡張を行ってもよい。
【図面の簡単な説明】
【００６８】
【図１】ライトフィールドの表現における光線のパラメータ表示を示す模式図である。
【図２】複合参照フレームを用いたエンコード処理により、複数のアンカー画像がアクセスされる像平面を示す図である。
【図３】本発明の実施形態に係る画像処理システムの模式図である。
【図４】本発明により実行されるＰＣＡの表現により、像平面の統一的なサンプリングにより２次元アレイにおける画像がアクセスされる像平面を示す図である。
【図５】本発明により実行されるＰＣＡの表現により、局所的な表現領域が像平面を分割することにより得られることを示す図である。
【図６】本発明によるエンコード処理を示す概略図である。
【図７】本発明による大域的ＰＣＡの表現の処理に対する、固有値の大きさのランク依存性を示す図である。
【図８】本発明による大域的ＰＣＡの表現の処理に対する、ピーク信号／雑音比（ＰＳＮＲ）のデータサイズ依存性を示す図である。
【図９】本発明による大域的反復ＰＣＡの表現処理および大域的トレーニングＰＣＡの表現処理の両方に対する、ピーク信号／雑音比（ＰＳＮＲ）のデータサイズ依存性を示す図である。
【図１０】本発明による大域的反復ＰＣＡの表現処理および局所的ＰＣＡの表現処理に対する、ピーク信号／雑音比（ＰＳＮＲ）のデータサイズ依存性を示す図である。
【図１１】元の画像と、ＰＣＡ再構築されたバージョンとを併記したライトフィールドの画像データのサンプルの第１の例である。
【図１２】元の画像と、ＰＣＡ再構築されたバージョンとを併記したライトフィールドの画像データのサンプルの第２の例である。
【図１３】元の画像と、ＰＣＡ再構築されたバージョンとを併記したライトフィールドの画像データのサンプルの第３の例である。
【符号の説明】
【００６９】  １００……オブジェクト、１０２……立方体（仮想多面体）、１０４ａ−ｆ……仮想表面、１０６ａ……焦点面（カメラ）、１０８ａ……像平面、１１０……画像データ処理部
【図１】
2004199702.tif 000013
【図２】
2004199702.tif 000014
【図３】
2004199702.tif 000015
【図４】
2004199702.tif 000016
【図５】
2004199702.tif 000017
【図６】
2004199702.tif 000018
【図７】
2004199702.tif 000019
【図８】
2004199702.tif 000020
【図９】
2004199702.tif 000021
【図１０】
2004199702.tif 000022
【図１１】
2004199702.tif 000023
【図１２】
2004199702.tif 000024
【図１３】
2004199702.tif 000025