(57)【要約】本発明は、獲得、表現、ディスプレイステップの多様性によって、散在している３次元画像を体系的に分類し、これを記述する３次元画像情報記述装置及びその方法と前記方法を実現させるためのプログラムを記録したコンピュータで読むことができる記録媒体を提供すること。本発明は、３次元画像情報記述装置において、各ステップ別に３次元画像情報の特性を記述するための記述子が格納されている記述子データベースと、外部から入力された３次元画像情報の各ステップ別の特性を記述できる記述子を、前記記述子データベースから読み込み、前記３次元画像情報に付加するための記述子付加手段と、前記記述子付加手段によって、記述子が付加された３次元画像情報を、外部の３次元画像データベースに登録するための登録手段とを含む。
2006512644.tif 000002
【特許請求の範囲】
【請求項１】
３次元画像情報記述装置において、
各ステップ別に３次元画像情報の特性を記述するための記述子が格納されている記述子データベースと、
外部から入力された３次元画像情報の各ステップ別の特性を記述できる記述子を、前記記述子データベースから読み込み、前記３次元画像情報に付加するための記述子付加手段と、
前記記述子付加手段によって、記述子が付加された３次元画像情報を、外部の３次元画像データベースに登録するための登録手段と
を含むことを特徴とする３次元画像情報記述装置。
【請求項２】
前記記述子付加手段が、
３次元画像情報の獲得ステップを記述する獲得記述子を、前記記述子データベースから読み込み、前記３次元画像情報に付加する獲得記述子付加器と、
３次元画像情報の表現ステップを記述する表現記述子を、前記記述子データベースから読み込み、前記３次元画像情報に付加する表現記述子付加器と、
３次元画像情報のディスプレイステップを記述するディスプレイ記述子を前記記述子データベースから読み込み、前記３次元画像情報に付加するディスプレイ記述子付加器と
を含むことを特徴とする請求項１に記載の３次元画像情報記述装置。
【請求項３】
前記記述子データベースが、
３次元画像情報を獲得するステップを記述する獲得記述子、３次元画像情報を表現するステップを記述する表現記述子、及び３次元画像情報をディスプレイするステップを記述するディスプレイ記述子を格納している個別記述子データベースを含むことを特徴とする請求項２に記載の３次元画像情報記述装置。
【請求項４】
前記記述子データベースが、前記獲得記述子、前記表現記述子、前記ディスプレイ記述子などの特定の組み合わせで定義される統合記述子が格納されている統合記述子データベースをさらに含み、
前記記述子付加手段が、
前記統合記述子データベースから統合記述子を読み込み、前記３次元画像情報に付加するための統合記述子付加器と
をさらに含むことを特徴とする請求項３に記載の３次元画像情報記述装置。
【請求項５】
３次元画像情報記述方法において、
記述子付加部が各ステップ別に３次元画像情報の特性を認識する第１ステップと、
前記記述子付加部が前記認識結果によって、各ステップ別に３次元画像情報の特性を記述するための記述子を記述子データベースから読み込む第２ステップと、
前記記述子付加部が前記３次元画像情報に前記読み込んだ記述子を付加する第３ステップと、
記述子登録部が前記記述子が付加された３次元画像情報を３次元画像データベースに登録する第４ステップと
を含むことを特徴とする３次元画像情報記述方法。
【請求項６】
前記第１ステップが、
前記記述子付加部が３次元画像情報の獲得ステップ、表現ステップ、ディスプレイステップの特性を認識して、
前記第２ステップが、
前記記述子付加部が前記認識結果によって、３次元画像情報の特性を記述するために、獲得ステップを記述する獲得記述子、表現ステップを記述する表現記述子、ディスプレイステップを記述するディスプレイ記述子を前記記述子データベースから読み込むことを特徴とする請求項５に記載の３次元画像情報記述方法。
【請求項７】
前記記述子付加部が、獲得記述子、表現記述子、ディスプレイ記述子などの特定の組み合わせで定義される統合記述子の存在を確認する第５ステップと、
前記第５ステップの確認結果によって、前記記述子付加部が統合記述子データベースから統合記述子を読み込み、前記３次元画像情報に付加する第６ステップと
をさらに含むことを特徴とする請求項６に記載の３次元画像情報記述方法。
【請求項８】
プロセッサを備えた３次元画像情報記述装置に、
記述子付加部が各ステップ別に３次元画像情報の特性を認識する第１機能と、
前記記述子付加部が前記認識結果によって、各ステップ別に３次元画像情報の特性を記述するための記述子を記述子データベースから読み込む第２機能と、
前記記述子付加部が前記３次元画像情報に前記読み込んだ記述子を付加する第３機能と、
記述子登録部が前記記述子が付加された３次元画像情報を３次元画像データベースに登録する第４機能と
を実現させるためのプログラムを記録したコンピュータで読むことができることを特徴とする記録媒体。
【請求項９】
前記記述子付加部が、獲得記述子、表現記述子、ディスプレイ記述子などの特定の組み合わせで定義される統合記述子の存在を確認する第５機能と、
前記第５機能での確認結果によって、前記記述子付加部が統合記述子データベースから統合記述子を読み込み前記３次元画像情報に付加する第６機能と
をさらに実現させるためのプログラムを記録したコンピュータで読むことができることを特徴とする請求項８に記載の記録媒体。
【請求項１０】
３次元画像情報検索装置において、
ユーザから各ステップ別に３次元画像情報の特性に対する情報を受け取るための入力手段と、
各ステップ別に３次元画像情報の特性による記述子が格納されている記述子データベースと、
前記入力手段を通して受け取った情報に対応する記述子を、前記記述子データベースから抽出するための記述子抽出手段と、
前記記述子抽出手段から抽出した記述子を、３次元画像情報データベースに格納されている３次元画像情報の記述子などと比較して一致する３次元画像情報を検索するための記述子比較手段と、
前記記述子比較手段によって検索された３次元画像情報を、ユーザに表出する出力手段と
を含むことを特徴とする３次元画像情報検索装置。
【請求項１１】
前記記述子抽出手段が、前記入力手段を通して受け取った情報によって、３次元画像情報の獲得ステップを記述する獲得記述子、３次元画像情報の表現ステップを記述する表現記述子、３次元画像情報のディスプレイステップを記述するディスプレイ記述子のような個別記述子を前記記述子データベースから抽出するための個別記述子抽出器を含むことを特徴とする請求項１０に記載の３次元画像情報検索装置。
【請求項１２】
前記記述子データベースが、３次元画像情報を獲得するステップを記述する獲得記述子、３次元画像情報を表現するステップを記述する表現記述子、及び３次元画像情報をディスプレイするステップを記述するディスプレイ記述子を格納している個別記述子データベースを含むことを特徴とする請求項１１に記載の３次元画像情報検索装置。
【請求項１３】
前記記述子データベースが、
前記獲得記述子、前記表現記述子、前記ディスプレイ記述子などの特定の組み合わせで定義される統合記述子が格納されている統合記述子データベースをさらに含み、
前記記述子抽出手段が、
前記入力手段を通して受け取った情報に対応する統合記述子を、前記統合記述子データベースから抽出するための統合記述子抽出器と
をさらに含むことを特徴とする請求項１２に記載の３次元画像情報検索装置。
【請求項１４】
３次元画像情報検索方法において、
ユーザから検索しようとする３次元画像情報の各ステップ別の特性に対する情報を受け取る第１ステップと、
記述子抽出部が、３次元画像情報の各ステップ別の特性による記述子が格納されている記述子データベースから前記受け取った情報に対応する記述子を抽出する第２ステップと、
記述子比較部が、前記抽出した記述子を３次元画像情報データベースに格納されている３次元画像情報記述子などと比較して一致する３次元画像情報を検索する第３ステップと、
出力部が、前記記述子比較部によって検索された３次元画像情報を出力する第４ステップと
を含むことを特徴とする３次元画像情報検索方法。
【請求項１５】
前記第１ステップが、
ユーザから３次元画像情報の獲得ステップ、表現ステップ、ディスプレイステップの特性を受け取って、
前記第２ステップが、
記述子抽出部が獲得ステップを記述する獲得記述子、表現ステップを記述する表現記述子、ディスプレイステップを記述するディスプレイ記述子が格納されている前記記述子データベースから前記受け取った情報に対応する記述子を抽出することを特徴とする請求項１４に記載の３次元画像情報検索方法。
【請求項１６】
前記記述子抽出部が、
獲得記述子、表現記述子、ディスプレイ記述子などの特定の組み合わせで定義される統合記述子の存在を確認する第５ステップと、
前記第５ステップの確認結果によって、前記記述子抽出部が統合記述子データベースから前記統合記述子を抽出する第６ステップと
をさらに含むことを特徴とする請求項１５に記載の３次元画像情報検索方法。
【請求項１７】
プロセッサを備えた３次元画像情報検索装置に、
ユーザから検索しようとする３次元画像情報の各ステップ別の特性に対する情報を受け取る第１機能と、
記述子抽出部が、３次元画像情報の各ステップ別の特性による記述子が格納されている記述子データベースから前記受け取った情報に対応する記述子を抽出する第２機能と、
記述子比較部が、前記抽出した記述子を３次元画像情報データベースに格納されている３次元画像情報記述子などと比較して一致する３次元画像情報を検索する第３機能と、
出力部が、前記記述子比較部によって検索された３次元画像情報を出力する第４機能と
を実現させるためのプログラムを記録したコンピュータで読むことができることを特徴とする記録媒体。
【請求項１８】
をさらに実現させるためのプログラムを記録したコンピュータで読むことができることを特徴とする請求項１７に記載の記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元画像情報記述装置と検索装置及びその方法と、前記方法を実現させるためのプログラムを記録したコンピュータで読むことができる記録媒体に関し、さらに詳細には、３次元画像情報の獲得、表現及びディスプレイステップに対する記述子を用いて３次元画像情報を記述し、前記記述子を用いて３次元画像情報をさらに迅速で正確に検索できるようにする、３次元画像情報記述装置とその方法及びこれを利用した３次元画像情報検索装置及びその方法と、前記方法を実現させるためのプログラムを記録したコンピュータで読むことができる記録媒体に関する。
【背景技術】
【０００２】
既存の３次元画像技術及び検索に関連した特許は、先出願された特許文献１は、検索時に用いられる外形（Shape）記述を用いて、イメージ状態のオブジェクトを検索するための方法及び装置に関するものであり、ビデオイメージに現れるオブジェクトは、３次元または実際オブジェクトを２次元イメージ平面に投射したものであるという概念に着眼した。
【０００３】
イメージとして示されるオブジェクトの２次元の外形、またはアウトラインはビューの位置、ビューの角度及びカメラと光システムパラメーターなどのような要因によって左右され、したがって、オブジェクトは相違したビューと関連した相違したアウトラインを有するようになることを記述子として活用する。ユーザは、イメージ検索システムで検索を行うために検索しようとするオブジェクトのイメージを、検索システムに提供することによって、またはシステムに格納されているオブジェクトのビューを選択することによって質問を入力する。
【０００４】
すると、システムは、質問オブジェクトに対する表現を導出し、データベースに格納されているイメージ表現と質問による表現とを比較し、最も近接するようにマッチングされるオブジェクトを表出する。前記特許は、ＣＧ（Computer Graphics）で製作されるか、または複数の時点のデータを有した実体調査の３次元画像をオブジェクトとして分離した後の記述及び検索ステップに該当するため、特定応用分野で本発明の下部構造として用いることができる。
【０００５】
また、関連した従来の技術である特許文献２は、色の特徴及び質感の特徴を適切に組み合わせすることで、画像を検索する方法を提案する。画像に抽出された色と質の感触の特徴を利用し、これらの情報を同時に組み合わせすることによって、さらに視覚的な感覚に適合した検索結果を得ることができる。領域別の検索にした画像にある多くのオブジェクトと情報とを少ない計算によって精密に検索できる。この韓国特許は、画像分類の基準として、色の特徴及び質感の特徴を利用した画像検索に関連したもので、２次元画像の分類、記述及び検索に制限する。したがって、本発明で検索された各３次元画像の細部検索のための下部構造として用いることができる。
【０００６】
もう１つの従来の技術として、特許文献３は、ビデオシーケンスのための記述子及びその記述子を用いる画像検索システムを開示する。この特許は、ビデオインデクシング観点から、ビデオ場面での任意のシーケンスのフレーム内のカメラまたは観察者、観察装置の動作などの表現を記述子とする。すなわち、固定、パンニング、トラッキング、ティルティング、ブーミング、ズーミング、ドールリング及びローリング、または前記動作形式のそれぞれは、２つの異なる方向を示す２つの成分に分割され、方向付けられ、前記値が変位の予め定義された大きさに対応するヒストグラムにより表現される。しかし、この特許は、特許文献４と同じの２次元画像のビデオ特性を基盤にした記述及び検索方法である。
【０００７】
２次元画像は、一般的にカラーフォーマットと画面の比率、大きさの基準に分類され、符号化された後には、符号化方法を基準に記述される。現在、ＭＰＥＧ（Motion Picture Experts Group）、ＪＰＥＧ（Joint Photographics Experts Group）などの画像標準化委員会では、画像のカラーフォーマットと画面の比率、大きさとを基準とし、形状とレベルとを分類して各応用分野に適合したものを選択するようにしている。
【０００８】
【特許文献１】国際特許公開番号第ＷＯ００／６７１５１号公報
【特許文献２】国内特許公開番号第１０−２００２−００５９９５１号公報
【特許文献３】国際特許公開番号第ＷＯ００／４６６９５号公報
【特許文献４】国内特許公開番号第１０−２００１−０００１１３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかし、３次元画像は、既存の２次元画像及びＣＧの概念に複数の時点、あるいは、空間の概念が追加されたものであり、時点が追加された３次元画像は、立体効果を与えるステレオスコピック画像と連続した時点の画像をモザイクしたパノラマ画像などを提供し、空間が追加された３次元画像は、同じ時間での様々な角度に対する場面を提供する。
【００１０】
すなわち、２次元画像に追加された概念がどのようなものなのか、どのように処理されてディスプレイされるかによって、３次元画像は、多様な形態で提供される。したがって、各応用分野で実効性のある３次元画像を検索し、各応用分野及びディスプレイ装置に適合するように変換、交換するために、３次元画像の体系的な記述方法とこれを基礎にした検索方法とが必須である。
【００１１】
しかし、前記のように、現在画像分類とこれによる記述及び検索方法は、２次元画像に限定されて使われており、３次元画像情報を分類するための実効性のある分類構造と、これを記述する記述子に対しては、まだ提案された技術がない状態である。
【００１２】
本発明は、上述した従来の技術の問題点を解決するためになされたものであって、その目的とするところは、獲得、表現、ディスプレイステップの多様性によって散在している３次元画像を体系的に分類し、これを記述する３次元画像情報記述装置及びその方法と、前記方法を実現させるためのプログラムを記録したコンピュータで読むことができる記録媒体を提供することにある。
【００１３】
また、本発明は、各応用分野及びディスプレイ装置に適合した３次元画像を早く検索できるようにするために、ユーザ要求に符合するようにデータを変換、交換するための体系的な３次元画像情報検索装置及びその方法と、前記方法を実現させるためのプログラムを記録したコンピュータで読むことができる記録媒体を提供することにある。
【課題を解決するための手段】
【００１４】
前記目的を達成するための本発明の装置は、３次元画像情報記述装置において、各ステップ別に３次元画像情報の特性を記述するための記述子が格納されている記述子データベースと、外部から入力された３次元画像情報の各ステップ別の特性を記述できる記述子を、前記記述子データベースから読み込み、前記３次元画像情報に付加するための記述子付加手段と、前記記述子付加手段によって、記述子が付加された３次元画像情報を、外部の３次元画像データベースに登録するための登録手段とを含む。
【００１５】
また、本発明の方法は、３次元画像情報記述方法において、記述子付加部が各ステップ別に３次元画像情報の特性を認識する第１ステップと、前記記述子付加部が前記認識結果によって、各ステップ別に３次元画像情報の特性を記述するための記述子を記述子データベースから読み込む第２ステップと、前記記述子付加部が前記３次元画像情報に前記読み込んだ記述子を付加する第３ステップと、記述子登録部が前記記述子が付加された３次元画像情報を３次元画像データベースに登録する第４ステップとを含む。
【００１６】
また、本発明は、プロセッサを備えた３次元画像情報記述装置に、記述子付加部が各ステップ別に３次元画像情報の特性を認識する第１機能と、前記記述子付加部が前記認識結果によって、各ステップ別に３次元画像情報の特性を記述するための記述子を記述子データベースから読み込む第２機能と、前記記述子付加部が前記３次元画像情報に前記読み込んだ記述子を付加する第３機能と、記述子登録部が前記記述子が付加された３次元画像情報を３次元画像データベースに登録する第４機能とを実現させるためのプログラムを記録したコンピュータで読むことができる記録媒体を提供する。
【００１７】
一方、前記他の目的を達成するための本発明の装置は、３次元画像情報検索装置において、ユーザから各ステップ別に３次元画像情報の特性に対する情報を受け取るための入力手段と、各ステップ別に３次元画像情報の特性による記述子が格納されている記述子データベースと、前記入力手段を通して受け取った情報に対応する記述子を、前記記述子データベースから抽出するための記述子抽出手段と、前記記述子抽出手段から抽出した記述子を、３次元画像情報データベースに格納されている３次元画像情報の記述子などと比較して一致する３次元画像情報を検索するための記述子比較手段と、前記記述子比較手段によって検索された３次元画像情報を、ユーザに表出する出力手段とを含む。
【００１８】
また、本発明の方法は、３次元画像情報検索方法において、ユーザから検索しようとする３次元画像情報の各ステップ別の特性に対する情報を受け取る第１ステップと、記述子抽出部が、３次元画像情報の各ステップ別の特性による記述子が格納されている記述子データベースから前記受け取った情報に対応する記述子を抽出する第２ステップと、記述子比較部が、前記抽出した記述子を３次元画像情報データベースに格納されている３次元画像情報記述子などと比較して一致する３次元画像情報を検索する第３ステップと、出力部が、前記記述子比較部によって検索された３次元画像情報を出力する第４ステップとを含む。
【００１９】
また、本発明は、プロセッサを備えた３次元画像情報検索装置に、ユーザから検索しようとする３次元画像情報の各ステップ別の特性に対する情報を受け取る第１機能と、記述子抽出部が、３次元画像情報の各ステップ別の特性による記述子が格納されている記述子データベースから前記受け取った情報に対応する記述子を抽出する第２機能と、記述子比較部が、前記抽出した記述子を３次元画像情報データベースに格納されている３次元画像情報記述子などと比較して一致する３次元画像情報を検索する第３機能と、出力部が、前記記述子比較部によって検索された３次元画像情報を出力する第４機能とを実現させるためのプログラムを記録したコンピュータで読むことができる記録媒体を提供する。
【発明の効果】
【００２０】
前記のような本発明は、獲得、表現、ディスプレイステップの多様性によって、散在している３次元画像を体系的に分類してこれを記述し、ユーザの要求に符合するようにデータを変換、交換することによって、各応用分野及びディスプレイ装置に適合した３次元画像情報を迅速で正確に検索できるという優れた効果が得られる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明のもっとも好ましい実施の形態を添付する図面を参照して説明する。
【００２２】
まず、３次元画像を符号化するためには、多様な形態で獲得されて記録された３次元画像を符号化部に入力できるように適切な形態に変換するための表現アルゴリズムを適用しなければならない。例えば、３次元画像を既存の２次元画像符号化方法で圧縮する場合、ステレオカメラで獲得されて既存の２次元画像表現方法で格納された左右画像は、符号化部で複数入力されることができるように拡張すると、獲得画像に対して特別な形態の変換過程無しで用いることができる。
【００２３】
しかし、全方位カメラ（Omni-directional Camera）で獲得され、ＩＢＲ（Image-Based Rendering）表現方法で格納された３次元画像は、既存の２次元画像と幾何学的に相異なった構造を有するため、同じ幾何学的構造を有するように変換し、符号化部に入力しなければならない。
【００２４】
また、データベースに格納され、ネットワーク上で交換される３次元画像を獲得ステップの分類項で検索するか、またはＵＭＡ（Urgency Mobile Aid）する場合に、獲得後、表現された方法がユーザが保有した符号化部の入力端に適合しない場合、不必要な画像データとなる。したがって、３次元画像を加工して特定応用分野に活用しようとする場合には、表現方式を基準にした分類が必須である。したがって、表現ステップでの表現方式を、３次元画像の分類基準として用いなければならない。
【００２５】
３次元画像をディスプレイするステップでは、その応用分野によって多様なディスプレイ装置が使われ、代表的な２次元（またはモノスコピック）ディスプレイ装置とステレオディスプレイ装置とに分類され得る。これは、３次元画像の獲得及び表現方法において、獲得ステップで深さの情報を提供できるカメラで獲得された場合に立体感を提供する。また、格納された３次元画像自体は、２次元に適合した形態であってもステレオへの変換を支援する表現方式が使われた場合には、立体ディスプレイ装置に使われ得る。
【００２６】
したがって、ステレオディスプレイ装置を保有した任意のユーザは、ステレオディスプレイ装置に適合した３次元画像を検索するために獲得部の分類と表現部の分類事項とを参照しなければならない。しかし、３次元画像の獲得と表現方法での多様性とを考慮してみる時、ユーザがステレオディスプレイ装置に適合した全ての組み合わせ方式を探し出すことは、長時間かかる非効率的な作業であり、その検索に習熟しないユーザの場合には、検索の正確度も保障することができない。したがって、ステレオディスプレイ装置と２次元ディスプレイ装置との分類を３次元画像分類に含めてこそ、実際に３次元画像検索と活用に習熟しないユーザであっても、ディスプレイ装置に適合した画像を検索して鑑賞できる。
【００２７】
本発明では、それぞれの応用分野によって、多様な形態で用いられる３次元画像を分類するにおいて、画像情報の処理過程によって獲得ステップ、表現ステップ、ディスプレイステップに区分して個別記述子を用いる一方、使用頻度が高い記述子組み合わせがある場合には、その組み合わせを１つの新しい記述子で定義して統合記述子を用いるようになる。
【００２８】
３次元画像は、様々な時点で獲得される動画に対して多様なビデオ処理方法を利用してユーザに多視点の画像、または立体的な画像を提供し、現在、スポーツ中継、広告、教育、医療などの様々な分野で３次元画像が応用されている。このように応用分野によって、多様な形態の３次元画像が紹介されているが、本発明での３次元画像は次のような意味の画像を含む。
【００２９】
１．１つの場面が広い視野を含む画像
２．複数個の視点画像を有する多視点画像
３．立体効果を与えるステレオ画像
本発明で定義している３次元画像情報は、２次元画像及びＣＧが表現できない複数の視点と、立体効果などを表現する全てのデータ形態を含んでいる。
【００３０】
図１は、本発明が適用される３次元画像情報処理システムの一実施の形態の構成図である。図１に示しているように、３次元画像情報処理システムは、獲得部１１、表現部１２、送受信部１３、及びディスプレイ部１４を含む。
【００３１】
前記獲得部１１は、多様な形態の３次元画像情報を獲得する部分で、表現部１２は、符号化部１３１、またはディスプレイ部１４で処理するのに適合した形態で３次元画像情報を加工する部分である。一方、送受信部１３は、表現部１２で加工された画像情報をユーザ側に伝送するために、送信及び受信する部分であり、ディスプレイ部１４は、画像情報に係る画像を最終的にユーザに表出する部分である。
【００３２】
したがって、３次元画像情報が任意の網を通してユーザに提供されている場合には、次のような過程を経る。すなわち、表現部１２から出力された画像情報を符号化部１３１で圧縮し、送信部１３２を通して伝送し、受信部１３３で前記伝送された画像情報を受けて復号化部１３４で復号化してディスプレイ部１４に入力し、ディスプレイ部１４は、これを最終的にユーザに表出するようになる。
【００３３】
前記のように、３次元画像情報は、全ての応用分野から共通の獲得部、表現部、ディスプレイ部を経るようになる。したがって、画像情報処理ステップによって適合した記述子を用いて、３次元画像を分類すると、これを通して迅速で正確に必要な３次元画像情報を検索できるようになる。
【００３４】
前記のように、３次元画像情報を分類して記述する場合、３次元画像情報記述子は、獲得部記述子、表現部記述子、ディスプレイ部記述子の組み合わせでなされ得る。
【００３５】
図２は、本発明に係る３次元画像情報の獲得ステップにおける分類を示す例示図である。
【００３６】
図２に示しているように、獲得ステップの細部記述項は、全方位カメラ（Omni-directional Camera）、深さ抽出カメラ、ステレオスコピック単一視点カメラ、ステレオスコピック複数視点カメラ及びモノスコピック複数視点カメラなどに分類できる。
【００３７】
図３は、本発明に係る３次元画像情報の表現ステップにおける分類を示す例示図である。
【００３８】
図３に示しているように、３次元画像の表現ステップは、非処理画像と処理画像とに分類して記述できる。すなわち、３次元画像獲得に用いられるカメラの中には、全方位カメラ（Omni-directional Camera）などの場合のように、ＭＰＥＧ、ＪＰＥＧなどの標準符号化道具に適合しない形態の画像情報で表現する場合が存在する。
【００３９】
このような場合、ユーザが保有した符号化部に、前記画像情報を用いるためには、別途の処理過程が必須であるため、符号化部に前記画像情報を入力する前に別途の処理過程を経た３次元画像情報が存在する。したがって、カメラ出力後、別途の処理過程を経た処理画像とカメラ出力状態とがそのまま表現される非処理画像で記述できる。また、処理画像の場合には、３次元画像処理に用いられた方法を記述子で用いると、検索された３次元画像の表現方法を変換するか、また逆変換するのに有用に用いられる。
【００４０】
図４は、本発明に係る３次元画像情報のディスプレイステップにおける分類を示す例示図である。一般的に、ステレオディスプレイ装置に適合するように獲得されて表現された３次元画像情報は、モノスコピックディスプレイ装置との互換が容易であるが、モノスコピックディスプレイに適合するように獲得されて表現された３次元画像をステレオディスプレイ装置で表出するためには別途の処理方法が必要である。
【００４１】
したがって、図４に示しているように、ディスプレイ記述子としてモノスコピックディスプレイ装置とステレオディスプレイ装置とを表現するための記述子を用いることができる。この時、モノスコピックディスプレイは、平面（planar）ディスプレイと非平面（non-planar）ディスプレイなどに区分でき、それによる記述子で表現できる。一方、ステレオスコピックディスプレイは、シングルステレオスコピックディスプレイと自動ステレオスコピックディスプレイとに区分でき、これによって記述子で表現できる。
【００４２】
図５は、本発明に係る３次元画像情報記述装置の一実施の形態の構成図である。図５に示しているように、本発明に係る３次元画像情報記述装置は記述子データベース５３、記述子付加部５２、及び記述子登録部５４を含む。
【００４３】
前記データベース５３は、３次元画像情報を獲得記述子、表現記述子、ディスプレイ記述子で表現するために、前記記述子を格納する。前記記述子付加部５２は、前記記述子データベース５３から３次元画像情報の獲得ステップ、表現ステップ、ディスプレイステップの特性を記述できる記述子を読み込み、３次元画像情報に付加する。前記記述子登録部５４は、前記記述子付加部５２で記述子が付加された３次元画像情報を、３次元画像データベース５５に登録する。
【００４４】
前記記述子付加部５２は、３次元画像情報の獲得ステップを記述する獲得記述子５３３を前記記述子データベース５３から読み込み、前記３次元画像情報に付加する獲得記述子付加器５２１、３次元画像情報の表現ステップを記述する表現記述子５３４を前記記述子データベース５３から読み込み、前記３次元画像情報に付加する表現記述子付加器５２２及び３次元画像情報のディスプレイステップを記述するディスプレイ記述子５３５を前記記述子データベース５３から読み込み、前記３次元画像情報に付加するディスプレイ記述子付加器５２３を含む。
【００４５】
そして、前記記述子付加部５２は、統合記述子データベース５３２から統合記述子を読み込み前記３次元画像情報に付加するための統合記述子付加器５２４をさらに含む。また、前記記述子データベース５３は、３次元画像情報を獲得するステップを記述する獲得記述子５３３、３次元画像情報を表現するステップを記述する表現記述子５３４、及び３次元画像情報をディスプレイするステップを記述するディスプレイ記述子５３５を格納している個別記述子データベース５３１を含む。
【００４６】
そして、前記記述子データベース５３は、獲得記述子５３３、表現記述子５３４、ディスプレイ記述子５３５などの特定の組み合わせで定義される統合記述子が格納されている統合記述子データベース５３２をさらに含む。
【００４７】
例えば、３次元画像情報が全方位カメラ（Omni-directional Camera）で獲得されてＬＦＭ（Light Fields Mapping）で表現され、モノスコピックパノラマ方式でディスプレイされる場合に、全方位カメラは、獲得部に該当する装置であるため獲得記述子５３３で、ＬＦＭは、表現部に該当する方法であるため表現記述子５３４で、モノスコピックパノラマ方式は、ディスプレイ部に用いられる方法であるためディスプレイ記述子５３５で記述されて３次元画像情報に付加される。
【００４８】
前記記述子付加部５２は、前記のように３次元画像情報が獲得されて表現され、ディスプレイされる各ステップの類型によって記述子データベース５３から個別記述子、または統合記述子を呼び入れ、これによって３次元画像情報にそれぞれ必要な記述子を付加する。
【００４９】
前記記述子データベース５３内には個別記述子と統合記述子とが格納されている。個別記述子データベース５３１内には獲得部、表現部、ディスプレイ部によって、それぞれ付与される獲得記述子５３３、表現記述子５３４、ディスプレイ記述子５３５が格納されている。
【００５０】
前記記述子付加部５２は、記述子データベース５３から適合した記述子を呼び入れ、記述しようとする３次元画像情報に適合した記述子を付加するようになる。この時、画像情報の製作、または配布時に入力した特徴を用いて該当する記述子を付加するようになるが、製作者が直接記述子データベース５３内に既に定義されている記述子を参考にして入力する方法も可能である。
【００５１】
一方、抽出された３つの記述子の組み合わせに対して記述子データベース５３に予め定義される統合記述子を定義して置くことができ、３次元画像情報が、統合記述子の定義に符合する場合、統合記述子付加器５２４は、統合記述子データベース５３２で統合記述子を呼び入れ、前記３次元画像情報に統合記述子を付加するようになる。しかし、予め定義される統合記述子が存在しない場合には、統合記述子付加の過程は省略できる。
【００５２】
前記のような過程によって、３次元画像情報に適切な記述子を付加すると、記述子が付加された前記３次元画像情報は、３次元画像情報記述装置内に存在する記述子登録部５４によって３次元画像情報データベース５５に登録される。
【００５３】
図６は、本発明に係る３次元画像情報記述方法の一実施の形態のフローチャートである。
【００５４】
図６に示しているように、まず記述子付加部５２が、３次元画像情報に予め製作者が記述子を付加したか判断して（Ｓ６１）、既に記述子が付加された３次元画像情報である場合には、記述子登録部５４を通して直接３次元画像情報データベース５５に登録する（Ｓ６６）。
【００５５】
しかし、記述子が付加されない３次元画像情報である場合には、その特徴に合う記述子を付加するために記述子付加器５２が記述子を付加しようとする３次元画像の特徴を把握する（Ｓ６２）。
【００５６】
次いで、前記記述子を付加しようとする３次元画像に符合する統合記述子があるのかをまず判断する（Ｓ６３）。そのような統合記述子が存在する場合には、３次元画像情報に前記統合記述子を付加して（Ｓ６４）、前記統合記述子が付加された３次元画像を３次元画像情報データベース５５に登録する（Ｓ６６）。そのような統合記述子が存在しない場合には、３次元画像情報の特徴と符合する個別記述子で３次元画像情報を記述し、３次元画像情報に前記個別記述子を付加する（Ｓ６５）。これを３次元画像情報データベース５５に登録する（Ｓ６６）。
【００５７】
図７は、本発明に係る３次元画像情報検索装置の一実施の形態の構成図である。
【００５８】
図７に示しているように、本発明に係る３次元画像情報検索装置は、入力部７１、記述子データベース５３、記述子抽出部７２、比較部７３、及び出力部７４を含む。前記入力部７１は３次元画像情報の獲得方法、表現方法、ディスプレイ方法などのような画像情報の特徴をユーザから受け取る。前記記述子データベース５３は、３次元画像情報の獲得記述子、表現記述子、ディスプレイ記述子など３次元画像情報を記述するための記述子を格納する。
【００５９】
前記比較部７３は、前記入力部７１から受け取った情報に対応する記述子を前記記述子データベース５３から抽出する。前記出力部７４は、前記記述子抽出部７２から抽出した記述子を３次元画像情報データベース５５に格納されている３次元画像情報の記述子などと比較し、一致する３次元画像情報を探し出すための記述子比較部７３、及び前記記述子比較部７３によって探し出した３次元画像情報をユーザに出力する。
【００６０】
ユーザは、入力部７１を通して提示される質問に対し、各ステップによって必要な３次元画像情報の種類を入力することによって、これを検索できる。例えば、画像情報の種類として獲得方法、表現方法、ディスプレイ方法に対する質問が提示されると、ユーザは、獲得方法は「全方位」、ディスプレイ方法は「パノラマ」のように必要な種類の画像情報を入力するようになる。この時、特定の質問に対する答を空欄で残し、その方法に対しては、一定の種類で規定せずに、全ての情報に対する検索を要請することもできる。
【００６１】
すると、記述子抽出部７２内部に存在する個別記述子抽出器７２１は、記述子データベース７５内部に存在する個別記述子データベース５３１から各質問の答に該当する個別記述子を抽出し出す。一方、前記質問に対する答が、統合記述子として定義されている場合には、記述子抽出部７２内部に存在する統合記述子抽出器７２２が、記述子データベース５３内部に存在する統合記述子データベース５３２から統合記述子を抽出し出す。ここで、統合記述子は、特定の個別記述子などの組み合わせで定義される記述子を意味する。
【００６２】
記述子比較部７３は、３次元画像データベース５５で保有している３次元画像の記述子と検索しようとする記述子とを相互に比較し、一致する３次元画像情報を検索する。このように探し出した３次元画像情報は、出力装置７４を通して出力される。
【００６３】
図８は、本発明に係る記述子組み合わせの一実施の形態の構造図である。ユーザは、入力部７１を通してユーザに提示される質問に対し、３次元画像情報の種類を獲得方法、表現方法、ディスプレイ方法に関する質問によって答を入力できる。そして、何れか１つの質問に対して答えなかったり、または、１つ以上の質問に対して答えず、空欄で空けて置くことができる。
【００６４】
例えば、図８に示しているように、ユーザが入力した答によって、獲得記述子Ｃ、表現記述子Ｃ、ディスプレイ記述子Ａが抽出され、記述子組み合わせで表現されることができる（Ｓ８１）。そして、ユーザが獲得方法とディスプレイ方法とに対して答えたが表現方法を答えない場合には、獲得記述子Ｃ、表現記述子無し、ディスプレイ記述子Ａで検索しようとする３次元画像情報を記述するようになる（Ｓ８２）。また、獲得方法にだけ答え、表現方法やディスプレイ方法に対しては答えない場合、獲得記述子Ｃだけ有して検索しようとする３次元画像情報を記述するようになる（Ｓ８３）。
【００６５】
このようにユーザが、何れか１つの質問に答えなかったり、または記述子抽出部７２が質疑に該当する記述子を記述子データベース５３から抽出できない場合には、そのステップに関連した全ての３次元画像情報を検索するようになる。
【００６６】
図９は、本発明に係る３次元画像情報検索方法の一実施の形態のフローチャートである。
【００６７】
図９に示しているように、ユーザが入力部７１を通して提示された質問に対して答えることによって、３次元画像情報の特性を入力すれば（Ｓ９１）、記述子抽出部７２は、入力された画像情報の特性に符合する統合記述子が存在するかを判断する（Ｓ９２）。
【００６８】
その結果によって、記述子抽出部７２は、該当統合記述子が存在する場合、記述子データベース５３内部に存在する統合記述子データベース５３２からユーザが入力した画像情報の特性に符合する統合記述子を抽出して（Ｓ９３）、該当統合記述子が存在しない場合には、記述子データベース５３内部に存在する個別記述子データベース５３１からユーザが入力した画像情報の特性に符合する個別記述子を抽出する（Ｓ９４）。
【００６９】
記述子比較部７３は、前記のように、抽出された記述子と３次元画像情報データベース５５内に存在する記述子とを比較し、ユーザが入力した特性に符合する３次元画像情報を検索し出す（Ｓ９５）。そして、このように検索された３次元画像情報は出力部７４を通してユーザに出力される（Ｓ９６）。
【００７０】
上述のように、本発明の方法は、プログラムで具現されてコンピュータで読むことができる形態で、記録媒体（ＣＤローム、ラム、ロム、フロッピーディスク、ハードディスク、光磁気ディスクなど）に格納され得る。このような過程は、本発明が属する技術分野で通常の知識を持つ者が容易に実施できるためこれ以上詳細に説明しないようにする。
【００７１】
尚、本発明は、上記した本実施の形態に限られるものではなく、本発明の技術的思想から逸脱しない範囲内で多様に変更が可能であり、それらも本発明の技術的範囲に属する。
【図面の簡単な説明】
【００７２】
【図１】本発明が適用される３次元画像情報処理システムの一実施の形態の構成図である。
【図２】本発明に係る３次元画像情報の獲得ステップを示す例示図である。
【図３】本発明に係る３次元画像情報の表現ステップを示す例示図である。
【図４】本発明に係る３次元画像情報のディスプレイステップを示す例示図である。
【図５】本発明に係る３次元画像情報記述装置の一実施の形態の構成図である。
【図６】本発明に係る３次元画像情報技術方法の一実施の形態のフローチャートである。
【図７】本発明に係る３次元画像情報検索装置の一実施の形態の構成図である。
【図８】本発明に係る記述子組み合わせの一実施の形態の構造図である。
【図９】本発明に係る３次元画像情報検索方法の一実施の形態のフローチャートである。
【図１】
2006512644.tif 000003
【図２】
2006512644.tif 000004
【図３】
2006512644.tif 000005
【図４】
2006512644.tif 000006
【図５】
2006512644.tif 000007
【図６】
2006512644.tif 000008
【図７】
2006512644.tif 000009
【図８】
2006512644.tif 000010
【図９】
2006512644.tif 000011
【誤訳訂正書】
【提出日】平成17年11月28日(2005.11.28)
【誤訳訂正１】
【訂正対象書類名】特許請求の範囲
【訂正対象項目名】請求項１８
【訂正方法】変更
【訂正の内容】
【請求項１８】
前記記述子抽出部が、
獲得記述子、表現記述子、ディスプレイ記述子などの特定の組み合わせで定義される統合記述子の存在を確認する第５機能と、
前記第５機能での確認結果によって、前記記述子抽出部が統合記述子データベースから前記統合記述子を抽出する第６機能と
をさらに実現させるためのプログラムを記録したコンピュータで読むことができることを特徴とする請求項１７に記載の記録媒体。
【国際調査報告】
2006512644.tif 000012
2006512644.tif 000013