(57)【要約】      （修正有）【課題】マルチメディア・データベースにおいて、特に探索に使用するための、画像に出現するオブジェクトを表現する方法を提供する。【解決手段】オブジェクトの複数のビュー記述子を導出し、各ビュー記述子はオブジェクトの異なるビューに対応し、それぞれのビューが画像に出現するオブジェクトのビューに対応する。各ビューの可視データが、使用可能であるとき、探索方法は、必要なときに、可視でないビューを有するオブジェクトをフィルタリングすることができる。【選択図】図３
2011028757.tif 000002
【特許請求の範囲】
【請求項１】
オブジェクトの複数のビュー記述子を導出することであって、各ビュー記述子が各ビューにおけるオブジェクトの色の表現でなること、
前記複数のビュー記述子を関連付けることにより、オブジェクト記述子を形成すること
を含む、画像に出現するオブジェクトを表現する方法において、
それぞれのビューが前記画像に出現する前記オブジェクトの前記ビューに対応するか否かを、各ビュー記述子に対して前記オブジェクト記述子内に示すことを含むことを特徴とする方法。
【請求項２】
前記それぞれのビューが前記画像に出現する前記オブジェクトのビューに対応するか否かを示すためにフラグを前記各ビュー記述子に関連付けることを含む、請求項１に記載の方法。
【請求項３】
前記それぞれのビューは、ビューのそれぞれの角度からの前記オブジェクトのビューである、請求項１または２に記載の方法。
【請求項４】
前記フラグは、前記ビューが前記画像に出現する前記オブジェクトのビューに対応する場合に第１の値であり、前記画像に出現しない前記オブジェクトのビューに対応する場合に第２の値である、請求項２に記載の方法。
【請求項５】
前記複数のビュー記述子は、前記画像内の前記オブジェクトの前記ビューの少なくとも１つの記述子と、前記画像内の前記オブジェクトのビューの角度とは異なるビューの角度からの前記オブジェクトのビューの少なくとも１つの記述子を含む、請求項１から４までのいずれか１項に記載の方法。
【請求項６】
前記それぞれのビューが前記画像に出現する前記オブジェクトのビューに対応するか否かを各ビューに対して前記オブジェクト記述子内に示すことを含む、請求項１から５までのいずれか１項に記載の方法。
【請求項７】
オブジェクトの複数のビュー記述子を導出することであって、各ビュー記述子が、前記オブジェクトの異なるビューに対応し、それぞれのビュー内の前記オブジェクトの色の表現でなること、
前記複数のビュー記述子を関連付けることにより、オブジェクト記述子を形成すること
を含む、画像のグループに出現するオブジェクトを表現する方法において、
それぞれのビューが前記画像のグループに出現する前記オブジェクトの前記ビューに対応するか否かを、各ビュー記述子に対して前記オブジェクト記述子内に示すことを含むことを特徴とする方法。
【請求項８】
前記それぞれのビューが前記画像のグループの少なくとも１つの画像に出現するか否かを示すためにフラグを前記各ビュー記述子に関連付けることを含む、請求項７に記載の方法。
【請求項９】
前記それぞれのビューは、ビューのそれぞれの角度からのオブジェクトのビューである、請求項７または８に記載の方法。
【請求項１０】
前記フラグは、前記ビューが前記画像に出現する前記オブジェクトのビューに対応する場合に第１の値であり、前記画像に出現しない前記オブジェクトのビューに対応する場合に第２の値である、請求項８に記載の方法。
【請求項１１】
前記複数のビュー記述子は、前記画像のグループ内の前記オブジェクトの前記ビューの少なくとも１つの記述子と、前記画像のグループ内の前記オブジェクトの１つのビューまたは複数のビューとは異なる前記オブジェクトのビューの少なくとも１つの記述子を含む、請求項７から１０までのいずれか１項に記載の方法。
【請求項１２】
前記画像のグループ内の各画像に対して、各ビュー記述子に対して、前記それぞれのビューが前記画像内に出現する前記オブジェクトのビューに対応するか否かを示すことを含む、請求項７から１０までのいずれか１項に記載の方法。
【請求項１３】
前記画像のグループは、画像のシーケンスである、請求項７から１２までのいずれか１項に記載の方法。
【請求項１４】
前記画像のシーケンスは、ビデオまたはフィルムからのものである、請求項１３に記載の方法。
【請求項１５】
色ビュー記述子は、曲率スケール空間表現を使用して導出される、請求項１から１４までのいずれか１項に記載の方法。
【請求項１６】
探索の目的で、画像または画像の集合に指標付けするためのものである、請求項１から１５までのいずれか１項に記載の方法。
【請求項１７】
前記オブジェクト記述子は、検索可能なオブジェクト記述子である、請求項１から１６までのいずれか１項に記載の方法。
【請求項１８】
請求項１から１７までのいずれか１項に記載の方法を実施するように適合された装置。
【請求項１９】
請求項１から１７までのいずれか１項に記載の方法のそれぞれを実施するための手段を備えた請求項１８に記載の装置。
【請求項２０】
制御手段と、画像および／または複数の画像の表現を格納するための記憶手段（８，１０）、例えば画像データベースおよび／または記述子データベースを備えた請求項１８または１９に記載の装置。
【請求項２１】
請求項１から１７までのいずれか１項に記載された方法を実施するためのコンピュータ実行可能プロセス・ステップを記憶するコンピュータで読み取り可能な記憶媒体。
【請求項２２】
請求項１００から２００までのいずれか１項に記載された方法を実施するためのコンピュータ実行可能プロセス・ステップを記憶するコンピュータで読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばマルチメディア・データベースにおいて、特に探索に使用するための、画像中のオブジェクトを表現する方法および装置に関する。また、本発明は、画像中のオブジェクトを探索する方法および装置に関する。
【背景技術】
【０００２】
画像に出現するオブジェクトの表現を使用して、静止画像またはビデオ画像を、例えば画像ライブラリに記憶することが知られている。表現は、注目のオブジェクトを含んでいる画像を取り出すことを可能にするために、探索方法において使用される。表現は、色、テクスチャ、および形状を含む、オブジェクトの様々な特徴に基づく可能性がある。
【０００３】
画像中のオブジェクトの形状を表現する様々な方法が、知られている。既知の方法には、チェーン符号化、四分木法、および曲率スケール空間表現方法が含まれる。
【０００４】
画像探索システムにおいて探索を実施するために、ユーザは、求めるオブジェクトのスケッチまたは画像をシステムに提示することによって、または、システム上に記憶されたオブジェクトのビューを選択することによって、クエリを入力する。次いで、システムは、クエリオブジェクトの表現を導出または獲得し、適切な整合方法を使用して、クエリ表現をデータベースに記憶された画像の表現と比較する。最も近い整合が、表示ユニット上に表示される。
【０００５】
ほとんどの場合、ビデオ画像に出現するオブジェクトは、３次元の実際のオブジェクトを２次元の像平面上に投影したものである。したがって、画像に出現する、オブジェクトの２次元の形状または輪郭と、可視であるオブジェクト表面の色およびテクスチャとは、視点位置、視角、カメラおよび光学システムのパラメータなどの要因に依存する。したがって、オブジェクトは、輪郭、形状、色、テクスチャなど、異なるビューに関連する異なる特徴を有することになる。
【０００６】
本出願人の同時係属中の特許出願であるＰＣＴ／ＧＢ００／０１６６２（特許文献１参照）は、その内容を参照により本明細書に組み込んでおり、複数の異なる２次元ビューのオブジェクトの表現を導出し、関連付けて、オブジェクト表現を形成する、画像に出現するオブジェクトを表現する方法および装置について開示している。表現は、オブジェクトの形状に関することが好ましいが、例えば、異なるビューの色またはテクスチャに関する可能性もある。
【０００７】
上述した方法を、静止画像または映画などの内部のオブジェクトに適用するとき、異なるビューに関連するオブジェクトの特徴を表現するため、画像に関連付けられたいくつかの形状または他の記述子が存在する。しかし、通常、これらのビューのいずれも、元の画像内で可視である。特徴のいくつかは、オブジェクトの可視でない部分に関連し、オブジェクトの３Ｄ特性を記述するためのみのものである可能性がある。
【０００８】
オブジェクトの複数のビューのどれが可視で、どれが可視でないかを決定することができない場合、探索方法は、指定のビューを正確に見つけることができない。例えば、側面ビューを使用して、自動車を描写している画像を探索すると、自動車の上面および前面のビューも見つけることになる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特表２００２−５４３５２６
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明の概念は、どの記述子が、その記述子が連結される画像または映画の内部の可視特徴に実際に関係するかを示す可視フラグを使用することである。
【課題を解決するための手段】
【００１１】
したがって、本発明は、画像に出現するオブジェクトを表現する方法を提供する。本方法は、オブジェクトの複数のビュー記述子を導出することを含み、各ビュー記述子は、オブジェクトの異なるビューに対応し、さらに、ビューが、画像に出現するオブジェクトのビューに対応するときに示すことを備える。
【００１２】
ＰＣＴ／ＧＢ００／０１６６２（特表２００２−５４３５２６）に開示された発明では、形状記述子は、１つのマルチメディアコンテントの内部に存在するオブジェクトに関連付けられる。そのような記述子は、異なるビューからオブジェクトの形状を記述した。これらのビューは、マルチメディア素材内で、可視または可視でないことがあり得る。可視フラグは、この可視情報を記憶する。
【発明の効果】
【００１３】
各ビューの可視データが、使用可能であるとき、探索方法は、必要なときに、可視でないビューを有するオブジェクトをフィルタリングすることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施の形態によるシステムのブロック図である。
【図２】ビデオ・シーケンス中のオブジェクトの表現を示す図である。
【図３】静止画像中のオブジェクトの表現を示す図である。
【図４】第１の探索方法の結果を示す図である。
【図５】第２の探索方法の結果を示す図である。
【発明を実施するための形態】
【００１５】
本発明の一実施の形態について、添付の図面を参照して説明する。
【００１６】
本発明の一実施の形態によるシステムを図１に示す。システムは、システムの動作を制御するコンピュータなどの制御ユニット２と、画像およびテキストを含む出力を表示する制御ユニット２に接続されたモニタなどの表示ユニット４と、制御ユニット２に命令を入力するマウスなどのポインティングデバイス６とを含む。また、システムは、複数の静止画像およびビデオ・シーケンスの形態の画像のグループのデジタル・バージョンを記憶する画像データベース８と、画像データベース８に記憶された静止画像およびビデオ・シーケンスのそれぞれに出現するオブジェクトに対し、以下でより詳細に説明する記述子の情報を記憶する記述子データベース１０とを含む。画像データベース８と記述子データベース１０のそれぞれは、制御ユニット２に接続される。
【００１７】
この実施の形態では、システムの要素は、画像ライブラリなど、システムの構成要素が永続的に連結される、単一のサイト上に提供される。
【００１８】
本発明の一実施の形態によるオブジェクトに対する記述子を導出する方法について、以下で説明する。まず、この場合は円柱状のオブジェクトである、比較的単純な形状を有するオブジェクトについて、方法を説明する。
【００１９】
この例では、画像データベース８に記憶されたビデオ・シーケンスに、円柱状のオブジェクトは、２度出現する。図２を参照すると、第１の出現では、オブジェクトの輪郭は、側方からのビューであるビュー１に対応し、第２の出現では、オブジェクトの輪郭は、側方かつ上方からの斜視ビューであるビュー３に対応する。
【００２０】
データベース・インデクサは、２つの輪郭が同じオブジェクトのものであり、かつ、それらの輪郭に対応する３次元のオブジェクトが円柱であることを認識する。ビュー１およびビュー３のそれぞれに対して、曲率スケール空間（ＣＳＳ）表現を使用する形状記述子が導出される。また、データベース・インデクサは、オブジェクトを表現していると見なされる追加のビューを、それらが考慮中のビデオ・シーケンスに出現しない場合でも、選択する。この例では、上方からの円柱のビューであるビュー２が、表現しているとして選択される。そのビューのＣＳＳ表現も、獲得される。
【００２１】
Farzin Mokhtarian、Sadegh AbbassiおよびJosef Kittlerによる論文「Robust and Efficient Shape Indexing through Curvature Scale Space」（Proc. British Machine Vision Conference, pp.53-62, Edinburgh, UK 1996）は、曲率スケール空間表現の方法について記載しており、これは、参照により、本明細書に組み込まれている。簡潔には、形状の輪郭を表現する曲線は、曲線を平滑化することによって展開される。曲線は、展開の多数の異なる段階において考察される。より具体的には、曲率ゼロの交差は、展開段階のそれぞれにおける曲率関数において識別される。曲率ゼロの交差のグラフが、展開の全段階からゼロの交差を組み合わせることによって獲得される。グラフの一方の軸は、曲線の展開パラメータを表すσに対応し、他方の軸は、曲線の弧の長さのパラメータｕに対応する。次いで、形状が、グラフの輪郭の極大点（maxima）の位置によって表現される。
【００２２】
各ビューに対し、適切なＣＳＳ表現を含むビュー記述子が形成される。ビュー記述子は、ＰＣＴ／ＧＢ００／０１６６２に記載されたグローバルパラメータ、または、対応する可視表面の色／テクスチャの特性など、他の情報を含む可能性がある。
【００２３】
ビュー形状記述子は、３Ｄオブジェクト形状記述子を形成するように、組み合わされる。さらに、所与のビューが、ビデオ・シーケンスの少なくとも１つのフレームにおいて、可視であるか否かを示す可視フラグが、オブジェクト記述子に関連付けられる。この例では、可視フラグは、各ビュー記述子の一部を形成する。したがって、ここでは、ビュー１とビュー３のそれぞれのビュー記述子は、そのビューがビデオのフレームにおいて可視であることを示す可視フラグ「１」を含み、ビュー２のビュー記述子は、そのビューがいずれのフレームにおいても可視でないことを示す可視フラグ「０」を有する。
【００２４】
３Ｄオブジェクト形状記述子が、画像データベース８の画像または画像のグループに出現する注目のすべてのオブジェクトに対して、上記の方式で獲得される。
【００２５】
他の例として、図３を参照すると、３つのビューが、写真に出現する自動車に対して導出される。ＣＳＳ表現を含んでいる対応するビュー記述子が、各ビューの自動車の輪郭に対して、上述したように獲得される。第１のビューは、写真のビューに対応し、したがって、関連するビュー記述子は、可視ビューを示す可視フラグ「１」を有する。他の２つのビューに対するビュー記述子は、それらが写真には示されていないビューに対応することを示す可視フラグ「０」を有する。この例では、可視フラグは、写真から輪郭を抽出するときに決定される。すなわち、形状が写真から直接抽出される場合、それには「１」の可視フラグが与えられるが、形状がインデクサによって選択される場合、それは「０」の可視フラグを有する。代替として、可視フラグは、検査によって、後に手作業で追加することができる。
【００２６】
また、各ビュー記述子は、どの画像、またはどのビデオ・シーケンスのどのフレームにそれが出現するかを示し、また、画像またはフレームのどのオブジェクトがそれであるかをも示す、参照ポインタを有する。例えば、オブジェクトのビューは、それが、ビデオ１８１のフレーム１０００に出現し、かつ、オブジェクト番号３であることを示すポインタを有する可能性がある。
【００２７】
記述子データベース１０は、画像データベース８に記憶された画像およびビデオ・シーケンスのオブジェクトに対する３Ｄオブジェクト形状記述子を記憶する。
【００２８】
上述した実施の形態では、ビデオ・シーケンスに出現するオブジェクトに対し、１組のビュー記述子が、シーケンス全体に対して導出され、このビュー記述子は、関連するビューが、シーケンスの少なくとも１つのフレームに出現するか否かを示すために使用される。代替実施の形態では、各フレームは、別々に処理される。より詳細には、１組のビュー記述子が、フレームに出現するオブジェクトに対して導出され、可視フラグは、関連するビューが、シーケンスの別のフレームに出現するか否かに関係なく、そのフレームに出現するか否かを示す。別の代替実施の形態では、１組のビュー記述子が、ビデオ・シーケンスに出現するオブジェクトに対して導出され、１組の対応する可視フラグが、各フレームに対して、導出され、記憶される。
【００２９】
可視フラグは、以下で説明するように、画像のオブジェクトを探索する方法において使用される。
【００３０】
ユーザは、クエリを入力することによって、探索を開始する。クエリは、ポインティングデバイス６を使用して、表示ユニット４上に１つまたは複数の形状の輪郭を描くことによって入力される。次いで、制御ユニット２は、そのクエリビューに対するＣＳＳビュー記述子を導出する。代替として、ユーザは、制御ユニット２によって表示ユニット４上に表示された形状のメニューから、１つまたは複数のクエリ形状を選択することによって、クエリを入力することが可能である。そのような場合、ビュー記述子は、記述子データベース１０において、すでに使用可能である可能性がある。また、ユーザは、ボックスをチェックすることによって、探索が、クエリビューと同じビューに限定されるべきであるか否かを示す。探索が、そのように限定されない場合、探索と整合の手続きが、クエリオブジェクト記述子と、これ以降モデルオブジェクト記述子と呼ぶ、記述子データベース１０に記憶されたオブジェクト記述子との類似性を判定することによって、本質的にＰＣＴ／ＧＢ００／０１６６２に記述されているように実施される。
【００３１】
簡潔には、ビュー類似性測度を導出すべく、整合関数を使用したコンパレータにおいて、各クエリビュー記述子は考慮中のモデルオブジェクト記述子に対する各モデル・ビュー記述子と比較される。ｉ番目のクエリビュー記述子とｊ番目のモデル・ビュー記述子の比較により、ビュー類似性測度ｓi、jが得られる。２つ以上のクエリビューが存在する場合は、ビュー類似性測度の中央値を、オブジェクト類似性測度Ｓとして取る。
【００３２】
整合手続きにより、ｎの類似性測度Ｓが得られる。ｎは、記述子データベースの３Ｄオブジェクト記述子の数である。次いで、ｎの類似性測度は、最も近い整合を示す最低値から開始して順序付けられる。次いで、ｍの最低値（ここで、ｍはユーザよって選択された値、または制御ユニットの設定によって決定された値である）が選択され、オブジェクトを含んでいる対応するｍの画像（そのいくつかは、ビデオ・シーケンスからの画像である可能性がある）が、表示ユニット４上に表示される。
【００３３】
探索が、クエリビューと同じであるビューに限定される場合、可視でないモデル・ビューは、探索プロセス中にフィルタリングにより除去される。これは、整合関数を使用して、クエリビュー記述子を、対応するビューが画像において可視であることを示すモデル・ビュー記述子とのみ整合することによって、行うことができる。すなわち、整合関数を使用して類似性測度を計算するとき、可視フラグ「０」を有するモデル・ビュー記述子は、省かれる。代替として、ビュー類似性測度は、すべてのモデル・ビュー記述子に対して計算することが可能であるが、可視フラグがゼロであるモデル・ビュー記述子に対する結果は、さらなる処理から省かれる。代替として、可視フラグは、表示する探索結果を選択するときに考慮することができる。整合手続きの結果を表示するとき、ビデオ・シーケンスの場合、整合されたビューを含んでいるフレームが表示される。
【００３４】
図４は、ＰＣＴ／ＧＢ００／０１６６２に開示された複数のビューを探索する方法が、クエリ項目と同じ形状であるが、同じビューではない結果を見つけ、それを返す方法の一例を示す。一方、図５は、ビュー記述子のそれぞれの内部にある可視フラグが、クエリ項目と同じ形状であり、かつ同じビューである結果を返す助けとなることができる方法を示す。
【００３５】
本発明によるシステムは、例えば、画像ライブラリにおいて提供することが可能である。代替として、データベースは、システムの制御ユニットから遠隔して配置し、電話線など一時的な連結によって、またはインターネットなどのネットワークによって、制御ユニットに接続することが可能である。画像および記述子データベースは、例えば、永続的な記憶装置において、または、ＣＤ−ＲＯＭあるいはＤＶＤなどの携帯型データ記憶媒体上に提供することが可能である。
【００３６】
セレクタおよびコンパレータなど、記述したシステムの構成要素は、ソフトウエアまたはハードウエアの形態で提供することが可能である。本発明をコンピュータ・システムの形態において説明してきたが、例えば専用チップを使用して、他の形態で実施することができる。
【００３７】
特定の例を、オブジェクトの２Ｄ形状を表現する方法と、２つの形状の類似性を表現する値を計算する方法とについて与えたが、任意の適切なそのような方法を使用することができる。
【００３８】
完全または準完全な形状記述を作成するオブジェクトの様々なビューは、例えば、フィルム・プロデューサによって提供することが可能である。例えば、自動車を含んでいるフィルムでは、プロデューサは、自動車の２０の異なるビューを撮影して、データベースのフィルムを指標付けすることに使用するように構成することが可能である。代替として、ビューを見つけることを可能にするように、シーケンスにおけるオブジェクトのすべての異なるビュー間を連結することが可能であり、また、シーケンスに出現していないあらゆる有用なビューに対する形状を、例えば、オブジェクトの第１のビューのデータが含まれているとき、提供することが可能である。
【００３９】
また、本発明は、例えば、確認の目的で、またはフィルタリングするために、オブジェクトの画像を整合することに使用することができる。
【００４０】
本発明は、単一の画像、および、フィルムまたはビデオからの画像など、画像シーケンスの画像、または、同じウエッブ・ページ上にあるような、何らかの方法で関連付けられる画像の集合に適用可能である。
【００４１】
上述した実施の形態では、ビュー記述子は、異なるビューのオブジェクトの形状から導出される。ビュー記述子は、形状からの代わりに、または形状からの他に、色またはテクスチャなど、オブジェクトの他の特徴から導出することができる。形状、色、テクスチャなど、オブジェクトの様々な特徴は、単独でまたは組み合わされて、ビュー記述子の基盤を形成することができ、ビュー記述子は、異なるビューの異なる特徴に基づくことができる。
【図１】
2011028757.tif 000003
【図２】
2011028757.tif 000004
【図３】
2011028757.tif 000005
【図４】
2011028757.tif 000006
【図５】
2011028757.tif 000007