(57)【要約】【課題】本発明はオブジェクトに対応する複数の異なる二次元ビューの表現を導出することを含む、ディジタル画像に現れるオブジェクトの表現方法を提供する。【解決手段】画像に相当する信号を処理することにより、画像に現れるオブジェクトを表現する方法であって、オブジェクトに相当する複数の異なる二次元視野の表現を導出する工程と、２つ以上の視野記述子を関連付けてオブジェクト記述子を形成する工程と、を備え、前記画像が画像シーケンスの一部であり、少なくとも１つのさらなる視野記述子が前記画像シーケンスのどこかに現れるオブジェクトの視野に相当する方法。【選択図】図１
2010055651.tif 000002
【特許請求の範囲】
【請求項１】
画像に相当する信号を処理することにより、画像に現れるオブジェクトを表現する方法であって、
オブジェクトに相当する複数の異なる二次元視野の表現を導出する工程と、
２つ以上の視野記述子を関連付けてオブジェクト記述子を形成する工程と、
を備え、
前記画像が画像シーケンスの一部であり、少なくとも１つのさらなる視野記述子が前記画像シーケンスのどこかに現れるオブジェクトの視野に相当する方法。
【請求項２】
表現がオブジェクトの輪郭のものである請求項１に記載の方法。
【請求項３】
オブジェクトの輪郭の表現が曲率スケール空間表現を用いて導出される請求項１に記載の方法。
【請求項４】
画像はビデオからの画像である請求項１から３までのいずれか１項に記載の方法。
【請求項５】
オブジェクトの形状およびサイズの少なくとも一方に関連しかつ画像内の前記オブジェクトの視野には関わりない前記オブジェクトの記述子を導出する工程をさらに備えた請求項１から４までのいずれか１項に記載の方法。
【請求項６】
検索目的のためにそれぞれの画像または該画像が一部をなす画像シーケンスに索引付けするために、画像内に現れるオブジェクトを表現する方法であって、
画像に相当する信号を処理することにより、異なる視野内のオブジェクトの複数の二次元視野に相当する複数の視野記述子を導出する工程と、
前記それぞれの画像または画像シーケンスに索引付けするために、前記視野記述子を関連付けしてオブジェクト記述子を形成する工程と、
を備え、
前記画像が画像シーケンスの一部であり、少なくとも１つのさらなる視野記述子が前記画像シーケンスのどこかに現れるオブジェクトの視野に相当する
方法。
【請求項７】
オブジェクトの形状およびサイズの少なくとも一方に関連しかつ画像内の前記オブジェクトの視野には関わりない記述子を導出する工程を備えた、静止画像またはビデオ画像内に現れるオブジェクトを表現する方法。
【請求項８】
前記視野には関わりない記述子は、オブジェクトの容積に相当する請求項５または７に記載の方法。
【請求項９】
画像に相当する信号を処理することにより、画像内のオブジェクトを検索する方法であって、
オブジェクトの少なくとも１つの二次元視野の形式の照会を入力する工程と、
前記照会されたオブジェクトの記述子を導出する工程と、
前記照会記述子と、請求項１ないし８のいずれか１項に記載の方法に従って導出された画像内のオブジェクトの記憶されたオブジェクト記述子とを比較し、前記それぞれの記述子と前記照会記述子との比較によって、照会されたオブジェクトと前記オブジェクトとの類似度が示されたオブジェクトを含む画像に対応する、少なくとも１つの結果を選択し、表示する工程と、
を備えた方法。
【請求項１０】
請求項１ないし６のいずれか１つに従属する、請求項９に記載の方法であって、照会内容はオブジェクトの２つ以上の二次元輪郭の形式で入力され、かつ照会視野記述子は各々の前記視野ごとに導出されると共に、前記比較工程が、各々の前記照会視野記述子と記憶された各々のオブジェクト記述子内の各々の視野記述子とを比較して、複数個の視野類似値を導出する工程を含む方法。
【請求項１１】
視野類似値を分析してオブジェクト類似値を導出する請求項９に記載の方法。
【請求項１２】
前記オブジェクト記述子の少なくとも幾つかは、請求項５、請求項７、または請求項８に記載の方法に従って導出された視野とは関わりない記述子を含み、また該視野とは関わりない照会値を入力する工程を備え、前記比較する工程が該照会値と前記記憶されたオブジェクト記述子のための前記ビューとは関わりない記述子とを比較する請求項９ないし１１のいずれか１項に記載の方法。
【請求項１３】
画像に相当する信号を処理することにより、画像に現れるオブジェクトを表現する装置であって、
オブジェクトに相当する複数の異なる二次元視野の表現を導出する手段と、
２つ以上の視野記述子を関連付けてオブジェクト記述子を形成する手段と、
を備え、
前記画像が画像シーケンスの一部であり、少なくとも１つのさらなる視野記述子が前記画像シーケンスのどこかに現れるオブジェクトの視野に相当する装置。
【請求項１４】
検索目的のためにそれぞれの画像または該画像が一部をなす画像シーケンスに索引付けするために、画像内に現れるオブジェクトを表現する装置であって、
画像に相当する信号を処理することにより、異なる視野内のオブジェクトの複数の二次元視野に相当する複数の視野記述子を導出する手段と、
前記それぞれの画像または画像シーケンスに索引付けするために、前記視野記述子を関連付けしてオブジェクト記述子を形成する手段と、
を備え、
前記画像が画像シーケンスの一部であり、少なくとも１つのさらなる視野記述子が前記画像シーケンスのどこかに現れるオブジェクトの視野に相当する装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に検索に使用される、形状を利用して画像内のオブジェクトを表現する方法と装置に関する。本発明はさらに、形状表現を利用して画像内のオブジェクトを検索する方法と装置に関する。
【背景技術】
【０００２】
例えば画像ライブラリで、画像内に現れるオブジェクトの表現を利用して静止画像またはビデオ画像を記憶することは公知である。このような表現は関心があるオブジェクトを含む画像を検索できるように、検索方法で利用される。これらの表現は色、質感(テクスチャ)および形状を含む様々な特徴に基づくものでよい。
【０００３】
画像内のオブジェクトの形状を表現するための様々な方法が公知である。公知の方法には、連鎖コーディング、クアドツリー(四分木：Quad-tree)方式、および曲率スケール空間表現方法が含まれる。
【０００４】
画像検索システムで画像の検索を行うには、ユーザは探しているオブジェクトのスケッチまたは画像を提示することによって、またはシステムに記憶されているオブジェクトのビューを選択することによってシステムへの照会内容を入力する。次にシステムは照会されたオブジェクトの表現を導出しまたは獲得し、適当な突合わせ方法を利用して、照会された表現と、データベースに記憶されている画像表現とを比較する。最も近く整合するオブジェクトの表現がディスプレイ・ユニットに表示される。
【０００５】
ほとんどの場合、ビデオ画像に現れるオブジェクトは三次元のリアルなオブジェクトの二次元画像面への投影である。このように、画像に現れるオブジェクトの二次元の形状もしくは輪郭は、目視の位置、視角およびカメラ、および光学系のパラメータのような要因によって左右される。従って、オブジェクトは異なるビューに関連する異なる輪郭を有している。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
公知のデータベース・システムの欠点は、異なる輪郭を有するオブジェクトの異なるビューが、異なるオブジェクトとして処理されることにある。その結果、例えばユーザがオブジェクトＡの正面ビューに基づいて照会内容を入力し、オブジェクトＡが背面ビューおよび側面ビューからのビデオ・シーケンスにだけ現れた場合、首尾よい整合結果が得られず、オブジェクトは検索されない。
【課題を解決するための手段】
【０００７】
本発明はオブジェクトに対応する複数の異なる二次元ビューの表現を導出することを含む、ディジタル画像に現れるオブジェクトの表現方法を提供するものである。
【０００８】
本発明はさらに、照会内容を入力し、かつオブジェクトの画像に対応する信号を処理することによって、最も類似して整合するオブジェクト(単数または複数)の表現を発見するために、照会内容と複数の異なるオブジェクトのビューの表現とを比較することを含む、オブジェクトの突合わせ方法を提供するものである。
【０００９】
本発明は画像に相当する信号を処理することにより、画像に現れるオブジェクトを表現する方法であって、オブジェクトに相当する複数の異なる二次元視野の表現を導出する工程と、２つ以上の視野記述子を関連付けてオブジェクト記述子を形成する工程と、を備え、前記画像が画像シーケンスの一部であり、少なくとも１つのさらなる視野記述子が前記画像シーケンスのどこかに現れるオブジェクトの視野に相当する方法等にある。
【発明の効果】
【００１０】
本発明はオブジェクトに対応する複数の異なる二次元ビューの表現を導出することを含む、ディジタル画像に現れるオブジェクトの表現方法を提供できる。
【００１１】
本発明はさらに、照会内容を入力し、かつオブジェクトの画像に対応する信号を処理することによって、最も類似して整合するオブジェクト(単数または複数)の表現を発見するために、照会内容と複数の異なるオブジェクトのビューの表現とを比較することを含む、オブジェクトの突合わせ方法を提供できる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態によるシステムのブロック図である。
【図２】オブジェクトのための記述子を得る方法を示す図である。
【図３】オブジェクトのための記述子を得る方法を示すフローチャートである。
【図４】検索のための装置と方法を示す図である。
【図５】検索方法を示すフローチャートである。
【発明を実施するための形態】
【００１３】
本発明の実施の形態を添付図面を参照して説明する。
【００１４】
本発明の実施の形態に基づくシステムを図１に示す。このシステムは、システムの動作を制御するコンピュータのような制御ユニット２と、該制御ユニット２に接続され画像およびテキストを含む出力を表示するためのモニタのようなディスプレイ・ユニット４と、制御ユニット２に命令を入力するためのマウスのようなポインタ６とを含んでいる。このシステムはさらに、ディジタル・バージョンの複数のビデオ・シーケンスを記憶する画像データベース８と、該画像データベース８に記憶されたビデオ・シーケンスの各々に現れるオブジェクトのための、後に詳述する記述子情報を記憶するための記述子データベース１０とを含んでいる。画像データベース８と記述子データベース１０とは各々、制御ユニット２に接続されている。
【００１５】
この実施の形態では、システムの各要素は画像ライブラリのような単一のサイト上に備えられ、システムの構成部品は常設的にリンクされている。
【００１６】
本発明の一実施の形態に基づく、オブジェクトのための記述子導出方法を図２および図３を参照して説明する。この方法を比較的単純な形状を有するオブジェクト、この場合は円筒形のオブジェクトについて説明する。
【００１７】
この例では、画像データベース８に記憶されているビデオ・シーケンスには、円筒形のオブジェクトは２回現れる。図２を参照すると、第１の出現では、オブジェクトの輪郭はビュー１、すなわち側面のビューに対応し、第２の出現では、オブジェクトの輪郭はビュー３、すなわち側方かつ上方(斜め上)からの透視のビューに対応する。
【００１８】
ここで、この方法のステップを図３に示したフローチャートを参照して説明する。
【００１９】
データベース・インデクサは２つの輪郭が同じオブジェクトのものであり、また、これらの輪郭に対応する三次元のオブジェクトが円筒であることを認識する(ステップ１０)。ビュー１およびビュー３のそれぞれについて、曲率スケール空間(ＣＳＳ)表現を利用した形状記述子が導出される(ステップ２０)。さらに、データベース・インデクサは、該オブジェクトを表すとみなされる別のビューを、それらが考慮中のビデオ・シーケンスに現れない場合でも、選択する(ステップ３０)。この例では、円筒の上方からのビューであるビュー２がオブジェクトを表現しているものとして選択される。このビューのＣＳＳ表現も取得される(ステップ４０)。
【００２０】
Farzin Mokhtarian、Sadegh AbbassiおよびJosef Kittlerによる論文「Robust and Efficient Shape Indexing through Curvature Scale Space」（Proc. British Machine Vision Conference, pp.53-62, Edinburgh, U.K.,1996）では、曲率スケール空間表現の方法を記載しており、本明細書で参考文献として参照される。簡略に述べると、ある形状の輪郭を表現する曲線は、曲線を平滑化することによって展開される。展開の多くの異なる段階でこの曲線が検討される。より具体的には、展開の各段階で、曲率ゼロ交叉が曲率関数において識別される。展開の全ての段階からのゼロ交叉を結合することにより曲率ゼロ交叉のグラフが得られる。グラフの１つの軸は、曲線の展開パラメータを表すσに対応し、また、他の軸は曲線円弧長パラメータｕに対応する。そしてグラフ中の輪郭の極大位置によって形状が表現される。
【００２１】
オブジェクトを表すビューのＣＳＳ形状表現に加え、オブジェクトのビューとは関係ないオブジェクトの大域的三次元形状パラメータが得られる(ステップ５０)。この例では、大域的パラメータはオブジェクトの実際の容積である。容積は既知である場合もあり、またはビデオ・シーケンスに現れる、寸法を近似計算できる人物のような別のオブジェクトを参考にして近似計算してもよい。
【００２２】
大域的パラメータおよびビュー形状記述子を組合せて、三次元オブジェクトの形状記述子が形成される(ステップ６０)。
【００２３】
三次元オブジェクトの形状記述子は、画像データベース８内の画像に現れる対象となる全てのオブジェクトについて上記の方法で得られる。何れかの所定のオブジェクトのビューの数、およびどのビューが用いられるかは、オブジェクトの複雑さによって左右される。例えば容積値が既知でないか、または容易には導出できない場合には、三次元オブジェクトの形状記述子に大域的パラメータがないオブジェクトもある。各々のビューはビデオ・シーケンスのどのフレームにオブジェクトが現れるか、およびそれがフレーム内のどのオブジェクトであるかを示す参照ポインタを有している。例えば、オブジェクトのビューはオブジェクトがフレーム１０００に現れ、それがオブジェクトＮｏ．３であることを示すポインタを有することがある。
【００２４】
別の形状表現方法を用いた別の実施の形態では、ビューの数と性質も、用いられる形状表現方法によって左右される。例えば、ビューイング・ジオメトリ(視幾何)における変化に起因する形状の変形に対して影響を受けにくい方法では、必要なビューの数は少なくなる。
【００２５】
記述子データベース１０は、画像データベース８に記憶されているビデオ・シーケンス中のオブジェクトのための三次元オブジェクトの形状記述子を記憶する。
【００２６】
ここで図４および図５を参照してビデオ・シーケンス中のオブジェクトの検索方法を説明する。
【００２７】
ユーザは照会内容(query)を入力することで検索を開始する。ポインタ６を使用して照会内容が入力されて、ディスプレイ・ユニット４上に単数または複数の形状輪郭が描かれる(ステップ６２)。この例では、照会される２つの輪郭１００が入力される。これらの輪郭が照会ビューである。ユーザはさらに、ユーザが検索しているオブジェクトの容積を表すパラメータを入力する(ステップ６４)。
【００２８】
次に制御ユニット２が各々の照会ビューごとにＣＳＳビュー記述子を導出する(ステップ６６)。
【００２９】
代替実施の形態では、ユーザは制御ユニット２によってディスプレイ・ユニット４に表示された形状のメニューから単数または複数の照会形状を選択することで照会内容を入力する。このような実施の形態では、ビュー記述子を記述子データベース１０で既に利用できる。
【００３０】
照会容積パラメータおよび照会ビュー・パラメータが組合わされて、照会される三次元オブジェクト記述子が形成される。
【００３１】
次にシステムは、照会オブジェクト記述子と、記述子データベース１０内に記憶されている、以後モデルオブジェクト記述子と記載されるオブジェクト記述子との類似性を判定するための突合わせ手順を実行する。一方、記述子データベース内の各々のモデルオブジェクト記述子はセレクタ２０５によって選択され(ステップ６８)、さらに各々のモデルオブジェクト記述子ごとに順番に、以下のステップが実行される。
【００３２】
最初に、照会オブジェクト記述子とモデルオブジェクト記述子の大域パラメータを用いて、比較器２００によって大域的な類似性測度ＧＳが得られる。この実施の形態では、ＧＳは照会容積パラメータと、データベースから取り出した記述子のモデル容積パラメータとの比率を測ることによって導出される。この比率が(１／ｃ、ｃ：但しｃ＞１)の区間にある場合は、オブジェクトは同類であると見なされ、ＧＳは０の値をとる。そうではない場合は、ＧＳは無限大の値をとる。ｃの値はアプリケーションによって左右される。例えば特作フィルム(feature film)の場合は、ｃ＝５である。
【００３３】
照会されるオブジェクト記述子とモデルオブジェクト記述子の少なくとも一方が大域パラメータ値を有していない場合は、ＧＳ＝０である。
【００３４】
ＧＳ≠０である場合は、記述子データベースから新たなモデルオブジェクト記述子が選択される。ＧＳ＝０である場合は、以下のようにビュー記述子の比較が行われる(ステップ７２)。
【００３５】
ビューの類似性測度を導出するために、突合わせ機能を利用して、各々の照会ビュー記述子と、検討中のモデルオブジェクト記述子のための各ビュー記述子とが比較器８１０で比較される(ステップ７４)。ｉ番目の照会ビュー記述子と、ｊ番目のモデルビュー記述子との比較によって、ビューの類似性測度Ｓi,jが得られる。
【００３６】
より詳細に説明すると、照会ビュー記述子はセレクタ６００を用いて選択され、またデータベースのビュー記述子はセレクタ７００を用いて選択される。最初に、第１の照会ビューのためのビュー記述子と、データベースからのモデルオブジェクト記述子内の各々のビュー記述子とが比較される。各々の対ごとに、適当な突合わせプログラムを利用してビューの類似性の値ｓが計算される。この実施の形態では、ビューの類似性値ｓは、前述のMokhtarian, AbbassiおよびKittlerの論文に記載されている突合わせアルゴリズムを用いて計算される。この特定の類似性の測定方式が用いられる場合は、ビューの類似性の値が小さいほど、整合の度合いは近くなる。それによって第１の照会ビューのｋ個のビュー類似性測度の集合が得られ、但しｋは検討中のモデルオブジェクト記述子内のビュー記述子の数であり、大域的、および局部的な類似性コンバイナ８２０にｋ個の測度が記憶される。
【００３７】
次に、第２の照会ビュー記述子と、データベースからのモデル・ビュー記述子について同様のビュー類似性の値が計算され、かつ記憶され、更にｋ個のビュー類似性測度が得られる。
【００３８】
各々の照会ビューについて、検討中のデータベース記述子の値のうち最小のビュー類似性値が選択される(ステップ７６)。この最小値はそれぞれの照会ビューと、検討中のオブジェクト記述子内のビューの１つとの最も近い(類似した)整合の測度である。その結果、ビュー類似性のｐ個の最小値が得られ、但しｐは照会ビューの数である。この例ではｐ＝２である。
【００３９】
照会記述子と、検討中のモデルオブジェクト記述子の全体的な類似性測度Ｓが、ｐ個の類似性の値の中央値として算出される(ステップ７８)。これは全てのビューを考慮に入れた、照会記述子とモデル記述子との整合の近さを表している。このように、１つの照会ビューがデータベース記述子内のビューと近く整合し、しかし、別の照会ビューがデータベース記述子内のどのビューとも近く整合しない場合には、それは中間値によってＳに反映される。
【００４０】
上記のステップは記述子データベース８内の各オブジェクト記述子ごとに繰り返され、その結果、ｎ個の類似性測度Ｓが得られ、但し、ｎは記述子データベース内の三次元オブジェクト記述子の数である(ステップ８０)。次に、ｎ個の類似性測度が、最も近い類似性を示す最小値から始まって順序付けされる(ステップ８２)。次に、ｍ個の最小値が選択され(ｍはユーザにより選択され、または制御ユニットのセットアップによって決定される)、オブジェクトを含む対応するｍ個のビデオ・シーケンスの各々からの画像がディスプレイ・ユニット４に表示される(ステップ８４)
【００４１】
本発明に基づき、輪郭形状の完璧な、または準完璧な記述を形成するために、単一のオブジェクトの複数のビューが記憶される。検索にとって重要であると見なされるビューだけが記憶された場合は、表現は準完璧なものとなろう。例えば、特作フィルムを記憶する標準的なデータベースの場合、車の前面、背面、側面、および上面のビューだけが統合された表現として記憶されるが、車の下からのビューは、これが照会の際に用いられることはなさそうなので、記憶されることはない。
【００４２】
本発明に基づくシステムは、例えば画像ライブラリに備えてもよい。あるいは、データベースをシステムの制御ユニットから離れたサイトに置き、電話回線のような一時的なリンクによって、またはインターネットのようなネットワークによって制御ユニットに接続されるようにしてもよい。画像および記述子データベースを例えば持久記憶装置、またはＣＤ−ＲＯＭまたはＤＶＤのような携帯式データ記憶装置に備えてもよい。
【００４３】
セレクタや比較器のような前述のシステムの構成部品はソフトウェアまたはハードウェアの形式のどちらで備えてもよい。本発明をコンピュータ・システムの形式で記載してきたが、例えば専用のチップを使用して他の形式で実施してもよい。
【００４４】
オブジェクトの二次元形状を表現する方法、および２つの形状の類似性を表す値を計算する方法の特定の実施の形態を記載してきたが、これに適したどのような方法も利用できる。
【００４５】
完璧な、または準完璧な形状の記述を構成するオブジェクトの様々なビューは、例えばフィルム・プロデューサによって供給されることができる。データベース内のフィルムを索引付け(indexing)するのに使用されるように、プロデューサは例えば、車を含むフィルムに、車の２０の異なるビューをアレンジできる。あるいは、ビューを発見できるように、シーケンス中のオブジェクトの異なるビューの全ての間をリンクさせてもよく、また、オブジェクトの第１のビューのデータが含まれる場合は、例えばシーケンス中に現れない何れかの有用なビューの形状を供給してもよい。
【００４６】
本発明を例えば、照合確認の目的でオブジェクトの画像を突合わせるために、またはフィルタリングのために利用することもできる。
【００４７】
本発明は単一の画像、またはフィルムまたはビデオからの画像のような画像シーケンス中の複数の画像、または同じウェブ・ページにあるような、何らかの関連がある画像のコレクションに適用できる。
【図１】
2010055651.tif 000003
【図２】
2010055651.tif 000004
【図３】
2010055651.tif 000005
【図４】
2010055651.tif 000006
【図５】
2010055651.tif 000007