(57)【要約】本発明は、ビデオ検索のための方法及び装置を提供する。方法は、検索されるべきビデオに関連したテキストクエリをユーザが入力するためのユーザインターフェースを提供するステップと、ビデオに関連した複数の画像を提供するようテキストクエリに基づきテキストベースの画像検索を実行するステップと、複数の画像からユーザによって選択された１つの画像に基づき例に基づくビデオ検索を実行するステップとを有する。
2016502194.tif 000002
【特許請求の範囲】
【請求項１】
検索されるべきビデオに関連したテキストクエリをユーザが入力するためのユーザインターフェースを提供するステップと、
前記ビデオに関連した複数の画像を提供するよう、前記テキストクエリに基づき、テキストベースの画像検索を実行するステップと、
前記複数の画像から前記ユーザによって選択された１つの画像に基づき、例に基づくビデオ検索を実行するステップと
を有するビデオ検索方法。
【請求項２】
前記ユーザインターフェースは、ビデオクエリダイアログである、
請求項１に記載のビデオ検索方法。
【請求項３】
前記テキストベースの画像検索は、前記テキストクエリと画像のメタデータとの間のテキストマッチングによって実行される、
請求項１に記載のビデオ検索方法。
【請求項４】
前記メタデータは、前記画像のテキストアノテーション、サラウンディングテキスト及びテキストタグを含む、
請求項３に記載のビデオ検索方法。
【請求項５】
前記例に基づくビデオ検索は、前記ユーザによって選択された画像の特徴とビデオのキーフレームの特徴との間の画像類似度マッチングによって実行される、
請求項１に記載のビデオ検索方法。
【請求項６】
前記特徴は、前記キーフレームの画像ピクセルから取り出される色、テクスチャ及び形を含む、
請求項５に記載のビデオ検索方法。
【請求項７】
前記例に基づくビデオ検索の結果を、該結果におけるビデオの関連性のランク付けに従って、前記ユーザに提示するステップを更に有する
請求項１に記載のビデオ検索方法。
【請求項８】
検索されるべきビデオに関連したテキストクエリをユーザが入力するためのユーザインターフェースを提供する手段と、
前記ビデオに関連した複数の画像を提供するよう、前記ユーザによって入力された前記テキストクエリに基づき、画像データベースにおいてテキストベースの画像検索を実行する手段と、
前記複数の画像から前記ユーザによって選択された１つの画像に基づき、ビデオデータベースにおいて例に基づくビデオ検索を実行する手段と
を有するビデオ検索装置。
【請求項９】
前記ユーザインターフェースは、ビデオクエリダイアログである、
請求項８に記載のビデオ検索装置。
【請求項１０】
前記画像データベースは、外部データベースであり、
前記テキストベースの画像検索を実行する手段は、前記画像データベースとのアプリケーションプログラミングインターフェースを有する、
請求項８に記載のビデオ検索装置。
【請求項１１】
前記例に基づくビデオ検索を実行する手段は、前記ユーザによって選択された画像の特徴と前記ビデオデータベース内のビデオのキーフレームの特徴との間の画像類似度マッチングを実行する、
請求項８に記載のビデオ検索装置。
【請求項１２】
前記例に基づくビデオ検索は、前記ユーザによって選択された画像の特徴とビデオのキーフレームの特徴との間の画像類似度マッチングによって実行される、
請求項１１に記載のビデオ検索装置。
【請求項１３】
前記特徴は、前記キーフレームの画像ピクセルから取り出される色、テクスチャ及び形を含む、
請求項１２に記載のビデオ検索装置。
【請求項１４】
前記例に基づくビデオ検索の結果を前記ユーザに表示する手段を更に有する
請求項８に記載のビデオ検索装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ検索のための方法及び装置に関する。
【背景技術】
【０００２】
例えばＧｏｏｇｌｅ（登録商標）ビデオ検索、ＹｏｕＴｕｂｅ（登録商標）、等の従来のビデオ検索システムは、ユーザによって入力されたテキストのクエリにもっぱら依存する。ユーザによって入力された検索テキスト（例えば、キーワード）に基づき、従来のビデオ検索システムは、タイトル、アノテーション又はテキストサラウンディングに対してテキストマッチングを実行することによって、関連するビデオ素材を探す。そのようなテキストベースの手法には、２つの欠点がある。１つは、ユーザが、そのようなテキスト情報を入力すること、特に、完全なビデオドキュメントについての詳細説明を入力することを、しばしば嫌がることである。他の欠点は、入力されたアノテーションの品質が、その大部分がビデオドキュメントの極めて簡単な説明しか与えず、通常は良くないことである。
【０００３】
多くの研究活動は、例えばカーネギー・メロン大学のインフォメディア・ディジタル・ビデオ・ライブラリ・プロジェクト（http://www.informedia.cs.cmu.edu/）等の、低レベルの、コンテンツベースのビデオ検索に関して行われてきた。このプロジェクトは、検索、読み出し、視覚化及び要約の全ての側面を含む、ビデオ及びフィルムメディアのマシンによる理解を達成しようと試みている。開発されたベーステクノロジは、高知能の検索及び画像取り出しのためにリニアビデオを自動的に複写し、分割し且つ索引付けするよう、スピーチ、画像及び自然言語を組み合わせる。
【０００４】
例に基づく検索手法は、低レベルの、コンテンツベースのマルチメディア検索においてユーザの検索意図を記述するために、幅広く研究されてきた。例えば、画像の例又はメロディのクリップによれば、類似したピクチャ、又はメロディを含む完全な音楽が、対応するマルチメディアデータベースから読み出され得る。しかしながら、低レベルの、コンテンツベースのビデオ検索においては、ユーザが彼らのビデオ検索意図を記述し提示することは困難である。人々にとって最も使いやすい方法は、それを提示するために単語又は文を使用することである。更に、多くの現実世界の用途において、ユーザの情報ニーズを記述するための例を見つけることは困難である。従って、低レベルの、コンテンツベースのビデオ検索に関し、ユーザの意図説明と、理解するための検索システムの能力との間には、大きな意味上のギャップが存在する。ユーザは、大抵は、彼らのテキストスタイルのクエリ要求を入力することを好み、一方、コンテンツベースのビデオ検索方法は、主として、入力された例クエリに基づく。ビデオ検索のための適切なクエリ例を作ること又は見つけることは、ユーザにとって難しい。
【０００５】
低レベルの特徴とユーザの検索意図との間の意味上のギャップを埋めるよう、研究活動は、アノテーション入力によって手動で、又はコンテンツ認識によって自動で、テキストによりマルチメディアにアノテーションを付けるよう行われてきた。手動アノテーションは、テキストベースの検索と同じ欠点を見せる。機械による自動アノテーションは難しすぎて、短期的に解決されそうにないと見られる。抽象的キーワードは、画像コンテンツと相関することがほとんど不可能である。
【発明の概要】
【０００６】
本発明の一態様に従って、ビデオ検索方法は提供される。当該方法は、検索されるべきビデオに関連したテキストクエリをユーザが入力するためのユーザインターフェースを提供するステップと、前記ビデオに関連した複数の画像を提供するよう、前記テキストクエリに基づき、テキストベースの画像検索を実行するステップと、前記複数の画像から前記ユーザによって選択された１つの画像に基づき、例に基づくビデオ検索を実行するステップとを有する。
【０００７】
本発明の一態様に従って、ビデオ検索装置は提供される。当該装置は、検索されるべきビデオに関連したテキストクエリをユーザが入力するためのユーザインターフェースを提供する手段と、前記ビデオに関連した複数の画像を提供するよう、前記ユーザによって入力された前記テキストクエリに基づき、画像データベースにおいてテキストベースの画像検索を実行する手段と、前記複数の画像から前記ユーザによって選択された１つの画像に基づき、ビデオデータベースにおいて例に基づくビデオ検索を実行する手段とを有する。
【０００８】
本発明の更なる態様及び利点は、本発明の以下の詳細な説明において見出されることが理解されるべきである。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に従うビデオ検索システムを示す例となる図である。
【図２】本発明の実施形態に従うビデオ検索方法のフローチャートである。
【図３】ユーザがテキストクエリを入力するためのビデオクエリダイアログを示す例となる図である。
【図４】テキストベースの画像検索に使用され得るメタデータを伴うＦｌｉｃｋｒにおける写真の例を示す例となる図である。
【図５】本発明の実施形態に従うビデオ検索装置のブロック図である。
【発明を実施するための形態】
【００１０】
添付の図面は、本発明の実施形態の更なる理解を本明細書とともに提供するために含まれており、それらの実施形態の原理を説明するのに役立つ。本発明は、実施形態に制限されない。
【００１１】
本発明の実施形態は、これより、図面とともに詳細に記載される。以下の記載において、既知の機能及び構成に関する幾つかの詳細な記載は、簡潔さのために省略されることがある。
【００１２】
従来技術における上記の問題を考慮して、本発明の実施形態は、ビデオ検索のための方法及び装置を提供する。
【００１３】
図１は、本発明の実施形態に従うビデオ検索システムを示す例となる図である。
【００１４】
図１に示されるように、本発明の実施形態に従うビデオ検索システムは、ビデオに関連した複数の画像を提供するよう最初にテキストベースの画像検索を有することを提案する。それら複数の画像の中から１つの画像が、例に基づくビデオ検索を実行して、ビデオ検索の出力を提供するために、ユーザによって選択される。
【００１５】
次に、本発明の実施形態は、より詳細に記載される。
【００１６】
図２は、本発明の実施形態に従うビデオ検索方法のフローチャートである。
【００１７】
図２に示されるように、本発明の実施形態に従うビデオ検索方法は、次のステップを有する：
Ｓ２０１：検索されるべきビデオに関連したテキストクエリをユーザが入力するためのユーザインターフェースを提供する；
Ｓ２０２：ビデオに関連した複数の画像を提供するよう、テキストクエリに基づき、テキストベースの画像検索を実行する；
Ｓ２０３：複数の画像からユーザによって選択された１つの画像に基づき、例に基づくビデオ検索を実行する。
【００１８】
次に、本発明の実施形態に従うビデオ検索方法は、詳細に記載される。
【００１９】
上記のステップＳ２０１によれば、ユーザインターフェースは、ビデオ検索のユーザが、検索されるべきビデオに関連したテキストクエリを入力するために提供されてよい。一例として、ユーザインターフェースは、ユーザがビデオに関連したテキストクエリを入力するためのビデオクエリダイアログであってよい。図３は、ユーザがテキストクエリを入力するためのビデオクエリダイアログを示す例となる図である。当然ながら、他の適切な形態のユーザインターフェースがまた適用され得る。テキストクエリは、単語又は文の形をとる、ビデオのコンテンツの説明である。テキストクエリを使用する理由は、通常、ビデオ検索のユーザが彼／彼女の意図を表現するための最も使いやすい方法が、画像例を準備すること又は対象をスケッチすることではなく、テキスト記述を使用することであるためである。
【００２０】
ステップＳ２０２によれば、テキストベースの画像検索は、ビデオに関連した複数の画像を提供するよう、ユーザによって入力されたテキストクエリに基づき実行される。テキストベースの画像検索は、例えば画像共有ソーシャルネットワーク及び画像検索エンジン等の外部の画像データベースで、又は例えばユーザ自身の画像例ライブラリ等の内部の画像データベースで実行され得る。当然ながら、外部の画像データベースが使用される場合に、データベースによって要求されるＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ  Ｐｒｏｇｒａｍｍｉｎｇ  Ｉｎｔｅｒｆａｃｅ（アプリケーションプログラミングインターフェース）の略称）が使用されるべきである。あらゆる適切な技術が、この点において、テキストベースの画像検索のために使用され得る点が留意されるべきである。
【００２１】
Ｆｌｉｃｋｒ（登録商標）は、テキストベースの画像検索に使用され得る画像共有ソーシャルネットワークの１つである。ＦｌｉｃｋｒがステップＳ２０２で使用される場合に、テキストベースの画像検索は、例えば、Ｆｌｉｃｋｒにおいて写真提供者によって加えられた画像アノテーションに対するテキストマッチングによって、実行され得る。Ｆｌｉｃｋｒにおける写真は、技術的詳細からより主観的な情報にまで及ぶ種々のタイプのメタデータを含む。低レベルでは、情報は、カメラ、シャッター速度、回転、等に関する。より高いレベルでは、Ｆｌｉｃｋｒ上に写真を更新したユーザは、写真内の画像を全体として説明するのに使用されやすいタイトル及び関連する説明を加えることができる。
【００２２】
図４は、テキストベースの画像検索に使用され得るメタデータを伴うＦｌｉｃｋｒ（登録商標）における写真の例を示す例となる図である。白鳥の写真が、おそらく画像提供者によって加えられたタイトル及び関連する説明とともに、図４において示されている。ユーザによって入力されたテキストクエリと写真のタイトル及び関連する説明との間のテキストマッチングは、写真内の画像が検索されるべきビデオに関連しているかどうかを推定するために実行される。
【００２３】
既知の画像検索エンジンには、Ｇｏｏｇｌｅ（登録商標）画像検索、Ｙａｈｏｏ（登録商標）画像、Ｂｉｎｇ（登録商標）画像、等がある。Ｇｏｏｇｌｅ画像検索がステップＳ２０２で使用される場合に、テキストベースの画像検索は、例えば、Ｇｏｏｇｌｅ画像検索によって検索されるサラウンディングテキストによって、実行され得る。画像を含むウェブページ内のテキストは、上記のサラウンディングテキストの一例である。Ｇｏｏｇｌｅ画像検索は、ユーザによって入力されたキーワードクエリと関連性を有するサラウンディングテキストを伴う画像を見つけようと試みる。
【００２４】
テキストベースの画像検索が内部の画像データベースで実行される場合に、内部の画像データベースのビルダーによって加えられたテキストアノテーション及びテキストタグが使用され得る。タグの使用は、ビルダーが考えていることが画像に関連していることを簡単なキーワードの組み合わせによりビルダーが記述することを可能にする。
【００２５】
１つの関連する画像は、複数の画像を含むことができるステップＳ２０２の検索結果から、次のビデオ検索のための入力として選択され得る。この点において、幾つかの画像共有ソーシャルネットワーク及び画像検索エンジンは、画像の関連性に従って、テキストベースの画像検索の結果のためのランク付けメカニズムを提供することができるので、関連する画像を自動的に選択することが可能である。しかしながら、望ましくは、ステップＳ２０２の検索結果は、ユーザが最も関連する画像を次のビデオ検索のための入力として閲覧し選択するための適切なユーザインターフェースとともに、ユーザに表示される。本発明の実施形態がユーザによる手動入力を薦める理由は、機械（画像共有ソーシャルネットワーク及び画像検索エンジン）がクエリ意図を十分に理解し、ユーザよりも上手く最も関連する画像を選択することが依然として困難であるためである。
【００２６】
当然に、ユーザがステップＳ２０２の結果内の如何なる画像にも満足しない場合は、プロセスは、ユーザがテキストクエリを修正するか又は新しいテキストクエリを入力するために、ステップＳ２０１へ戻ることができる。
【００２７】
次いで、ステップＳ２０３によれば、例に基づくビデオ検索は、ユーザによって選択された画像に基づき実行される。
【００２８】
幾つかの従来の方法は、例えば、発話によるドキュメント検索、ＶＯＣＲ（Ｖｉｄｅｏ  Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅｃｏｇｎｉｔｉｏｎ（ビデオ光学式文字認識）の略称）及び画像類似度マッチングを含め、例に基づくビデオ検索の目的で開発されてきた。
【００２９】
発話によるドキュメント検索によれば、ビデオからのオーディオコンテンツのテキスト表現は、自動音声認識を通じて取得され得る。しかし、発話によるドキュメント検索の利用の制限は、ビデオ素材における明りょう且つ認識可能な音声が必要とされることである。
【００３０】
ＶＯＣＲによれば、ビデオのテキスト表現は、ビデオ画像において提示されるテキストを読み取ることによって取得される。次いで、検索は、テキスト（キーワード）に基づき実行される。しかし、ＶＯＣＲを適用するために、ビデオにおいて幾つかの認識可能なテキスト情報が存在しなければならない。それは、ＶＯＣＲの利用のための１つの制限である。
【００３１】
画像類似度マッチングは、ビデオ検索分野に移入された例に基づく画像検索手法である。画像類似度マッチングの画像検索エンジンは、意図的に準備された画像例を受け入れ、次いで例を使用して、類似する画像を画像データベースから見つけることができる。手法がビデオ検索において使用される場合に、画像例は、ビデオから抽出された類似するキーフレームを見つけるために使用される。今までのところ、如何にして２つの画像の類似度を評価すべきかに関して、大規模な且つ標準化された方法は存在しなかった。使用される方法の大部分は、この点において、画像ピクセルから取り出される、例えば色、テクスチャ及び形等の特徴に基づく。
【００３２】
当然ながら、上記の方法は、より複雑なビデオ検索方法を形成するよう組み合わされ得る。
【００３３】
本発明の実施形態において、ビデオ検索のための入力は、ステップＳ２０２の検索結果からユーザによって選択された画像を含むので、例に基づくビデオ検索のために画像類似度マッチング手法を適用することが好ましい。
【００３４】
次に、詳細な説明は、画像類似度マッチング手法による例に基づくビデオ検索に与えられる。
【００３５】
ビデオは、データベースに記憶されるより前に、セグメンテーション及びキーフレーム検出を含むビデオ構造パーシングを受けることが知られている。セグメンテーションは、ビデオを個々のシーンに分けるために使用される。夫々のシーンは、一連の連続したフレームから成り、同じ位置で撮影されるか又は主題的なコンテンツを共有するフレームは、グループにまとめられる。キーフレーム検出は、個々のシーンから典型的な画像をインデックス画像として見つけることである。従来のビデオセグメンテーション及びキーフレーム抽出のアルゴリズムは、この点において使用されてよい。例えば、ショット境界検出アルゴリズムは、ビデオフレームに含まれるビデオ情報に依存してビデオを同じような視覚的コンテンツを有するフレームに分割することができるそのような解決法である。キーフレームの抽出後に、メタデータは夫々のキーフレームに加えられる。メタデータは、キーフレームが抽出されたビデオと、特定のビデオ内のキーフレームの具体的な位置とを示す。
【００３６】
次いで、検索クエリ（ユーザによって選択された画像）の特徴と、データベースに記憶されているビデオのキーフレームの特徴との間の類似度は、検索されたビデオの関連性のランクを決定するマッチングアルゴリズムを用いることによって、計算され得る。当該技術で知られている従来の画像マッチングアルゴリズムが存在する。コンテンツベースの画像検索のための旧来の方法は、ベクトルモデルに基づく。それらの方法において、画像は、特徴の組によって表現され、２つの画像の間の差は、それらの特徴ベクトルの間の距離、通常はユークリッド距離を通じて測定される。距離は、２つの画像の類似度を決定し、更には、対応するビデオのランクを決定する。大部分の画像検索システムは、画像ピクセルから抽出される、例えば色、テクスチャ及び形等の特徴に基づく。
【００３７】
類似するキーフレームが見つけられ、ランク付けされた後に、ビデオ構造パーシング相において加えられたメタデータは、どのビデオが取り出されるべきか、夫々のビデオの最初のフレーム、及び夫々のビデオとユーザのクエリとの間の関連性のランクを決定するために使用され得る。次いで、検索されたビデオドキュメントのリストは、対応するランク付けに従って配置されてよく、ユーザに提示される。
【００３８】
図５は、本発明の実施形態に従うビデオ検索装置のブロック図である。
【００３９】
図５に示されるように、ビデオ検索装置５００は、検索されるべきビデオに関連したテキストクエリをユーザが入力するためのユーザインターフェースを提供するユーザインターフェース提供ユニット５０１と、ビデオに関連した複数の画像を提供するよう、ユーザによって入力されたテキストクエリに基づき、画像データベースにおいてテキストベースの画像検索を実行する画像検索ユニット５０２と、複数の画像からユーザによって選択された１つの画像に基づき、ビデオデータベースにおいて例に基づくビデオ検索を実行するビデオ検索ユニット５０３とを有する。
【００４０】
一例として、ユーザインターフェース提供ユニット５０１は、ユーザがビデオに関連したテキストクエリを入力するためのビデオクエリダイアログを提供することができる。
【００４１】
ビデオ検索方法において記載されたように、画像データベースは、例えばユーザの画像例ライブラリ等の内部の画像データベースであってよい。画像データベースはまた、例えば画像共有ソーシャルネットワーク及び画像検索エンジン等の外部の画像データベースであってよい。この場合に、画像検索ユニット５０２は、外部の画像データベースによって要求される対応するＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ  Ｐｒｏｇｒａｍｍｉｎｇ  Ｉｎｔｅｒｆａｃｅ（アプリケーションプログラミングインターフェース）の略称）を設けられる。
【００４２】
ビデオ検索ユニット５０３は、画像類似度マッチングアルゴリズムにより、例に基づくビデオ検索を実行する。この場合に、ビデオデータベース内のビデオのキーフレームは、キーフレームが抽出されたビデオと、特定のビデオ内のキーフレームの具体的な位置とを示すメタデータを与えられる必要がある。メタデータは、データベースに記憶されるより前にビデオデータに対してなされるビデオ構造パーシングによって取得され得る。
【００４３】
ビデオ検索装置５００は、例に基づくビデオ検索の結果を適切な形式でユーザに表示するための表示ユニットを更に有することができる。ビデオ検索の結果は、その結果におけるビデオの関連性のランク付けに従って、ユーザに表示され得る。
【００４４】
本発明は、様々な形態のハードウェア、ソフトウェア、ファームウェア、専用プロセッサ、又はそれらの組み合わせにおいて実施されてよいことが理解されるべきである。
【図２】
2016502194.tif 000003
【図３】
2016502194.tif 000004
【図５】
2016502194.tif 000005
【図１】
2016502194.tif 000006
【図４】
2016502194.tif 000007
【国際調査報告】
2016502194.tif 000008
2016502194.tif 000009