(57)【要約】【課題】本発明は映像検索結果を、どの結果が真に検索に関連するかをユーザーが決定し易い形で、表示する。【解決手段】検索結果として返される各ストーリーは、ストーリーのショットからのキーフレームのコラージュとして視覚化される。選択されたキーフレームおよびそれらのサイズは、対応するショットのそれぞれの関連度に依存する。ショット関連度は、ショットの検索スコアに依存し、一部の実施形態では、ショットの親ストーリーの検索スコアにも依存する。ひとたび面積が決定されると、キーフレームは面積に適合するように拡大縮小および切り抜きのうち少なくともいずれかがなされる。一実施形態では、ユーザーは１以上のショットに、検索と関連性があるという印しをつけることができる。一実施形態では、タイムラインが作成され、映像の各部分であって、選択されたストーリーの作成時間に最も近接する１以上の隣接ストーリーと共に表示される。【選択図】  図７
2006164254.tif 000002
【特許請求の範囲】
【請求項１】
１以上の映像を含む映像検索結果を提示するための方法であって、
ａ）１以上のストーリーを含む一組の映像検索結果において、各ストーリーから一組のショットを選択するステップと、
ｂ）各ショットから１以上の代表的キーフレームを選択するステップと、
ｃ）各ストーリーに対し前記キーフレームを含むコラージュを作成するステップと、
を含む方法。
【請求項２】
ａ）各ストーリーから候補キーフレームを表示するパネルを作成するステップと、
ｂ）コラージュに含めるべきキーフレームを、それらに印しを付けることによってユーザーに選択させるステップと、
をさらに含む、請求項１に記載の方法。
【請求項３】
前記選択されたキーフレームが、包含指示カラーおよび包含指示パターンのいずれか一方を使用するオーバレイによって示される、請求項２に記載の方法。
【請求項４】
前記選択されたキーフレームが表示されるステップをさらに含む、請求項２に記載の方法。
【請求項５】
ａ）各ストーリーから候補キーフレームを表示するパネルを作成するステップと、
ｂ）コラージュから除外すべきキーフレームを、それらに印しを付けることによってユーザーに選択させるステップと、
をさらに含む、請求項１に記載の方法。
【請求項６】
前記除外されたキーフレームが、除外指示カラーおよび除外指示パターンのいずれか一方を使用するオーバレイによって示される、請求項５に記載の方法。
【請求項７】
さらなる情報を提供するために前記キーフレームをユーザーが選択することができる、請求項１に記載の方法。
【請求項８】
前記コラージュにおける各キーフレームの面積が、対応するショットの映像検索に対する関連度を示す、請求項１に記載の方法。
【請求項９】
前記関連度が前記ショットの検索スコアによって決定される、請求項８に記載の方法。
【請求項１０】
前記関連度が、前記ショットの検索スコアおよび前記ショットを含むストーリーの検索スコアの組合せによって決定される、請求項８に記載の方法。
【請求項１１】
前記関連度が、前記ショットの検索スコアおよび前記ショットを含むストーリーの検索スコアの平均として計算される、請求項１０に記載の方法。
【請求項１２】
前記コラージュにおける各キーフレームの面積が、対応するショットの映像検索に対する関連度に比例する、請求項１に記載の方法。
【請求項１３】
前記キーフレームが切り抜きされる、請求項１に記載の方法。
【請求項１４】
前記キーフレームが画面の縦横比に従って切り抜きされる、請求項１３に記載の方法。
【請求項１５】
前記キーフレームにおいて関心のある領域に基づいて前記切り抜きが行われる、請求項１３に記載の方法。
【請求項１６】
前記キーフレームが拡大縮小される、請求項１に記載の方法。
【請求項１７】
前記キーフレームが拡大縮小および切り抜きされる、請求項１に記載の方法。
【請求項１８】
前記一組のキーフレームに含まれるキーフレームの個数が約四個である、請求項１に記載の方法。
【請求項１９】
キーフレームのカラーおよびパターンのうちの一つが、対応するショットの関連度を示す、請求項１に記載の方法。
【請求項２０】
キーフレームのカラーおよびキーフレームのパターンのうちの一つが、対応するショットを以前訪れたことがあることを示す、請求項１に記載の方法。
【請求項２１】
ｄ）各々の映像に含まれ、かつ選択されたストーリーに作成時間が最も近い１以上の隣接ストーリーと共に表示されるタイムラインを作成するステップをさらに含む、請求項１に記載の方法。
【請求項２２】
ｅ）前記１以上の隣接ストーリーに対し、一組の対応する隣接キーフレームを選択するステップと、
ｆ）各隣接ストーリーに対し、前記隣接キーフレームを含む隣接コラージュを作成するステップと、
をさらに含む、請求項２１に記載の方法。
【請求項２３】
選択されたストーリーに対応するコラージュが、隣接コラージュより大きいフォーマットで表示される、請求項２２に記載の方法。
【請求項２４】
１以上の選択されたストーリーに関する情報を含むツールチップが表示される、請求項１に記載の方法。
【請求項２５】
前記ツールチップが、選択されるストーリーを他のストーリーから最もよく区別する１以上のキーワードを表示する、請求項２４に記載の方法。
【請求項２６】
前記キーワードが強調表示される、請求項２５に記載の方法。
【請求項２７】
さらなる情報を提供するために前記キーフレームがユーザーに選択されることができる、請求項１に記載の方法。
【請求項２８】
コンピュータにおいて、１以上のストーリーを含む映像検索結果を提示するための方法であって、
ａ）前記コンピュータのユーザーが、１以上のストーリーを含む一組の映像検索結果を生成することのできる映像検索を開始するステップと、
ｂ）前記ユーザーが、各ストーリーから前記コンピュータによって選択された一組のショットを受け取るステップと、
ｃ）前記ユーザーが、各ショットから前記コンピュータによって選択された１以上の代表的キーフレームを受け取るステップと、
ｄ）前記ユーザーが、各ストーリーに対し、前記コンピュータによって作成された、前記キーフレームを含むコラージュを受け取るステップと、
ｅ）前記ユーザーが、対応するコラージュの表示のために１以上のストーリーを選択するステップと、
を含む方法。
【請求項２９】
有用な画像を検出し、画像を有用性の順番にランク付けするためのシステムであって、
ａ）１以上のストーリーを含む一組の映像検索結果において、各ストーリーから一組のショットを選択することができ、各ショットから１以上の代表的キーフレームを選択することができ、かつ各ストーリーに対し前記キーフレームを含むコラージュを作成することができる、１以上のプロセッサと、
ｂ）１以上のプロセッサによって処理されたときに、１）１以上のストーリーを含む一組の映像検索結果において、各ストーリーから一組のショットを選択するステップと、２）各ショットから１以上の代表的キーフレームを選択するステップと、３）各ストーリーに対し前記キーフレームを含むコラージュを作成するステップと、をシステムに実行させる命令が格納された機械可読媒体と、
を備えたシステム。
【請求項３０】
１以上のプロセッサを有するシステムに、有用な画像を検出して有用性の順番に画像をランク付けする処理を実行させる命令が含まれるプログラムであって、前記命令は前記１以上のプロセッサによって処理されたとき、システムに
ａ）１以上のストーリーを含む一組の映像検索結果において、各ストーリーから一組のショットを選択し、
ｂ）各ショットから１以上の代表的キーフレームを選択し、
ｃ）各ストーリーに対し前記キーフレームを含むコラージュを作成すること、
を実行させる、プログラム。
【請求項３１】
有用な画像を検出し、有用性の順番に画像をランク付けするための装置であって、
ａ）１以上のストーリーを含む一組の映像検索結果において、各ストーリーから一組のショットを選択するための手段と、
ｂ）各ショットから１以上の代表的キーフレームを選択するための手段と、
ｃ）各ストーリーに対し前記キーフレームを含むコラージュを作成するための手段と、
を備えた装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、メディア解析およびプレゼンテーションの分野にあり、検索結果を提示するためのシステム、装置、方法、プログラムに関し、特に、映像検索結果を提示するためのシステム、装置、方法、プログラムに関する。
【背景技術】
【０００２】
映像のプレゼンテーションは、一群の映像の有用性およびアクセス性に影響する。ユーザー（利用者）のための関連情報（意味のある適切な情報）を最大化する方法で、映像検索結果を提示するためのシステムおよび方法が望ましい。
【０００３】
例えば、特許文献１には、映像を構成ショットに分割化し、ショットの類似性やその他のファクターに基づいてショットを繰り返しマージすることにより、映像のセグメント部分を決定し、セグメント部分毎に重要性の測度を計算する方法を用いた自動映像要約方法が記載されている。また、特許文献２には、多数の画像からなる複数のビデオクリップを含む映像シーケンスを表示するシステムを提供し、ここでビデオクリップは映像内容に応じて表現内容を削減した映像シーケンスとされている。
【０００４】
映像コレクションにおける検索は、大量の関連結果を返すことがあり得る。結果のうちのどれがユーザーの元々の情報ニーズを最もよく満たすかを、ユーザーが素早く決定することを可能にする形で、これらの結果を提示することが重要である。映像ショットとは、通常同じカメラでそれを停止することなく撮影された、視覚的一貫性のある連続シーケンスである。ストーリーとは、意味論的に関連性のあるショット群であり、意味情報は時間整列されたテキストトランスクリプトからもたらされる。このトランスクリプトは自動音声認識またはクローズキャプションからもたらされることができる。ストーリーの境界は、テキストにおける注釈、例えばクローズキャプションにおけるセクションマーカーからもたらすことができ、あるいは、自己相似性、語彙刷新、およびその他の様々な自動テキスト処理法により決定することができる。
【特許文献１】米国特許第６５３５６３９号公報
【特許文献２】米国特許明細書第２００３０１８９５８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、どの映像がユーザーのニーズに最も関連が深いかをユーザーが決定し易いように、映像検索結果を表示する。検索で見つかったストーリーの一部であるショットに対応する各キーフレームで、キーフレームのコラージュが組み立てられる。同じ映像ショットが、そのショットを含む映像を発見した検索方法に応じて、異なるように視覚化される。キーフレームのサイズは、対応するショットの所定の検索に対する関連度に基づいて変化する。
【課題を解決するための手段】
【０００６】
本発明は、各映像のショットおよびストーリーへの検索前区分化を利用する。ストーリーは、映像検索のための文書（ドキュメント）として使用される。検索はストーリーのランク付けリストを返す。検索に関連する映像シーケンスを検索するときに、各ストーリーは独立した文書として扱われ、ストーリーの集合は、いずれかの種類のテキスト検索を実行することのできる一群のテキスト文書を決定する。検索はテキスト検索、ビジュアル検索、またはテキストおよびビジュアル両方の検索の組合せとすることができる。後者の場合、テキスト検索からのスコアが画像検索からのスコアと結合されて検索結果が並べ替えられ、最終総合スコアが形成される。
【０００７】
本発明では、映像検索結果は、どの結果が真に関連性があるかをユーザーが決定し易い形で表示される。本発明では、ショットは１以上（一つまたはそれ以上）の代表的キーフレームによって表わされる。
【０００８】
検索の結果は、ストーリーの形で返される。各ストーリーはキーフレームのコラージュとして視覚化される。選択されるキーフレームおよびそれらのサイズは、対応するショットの検索項目（条件）に対する関連度に依存する。ストーリーの関連度は冗長的に符号化される。ショットの関連度は、ショットの、場合によっては親ストーリーの、検索スコアに依存する。キーフレームは拡大縮小（scaling）および切り抜き（cropping）の少なくともいずれかがなされることができる。ストーリーに含まれる全てのショットのキーフレームは、ストーリーのキーフレームコラージュを選択することによって、別個の枠（ペイン）内に拡大して示すことができる。
【０００９】
本発明の請求項１に記載の発明は、１以上（一つまたはそれ以上）の映像を含む映像検索結果を提示するための方法であって、
ａ）１以上のストーリーを含む一組の映像検索結果において、各ストーリーから一組のショットを選択するステップと、
ｂ）各ショットから１以上の代表的キーフレームを選択するステップと、
ｃ）各ストーリーに対し前記キーフレームを含むコラージュを作成するステップと、
を含むことを特徴とする。
【００１０】
本発明の請求項２８に記載の発明は、コンピュータにおいて、１以上のストーリーを含む映像検索結果を提示するための方法であって、
ａ）前記コンピュータのユーザーが、１以上のストーリーを含む一組の映像検索結果を生成することのできる映像検索を開始するステップと、
ｂ）前記ユーザーが、各ストーリーから前記コンピュータによって選択された一組のショットを受け取るステップと、
ｃ）前記ユーザーが、各ショットから前記コンピュータによって選択された１以上の代表的キーフレームを受け取るステップと、
ｄ）前記ユーザーが、各ストーリーに対し、前記コンピュータによって作成された、前記キーフレームを含むコラージュを受け取るステップと、
ｅ）前記ユーザーが、対応するコラージュの表示のために１以上のストーリーを選択するステップと、
を含むことを特徴とする。
【００１１】
本発明の請求項２９に記載の発明は、有用な画像を検出し、画像を有用性の順番にランク付けするためのシステムであって、
ａ）１以上のストーリーを含む一組の映像検索結果において、各ストーリーから一組のショットを選択することができ、各ショットから１以上の代表的キーフレームを選択することができ、かつ各ストーリーに対し前記キーフレームを含むコラージュを作成することができる、１以上のプロセッサと、
ｂ）１以上のプロセッサによって処理されたときに、１）１以上のストーリーを含む一組の映像検索結果において、各ストーリーから一組のショットを選択するステップと、２）各ショットから１以上の代表的キーフレームを選択するステップと、３）各ストーリーに対し前記キーフレームを含むコラージュを作成するステップと、をシステムに実行させる命令が格納された機械可読媒体と、
を備えたことを特徴とする。
【００１２】
本発明の請求項３０に記載の発明は、１以上のプロセッサを有するシステムに、有用な画像を検出して有用性の順番に画像をランク付けする処理を実行させる命令が含まれるプログラムであって、前記命令は前記１以上のプロセッサによって処理されたとき、システムに、
ａ）１以上のストーリーを含む一組の映像検索結果において、各ストーリーから一組のショットを選択し、
ｂ）各ショットから１以上の代表的キーフレームを選択し、
ｃ）各ストーリーに対し前記キーフレームを含むコラージュを作成すること、
を実行させることを特徴とする。
【００１３】
本発明の請求項３１に記載の発明は、有用な画像を検出し、有用性の順番に画像をランク付けするためのシステム又は装置であって、
ａ）１以上のストーリーを含む一組の映像検索結果において、各ストーリーから一組のショットを選択するための手段と、
ｂ）各ショットから１以上の代表的キーフレームを選択するための手段と、
ｃ）各ストーリーに対し前記キーフレームを含むコラージュを作成するための手段と、
を備えたことを特徴とする。
【発明の効果】
【００１４】
本発明は、有用な画像を検出し、有用性の順番に画像をランク付けすることにより、どの映像がユーザーのニーズに最も関連が深いかをユーザーが決定し易いように、映像検索結果を表示することができる。
【発明を実施するための最良の形態】
【００１５】
本発明の好適な実施形態を、添付の図面に基づいて詳細に説明する。
【００１６】
本発明は、どの映像がユーザーのニーズに最も関連が深いかをユーザーが決定し易いように、映像検索結果を表示する。検索で見つかったストーリーの一部であるショットに対応する各キーフレームで、キーフレームのコラージュが組み立てられる。同じ映像ショットが、そのショットを含む映像を発見した検索に応じて、異なった方法で視覚化される。キーフレームのサイズは、対応するショットの所定の検索に対する関連度に基づいて、かつ実施形態によってはストーリー全体に対する関連度にも基づいて、変化する。              
【００１７】
システムは、各映像のショットおよびストーリーへの事前の区分化を利用する。ショットとは、大きな視覚的変化のないの映像のシーケンス（連続）である。映像は一般的に１以上のストーリーを含む。ストーリーは一般的に１以上のショットを含み、時間整列されたテキストにおける話題転換を見出すことによって作成される。ストーリーおよびショットは独立して検出されるので、ストーリーの境界とショットの境界は、必ずしも一致しない。ショットは、時々、ストーリーより長くなることがある。ストーリーは、映像検索のための文書として使用される。
【００１８】
検索は結果として、ランク付けされたストーリーのリストを返す。検索条件に関係する映像シーケンスを検索するとき、各ストーリーは独立した文書として扱われ、ストーリーの集合は、いずれかの種類のテキスト検索を実行することのできる一群のテキスト文書を決定する。
【００１９】
検索はテキスト検索、ビジュアル検索、またはテキストおよびビジュアル両方の検索の組合せとすることができる。後者の場合、テキスト検索からのスコアが画像検索からのスコアと結合されて検索結果が並べ替えられ、最終総合スコアが形成される。テキスト検索は、リテラル（逐語）キーワードテキスト検索、または潜在的意味解析（ＬＳＡ）に基づくテキスト検索とすることができる。ｔｆ−ｉｄｆ（用語頻度および文書頻度の逆数）による重みづけキーワード検索または潜在的意味解析に基づく相似性検索のような、標準的技術が使用される。キーワードに基づく検索の場合、独立テキスト索引が作成される。ストーリーに基づく文書に対し一つのテキスト索引が作成され、ショットに基づく文書に対し別のテキスト索引が作成される。ＬＳＡに基づく検索の場合、ストーリーは意味的に一貫性のある単位を表わすと仮定されるので、ストーリー区分化から導出された文書に基づいて、潜在的意味空間が作成される。この一つの意味空間は、検索条件に対するストーリー関連度およびショット関連度の両方を決定するために使用される。
【００２０】
ビジュアル検索のために、カラーコレログラム（correlogram）に基づく画像の類似性マッチング能力が提供される。グラフィカルユーザインタフェースに表示されるショット画像を検索バー内にドラッグし、ビジュアル検索の一部として使用することができる。各画像について、カラーコレログラムが計算され、対象画像のコーパス（資料）に含まれる全てのショット画像のコレログラムと比較される。ストーリーの関連度スコアを生成するために、ストーリーの構成要素であるショットからの最大スコアがストーリーに伝播される。
【００２１】
各ストーリーは、ストーリーに含まれるショットからのキーフレームのコラージュとして視覚化される。図１は、四つのキーフレーム１１０の代表的コラージュ１００を示す部分画面キャプチャ（スクリーンショット）である。選択されたキーフレーム１１０およびそれらのサイズは、その基礎を成すショットのユーザー発行が検索（条件）に対する関連度に依存する。最も関連度の高いショットが選択され、それらのキーフレーム１１０が組み合わされてコラージュ１００が形成される。
【００２２】
一実施形態では、五個以上のキーフレームを含むコラージュを作成する。別の実施形態では、四個より少ないキーフレームを含むコラージュを作成する。別の実施形態は、矩形のレイアウトに作成されたキーフレームを含むコラージュを含む。また別の実施形態では、非矩形レイアウトに作成されたキーフレームを含むコラージュが作成される。一実施形態では、ショットの関連度は、対応するキーフレームの明るさによって示される。一実施形態では、映像ショット関連度は、対応するキーフレームのコントラストによって示される。一実施形態では、ショットの関連度は、対応するキーフレームの不透明度によって示される。一実施形態では、映像ショット関連度は、対応するキーフレームの色飽和度およびパターンのうちのいずれか一方によって示される。
【００２３】
一組の実施形態では、選択されたコラージュは、他のコラージュより大きいフォーマットで表示される。幾つかの実施形態では、ショット関連度はショットの検索スコア（search retrieval score）のみに依存する。他の実施形態では、ショット関連度は、ショット自体およびその親ストーリー両方の検索スコアに基づいて決定される。また、ある一組の実施形態では、各ショットは、ショット自体の検索スコアおよびその親ストーリーの検索スコアの平均に等しい検索スコアを有する。これらの実施形態では、このようにショットとストーリーとの間の検索関連度の伝播を可能にする。
【００２４】
一実施形態では、キーフレームは拡大縮小される。別の実施形態では、キーフレームは切り抜きされる。また別の実施形態では、キーフレームは拡大縮小および切り抜きされる。切り抜きはキーフレームの細部を維持することができる。ストーリーのキーフレームコラージュを選択することによって、ストーリーに含まれる全てのショットのキーフレームを別個の枠内に拡大して示すことができる。
【００２５】
画像の特徴に基づく検索の場合、画像の特徴の視覚的外観（現れ方）は、一ショット中にあまり変化しないので、複数のショット単位で取り扱われる。ショットに対応するテキストは文書として取り扱うこともできるので、関心のある短い映像シーケンスは、テキスト検索の方法で見つけることができる。非常に短いテキスト文書（大半のショットが短く、関連するテキストをほとんど持たない）の検索精度はより低いので、それらに含まれるショットおよびストーリーの関連度スコアを結合して、ショットのスコアを直接使用する代わりに使用することができる。ビジュアル検索の場合、ショットの間で視覚的外観が一般的に大きく変化するので、ビジュアル検索スコアは所定のショットに対してのみ決定される。ストーリー内部のショットのビジュアル検索スコアを結合して、ストーリーの検索スコアを生成することができる。ストーリーに対し、それに含まれるショットが達成した最大ビジュアル検索スコアを割り当てることができる。あるいは、ストーリーに対し、それに含まれるショットの平均ビジュアル検索スコアを割り当てることもできる。一実施形態では、平均は加重無しで直接計算される。一実施形態では、平均は時間加重平均である。
【００２６】
検索結果は、キーフレームおよびキーフレームのコラージュによって視覚化される。キーフレームは、検索された映像シーケンスから引き出される。一実施形態では、関連度はキーフレームのサイズによって示される。一実施形態では、キーフレームが大きければ大きいほど、そのキーフレームの関連度が高い。一実施形態では、キーフレームの面積はその関連度に比例する。一実施形態では、キーフレームの関連度は、キーフレームに関連付けられるカラーおよびパターンのうちの一方によって示される。一実施形態では、カラーは、キーフレームの上部に示されるカラーバーとして現われる。一実施形態では、パターンはキーフレームの上部に示されるパターンバーとして現われる。
【００２７】
コラージュを作成するために、検索に対して最高関連度を持つショットのキーフレームが選択される。各キーフレームには、そのショットの相対的関連度に比例する面積が割り当てられる。例えば、四個のショットの関連度がそれぞれ０．８、０．４、０．６、および０．２である場合、第一のショットには、
０．８／（０．８＋０．４＋０．６＋０．２）＝４０％
の面積が割り当てられる。
【００２８】
一実施形態では、四個の最も関連度の高いショットが二つのグループに分割され、そのうちの一つはより関連度の高い二個のショットを含み、もう一つはより関連度の低い二個のショットを含む。次いで、二つのグループのショットがはめ込まれる画面上の領域を決定する水平線が、相対的関連度に比例して、より関連度の高い二個のショットを含むグループが、より多くの画面領域を占めるように形成される。次いで、二つのグループの各ショットがはめ込まれる画面上の領域を決定する垂直線が、相対的関連度に比例して、各グループ内でより関連度の高いショットが、より多くの画面領域を占めるように形成される。
【００２９】
ひとたび面積が決定されると、キーフレームは面積に適合するように拡大縮小および切り抜きの少なくともいずれかがなされる。一実施形態では、キーフレームが人物（例えばニュースのアンカーマン）のクローズアップ映像または別の同様に切り抜きに影響される映像を示す場合、人物の頭部の頂部を切り落とすことを防止するために、元のキーフレームの水平方向の中心および垂直方向の頂部は切り抜きされずに維持される。同様の他の方法を使用することもできる。より一般的な方法では、各方向の切り抜きのパーセンテージを指定することができる。前述の実施形態の場合、５０％の水平方向の切り抜きが左側で行なわれ、０％の垂直方向の切り抜きが頂部で行なわれる。別の実施形態は、画像の頂部が余白を含まないよう好適化するために、頂部で３３％の垂直方向の切り抜きを行なう。別の実施形態では、顔のような関心のある領域を検知して、これに基づいて切り抜きを行う。一実施形態では、極端な切り抜きが望ましくない場合、例えばキーフレームを拡大縮小し、次いで切り抜きして、縦横比を割り当てられた面積に合わせることができる。
【００３０】
一実施形態では、ユーザーは、１以上のショットに検索に関連すると印しをつける（マークする）ことができる。一実施形態では、関連すると印しをつけられたショットが表示される。一実施形態では、ユーザーは、検索結果に含めるために１以上のショットに印しを付けることができる。この実施形態は、どのショットがすでに関連すると決定されたかを、ユーザーが判断するのを助けることができる。
【００３１】
一実施形態では、ユーザーは１以上のショットに、検索に無関係であるという印しをつけることができる。一実施形態では、無関係と印されたショットは、カラーオーバレイ（上塗り）およびパターンオーバレイのうちの一つにより、提示される。この実施形態は、どのショットが無関係であることをすでに決定されたかをユーザーが判断するのを助けることができる。一組の実施形態では、各ストーリーの候補キーフレームを表示するパネルが作成される。一実施形態では、ユーザーは、コラージュに含めるべきキーフレームを、それらに印しを付けることによって選択する。一実施形態では、含まれるべきキーフレームは、包含指示カラーおよび包含指示パターンのうちの一つを使用するオーバレイによって指示される。別の実施形態では、ユーザーは、コラージュから除外すべきキーフレームを、それらに印しを付けることによって選択する。一実施形態では、除外すべきキーフレームは、除外指示カラーおよび除外指示パターンのうちの一つの使用するオーバレイによって指示される。一実施形態では、ユーザーは、コラージュに含めるかまたは除外すべきキーフレームを、それらに適切に印しを付けることによって選択する。一実施形態では、含まれるべきキーフレームは、包含指示カラーおよび包含指示パターンのうちの一つを使用するオーバレイによって指示され、除外されるべきキーフレームは、除外指示カラーおよび除外指示パターンのうちの一つを使用するオーバレイによって指示される。包含指示および除外指示カラーは、たとえベタパターンが使用される場合でも、その下のキーフレームを明らかにするために半透明とすることができる。
【００３２】
図２は、コラージュにおいて包含および除外の少なくともいずれかをするために印しを付けるように意図された、選択されたストーリーからのキーフレーム２１０を含むキーフレーム選択パネル２０５を示す部分画面キャプチャである。ユーザーは、コラージュに包含および除外の少なくともいずれかをすべきキーフレーム２１０を、それらに除外選択キーフレーム２１２または包含選択キーフレーム２１３と印しをつけることによって選択する。除外選択キーフレーム２１２は、除外指示カラーおよび除外指示パターンのうちの一つを使用するオーバレイによって指示される。包含選択キーフレーム２１３は、包含指示カラーおよび包含指示パターンのうちの一つを使用するオーバレイによって指示される。一組の実施形態では、パネル２０５はキーワード２３０を表示する。一組の実施形態では、パネル２０５は文書用語２４０を表示する。
【００３３】
パネル２０５はまた、ツールチップ（tool tip）２２０をも含む。ツールチップ２２０は、ストーリーに関する追加情報を提供する。一実施形態では、この追加情報は、場所、日付、放送ネットワーク、ストーリーの長さ、ショットの長さ、映像内のストーリー開始時間、および最後に太字で表示される、零から１までの段階の検索に対するストーリーの関連度のような分類学的データ２１４を含む。一実施形態では、追加情報は、ストーリーを他のストーリーを最も良く区別する１以上のキーワード２３０を含む。一実施形態では、追加情報は、検索に対する関連度が最も高い１以上のキーワード２３０を含む。この図に示す一実施形態では、キーワード２３０は太字で表示される。ツールチップ２２０はまた、通常の字体で文書用語２４０をも表示する。標準ｔｆ−ｉｄｆ検索法では、キーワード２３０は、ストーリーに現われる検索用語である。ＬＳＡ検索の場合、キーワード２３０は検索用語と一致する必要は無いが、例えば類義語または主題的に関連する用語とすることができる。
【００３４】
ストーリーは、相互に非常に異なる視覚的外観を持ち得る多くのショットを含むことができる。場合によっては、幾つかのストーリーをリストするときに、全てのショットからのキーフレームを示すと、あまりに多くの空間を占めてしまうことがある。一実施形態では、ストーリーのショットのキーフレームは、ユーザがストーリーを選択した後、別個の枠に示される。図５および６に示す一例として、キーフレームは右手下部の枠内に示される。
【００３５】
一実施形態では、選択された映像は映像再生フレームに表示される。一実施形態では、選択されたコラージュは映像再生フレームに表示される。
【００３６】
一組の実施形態では、ツールチップは、検索されたストーリーに関する追加情報を明らかにする。一実施形態では、この情報は、ストーリーを他のストーリーから最も良く区別するキーワード、検索に最も密接に関係するキーワード、および、場所、日付、放送ネットワーク、ストーリーの長さ、ショットの長さ、映像内のストーリー開始時間、および検索に対するストーリーの関連度のような分類学的データ、の少なくとも１つ以上を含む。１以上の選択されたストーリーに関する情報を含むツールチップが表示される。
【００３７】
特定の実施形態は「関連追加」ボタンを含む。「関連追加」ボタンを押すたびに、事前に選択された個数の追加ショットが、各検索の結果枠に追加される。追加されるショットは、結果枠内にまだ入っておらず、かつ以前にユーザーによって無関係と印されていないショットで、関連度のランク付けが最高のものである。下述するように図６に示された単一の検索を含む一例では、毎回、ユーザインタフェースの最右端に幾つかのショットが追加される。二回以上の検索の場合、映像コレクション内の各ショットに対し、そのショットに対して発行された全ての検索の検索スコアから、加重平均が計算される。各検索毎に、最高関連度スコアのＮ個のショットが見出される。一例として、Ｎ＝５００であるとする。最高ランク付けショットは５００と裁定され、次のランクのショットには４９９点等が与えられる。各照会（検索）毎に、すでに結果に含まれるショットの点数が加算される。各照会に対する正規化された合計点数が、加重平均のための加重として使用される。映像コレクションの各ショットに対し、照会スコアの加重平均が計算される。結果にまだ含まれていない最高平均のショットは、それらに追加される。結果にショットが無い場合、全ての照会に均等な加重が与えられる。
【００３８】
この例では、最高スコアを持つ１０個のショットが次いで、結果枠に追加される。ユーザーがショットに無関係と印すことによって、ショットを除去した場合、それは「関連追加」ボタンによって追加される資格が無くなる。
【００３９】
図３は、映像の一部であるストーリーに対応する幾つかのコラージュ３００で表わされた映像のタイムライン３５０の一組の実施形態に係る表示画面を示す部分画面キャプチャである。これらのコラージュ３００は、一つの選択されたストーリー３６０およびその隣接コラージュ３７０を含む。タイムライン３５０のクロスバー３５５は、現在選択されているストーリー３６０に対応する、タイムライン３５０上の位置を示す。各コラージュの符号化（コーディング）は、各キーフレームの関連度を表わす。一例として、カラーバーおよびパターンバーのうちの一つを使用して、関連度が示される。この例では、選択されたキーフレームは、他のストーリーのパターンバー３６７とは異なるパターンバー３６５によって示される通り、他のキーフレームとは異なるレベルの関連度を有する。一例として、緑色の上の濃紺のカラーバーは、最小関連度のキーフレームを現わすことができ、明黄色のバーは最大関連度のキーフレームを現わすことができる。選択されたストーリーはタイムラインに示される。一実施形態では、対応するストーリーに関するさらなる情報を提供するために、ユーザーがキーフレームを選択することができる。一例として、選択は、タイムラインのどこかをクリックすることによって行なうことができる。
【００４０】
一組の実施形態では、タイムラインは、各々映像内にありかつ選択されたストーリーに作成時間が最も近接している、１以上の隣接ストーリーと共に表示される。一組の実施形態では、隣接ストーリーの各々に対し、一組の隣接キーフレームが選択され、隣接コラージュが作成されて表示される。
【００４１】
図４は、ストーリーに関する追加情報を提供するツールチップ４２０が表示される、実施形態を表わす部分画面キャプチャである。コラージュ４００もまた、四個のキーフレーム４１０から構成されて表示される。コラージュ４００のパターンバー４６７はその関連度を示す。図示した実施形態では、ツールチップ４２０に含まれる追加情報は、太字の検索キーワード４３０、および通常の字体の文書用語４４０を含む。一実施形態では、この追加情報は、ストーリーを他のストーリーから最も良く区別する１以上の文書用語４４０を含む。一実施形態では、追加情報は、映像検索に最も関連度が高い１以上のキーワード４３０を含む。図示した実施形態では、この追加情報は、場所、日付、放送ネットワーク、ストーリーの長さ、ショットの長さ、映像内のストーリーの開始時間、および検索に対するストーリーの関連度のような分類学的データ４１４をも含む。図４は前の三つの図全部の材料を組み込み、図３に示されたパターンバー３６７と、図２に示されたツールチップ２２０と、図１に示されたコラージュ１００とを結合している。
【００４２】
図５および６は、本発明の二つの実施形態の全画面キャプチャである。どちらの図も、前の四つの図すべての要素を結合している。
【００４３】
図５に示した実施形態では、スクリーン５９０は、包含選択キーフレーム５１３を複製するパネル５９７を最右端に含み、選択されたコラージュ５６０は映像再生空間５６３に現われる。スクリーン５９０は、コラージュ５００の形で関連度の順番に表示されるストーリーを示す、ストーリー表示領域５８０を左側に含む。検索に対して関連度が最も高かったストーリーに対応するコラージュ５００が、最高関連度のコラージュ５１６としてより大きいサイズで表示される。図では、ユーザーが該コラージュをすでに訪れた（参照した）ことがあることを示すために、それは半透明なオーバレイ付きで表示される。
【００４４】
ストーリー表示領域５８０の右上隅の最も関連度が高いコラージュ５１６の隣に、現在選択されているコラージュ５６０が現われている。現在選択されているコラージュ５６０は、スクリーン５９０の他の二つの場所、つまり中央右側のタイムライン５５０の下に隣接映像５７０と共に縮小されて、および右上の映像再生空間５６３に大きい形式で、現われている。これは、図１にクローズアップ図で示されているのと同じコラージュである。ストーリー表示領域５８０の右上隅には、ツールチップ５２０が、現在選択されているコラージュ５６０の真下に配置される。ツールチップ５２０は分類学的情報５１４を含む。その下には、通常の字体の検索用語５４０および太字のキーワード５３０がある。
【００４５】
スクリーン５９０の右側には、現在選択されているコラージュ５６０が、大きいフォーマットで映像再生空間５６３に現われる。下には、クロスバー５５５付きタイムライン５５０があり、その下に分類学的情報５１４が現われている。次に四個の隣接コラージュ５７０が見られ、図３にクローズアップ図で示すように、それらの間に現在選択されているコラージュ５６０がある。その真下には別の組の分類学的情報５１４がある。その下には、通常の字体の検索用語５４０、および太字のキーワード５３０がある。右側の最下部には、図２に示すようなキーフレーム選択パネル５０５がある。パネル５０５は、除外選択キーフレーム５１２および包含選択キーフレーム５１３をはじめ、ユーザーがコラージュへの包含および除外の少なくとも１つの印しを付けるように意図された、選択されたストーリーからのキーフレーム５１０を含む。ここでは差別化された不透明度レベルとして認識できるカラーオーバレイは、除外選択キーフレーム５１２および包含選択キーフレーム５１３のユーザーによる指定状態を示す。また、左下には、検索テキストボタン５７６およびビジュアル検索エントリ（入力欄）５８６も表示される。右下には、「関連追加」ボタン５９６が見られる。右側パネル５９７には包含選択キーフレーム５１３が複製される。
【００４６】
図６に示した実施形態では、スクリーン６９０は、包含選択キーフレーム６１３および「関連追加」ボタン６９６によって追加される画像６９８の両方を表示する、パネル６９７を最右端に含み、選択されたコラージュ６６０に対応する映像６９５は、映像再生空間６６３で再生される。スクリーン６９０は、コラージュ６００の形で関連度の順番に表示されるストーリーを示す、ストーリー表示領域６８０を左側に含む。検索に対する関連度が最も大きかったストーリーに対応するコラージュ６００は、最も関連度が高いコラージュ６１６としてより大きいサイズで表示される。図では、ユーザーが該コラージュをすでに訪れたことがあることを示すために、そのコラージュは半透明なオーバレイ付きで表示される。
【００４７】
ストーリー表示領域６８０の右上隅であって、最も関連度が高いコラージュ６１６の隣に、現在選択されているコラージュ６６０が現われている。現在選択されているコラージュ６６０は、再中央右側のタイムライン６５０の下にも再びその隣接映像６７０と共に縮小されて現われている。これは、図１にクローズアップ図で示されているのと同じコラージュである。ストーリー表示領域６８０の右上隅には、ツールチップ６２０が、現在選択されているコラージュ６６０の真下に配置される。ツールチップ６２０は分類学的情報６１４を含む。その下には、通常の字体の検索用語６４０および太字のキーワード６３０がある。
【００４８】
スクリーン６９０の右側には、選択されたコラージュ６６０に対応する映像６９５が映像再生空間６６３で再生される。下には、クロスバー６５５付きタイムライン６５０があり、その下に分類学的情報６１４が現われる。次に、図３にクローズアップ図で示すように、四個の隣接コラージュ６７０が見られ、それらの間に現在選択されているコラージュ６６０がある。その真下には別の組の分類学的情報６１４がある。その下には、通常の字体の検索用語６４０、および太字のキーワード６３０がある。右側の最下部には、図２に示すようなキーフレーム選択パネル６０５がある。パネル６０５は、除外選択キーフレーム６１２および包含選択キーフレーム６１３をはじめ、ユーザーがコラージュへの包含および除外の少なくとも１つの印しを付けるように意図された、選択されたストーリーからのキーフレーム６１０を含む。ここでは差別化された不透明度レベルとして認識できるカラーオーバレイは、除外選択キーフレーム６１２および包含選択キーフレーム６１３のユーザーによる指定状態を示す。また、左下には、検索テキストボタン６７６およびビジュアル検索エントリ６８６も表示される。右下には、「関連追加」ボタン６９６が見られる。右側パネル６９７には包含選択キーフレーム６１３、および「関連追加」ボタン６９６によって追加された「関連追加」画像６９８が複製される。
【００４９】
図５および６から、ストーリーの関連度は冗長的に符号化されていることが分かる。一例として、図５ないし６のユーザインタフェースの左側にはストーリーが関連度の順番にリストされ、より大きい関連度のストーリーがより大きい画像で提示されている。一例として、右側では、ストーリーは、関連度を示すカラーバーおよびパターンバーのうちの一方を有する。同じストーリーを、異なる検索に対しては異なる方法で表示すること、およびインタフェースの異なる部分に表示することの少なくともいずれかができる。これらの表現の一つを選択することで、同じストーリーの他の全ての表現も選択される。
【００５０】
＜システムの実装＞  図７は、本発明に係る方法を実装するのに適した汎用コンピュータシステム７００を示すブロック図である。汎用コンピュータシステム７００は、１以上のプロセッサ７０２を含む。カーソル制御装置７０５は、マウス、ジョイスティック、一連のボタン、またはユーザーがディスプレイモニタ７０４におけるカーソルまたはポインタの位置を制御することを可能にする、いずれかの他の入力装置として実装される。汎用コンピュータはまたランダムアクセスメモリ（ＲＡＭ）７０７、外部記憶装置７０３、ＲＯＭメモリ７０８、キーボード７０６、モデム７１０、およびグラフィックスコプロセッサ（グラフィック補助プロセッサ）７０９をも含むことができる。カーソル制御装置７０５およびキーボード７０６は、本発明に係るユーザーによる入力を受け取るための例示的ユーザインタフェースである。
【００５１】
汎用コンピュータシステム７００の全ての要素は、様々な要素の間でデータを伝送するために、任意に共通バス７０１によって連結される。バス７０１は一般的にデータ、アドレス、および制御信号を含む。図７に示す汎用コンピュータシステム７００は、汎用コンピュータシステム７００の全ての要素を連結する単一のデータバス７０１を含むが、汎用コンピュータシステム７００の様々な要素を接続する単一の通信バスである必要性は無い。例えば代替的に、１以上のプロセッサ７０２、ＲＡＭ７０７、ＲＯＭ７０８、およびグラフィックスコプロセッサ７０９はデータバスで連結される一方、ハードディスク７０３、モデム７１０、キーボード７０６、ディスプレイモニタ７０４、およびカーソル制御装置７０５は第二データバス（図示せず）で一つに接続されてもよい。この場合、第一データバス７０１および第二データバス（図示せず）は双方向バスインタフェース（図示せず）によってリンクされる。あるいは、１以上のプロセッサ７０２およびグラフィックスコプロセッサ７０９のような幾つかの要素は、第一データバス７０１および第二データバス（図示せず）の両方に接続される。第一および第二データバス間の通信は、１以上のプロセッサ７０２およびグラフィックスコプロセッサ７０９を介して行なわれる。本発明の方法はこのように、図７に示す７００のような任意の汎用コンピュータシステムで実行することができるが、このコンピュータシステムが、本発明の方法を実行できる唯一のシステムであるという制限が無いことは明らかである。
【００５２】
典型的な実装では、オペレータは、コンピュータディスプレイおよびそこで実行される何らかの形のグラフィカルインタフェース、例えばＵｎｉｘ（登録商標）ウィンドウズ（登録商標）環境、ＭａｃＯＳ、もしくはマイクロソフト・ウィンドウズ（登録商標）（Ｒ）環境、または他の何らかのグラフィカルアプリケーション環境を含むコンピュータシステムを使用する。本発明の実施形態は、他の形式のグラフィカルユーザインタフェース（ＧＵＩ）でも同様に使用できることは、通常の当業者には明らかであろう。
【００５３】
適切なソフトウェア符号化（コーディング）は、ソフトウェア技術の熟練者には明白であるように、本開示の教示に基づいて、熟練プログラマが容易に作成することができる。本発明の実施形態はまた、通常の当業者には容易に理解されるように、特定用途向け集積回路の製造によって、あるいは従来のコンポーネント回路の適切なネットワークを相互接続することによって、実装することもできる。
【００５４】
本発明の実施形態は、そこに格納された命令を有し／本発明のプロセス（処理）のいずれかを実行するようにコンピュータをプログラムするために使用することのできる命令を記憶した記憶媒体であるコンピュータプログラム製品を含む。記憶媒体は、フロッピー（登録商標）ディスク、光ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、マイクロドライブ、および光磁気ディスクのようないずれかの種類のディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュメモリ装置、磁気または光カード、ナノシステム（分子メモリＩＣを含む）、または命令およびデータの少なくともいずれかを格納するのに適したいずれかの種類の媒体または装置を含むことができるが、これらに限定されない。
【００５５】
本発明の実施形態は、汎用／専用コンピュータまたはマイクロプロセッサのハードウェアを制御するため、およびコンピュータまたはマイクロプロセッサが本発明の結果を利用して人間のオペレータまたは他のメカニズムと対話することを可能にするために、何らかのコンピュータ可読媒体に格納されたソフトウェアを含む。そのようなソフトウェアは、装置ドライバ、オペレーティングシステム、およびユーザーアプリケーションを含むことができるが、これらに限定されない。最終的に、このようなコンピュータ可読媒体は、上述した本発明を実行するためのソフトウェア（プログラム）をさらに含む。
【００５６】
何らかのコンピュータ可読媒体に格納された本発明の実施形態は、汎用／専用コンピュータまたはプロセッサのハードウェアを制御するため、およびコンピュータまたはプロセッサが本発明の実施形態の結果を利用して人間のユーザーまたは他のメカニズムと対話することを可能にするためのソフトウェア（プログラム）を含む。そのようなソフトウェアは、装置ドライバ、オペレーティングシステム、およびユーザーソフトウェアを含むことができるが、これらに限定されない。最終的に、このようなコンピュータ可読媒体は、上述した本発明の実施形態を実行するためのソフトウェアをさらに含む。
【００５７】
汎用／専用コンピュータまたはプロセッサのソフトウェアに含まれるのは、本発明の教示を実現するためのソフトウェアモジュールである。本発明の教示には、有用な画像を検出し、各々が「ヴィネット（ｖｉｇｎｅｔｔｅ）」にいかに密接に類似しているかに基づいて有用度の順番に画像をランク付けし、本発明の実施形態のプロセスに従って結果を伝播することが含まれるが、これらに限定されない。
【００５８】
本発明の実施形態は、コンピュータ技術の熟練者には明らかであるように、本開示の教示に従ってプログラムされた、従来の汎用または専用デジタルコンピュータまたはプロセッサを使用して簡便に実現することができる。
【００５９】
一実施形態では、本発明は、メディアオーガナイザに適用される。メディアオーガナイザはしばしば、画像を表示し、それらを任意の希望する構成に再編成し、所望のいずれかまたは全部の画像を印刷し、複写および必要ない画像を削除し、希望通りにいずれかまたは全部の画像をアップロードまたはダウンロードする能力を提供する、ライトボックスのようなインタフェースを通して、デジタル写真を編成する方法を提供する。メディアオーガナイザは、テキスト検索の結果得られたビデオ画像を含むことができる。本発明の実施形態は、潜在的意味解析で文書中の検索関連キーワードを識別する能力を提供し、そこで検索は二つ以上の検索用語を含むことができ、それはメディアオーガナイザの他の能力を補完する。
【００６０】
本発明の以上の記載は、例証および説明を目的として提供したものである。それは全てを網羅するものではなく、本発明を開示した厳密な形態に限定することを意図していない。多くの変形および変更が当業者には明白であろう。特に、画像を検出して、ヴィネットスコアに基づいて有用性の順番に数値ランクでランク付けする上記の機能は、記載した内容を超えて、他の種類のソフトウェアアプリケーションに組み込むことができることは明らかである。実施形態は、発明の原理およびその実際の用途を最も良く説明し、それによって他の当業熟練者が様々な実施形態について、考慮する特定の用途に適した様々な変形と共に、本発明を理解することができるように選択して記載したものである。発明の範囲は以下の請求の範囲およびそれらの均等物によって定義されることを意図している。
【図面の簡単な説明】
【００６１】
【図１】四つのキーフレームの代表的コラージュを示す部分画面キャプチャである。
【図２】コラージュ内への包含および除外の少なくとも１つについて印しがつけられるように意図された、選択されたストーリーからのキーフレームを含む、キーフレーム選択パネルを示す部分画面キャプチャである。
【図３】映像の一部であるストーリーに対応する幾つかのコラージュで表わされた映像のタイムラインの一組の実施形態に係る表示画面を示す部分画面キャプチャである。
【図４】ツールチップがストーリーに関する追加情報を提供する実施形態を表わす部分画面キャプチャである。
【図５】右側パネルに包含選択キーフレームを複製し、選択されたコラージュがメディア再生空間に現われる、実施形態の全画面キャプチャである。
【図６】右側パネルに包含選択キーフレームのみならず、「関連追加」ボタンによって追加された画像６９８をも両方複製し、選択されたコラージュに対応する映像がメディア再生空間で再生される実施形態の全画面キャプチャである。
【図７】本発明に係る方法を実現するのに適した汎用コンピュータシステムを示すブロック図である。
【符号の説明】
【００６２】
１００：  コラージュ
１１０：  キーフレーム
２０５：  キーフレーム選択パネル
２１０：  キーフレーム
２１２：  除外選択キーフレーム
２１３：  包含選択キーフレーム
２２０：  ツールチップ
２３０：  キーワード
２４０：  文書用語
３５０：  タイムライン
３５５：  クロスバー
３６０：  選択されたコラージュ
３７０：  隣接コラージュ
４００：  コラージュ
４１４：  分類学的データ
５９０：  スクリーン
６９０：  スクリーン
７００：  汎用コンピュータシステム
【図７】
2006164254.tif 000003
【図１】
2006164254.tif 000004
【図２】
2006164254.tif 000005
【図３】
2006164254.tif 000006
【図４】
2006164254.tif 000007
【図５】
2006164254.tif 000008
【図６】
2006164254.tif 000009