(57)【要約】【課題】有効に映像の主要シーンのインデックスを再生性・再表示を行う映像インデックス画像生成装置及び映像のインデックス画像を生成するプログラムを提供すること。【解決手段】データベース（１）１６に、フレームの特徴に基づいてセグメントに分かれた映像の各セグメントに属する複数のフレームが記憶されており、上記複数のフレームの中から所定の条件を充たすフレームが、演算処理装置１０内のセグメント内解析・主要フレーム抽出部２４にて、当該セグメントに対する代表画像として抽出される。この抽出された代表画像は表示装置１２に表示され、上記データベース（１）１６に記憶された上記複数のフレームの中から、各セグメントに対する新たな代表画像が主観・嗜好推定部２６によりユーザの嗜好に基づいて検索される。そして、検索された代表画像が表示装置１２に表示される。【選択図】図１
2006217046.tif 000002
【特許請求の範囲】
【請求項１】
連続する複数のフレームから成る映像からインデックス画像を生成するインデックス画像生成装置に於いて、
上記フレームの特徴に基づいて映像セグメントに分かれた映像の各映像セグメントに属する複数のフレームを記憶した画像記憶手段と、
上記画像記憶手段に記憶された上記複数のフレームの中から所定の条件を充たすフレームを、上記映像セグメントに対するインデックス画像として抽出する抽出手段と、
上記インデックス画像を表示する表示手段と、
上記画像記憶手段に記憶された上記複数のフレームの中から上記映像セグメントに対する新たなインデックス画像を抽出するためにユーザの嗜好に基づいて検索する検索手段と、
を具備し、
上記表示手段は、上記検索手段で検索された新たなインデックス画像を表示することを特徴とする映像インデックス画像生成装置。
【請求項２】
上記検索手段は、上記表示手段に表示された上記インデックス画像の中から、ユーザによる選択を受け付け、選択されたインデックス画像の特徴に基づいて当該インデックス画像に関連する新たなインデックス画像を上記映像セグメントから抽出するように検索することを特徴とする請求項１に記載の映像インデックス画像生成装置。
【請求項３】
上記検索手段は、上記表示手段に表示された上記インデックス画像の中からユーザによる選択を受け付け、検索対象の映像セグメントに属するインデックス画像の特徴と、上記選択されたインデックス画像の特徴とに基づいて、当該検索対象の映像セグメントの中から当該検索対象の映像セグメントに対する新たなインデックス画像を抽出するように検索することを特徴とする請求項２に記載の映像インデックス画像生成装置。
【請求項４】
上記検索手段は、上記表示手段に表示された上記インデックス画像について、ユーザから複数のインデックス画像の選択を受け付け、当該選択された複数のインデックス画像の特徴に基づいて第１の検索条件を求め、当該選択された複数のインデックス画像のうちの一部のインデックス画像の特徴に基づいて当該一部のインデックス画像の属する映像セグメントの中から複数の選別画像を選別し、上記複数の選別画像の特徴から第２の検索条件を求め、上記第１の検索条件と上記第２の検索条件に基づいて、上記映像セグメントから新たなインデックス画像を抽出するように検索することを特徴とする請求項２に記載の映像インデックス画像生成装置。
【請求項５】
上記インデックス画像の特徴は複数種類の特徴要素で表され、
上記検索手段は、上記インデックス画像の特徴の特徴要素と、上記選択されたインデックス画像の特徴の特徴要素を対比して、上記特徴要素の種類毎の重要度を示す特徴重要度の設定を行い、上記特徴重要度に基づいて、上記新たなインデックス画像を抽出するように検索することを特徴とする請求項２乃至４の何れか１に記載の映像インデックス画像生成装置。
【請求項６】
上記インデックス画像の特徴は複数種類の特徴要素で表され、
上記検索手段は、上記特徴要素の重要度を示す特徴重要度のユーザによる設定を受け付け、ユーザにより設定された上記特徴重要度に基づいて、上記新たなインデックス画像を抽出するように検索することを特徴とする請求項２乃至４の何れか１に記載の映像インデックス画像生成装置。
【請求項７】
上記選択されたインデックス画像に対して、当該インデックス画像の画像重要度の設定を行う設定手段を更に具備し、
上記検索手段は、上記特徴及び上記画像重要度に基づいて、上記インデックス画像に関連する新たなインデックス画像を抽出するように検索することを特徴とする請求項２乃至４の何れか１に記載の映像インデックス画像生成装置。
【請求項８】
上記設定手段は、上記画像重要度のユーザによる設定を受け付けることを特徴とする請求項７に記載の映像インデックス画像生成装置。
【請求項９】
ユーザによる上記フレームの閲覧状況を記憶する閲覧記録手段を具備し、
上記検索手段は、上記表示手段に表示された上記インデックス画像の中から上記閲覧状況に基づいた選択を行い、上記閲覧状況に基づいて選択されたインデックス画像の特徴に基づいて当該インデックス画像に関連する新たなインデックス画像を抽出するように検索することを特徴とする請求項１に記載の映像インデックス画像生成装置。
【請求項１０】
ユーザによる上記フレームの閲覧状況を記憶する閲覧記録手段を具備し、
上記検索手段は、上記表示手段に表示された上記インデックス画像の中から上記閲覧状況に基づいた選択を行い、検索対象の映像セグメントに属するインデックス画像の特徴と、上記閲覧状況に基づいて選択されたインデックス画像の特徴に基づいて、当該検索対象の映像セグメントの中から当該検索対象の映像セグメントに対する新たなインデックス画像を抽出するように検索することを特徴とする請求項１に記載の映像インデックス画像生成装置。
【請求項１１】
ユーザによる上記フレームの閲覧状況を記憶する閲覧記録手段を具備し、
上記検索手段は、上記表示手段に表示された上記インデックス画像の中から上記閲覧状況に基づいて複数のインデックス画像の選択を行い、上記閲覧状況に基づいて選択された複数のインデックス画像の特徴に基づいて第１の検索条件を求め、選択された複数のインデックス画像のうちの一部のインデックス画像の特徴に基づいて、当該一部のインデックス画像の属する映像セグメントの中から複数の選別画像を選別し、上記複数の選別画像の特徴から第２の検索条件を求め、上記第１の検索条件と上記第２の検索条件に基づいて、上記映像セグメントから新たなインデックス画像を抽出するように検索することを特徴とする請求項２に記載の映像インデックス画像生成装置。
【請求項１２】
上記画像記憶手段には、上記フレーム以外の画像も含み、上記閲覧状況には、ユーザによる上記フレーム以外の画像の閲覧状況も含むことを特徴とする請求項９乃至１１の何れか１に記載の映像インデックス画像生成装置。
【請求項１３】
上記インデックス画像の特徴は複数種類の特徴要素で表され、
上記検索手段は、上記閲覧状況に基づいて上記特徴要素の重要度を示す特徴重要度の設定を行い、上記特徴重要度に基づいて、上記新たなインデックス画像を抽出するように検索することを特徴とする請求項９乃至１２の何れか１に記載の映像インデックス画像生成装置。
【請求項１４】
ユーザを登録すると共に、上記閲覧状況をユーザ毎に記録する登録手段を具備し、
上記検索手段は、各ユーザの閲覧状況に基づいて検索を行うことを特徴とする請求項９乃至１３の何れか１に記載の映像インデックス画像生成装置。
【請求項１５】
ユーザの嗜好に基づいた複数の登録検索条件を記憶した検索条件記憶手段を具備し、
上記検索手段は、上記複数の登録検索条件からユーザの選択を受け付け、選択された登録検索条件に基づいて、上記映像セグメントから新たなインデックス画像を検索することを特徴とする請求項１に記載の映像インデックス画像生成装置。
【請求項１６】
ユーザの嗜好に基づいた複数の登録検索条件を記憶した検索条件記憶手段を具備し、
上記検索手段は、上記表示手段に表示された上記インデックス画像について、ユーザからの選択を受け付け、当該選択されたインデックス画像の特徴に基づいて第１の検索条件を求め、上記複数の登録検索条件からユーザの選択を受け付けて、当該選択された登録検索条件を第２の検索条件とし、上記第１の検索条件と上記第２の検索条件に基づいて、上記映像セグメントから新たなインデックス画像を抽出するように検索することを特徴とする請求項１に記載の映像インデックス画像生成装置。
【請求項１７】
上記画像記憶手段は、上記フレーム以外の画像を記憶しており、上記検索手段は、上記画像記憶手段に記憶された上記フレーム及び上記フレーム以外の画像の中から新たなインデックス画像を抽出するように検索することを特徴とする請求項１乃至１６の何れか１に記載の映像インデックス画像生成装置。
【請求項１８】
連続する複数のフレームから成る映像からインデックス画像を生成するプログラムであって、
上記フレームの特徴に基づいて映像セグメントに分かれた映像の各映像セグメントに属する複数のフレームを記憶する第１の手順と、
上記第１の手順により記憶された上記複数のフレームの中から所定の条件を充たすフレームを、上記映像セグメントに対するインデックス画像として抽出する第２の手順と、
上記インデックス画像を表示する第３の手順と、
上記第１の手順により記憶された上記複数のフレームの中から上記映像セグメントに対する新たなインデックス画像を抽出するためにユーザの嗜好に基づいて検索する第４の手順と、
上記第４の手順によって検索された新たなインデックス画像を表示する第５の手順と、
を具備することを特徴とするインデックス画像を生成するプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、連続する複数のフレームから成る映像からインデックス画像を生成するインデックス画像生成装置及びインデックス画像を生成するプログラムに関するものである。
【背景技術】
【０００２】
近年、デジタル情報が至る場面で利用されている。これらの情報はテキスト情報のみならず、画像、映像等の容量の膨大なデータに関しても様々な分野で利用されている。そして、今後、ストレージデバイスの容量増大に伴い、大量の画像・映像の中からユーザの要求に満足するデータを検索・表示する技術の重要性は、益々高まることが必至である。
【０００３】
ところで、画像を検索する場合、キーワードによらず、画像からその様々な特徴を算出し、これらの特徴を比較することにより類似する特徴を有する画像を検索する類似画像検索システムも多数提案されている。この技術は静止画像に限ることなく、動画像からの類似シーン検索や、特徴画像の抽出によるダイジェスト画像生成技術にも応用されている。
【０００４】
パーソナルなダイジェスト映像を生成する場合に、イベント情報を参照して映像の意味的な区間を抽出し、その区間の意味的特徴量計算を行い、特徴量の大きな映像シーンを選択してダイジェストの生成を行う技術が知られている。更に、特徴量計算の際に、同時に各属性に関連付けられたカテゴリの嗜好情報を参照し、対応する嗜好情報の好きな度合いを用いて特徴量の値を増減させることにより、ユーザの嗜好を反映させたダイジェストを生成するものである（例えば、特許文献１参照）。
【０００５】
また、複数の視聴者が同一の番組を個別に再生視聴する際に、視聴者が順次再生順序を変更する操作を行った場面とその操作のタイミングの操作履歴に基づいてクラスタ分析を行ったクラスタ分析結果が入力されたときに、クラスタ内の時間軸上で操作履歴に基づいたクラスタの代表点をインデックス画像として生成したり、クラスタ分析結果及び映像特徴によるカット点が入力されたときにクラスタの代表点との差を閾値により判断してインデックスを生成する技術が知られている（例えば、特許文献２参照）。
【特許文献１】特開２００２−２３２８２８号公報
【特許文献２】特開２００４−１５７７８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１に記載の技術では、嗜好情報を入力する際にカテゴリや項目名を指定する必要があり、表示された画像とカテゴリのようなテキスト情報との対応付けをユーザが設定する必要がある。そのため、煩わしさが生じたり、またはユーザが設定したいと思うカテゴリが存在しないという不都合も生じることとなる。また、この特許文献１の技術に於いては、特徴の大きな画像をダイジェストシーンとして抽出しているが、必ずしも特徴が大きな画像がダイジェストとして適切とは限らず、連続する画像の特徴の変化をダイジェスト抽出のための特徴として捉えなければならない。
【０００７】
また、特許文献２に記載の技術では、複数の視聴者の平均的な操作履歴を利用しているため、生成されるインデックスも不特定多数の視聴者の平均的なインデックスとなってしまう。そのため、各個人に対する試行が考慮されたインデックス生成が行われることにはならない。
【０００８】
したがって本発明は上記課題に鑑みてなされたものであり、ユーザの好みに合ったインデックス画像を精度良く、且つ、ユーザにとって簡便に生成することのできるインデックス画像生成装置及びインデックス画像を生成するプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
すなわち請求項１に記載の発明は、連続する複数のフレームから成る映像からインデックス画像を生成するインデックス画像生成装置に於いて、上記フレームの特徴に基づいて映像セグメントに分かれた映像の各映像セグメントに属する複数のフレームを記憶した画像記憶手段と、上記画像記憶手段に記憶された上記複数のフレームの中から所定の条件を充たすフレームを、上記映像セグメントに対するインデックス画像として抽出する抽出手段と、上記インデックス画像を表示する表示手段と、上記画像記憶手段に記憶された上記複数のフレームの中から上記映像セグメントに対する新たなインデックス画像を抽出するためにユーザの嗜好に基づいて検索する検索手段と、を具備し、上記表示手段は、上記検索手段で検索された新たなインデックス画像を表示することを特徴とする。
【００１０】
請求項２に記載の発明は、請求項１に記載の発明に於いて、上記検索手段は、上記表示手段に表示された上記インデックス画像の中から、ユーザによる選択を受け付け、選択されたインデックス画像の特徴に基づいて当該インデックス画像に関連する新たなインデックス画像を上記映像セグメントから抽出するように検索することを特徴とする。
【００１１】
請求項３に記載の発明は、請求項２に記載の発明に於いて、上記検索手段は、上記表示手段に表示された上記インデックス画像の中からユーザによる選択を受け付け、検索対象の映像セグメントに属するインデックス画像の特徴と、上記選択されたインデックス画像の特徴とに基づいて、当該検索対象の映像セグメントの中から当該検索対象の映像セグメントに対する新たなインデックス画像を抽出するように検索することを特徴とする。
【００１２】
請求項４に記載の発明は、請求項２に記載の発明に於いて、上記検索手段は、上記表示手段に表示された上記インデックス画像について、ユーザから複数のインデックス画像の選択を受け付け、当該選択された複数のインデックス画像の特徴に基づいて第１の検索条件を求め、当該選択された複数のインデックス画像のうちの一部のインデックス画像の特徴に基づいて当該一部のインデックス画像の属する映像セグメントの中から複数の選別画像を選別し、上記複数の選別画像の特徴から第２の検索条件を求め、上記第１の検索条件と上記第２の検索条件に基づいて、上記映像セグメントから新たなインデックス画像を抽出するように検索することを特徴とする。
【００１３】
請求項５に記載の発明は、請求項２乃至４の何れか１に記載の発明に於いて、上記インデックス画像の特徴は複数種類の特徴要素で表され、上記検索手段は、上記インデックス画像の特徴の特徴要素と、上記選択されたインデックス画像の特徴の特徴要素を対比して、上記特徴要素の種類毎の重要度を示す特徴重要度の設定を行い、上記特徴重要度に基づいて、上記新たなインデックス画像を抽出するように検索することを特徴とする。
【００１４】
請求項６に記載の発明は、請求項２乃至４の何れか１に記載の発明に於いて、上記インデックス画像の特徴は複数種類の特徴要素で表され、上記検索手段は、上記特徴要素の重要度を示す特徴重要度のユーザによる設定を受け付け、ユーザにより設定された上記特徴重要度に基づいて、上記新たなインデックス画像を抽出するように検索することを特徴とする。
【００１５】
請求項７に記載の発明は、請求項２乃至４の何れか１に記載の発明に於いて、上記選択されたインデックス画像に対して、当該インデックス画像の画像重要度の設定を行う設定手段を更に具備し、上記検索手段は、上記特徴及び上記画像重要度に基づいて、上記インデックス画像に関連する新たなインデックス画像を抽出するように検索することを特徴とする。
【００１６】
請求項８に記載の発明は、請求項７に記載の発明に於いて、上記設定手段は、上記画像重要度のユーザによる設定を受け付けることを特徴とする。
【００１７】
請求項９に記載の発明は、請求項１に記載の発明に於いて、ユーザによる上記フレームの閲覧状況を記憶する閲覧記録手段を具備し、上記検索手段は、上記表示手段に表示された上記インデックス画像の中から上記閲覧状況に基づいた選択を行い、上記閲覧状況に基づいて選択されたインデックス画像の特徴に基づいて当該インデックス画像に関連する新たなインデックス画像を抽出するように検索することを特徴とする。
【００１８】
請求項１０に記載の発明は、請求項１に記載の発明に於いて、ユーザによる上記フレームの閲覧状況を記憶する閲覧記録手段を具備し、上記検索手段は、上記表示手段に表示された上記インデックス画像の中から上記閲覧状況に基づいた選択を行い、検索対象の映像セグメントに属するインデックス画像の特徴と、上記閲覧状況に基づいて選択されたインデックス画像の特徴に基づいて、当該検索対象の映像セグメントの中から当該検索対象の映像セグメントに対する新たなインデックス画像を抽出するように検索することを特徴とする。
【００１９】
請求項１１に記載の発明は、請求項２に記載の発明に於いて、ユーザによる上記フレームの閲覧状況を記憶する閲覧記録手段を具備し、上記検索手段は、上記表示手段に表示された上記インデックス画像の中から上記閲覧状況に基づいて複数のインデックス画像の選択を行い、上記閲覧状況に基づいて選択された複数のインデックス画像の特徴に基づいて第１の検索条件を求め、選択された複数のインデックス画像のうちの一部のインデックス画像の特徴に基づいて、当該一部のインデックス画像の属する映像セグメントの中から複数の選別画像を選別し、上記複数の選別画像の特徴から第２の検索条件を求め、上記第１の検索条件と上記第２の検索条件に基づいて、上記映像セグメントから新たなインデックス画像を抽出するように検索することを特徴とする。
【００２０】
請求項１２に記載の発明は、請求項９乃至１１の何れか１に記載の発明に於いて、上記画像記憶手段には、上記フレーム以外の画像も含み、上記閲覧状況には、ユーザによる上記フレーム以外の画像の閲覧状況も含むことを特徴とする。
【００２１】
請求項１３に記載の発明は、請求項９乃至１２の何れか１に記載の発明に於いて、上記インデックス画像の特徴は複数種類の特徴要素で表され、上記検索手段は、上記閲覧状況に基づいて上記特徴要素の重要度を示す特徴重要度の設定を行い、上記特徴重要度に基づいて、上記新たなインデックス画像を抽出するように検索することを特徴とする。
【００２２】
請求項１４に記載の発明は、請求項９乃至１３の何れか１に記載の発明に於いて、ユーザを登録すると共に、上記閲覧状況をユーザ毎に記録する登録手段を具備し、上記検索手段は、各ユーザの閲覧状況に基づいて検索を行うことを特徴とする。
【００２３】
請求項１５に記載の発明は、請求項１に記載の発明に於いて、ユーザの嗜好に基づいた複数の登録検索条件を記憶した検索条件記憶手段を具備し、上記検索手段は、上記複数の登録検索条件からユーザの選択を受け付け、選択された登録検索条件に基づいて、上記映像セグメントから新たなインデックス画像を検索することを特徴とする。
【００２４】
請求項１６に記載の発明は、請求項１に記載の発明に於いて、ユーザの嗜好に基づいた複数の登録検索条件を記憶した検索条件記憶手段を具備し、上記検索手段は、上記表示手段に表示された上記インデックス画像について、ユーザからの選択を受け付け、当該選択されたインデックス画像の特徴に基づいて第１の検索条件を求め、上記複数の登録検索条件からユーザの選択を受け付けて、当該選択された登録検索条件を第２の検索条件とし、上記第１の検索条件と上記第２の検索条件に基づいて、上記映像セグメントから新たなインデックス画像を抽出するように検索することを特徴とする。
【００２５】
請求項１７に記載の発明は、請求項１乃至１６の何れか１に記載の発明に於いて、上記画像記憶手段は、上記フレーム以外の画像を記憶しており、上記検索手段は、上記画像記憶手段に記憶された上記フレーム及び上記フレーム以外の画像の中から新たなインデックス画像を抽出するように検索することを特徴とする。
【００２６】
請求項１８に記載の発明は、連続する複数のフレームから成る映像からインデックス画像を生成するプログラムであって、上記フレームの特徴に基づいて映像セグメントに分かれた映像の各映像セグメントに属する複数のフレームを記憶する第１の手順と、上記第１の手順により記憶された上記複数のフレームの中から所定の条件を充たすフレームを、上記映像セグメントに対するインデックス画像として抽出する第２の手順と、上記インデックス画像を表示する第３の手順と、上記第１の手順により記憶された上記複数のフレームの中から上記映像セグメントに対する新たなインデックス画像を抽出するためにユーザの嗜好に基づいて検索する第４の手順と、上記第４の手順によって検索された新たなインデックス画像を表示する第５の手順と、を具備することを特徴とする。
【発明の効果】
【００２７】
本発明によれば、ユーザの好みに合ったインデックス画像を精度良く、且つ、ユーザにとって簡便に生成することのできる映像インデックス生成装置及びインデックス画像を生成するプログラムを提供することができる。
【発明を実施するための最良の形態】
【００２８】
以下、図面を参照して本発明の実施形態を説明する。
【００２９】
（第１の実施形態）
図１は、本発明の第１の実施形態による画像情報表示装置１のシステム全体の構成を示すブロック図である。画像情報表示装置１は、本発明のインデックス画像生成装置に相当するものである。
【００３０】
図１に於いて、この画像情報表示装置１は、演算処理装置１０と、表示装置１２と、入力装置１３と、指示装置１４と、データベース１（以下、データベース（１）と記す）１６及びデータベース２（以下、データベース（２）と記す）１７とを有して構成される。
【００３１】
上記表示装置１２は、上記データベース（１）１６及びデータベース（２）１７より取得されたデータ処理結果を表示するためのものである。入力装置１３は、この画像情報表示装置の入力操作を行うためのもので、例えばキーボード等のデバイスから構成される。同様に、指示装置１４は、画像情報表示装置に対する指示操作を行うためのもので、例えばマウス等のポインティングデバイスから構成される。
【００３２】
上記データベース（１）には、表示装置１２に表示されるべく複数の映像・画像・特徴量が蓄積されている。同様に、データベース（２）１７には、表示装置１２に表示されるべくユーザの主観・嗜好・履歴等が蓄積されている。
【００３３】
演算処理装置１０は、映像取り込み部２１と、フレーム間比較・解析・インデックス生成部２２と、映像セグメンテーション部２３と、セグメント内解析・主要フレーム抽出部２４と、表示画像指定部２５と、主観・嗜好推定部２６と、再検索部２７とを有して構成される。演算処理装置１０は、ＣＰＵ等によって実現され、図示しない記憶部に記憶したプログラムを実行することで、インデックス画像を生成するためのインデックス生成処理を行う。図２は、演算処理装置１０で実行するインデックス生成処理の流れを示す。
【００３４】
映像取り込み部２１では、映像・画像データベース１１から映像データを読み込み（ステップＳ１）、連続するフレームへの展開が行われる。尚、ここで展開されるフレームは、連続するものに限られず、時系列的に関連したものであれば、例えば１コマおき等であってもよい。
【００３５】
フレーム間比較・解析・インデックス生成部２２は、映像読み込み部２１で抽出されたフレームの特徴の算出、及びフレーム間の特徴の変化の算出を行うとともに、インデックス画像を抽出するためにフレームの特徴の統計量や特徴の変化の統計量の算出を行う（ステップＳ２）。更に、フレーム間比較・解析・インデックス生成部２２は、映像中の各フレームの特徴に基づいて、映像の中から、所定の条件に合致するフレームを映像のシーンの変化の位置を示すシーンチェンジフレームとして抽出する（ステップＳ３）。
【００３６】
尚、フレーム間比較・解析部２２で算出した特徴や、特徴の変化の統計量等は、演算処理装置１０のメモリ（図示せず）上にマッピングしておくことも可能であるが、容量が膨大になることもあるため、ハードディスク（図示せず）に蓄積しておくことも可能である。
【００３７】
ここで、フレームの特徴は、カラーヒストグラム、解像度を変換した画像（例えば、１６×１６の解像度に落とした画像）、エッジ分布のヒストグラム（画像処理によるエッジ算出を行った後でその画素値をヒストグラム化したもの）、エッジの方向に対するヒストグラム（設定された方向の数のエッジ算出を行い、画素毎に最大値をとる方向のヒストグラムとして表したもの）等の様々な種類の特徴要素で表すことができる。更には、カラーヒストグラム、エッジ分布のヒストグラム、エッジ方向に対するヒストグラムに関しては、フレーム内でヒストグラムを算出するための領域を指定して、指定した領域について算出したヒストグラムをフレームの特徴要素とすることも考えられる。更に、テクスチャ特徴としての、共分散行列や、モーメント等、フレームの特徴としてフレームの画像データから得られる様々な特徴要素によって、各フレームの特徴を表すことができる。
【００３８】
フレームの特徴は、このように、複数の特徴要素で表されるため、それぞれベクトルとして表現することができ、フレーム間の特徴の変化を複数のフレーム間でのベクトルの差分として定義することができる。
【００３９】
シーンチェンジフレームの抽出は様々な方法で行うことができる。例えば、時系列的に前後する２つのフレーム間で特徴を比較して、特徴が大きく変化する時点のフレームをシーンチェンジフレームとして抽出することができる。他にも、ある対象とするフレームの近傍の複数のフレームの各特徴要素について、各特徴要素の平均や標準偏差等の統計量、または各特徴要素の差の平均や標準偏差等の統計量を算出し、この統計量に基づいて対象とするフレームで特徴が大きく変化しているか否かを判定し、特徴が大きく変化する時点のフレームをシーンチェンジフレームとして抽出することができる。また、対象とするフレームの近傍の複数のフレームを、連続する複数のフレームではなく、数フレーム間隔での複数のフレームとして、シーンチェンジフレームとして抽出することもできる。
【００４０】
映像セグメンテーション部２３は、上記フレーム間比較・解析・インデックス生成部２２がシーンチェンジフレームを抽出した後、シーンチェンジフレームの位置で映像の分割を行うことで、映像のセグメンテーションを行う。すなわち、映像セグメンテーション部２３は、映像をシーンチェンジフレームの位置で分割した映像セグメントを生成する（ステップＳ４）。ここで、映像セグメンテーション部２３は、シーンチェンジフレームの間隔も考慮して、シーンチェンジフレーム同士の時間間隔が狭すぎる場合等には、生成した複数の映像セグメントを統合する処理を、ステップＳ４で追加して行ってもよい。
【００４１】
次に、映像セグメント内解析・主要フレーム抽出部２４は、上述のフレーム間比較・解析部２２で算出した各種特徴や統計量を用いて、映像セグメンテーション部２３で生成した映像セグメント内の連続するフレームの特徴の解析を行い、各映像セグメントから主要フレームの抽出条件に従って主要フレームの抽出を行う（ステップＳ５）。主要フレームは、本発明のインデックス画像に相当する。
【００４２】
演算処理装置１０は、図３に示されるように、フレーム間比較・解析・インデックス生成部２２で抽出したシーンチェンジフレーム３１と、セグメント内解析・主要フレーム抽出部２４で各映像セグメントから抽出した主要フレーム３２を、表示装置１２に表示する（ステップＳ６）。表示されるシーンチェンジフレームや主要フレームは、各映像セグメントに対応付けしておくことも可能であるし、特に映像セグメントとの関連に関しては設定せずに配列上に表示されていてもよい。尚、表示装置１２に表示する主要フレームの枚数等の条件は指示装置１４等によって指定することができる。
【００４３】
表示画像指定部２５は、上記セグメント内解析・主要フレーム抽出部２４で抽出された主要フレーム等の画像からユーザが主観や嗜好により選んだ少なくとも１枚以上の画像を指定画像として選択する（ステップＳ７）。
【００４４】
主観・嗜好推定部２６では、表示画像指定部２５で指定された画像から、ユーザ毎の主観や嗜好が推定されて主要フレームの再検索を行うための検索条件を設定する（ステップＳ８）。ここで設定された条件は、ユーザ毎にユーザの主観・嗜好・履歴を扱っているデータベース（２）１７に登録されるようになっており、該当するユーザが利用する場合には、任意に参照できるようになっている。
【００４５】
再検索部２７は、主観・嗜好推定部２６で設定した条件に従って、主要フレームの再検索を行い、再検索により抽出した新たな主要フレームを、表示装置１２に表示する（ステップＳ９）。
【００４６】
次に、図４のフローチャートを参照して、上述のステップＳ４〜ステップＳ９について、演算処理装置１０が行う処理を更に説明する。
【００４７】
ステップＳ３でシーンチェンジフレームを抽出した後、先ず、ステップＳ１では、映像セグメントを生成する。ステップＳ１１は、ステップＳ４の処理に相当する処理であり、映像セグメンテーション部２３が、映像をシーンチェンジフレームの位置で分割することで、映像セグメントを生成する処理である。
【００４８】
続くステップＳ１２では、各映像セグメント内から主要フレームの抽出を行う。ステップＳ１２は、ステップＳ５の処理に相当する処理であり、セグメント内解析・主要フレーム抽出部２４が、主要フレームの抽出条件に従って主要フレームの抽出を行う処理である。このステップＳ１２の処理に於いて、主要フレームを検出する方法としては、様々な方法が考えられる。本実施形態では、各映像セグメントから、シーンチェンジフレームを抽出する際の条件とは異なる条件でフレームを抽出している。
【００４９】
例えば、上述のフレーム間比較・解析部２２で算出した各種特徴や統計量を用いて、映像セグメンテーション部２４で生成した映像セグメント内の複数フレームの特徴を解析し、その解析結果から主要フレームの抽出条件を設定する。
【００５０】
セグメント内解析・主要フレーム抽出部２４による主要フレームの抽出条件の設定は、例えば、次のように行われる。
【００５１】
まず、各映像セグメントの中のフレームを、対象とするフレームとして順次設定し、対象とするフレーム近傍の複数のフレームの複数種類の特徴要素について、それらのフレーム間の特徴量を算出する。
【００５２】
ここで、特徴量とは、複数のフレームに於いて、各フレームの特徴についての変化の様子を示すものであり、例えば、複数のフレームから得られるフレーム間の複数種類の特徴要素の変化量そのもの、または複数のフレームから得られるフレーム間の特徴要素の統計量、または複数のフレームから得られるフレーム間の特徴要素の変化の統計量、または、複数のフレームから得られるフレーム間の特徴要素の統計量の変化量等である。尚、統計量は、平均や標準偏差、分散等で求められるものである。
【００５３】
そして、算出した特徴量と、主要フレームを抽出するために設定された閾値との関係を主要フレームの抽出条件として、特徴量と閾値を比較して、特徴量が閾値よりも小さい位置のフレームを検出し、主要フレームとして抽出する。例えば、フレーム間の特徴の変化が小さい位置のフレームを主要フレームとして抽出したり、対象とするフレーム近傍の複数のフレームから得られる複数種類の特徴についての標準偏差や、分散から得る特徴量が閾値よりも小さいときに、当該対象とするフレームを主要フレームとして抽出したりする。
【００５４】
或いは、セグメント内解析部２５で、各フレームにおける主要被写体の状態を判断して、主要被写体の状態が所定の状態になっているか否かを主要フレームの抽出条件として、主要フレーム抽出部２６が主要フレームを抽出するようにしてもよい。すなわち、主要被写体が中心にあると判断したフレーム、主要被写体の大きさが所定の大きさとなっていると判断したフレーム、主要被写体にピントが合った状態であると判断したフレーム、主要被写体が正面を向いていると判断したフレーム、主要被写体の動きの小さな場面であると判断したフレーム、主要被写体として特徴的なオブジェクトが写っている場面であると判断したフレーム等、多様な状態をセグメント内解析部２５で判断して、主要フレーム抽出部２６が主要フレームを抽出するようにすることができる。
【００５５】
上述のように、シーンチェンジフレームとしては、フレーム間でフレームの特徴が大きく変化する位置のフレームが適当である場合が多いため、シーンチェンジフレームを抽出する際には、フレーム間の特徴の変化の程度を示す特徴量が所定の閾値よりも大きい位置にあるフレームをシーンチェンジフレームとして抽出した。一方で、主要フレームとしては、フレーム間でフレームの特徴の変化が比較的小さい位置のフレームが適当である場合が多い。このため、本実施形態では、主要フレームを抽出する際には、シーンチェンジフレームを抽出する場合と異なり、フレーム間の特徴の変化の程度を示す特徴量が所定の閾値よりも小さい位置にあるフレームを、主要フレームとして抽出している。
【００５６】
尚、主要フレームを抽出するための閾値は、複数種類の特徴要素に対して、各々設定されている。また、主要フレームの抽出枚数は特に限定されるものではない。例えば、ｍ個の映像セグメントに分割された映像に於いて、映像セグメントｉ（ｉ＝１〜ｍ）に対してｋｉ毎の主要フレームを抽出するように、映像セグメント毎に主要フレームの抽出枚数を設定しておく。この設定を、ユーザの選択で行うようにしてもよい。
【００５７】
ステップＳ１３では、上記ステップＳ１２で抽出された主要フレームの表示を行う。ステップＳ１３は、ステップＳ６の処理に相当する処理であり、演算処理装置１０が、図３に示されるように、主要フレーム３２を表示する処理である。ここでは、映像セグメント毎にそれぞれ新たに抽出されたフレームが、その映像セグメントに関連付けられた上で表示されるものとなっている。すなわち、ステップＳ１１でセグメンテーションが行われ、更にステップＳ１２で各映像セグメントから少なくとも１枚以上の主要フレームが検索されているため、図３に示すようなマトリクス状の画像列を生成することができる。
【００５８】
次に、ステップＳ１４では、主要フレームからユーザが主観や嗜好により選んだ少なくとも１枚以上の画像を指定画像として選択する。ステップＳ１４は、ステップＳ７の処理に相当する処理であり、表示画像指定部２５が、主要フレーム等の画像からユーザが主観や嗜好により選んだ少なくとも１枚以上の画像を指定画像として選択する処理である。すなわち、ステップＳ１３で表示された主要フレームを見たユーザは、表示された主要フレームの中からユーザの主観や嗜好で１枚の画像を選択する。ユーザにより選択された画像は、指定画像として記憶され、表示画像指定部２５は、この指定画像を選択する。
【００５９】
ステップＳ１５〜ステップＳ１８では、主要フレームの再検索を行うための検索条件を設定して、新しい主要フレームの抽出と、抽出した新しい主要フレームの更新を行う。ステップＳ１５〜ステップＳ１８は、ステップＳ８〜ステップＳ９の処理に相当する処理である。
【００６０】
先ず、ステップＳ１５に於いて、指定画像と、対象となっている映像セグメントから抽出されている主要フレームとから、統合検索条件を設定する。すなわち、図５に示されるように、指定画像（１）〜指定画像（ｐ）、及び映像セグメントに対する繰り返し処理が行われるときの対象としている映像セグメント（ｉ）から抽出されている主要フレームｆｒａｍｅ（１）〜ｆｒａｍｅ（ｍi ）で構成されるフレーム群Ｔについて、これらのフレームの特徴に基づいて、統合検索条件Ｑpref（ｉ）を設定する。
【００６１】
統合検索条件Ｑpref（ｉ）は、フレーム群Ｔのフレームと類似するフレームを映像セグメント（ｉ）から抽出する条件である。本実施形態では、統合検索条件Ｑpref（ｉ）に於いて、各特徴要素に対する重み係数や、各指定画像に対する重み係数を考慮する。特徴要素に対する重み係数は、本発明の特徴重要度に相当する。指定画像に対する重み係数は、本発明の画像重要度に相当する。
【００６２】
各特徴要素に対する重み係数を考慮する場合には、フレーム群Ｔを構成するフレーム間で特徴要素の値が近い場合は、当該特徴要素は重要な特徴要素であり、当該特徴要素に対して高い重み係数を設定する。一方、フレーム群Ｔを構成するフレーム間で特徴要素の値の違いが大きな場合には当該特徴要素は重要でないため、当該特徴要素に対して低い重み係数を設定する。
【００６３】
指定画像に対する重み係数を考慮する場合には、フレーム群Ｔを構成するフレーム毎に、フレームの特徴（または特徴量）に基づいて重み係数を設定する。フレームの特徴のうち、所定の特徴要素についての特徴（または特徴量）の値が所定の閾値よりも高い場合には、そのフレームは重要なフレームであり、当該フレームに対して高い重み係数を設定する。一方、フレームの特徴のうち、所定の特徴要素についての特徴（または特徴量）の値が所定の閾値よりも低い場合には、当該フレームは重要でないため、当該フレームに対して低い重み係数を指定画像に対して設定する。
【００６４】
特徴要素に対する重み係数や、指定画像に対する重み係数は、様々な方法で設定することができる。例えば、ユーザによる重み係数の設定を、入力装置１３や、指示装置１４で受け付けて、重み係数を設定することができる。
【００６５】
他にも、特徴要素に対する重み係数を設定する場合には、映像セグメント（ｉ）内の全フレームを対象にして算出した各特徴要素の標準偏差をσ0 として、指定画像及び主要フレームとして抽出されているフレーム全体を対象として算出した各特徴要素の標準偏差をσprefとした場合の、比σ0 ／σprefを重み係数として設定する方法がある。映像セグメント内の全てのフレームの標準偏差との比を用いることで、映像セグメント内のフレーム群全体の傾向も加味することが可能となる。尚、標準偏差σ0 は必ずしも、映像セグメント（ｉ）内の全フレームを対象として算出する必要はなく、一部のフレームを対象として算出してもよい。重み係数の設定は、各フレームの特徴から統計的に算出されるその他の方法で行ってもよい。
【００６６】
また、指定画像に対する重み係数を設定する場合には、フレーム群Ｔの全フレームを対象にして算出した各特徴要素の標準偏差をσ0 として、各指定画像の各特徴要素の値をσprefとした場合の、比σ0 ／σprefを重み係数として設定する。フレーム群Ｔ内の全てのフレームの標準偏差との比を用いることで、フレーム群Ｔ内のフレーム群全体の傾向も加味することが可能となる。尚、標準偏差σ0 は必ずしも、フレーム群Ｔ内の全フレームを対象として算出する必要はなく、一部のフレームを対象として算出してもよい。重み係数の設定は、各フレームの特徴から統計的に算出されるその他の方法で行ってもよい。
【００６７】
このように、本実施形態の統合検索条件Ｑpref（ｉ）は、フレーム群Ｔから求めた特徴量と、映像セグメント（ｉ）内の各フレームの特徴量とを比較して、フレーム群Ｔから求めた特徴量に近似する特徴量を有するフレームを、フレーム群Ｔのフレームと類似するフレームとして抽出する条件であり、重要度の高い特徴要素の特徴量について近似するフレームを優先的に抽出する条件となっている。
【００６８】
このような統合検索条件Ｑpref（ｉ）を用いることにより、映像セグメント内の主要画像と、ユーザの主観・嗜好を加味したユーザ毎の効果的な検索による主要フレームの抽出が可能となる。
【００６９】
次に、ステップＳ１６では、生成された統合検索条件Ｑpref（ｉ）で対象としている映像セグメント（ｉ）内の検索を行う。
【００７０】
ステップＳ１７では、全映像セグメントに対しての繰り返し処理が終了したか否かが判断される。ステップＳ１５〜ステップＳ１６は、ｍ個に分割された各映像セグメントに対する順次繰り返し処理（ｉ＝１〜ｍ）となっており、ステップＳ１７で、繰り返しがまだ終了ではない場合は、ステップＳ１５へ移行してステップＳ１５〜ステップＳ１６の繰り返し処理が行われる。
【００７１】
一方、上記ステップＳ１７にて繰り返し処理が終了したならば、ステップＳ１８へ移行する。そして、ステップＳ１８では、各映像セグメントから再検索された新たな主要フレームで主要フレームの更新を行い、新たな主要フレームの表示を行う。
【００７２】
この結果表示に於いても、構造としては最初に表示された形式と同様であり、図３に示されるようなマトリクス状の構造となる。
【００７３】
ここで、主要フレームの再検索の方法について説明する。本実施形態では、各特徴要素を成分として有するベクトルを特徴ベクトルとし、この特徴ベクトルを利用して、以下の類似度算出式の定義に基づいて、主要フレームの再検索を行う。
【００７４】
画像の特徴要素が、ｆ1 〜ｆM のＭ個であり、検索を行う映像セグメント内のフレームがＩ1 〜ＩN のＮ個あるとして、特徴量行列Ｆを下記（１）式であるとすると、ｑ番目のオブジェクトデータＩq の特徴量ベクトルは下記（２）式のように表現される。尚、下記（２）式に於いて、κj を乗ずることにより、各特徴項は正規化されたものとなっている。
【数１】
2006217046.tif 000003
【００７５】
【数２】
2006217046.tif 000004
【００７６】
また、下記（３）式が成り立ち、特徴ベクトルが上記（２）式で与えられるとき、オブジェクトＩq に対するオブジェクトＩp の類似度は、下記（４）式で表すことができ、Ｓｉｍpqが小さいほど類似性が高いことになる。
【数３】
2006217046.tif 000005
【００７７】
【数４】
2006217046.tif 000006
【００７８】
データベース内の全ての画像に対してこの値を計算することにより、類似度の順序を決定することができる。
【００７９】
以上のように本実施形態によれば、映像から、その概要を表すために表示された複数のインデックス画像に対して、ユーザの主観や嗜好に基づいた検索により抽出した新たなインデックス画像を表示している。このため、ユーザの好みに合ったインデックス画像を生成し、表示することが可能となる。このとき、映像セグメントに対する新たなインデックス画像が抽出されるため、ユーザは、映像の内容を、映像全てを通して視聴すること無しに、映像セグメントの概要を把握することが可能となる。
【００８０】
また、上述のステップＳ１４では、ステップＳ１３に於いて表示された主要フレームからユーザが主観や嗜好により選んだ少なくとも１枚以上の画像を指定画像として選択しているため、ユーザは、自己の主観や嗜好を視覚的な感覚に基づいて指定することができるため、新たなインデックス画像の生成のためにユーザに与える負担が少なく、ユーザ操作を簡便にしてインデックス画像を生成することができる。更に、上述のステップＳ１５〜ステップＳ１６では、指定画像と、対象となっている映像セグメントから抽出されている主要フレームとから、統合検索条件を自動的に設定して、新たなインデックス画像を生成しているため、ユーザの主観・嗜好を反映させた上でインデックス画像を生成することができ、よりユーザ毎の良好なインデックス画像を生成・表示することが可能となる。
【００８１】
また、フレームの特徴の中でもユーザが重点的に注目したいと考える特徴要素に対して、ユーザの指定または自動的に重み係数を設定して、この重み係数を考慮して新たなインデックス画像を生成しているため、ユーザに対して適切なインデックス画像を生成することが可能となる。
【００８２】
（第２の実施形態）
次に、本発明の第２の実施形態を説明する。
【００８３】
尚、本第２の実施形態に於いては、画像情報表示装置の構成及び基本的な動作については、図１乃至図５に示される第１の実施形態の画像情報表示装置の構成及び動作と同じであるので、これらの構成及び動作については、同一の部分には同一の参照番号を付して、その図示及び説明は省略するものとし、異なる構成及び動作の説明についてのみ説明する。
【００８４】
図６は、上述のステップＳ４〜ステップＳ９について、演算処理装置１０が行う処理を更に説明するものである。
【００８５】
この図６のフローチャートに於いて、ステップＳ２１〜Ｓ２４の処理は、図４に示される上述した第１の実施形態のフローチャートのステップＳ１１〜Ｓ１４と同様な処理が行われる。したがって、ステップＳ２１〜Ｓ２４の処理動作は、図４のフローチャートに於けるステップＳ１１〜Ｓ１４を参照するものとして、ここでは説明を省略する。
【００８６】
ステップＳ２５〜ステップＳ３１では、主要フレームの再検索を行うための検索条件を設定して、新しい主要フレームの抽出と、抽出した新しい主要フレームの更新を行う。ステップＳ２５〜ステップＳ３１は、ステップＳ８〜ステップＳ９の処理に相当する処理である。
【００８７】
ステップＳ２５では、上述した第１の実施形態と同様に、映像から生成された主要フレームの中からユーザが指定したｐ枚の指定画像から、嗜好統合検索条件Ｑprefを設定する。尚、ここでいう嗜好統合検索条件Ｑprefは、ｐ枚の指定画像の特徴量に近似した特徴量をフレームが備えるか否かを判断するものであり、本発明の第１の検索条件に相当する。
【００８８】
一方、このステップＳ２５の処理動作と共に、ステップＳ２６以降のユーザにより選択されたｐ枚の指定画像（ｉ）に対する繰り返し処理が行われる。すなわち、指定画像（ｉ）の属する映像セグメントから、指定画像（ｉ）に関連するフレームを選別画像としてｒ枚抽出するための検索を行う。ｒ枚は、演算処理装置１０に予め設定されていてもいいし、演算処理装置１０が自動的に設定することもできるし、またはユーザが入力装置１３や指示装置１４を操作して設定することもできる。
【００８９】
尚、指定画像（ｉ）の属する映像セグメントからの指定画像（ｉ）に関連するフレームを抽出するための検索は、例えば、指定画像（ｉ）に類似するフレームを抽出する検索である。この抽出は、指定画像（ｉ）の特徴（または特徴量）と、指定画像（ｉ）の属する映像セグメント内の各フレームの特徴（または特徴量）とを比較して、両者が近似しているフレームを、指定画像（ｉ）の属する映像セグメントから抽出することで行う。このとき、上記実施形態で説明した重み係数の考えを適用して、重み係数の高い特徴係数について特徴（または特徴量）が近似しているフレームを優先的に抽出するようにしてもよい。
【００９０】
次いで、ステップＳ２７では、ステップＳ２６で抽出されたｒ枚のフレームの特徴に基づいて、部分的な統合検索条件Ｑpartial （ｉ）を設定する。ここでいう部分的な統合検索条件Ｑpartial （ｉ）は、ｒ枚のフレームの特徴量に近似した特徴量をフレームが備えるか否かを判断するものであり、本発明の第２の検索条件に相当する。
【００９１】
次に、ステップＳ２８では、嗜好検索条件Ｑprefと部分統合検索条件Ｑpartial （ｉ）とから、統合検索条件Ｑtotal （ｉ）を設定する。統合検索条件Ｑtotal （ｉ）は、嗜好検索条件Ｑprefと部分統合検索条件Ｑpartial （ｉ）の論理和や論理積で設定することができる。
【００９２】
尚、上記ステップＳ２６で検索されたｒ枚のフレームの特徴量と、ｐ枚の指定画像の特徴量を統合して、当該統合した特徴量に近似した特徴量をフレームが備えるか否かを判断するものを、統合検索条件とすることもできる。
【００９３】
更に、ステップＳ２９にて、設定された統合検索条件Ｑtotal （ｉ）を用いて、指定画像（ｉ）の属する映像セグメントから、統合検索条件Ｑtotal （ｉ）を満たすフレームの抽出を行う。ステップＳ２９の検索では、設定されたｎi 枚のフレームを抽出する。ｎi 枚は、演算処理装置１０に予め設定されていてもいいし、演算処理装置１０が自動的に設定することもできるし、またはユーザが入力装置１３や指示装置１４を操作して設定することもできる。
【００９４】
そして、ステップＳ３０に於いて、全指定画像に対しての繰り返し処理が終了したか否かが判断される。ステップＳ２６〜ステップＳ２９は、ｐ枚の指定画像に対する順次繰り返し処理（ｉ＝１〜ｐ）となっており、ステップＳ３０で、繰り返しがまだ終了ではない場合は、ステップＳ２６へ移行してステップＳ２６〜ステップＳ２９の繰り返し処理が行われる。
【００９５】
一方、上記ステップＳ３０にて繰り返し処理が終了したならば、ステップＳ３１へ移行する。ステップＳ３１では、指定画像の属する映像セグメントから再検索された新たな主要フレームで指定された主要フレームの更新を行い、新たな主要フレームの表示を、図３に示されるように行う。
【００９６】
すなわち、第２の実施形態では、図７に示されるように、指定画像（１）〜指定画像（ｐ）から嗜好検索条件Ｑprefが設定される。また、指定画像（１）〜指定画像（ｐ）に対して繰り返し処理を行う際の対象となっている指定画像（ｉ）の特徴（または特徴量）に基づいて指定画像（ｉ）が属する映像セグメントから指定画像（ｉ）に関連するフレームをｒ枚抽出する。そして、設定された枚数だけの検索結果画像がｒ枚抽出されたときに、ｒ枚のフレームから部分統合検索条件Ｑpartial （ｉ）を設定する。そして、嗜好検索条件Ｑprefと部分統合検索条件Ｑpartial （ｉ）とから、検索条件の論理和や論理積をとること等、任意の論理的手法により、統合検索条件Ｑtotal （ｉ）を設定し、統合検索条件Ｑtotal （ｉ）を用いて、指定画像（ｉ）が属する映像セグメントから再検索を行い、設定されたｎｉ枚のフレームを抽出している。
【００９７】
また、統合検索条件Ｑtotal （ｉ）を、指定画像（１）〜指定画像（ｐ）の特徴量とｒ枚のフレームの特徴量を統合して設定する方法もある。他にも、過去の検索条件を反映させて新たな主要フレームの抽出を行うこともできる。例えば、過去に行った新たな主要フレームを抽出するための検索条件を、データベース（２）１７に履歴情報として記憶しておいて、嗜好検索条件Ｑprefまたは部分統合検索条件Ｑpartial （ｉ）の代わりに、履歴情報として記憶しておいた検索条件を用いることもできる。
【００９８】
尚、図６のフローチャートに於いてはステップＳ２５の処理動作と、ステップＳ２６及びＳ２６の処理動作を同時に行うようにしているが、これに限られるものではない。すなわち、ステップＳ２８にて嗜好検索条件Ｑprefと部分統合検索条件partial （ｉ）とから統合検索条件total （ｉ）が設定されるようになっていればよく、嗜好検索条件Ｑprefと部分統合検索条件partial （ｉ）が順次求められるようにしてもよい。
【００９９】
（第３の実施形態）
次に、本発明の第３の実施形態を説明する。
【０１００】
本第３の実施形態では、初期に表示された主要フレームをユーザが主観や嗜好によって指示する操作を行う代わりに、過去のユーザの操作の履歴情報を各ユーザに対しての履歴データベースから参照して、この履歴情報を利用して嗜好検索条件を生成するというものである。
【０１０１】
尚、本第３の実施形態に於いては、画像情報表示装置の構成及び基本的な動作については、図１乃至図５に示される第１の実施形態の画像情報表示装置の構成及び動作と同じであるので、これらの構成及び動作については、同一の部分には同一の参照番号を付して、その図示及び説明は省略するものとし、異なる構成及び動作の説明についてのみ説明する。
【０１０２】
図８は、上述のステップＳ４〜ステップＳ９について、演算処理装置１０が行う処理を更に説明するものである。
【０１０３】
この図８のフローチャートに於いて、ステップＳ４１〜Ｓ４３及びステップＳ４５〜Ｓ４８の処理は、図４に示される上述した第１の実施形態のフローチャートのステップＳ１１〜Ｓ１３及びステップＳ１５〜Ｓ１８と同様な処理が行われる。したがって、ステップＳ４１〜Ｓ４３及びステップＳ４５〜Ｓ４８の処理動作は、図４のフローチャートに於けるステップＳ１１〜Ｓ１３及びステップＳ１５〜Ｓ１８を参照するものとして、ここでは説明を省略する。
【０１０４】
ステップＳ４３にて主要フレームが表示されると、続くステップＳ４４では、データベース（２）１７より履歴情報を読み出す。そして、抽出された主要フレームに対して、上述した図１のフローチャートに於けるステップステップＳ１５と同様に、統合検索条件が生成されて対象映像セグメント内の検索が行われることにより、その映像セグメント内の主要画像の再検索が行われる。
【０１０５】
ここでは、ユーザの履歴データベース（データベース（２）１７）の参照により、データベース（１）１６内の画像について、閲覧頻度の高い順に、設定された枚数ｐ枚の画像が抽出されて利用されることになる。データベース（１）１６内の画像としては、映像のフレームであっても、映像以外の静止画像等であってもよい。データベース（２）１７内の画像の閲覧履歴情報には、ユーザが閲覧した画像に対し、閲覧の回数、閲覧日時、閲覧した画像に対する印刷や、画像処理の履歴等、様々なユーザ毎の主観や嗜好情報が含まれている。そのため、履歴情報から各ユーザに対する嗜好を推定することが可能であり、これらの情報を利用して、統合検索条件を設定するための複数の画像を選択することになる。
【０１０６】
尚、利用履歴が多い場合には、その画像に対する重要度を高くする、または、履歴にある画像の撮影日時に関連の高い画像を重点的に抽出する等、これらの各画像特徴量の統計量から重み係数を設定して検索条件を設定することが可能となる。
【０１０７】
更に、データベース（２）１７は、ユーザ毎のデータベ−スとなっており、利用しているユーザがユーザ情報を入力する手段を有することも考えることができる。また、ユーザがログインする際にユーザの認証を行う方法や、自動的にユーザを認識する手段を有する構成の装置としてもよい。加えて、利用する履歴情報としては多数の種類があるため、これらの履歴情報を利用するか否かの選択手段や、各履歴情報に対する重要度の設定を行う手段を有することにより、ユーザ毎にカスタマイズされた主観や、嗜好を反映したインデックス生成によるインデックスの表示を行うことが可能となる。
【０１０８】
また、ユーザの嗜好により画像の指定を行う、またはユーザの履歴を参照する際に、ユーザの主観・嗜好は、対象としている映像内の画像のみに限ることなく、他のユーザの有する映像や画像のデータベースでの履歴を参照することにより、更にユーザの主観や嗜好が反映された情報を抽出することが可能となり、適切なインデックス抽出及び表示を行うことが可能となる。
【０１０９】
更には、ユーザがシステムを利用する毎に、異なる検索条件が設定されることになるが、これらの情報も履歴データベースに登録しておけば、ユーザは過去の検索条件情報を参照して過去の実行を再現したり、または、過去の条件を参考に部分的に条件を変更して検索を行うことによる作業の再現を行ったりすることが可能となる。このようにすれば、ユーザにとっては、より利便性のよりシステムを提供することができる。
【０１１０】
本実施形態によれば、上述の第１の実施形態に加えて、以下の効果を有している。
【０１１１】
すなわち、本実施形態によれば、ユーザが以前に参照等した画像の履歴情報に基づいて、ユーザの好みを推定して、この履歴情報に基づいて新たなインデックス画像を生成しているため、ユーザの操作負担を軽減した上で、各ユーザの好みに合ったインデックス画像を生成することができる。
【０１１２】
（第４の実施形態）
次に、本発明の第４の実施形態を説明する。
【０１１３】
本第４の実施形態では、初期に表示されたインデックスをユーザが主観や嗜好によって指示する操作を行う代わりに、過去のユーザの操作の履歴情報を各ユーザに対しての履歴データベースから参照して、この履歴情報を利用して嗜好検索条件を生成するというものである。
【０１１４】
尚、本第４の実施形態に於いて、画像情報表示装置の構成及び基本的な動作については、図１乃至図５に示される第１の実施形態の画像情報表示装置の構成及び動作と同じであるので、これらの構成及び動作については、同一の部分には同一の参照番号を付して、その図示及び説明は省略するものとし、異なる構成及び動作の説明についてのみ説明する。
【０１１５】
図９は、上述のステップＳ４〜ステップＳ９について、演算処理装置１０が行う処理を更に説明するものである。
【０１１６】
この図９のフローチャートに於いて、ステップＳ５１〜Ｓ５４の処理は、図８に示される上述した第３の実施形態のフローチャートのステップＳ４１〜Ｓ４４と同様な処理であり、ステップＳ５５〜Ｓ６１の処理は、図６に示される上述した第２の実施形態のフローチャートのステップＳ２５〜Ｓ３１と同様な処理が行われる。したがって、ステップＳ５１〜Ｓ５４の処理動作は図８のフローチャートのステップＳ４１〜Ｓ４４を、そしてステップＳ５５〜Ｓ６１の処理は図６のフローチャートのステップＳ２５〜Ｓ３１を参照するものとして、ここでは説明を省略する。
【０１１７】
つまり、この第４の実施形態は、上述した第２の実施形態と第３の実施形態の合成と考えることもできる。したがって、ステップＳ５３に於けるインデックス表示は、図３に示されるようなマトリクス状のものとなる。
【０１１８】
また、本第４の実施形態と第２の実施形態との差異は、第３の実施形態のフローチャートに於けるステップＳ４４と同様に、ステップＳ５４の動作処理で、ユーザの画像履歴を利用しているということである。ここでも、ステップＳ５７に於いて、選択された画像毎の検索で得られた検索結果からの部分的統合検索条件の設定、及びユーザ指定の画像からの嗜好検索条件との統合検索条件を利用した検索が行われることになる。
【０１１９】
尚、上述した第１乃至第４の実施形態では、主要フレームの生成（抽出）を、当該主要フレームを含む映像を対象として行った例で説明したが、特に映像を対象としているものに限定しなくともよい。例えば、データベースに登録してある他の映像から生成された主要フレームを用いてもよい。更には、映像や静止画が区別されることなく登録されているデータベース内の全てのデータ、または検索の範囲を指定する手段を装置に設定しておけば、それらの対象とする映像以外のデータからの主要フレームの生成を行うことも可能である。
【０１２０】
これらは、上述した第１乃至第４の実施形態に関して、同様の考え方を適用することが可能である。すなわち、図４のフローチャートのステップＳ１６、図６のフローチャートのステップＳ２９、図８のフローチャートのステップＳ４６及び図９のフローチャートのステップＳ５９に於いて、検索の際に検索対象となるデータベースを、対象とする映像より広い範囲のデータベースとすることや、検索のデータベースの範囲をユーザが設定できるような手段を装置に設けておくことも可能である。このような広範囲なデータベースを検索することにより、ユーザの主観や嗜好が、より効果的に表示結果として表現することができることになる。
【０１２１】
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々の変形実施が可能であるのは勿論である。
【図面の簡単な説明】
【０１２２】
【図１】本発明の第１の実施形態による画像情報表示装置のシステム全体の構成を示すブロック図である。
【図２】インデックス生成処理の流れを示すフローチャートである。
【図３】マトリクス状に表示されたインデックスの例を示した図である。
【図４】本発明の第１の実施形態による画像情報表示装置のシーンチェンジの検出動作について説明するフローチャートである。
【図５】第１の実施形態によるシーンチェンジの検出動作の詳細を説明する図である。
【図６】本発明の第２の実施形態に於ける画像情報表示装置のシーンチェンジの検出動作について説明するフローチャートである。
【図７】第２の実施形態によるシーンチェンジの検出動作の詳細を説明する図である。
【図８】本発明の第３の実施形態に於ける画像情報表示装置のシーンチェンジの検出動作について説明するフローチャートである。
【図９】本発明の第４の実施形態に於ける画像情報表示装置のシーンチェンジの検出動作について説明するフローチャートである。
【符号の説明】
【０１２３】
１０…演算処理装置、１２…表示装置、１３…入力装置（キーボード）、１４…指示装置（マウス）、１６…データベース１（映像・画像・特徴量）、１７…データベース２（ユーザの主観・嗜好・履歴）、２１…映像取り込み部、２２…フレーム間比較・解析・インデックス生成部、２３…映像セグメンテーション部、２４…セグメント内解析・主要フレーム抽出部、２５…表示画像指定部、２６…主観・嗜好推定部、２７…再検索部、３１…シーンチェンジの画像、３２…主要画像。
【図１】
2006217046.tif 000007
【図２】
2006217046.tif 000008
【図３】
2006217046.tif 000009
【図４】
2006217046.tif 000010
【図５】
2006217046.tif 000011
【図６】
2006217046.tif 000012
【図７】
2006217046.tif 000013
【図８】
2006217046.tif 000014
【図９】
2006217046.tif 000015