(57)【特許請求の範囲】
【請求項１】
動画像データから検索された画像を表示する検索画像表示方法であって、
前記検索された画像が出現する時点である出現時点の前から前記動画像データの再生を開始するステップと、
前記出現時点までの残り時間である出現残時間の経過を表示するとともに、前記検索された画像が出現する位置である出現位置を表示するステップと、
を有することを特徴とする検索画像表示方法。
【請求項２】
前記表示するステップは、さらに、前記出現位置に前記検索された画像が出現する寸法である出現寸法を表示することを特徴とする請求項１に記載の検索画像表示方法。
【請求項３】
前記出現残時間の経過は、数字あるいは図形が時間の経過とともに変化して表示されることを特徴とする請求項１ないし２のいずれかに記載の検索画像表示方法。
【請求項４】
前記出現残時間の経過を、時間の経過と共に大きさが変化する残時間表示領域により、前記出現位置を示す表示領域とともに表示することを特徴とする請求項１に記載の検索画像表示方法。
【請求項５】
前記出現残時間の経過を、時間の経過と共に大きさが変化する残時間表示領域により、前記出現位置及び前記出現寸法を示す表示領域とともに表示することを特徴とする請求項２に記載の検索画像表示方法。
【請求項６】
前記出現残時間の経過の表示は、前記出現時点では、消えることを特徴とする請求項３に記載の検索画像表示方法。
【請求項７】
前記残時間表示領域が、前記出現位置を示す表示領域となり、当該出現残時間表示領域
は、時間の経過と共に大きさが変化して、出現時点では、消えることを特徴とする請求項
４に記載の検索画像表示方法。
【請求項８】
最初に表示された前記出現残時間表示領域が、前記出現位置及び前記出現寸法を示す表
示領域となり、当該出現残時間表示領域は、時間の経過と共に大きさが変化して、出現時
点では、消えることを特徴とする請求項５に記載の検索画像表示方法。
【請求項９】
動画像データから検索された画像を再生する検索画像再生機器であって、
前記検索された画像が出現する時点である出現時点を取得する出現時点取得手段と、
前記出現時点の前から前記動画像データの再生を開始する動画像再生手段と、
前記出現時点までの残り時間である出現残時間を算出する出現残時間算出手段と、
前記出現残時間の経過を表示する出現残時間表示手段と、
前記検索された画像が出現する位置である出現位置を取得する出現位置取得手段と、
前記出現位置を表示する出現位置表示手段とをさらに有し、
前記出現残時間の経過とともに前記出現位置を表示することを特徴とする検索画像再生機器。
【請求項１０】
前記検索された画像が出現する寸法である出現寸法を取得する出現寸法取得手段と、
前記出現寸法を表示する出現寸法表示手段とをさらに有し、
前記出現位置に前記出現寸法を表示することを特徴とする請求項９に記載の検索画像再生機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像データから検索された画像を再生する仕組みに関する。
【背景技術】
【０００２】
近年、HD（Hard Disk）やDVD（Digital Versatile Disk）などのディジタルメディアを用いたディジタル映像機器が増加している。これらのディジタル機器はビデオテープなどのアナログメディアを用いた従来のアナログ映像機器と比較して、動画像データからの映像の検索と、検索該当箇所の再生を迅速に行なうことが容易となる。ここで、検索された画像を含む動画像を再生して視聴する際には、検索された画像からの再生では、検索された画像の前の画像とのつながりが正しく理解できないため、検索された画像が出現している間のみならず、検索された画像が出現する前から動画像を再生する必要がある。
【０００３】
特許文献１には、ユーザが任意に指定したフレーム画像を元に検索を行ない、指定画像のみならず、指定画像が含まれるシーン全体の再生を行えることが開示されている。
【０００４】
また、特許文献２には、検索された画像の少し手前から再生を行うことが開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開2007-20195号公報 （段落００２８、図１６）
【特許文献２】特開2003-289487号公報 （段落００２０）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上記特許文献では、利用者は、検索された画像の出現時点より前から再生された動画像から検索された画像がいつ、どこに、どのくらいの大きさで現れるのか不明なまま該当する画像を探し続けなければならない。
【０００７】
また、検索された画像の出現時点以降、検索された画像が強調表示されていれば認識できるが、動画の視聴が邪魔されてしまう。
【課題を解決するための手段】
【０００８】
上記課題を鑑みて、本発明では、一例として特許請求の範囲に記載の構成とする。本構成では、検索された画像の出現時点より前から再生された動画像において、検索された画像がいつ、どこに、どのくらいの大きさで現れるのかが分かるように、検索された画像の出現に関する情報を表示する。また、検索された画像の出現時点以降は、動画の視聴が邪魔されないように、検索された画像の出現に関する情報を消去する。
【発明の効果】
【０００９】
本発明によれば、利用者は、検索された画像の出現時点より前から再生された動画像について、出現時点までの残り時間、出現位置、出現寸法などの情報を予見して視聴することができる。また、検索された画像の出現時点以降は、検索された画像の出現に関する情報は表示されず、動画の視聴が邪魔されない。
【図面の簡単な説明】
【００１０】
【図１】検索画像再生機器１の概略構成を示した図である。
【図２】出現情報データベース１２２４の例を示した図である。
【図３】検索画像再生機能実行時の検索画像再生機器１の動作を示したフロー図である。
【図４】動画像データ及び出現情報の表示例である。
【図５】動画像データ及び出現情報の表示例である。
【図６】動画像データ及び出現情報の表示例である。
【図７】動画像データ及び出現情報の表示例である。
【図８】動画像データ及び出現情報の表示例である。
【図９】動画像データ及び出現情報の表示例である。
【図１０】動画像データ及び出現情報の表示例である。
【図１１】動画像データ及び出現情報の表示例である。
【図１２】動画像データ及び出現情報の表示例図である。
【発明を実施するための形態】
【００１１】
以下、本発明を実施するための形態について説明する。  まず、本実施例における検索画像再生機器１の概略構成について図１を用いて説明する。
【００１２】
図１に示す様に本実施例の検索画像再生機器１は、制御装置１１と、記録装置１２と、通信装置１３と、入力装置１４と、出力装置１５と、表示装置１６と、動画像再生装置１７とを有している。
【００１３】
制御装置１１は、記録装置１２が保持している処理プログラムを実行し、機器全体の動作を制御する。
【００１４】
記録装置１２は、検索画像再生機器１の動作を制御する処理プログラム、データを管理するデータベース、動画像データなどを記録する。記録装置１２の例としては、ディスク、テープ、半導体などがある。記録装置１２が保持する処理プログラムには、機器制御処理部１２１と、検索結果管理処理部１２２と、出現時点取得処理部１２２１と、出現位置取得処理部１２２２と、出現寸法取得処理部１２２３と、再生開始時点決定処理部１２３と、出現残時間算出処理部１２４と、統合表示処理部１２５と、出現残時間表示処理部１２５１と、出現位置表示処理部１２５２と、出現寸法表示処理部１２５３と、検索処理部１２６とがある。また、記録装置１２は、検索された画像の出現に関する情報である出現情報を管理する出現情報データベース１２２４を有している。また、記録装置１２は、検索対象として動画像データ１２７を有している。
【００１５】
機器制御処理部１２１は、検索画像再生機器１の各装置を連携させ、検索画像再生機器として動作させる。例えば、動画像データから、特定の画像と特徴が一致する部分や、キーワードに関連する画像を含む部分を検索する画像検索機能や、検索された画像を含む動画像データの一部を出現情報を表示しながら再生する検索画像再生機能などを実現する。
【００１６】
検索処理部１２６は、動画像データ１２７から、特定の画像と特徴が一致する部分や、キーワードに関連する画像を含む部分を検索する。
【００１７】
検索結果管理処理部１２２は、検索結果に関する情報を管理し、出現時点取得処理部１２２１と、出現位置取得処理部１２２２と、出現寸法取得処理部１２２３と、出現情報データベース１２２４とを管理する。出現時点取得処理部１２２１は、検索された画像が出現する時点である出現時点を取得する。出現位置取得処理部１２２２は、検索された画像が出現する位置である出現位置を取得する。出現寸法取得処理部１２２３は、検索された画像が出現する寸法である出現寸法を取得する。
【００１８】
なお、本実施形態では、時点とは、動画像データにおけるある瞬間を指す。
【００１９】
再生開始時点決定処理部１２３は、出現時点より早い時点を、所定の方法により導出し、動画像の再生開始時点として決定する。
【００２０】
出現残時間算出処理部１２４は、再生中の動画像データの現在時点から出現時点までの残り時間である出現残時間を算出する。
【００２１】
統合表示処理部１２５は、出現情報を表示すべく、出現残時間表示処理部１２５１と、出現位置表示処理部１２５２と、出現寸法表示処理部１２５３とを管理する。出現残時間表示処理部１２５１は、出現残時間の表示処理を行う。出現位置表示処理部１２５２は、出現位置の表示処理を行う。出現寸法表示処理部１２５３は、出現寸法の表示処理を行う。
【００２２】
なお、本実施形態では、各種表示処理部が行なう表示処理とは、表示装置１６にて所望の画像が表示されるように、出力装置１５に画像データを出力する処理である。
【００２３】
また、本実施形態では、出現残時間の表示処理とは、出現残時間が減っていく様子を示すための表示処理である。
【００２４】
通信装置１３は、ネットワークを介して他の機器と通信を行う。通信方式の例としては、USB（Universal Serial Bus）、IEEE1394（Institute of Electrical and Electronic Engineers 1394）、イーサネット(登録商標)、無線LAN（Local Area Network）、HDMI（High-Definition Multimedia Interface）などがある。
【００２５】
入力装置１４は、利用者が検索画像再生機器１を操作するインタフェイス装置である。入力装置１４の例としては、ボタン、スイッチ、キー、ダイアル、スティック、マウス、リモートコントローラ、タッチパネルなどがある。
【００２６】
出力装置１５は、利用者に提供するための画像データを出力する。
【００２７】
表示装置１６は、利用者に動画像再生画面や機器操作用画面を表示する。表示装置１７の例としては、液晶パネル、プラズマディスプレイパネル、有機ELパネルなどがある。なお、表示装置１７は、検索画像再生機器１内に備えられていなくとも、PCやHDDレコーダのように機器に外付けで接続して出力装置１６経由で用いてもよい。
【００２８】
動画像再生装置１７は、動画像データ１２７の再生処理を行ない、出力装置１５を介して表示装置１６に動画像の再生画面を表示させる。
【００２９】
次に、本発明の実施形態における出現情報データベース１２２４の例を図２を用いて説明する。
【００３０】
図２に示す様に本実施例の出現情報データベース１２２４は、検索ID１２２４１と出現時点１２２４２と出現位置１２２４３と出現寸法１２２４４を対応づけて保存している。
【００３１】
図２では、検索IDがno.1の検索結果として、動画像データの先頭から1時間37分28秒経過した時点に、横軸座標120、縦軸座標465を左上端として位置する、横幅300、縦幅200で示される矩形領域に、検索された画像が出現したことが示されている。
【００３２】
また、検索IDがno.2の検索結果として、動画像データのチャプター4の先頭から2分17秒経過した時点に、横軸座標が300、縦軸座標が600の位置を中心とした半径100の円形領域と、横軸座標が500、縦軸座標が800の位置を中心とした半径150の円形領域の2箇所に、検索された画像が出現したことが示されている。
【００３３】
また、検索IDがno.3の検索結果として、2010年1月17日の18時19分28秒に、画像ファイルであるabcde.jpgの画像データが示すように、検索された画像が出現したことが示されている。
【００３４】
動画像データから星型の図形を検索する場合の例を用いて説明する。(a)は、検索された画像の出現時点における動画像データの表示画面を示している。星型の図形が含まれているため検索に該当したが、星型以外の図形も含まれている。(b)は、(a)から星型の図形のみを抽出した表示画面データである。(b)を画像ファイルとして出現情報データベース１２２４で管理しておけば、星型の図形の出現位置、出現寸法のみならず、星型の図形が出現した時の星型の図形の色や傾きなどの情報も得ることができる。
【００３５】
次に、本発明の実施形態における、検索された画像を含む動画像データの一部を出現情報を表示しながら再生する検索画像再生機能実行時の検索画像再生機器１の動作について、図３を用いて説明する。
【００３６】
図３では、検索処理部１２６が、利用者の指示に従って、特定の画像と特徴が一致する部分や、キーワードに関連する画像を含む部分を、動画像データ１２７から検索し終えた状態からの動作を示している。例えば、特定の画像と特徴が一致する画像の検索では、利用者が指定した検索用画像の特徴量を調べ、動画像データ中の画像で特徴量が近い画像を検索する。キーワードに関連する画像の検索では、利用者が指定したキーワードが示す名前、色、形、大きさなどの画像以外の情報と動画像のメタデータを元に、キーワードに関連する画像を動画像から検索する。
【００３７】
利用者が、検索画像の再生を指示すると、まず、検索結果管理処理部１２２が、検索処理部１２６が行なった検索処理の結果から、検索された画像の出現に関する情報を取得して、出現情報データベース１２２４に保存する（ステップ１００１）。例えば、出現時点取得処理部１２２１は、検索された画像が出現する時点である出現時点を取得し、出現位置取得処理部１２２２は、検索された画像が出現する位置である出現位置を取得し、出現寸法取得処理部１２２３は、検索された画像が出現する寸法である出現寸法を取得する。
【００３８】
次に、再生開始時点決定処理部１２３が、出現時点より早い時点を、所定の方法により導出し、動画像の再生開始時点として決定する（ステップ１００２）。再生開始時点の導出方法の例としては、出現時点より一定秒数（例えば30秒）前の時点を算出する方法や、出現時点が含まれるシーンの先頭の時点を用いる方法や、出現時点が含まれるチャプタの先頭の時点を用いる方法などがある。他の導出方法によって得られた時点でも構わない。
【００３９】
次に、動画像再生装置１７が、ステップ１００２で決定された開始時点を先頭として動画像データ１２７の再生を開始する（ステップ１００３）。
【００４０】
次に、出現残時間算出処理部１２４が、再生中の動画像データ１２７の現在再生時点から出現時点までの残り時間である出現残時間を、一定時間おき（例えば１秒ごと）に算出する（ステップ１００４）。
【００４１】
機器制御処理部１２１は、ステップ１００４で算出された出現残時間を含む出現情報を表示するべきか否かを判断し（ステップ１００５）、出現情報を表示するべきだと判断すれば（ステップ１００５のYes）、統合表示処理部１２５に出現情報の表示を更新させる（ステップ１００６）。この時、出現情報が表示されていなければ、統合表示処理部１２５は出現情報の表示を開始する。
【００４２】
機器制御処理部１２１は、ステップ１００５で出現情報を表示するべきでないと判断すれば（ステップ１００５のNo）、統合表示処理部１２５に出現情報の表示を消去させる（ステップ１００７）。この時、既に出現情報の表示が消去されていれば、統合表示処理部１２５は何も行なわない。
【００４３】
ここで、出現情報を表示するべきか否かの判断方法の例としては、出現残時間が0になったら表示を止める方法や、出現残時間が1秒以下になったら表示を止める方法など、出現残時間を元に表示を止める方法がある。出現残時間が0になる時点に検索された画像が出現するため、その時点か、それより数秒前から出現情報の表示を止めることにより、動画像の再生表示において検索された画像の邪魔をしない効果が得られる。出現残時間が0になる瞬間の出現情報が表示されなくても、その数秒前までの、出現残時間が減っていく様子を含む出現情報の変化から、利用者は、検索された画像が出現するおおよその時点、位置、寸法などを把握可能である。他の判断方法を用いてもよい。
【００４４】
また、出現情報を表示するべきか否かの判断方法の別の例としては、利用者による出現情報の表示指示または消去指示に従う方法がある。この場合は、消去されている出現情報を利用者の指示に従って表示したり、表示されている出現情報を利用者の指示に従って消去したりする。図３には、利用者による指示が、ステップ１００４とステップ１００５の間になされた場合の例を示しているが、ステップ１００４からステップ１００８を繰り返す間であれば、他のタイミングでも良い。
【００４５】
出現残時間を元に表示を止める方法と、利用者による出現情報の表示指示または消去指示に従う方法を、組み合わせて用いても良い。この場合は、例えば、出現残時間が1秒以下になった時点で出現情報を消去し、その後、利用者が表示指示を行なったことを検知して、再度、出現情報を表示することが可能となる。
【００４６】
また、統合表示処理部１２５の処理は、出現残時間表示処理部１２５１による出現残時間の表示処理、出現位置表示処理部１２５２による出現位置の表示処理、出現寸法表示処理部１２５３による出現寸法の表示処理、またはこれらの組合せにより実現される。
【００４７】
次に、機器制御処理部１２１が、動画像の再生を終了するべきか否かを判断し（ステップ１００８）、動画像の再生を終了するべきでないと判断すれば（ステップ１００８のNo）、ステップ１００４に戻る。動画像の再生を終了するべきと判断すれば（ステップ１００８のYes）、動画像再生装置１７に動画像データ１２７の再生を停止させて（ステップ１００９）、検索画像再生機能を終了する。
【００４８】
ここで、動画像の再生を終了するべきか否かの判断方法の例としては、動画像データの最後まで再生し終えたら終了する方法や、出現時点が含まれるシーンの最後まで再生し終えたら終了する方法や、利用者の再生停止指示があった場合に終了する方法などがある。他の判断方法を用いてもよい。図３には、利用者による指示が、ステップ１００８の直前になされた場合の例を示しているが、ステップ１００４からステップ１００８を繰り返す間であれば、他のタイミングでも良い。
【実施例１】
【００４９】
以下、本発明を実施するための第１の形態について説明する。本実施例では、三角型の図形が星型の図形に変化する動画像データから星型の図形を検索し、出現情報として出現残時間を数字で表示する場合の例を図４を用いて説明する。
【００５０】
(a)は、元の動画像データの一部を時系列に並べ、動画像データの表示が変化する様子の例を示した図である。(b)は、ステップ１００４、ステップ１００５、ステップ１００６、ステップ１００８が繰り返されることで、統合表示処理部１２５により付加された出現情報の表示が更新されていく様子の例を示した図である。(a)、(b)共に、上段は、動画像データの先頭から0時間1分13秒が経過した時点、中段は、動画像データの先頭から0時間1分15秒が経過した時点、下段は、動画像データの先頭から0時間1分20秒が経過した時点（検索された画像の出現時点）の表示画面例である。
【００５１】
図４では、(b)の各画像の左上に、出現情報として数字が表示されている。数字は出現時点までの残り時間（秒）を示しており、時間の経過と共に減っている。出現時点では数字は０となる。
【００５２】
この出現情報により、利用者は、出現時点までの残り時間を把握することができる。
【００５３】
なお、時間の経過と共に減っていく数字を表示し、出現時点に数字が０になる速度で数字を減らすならば、他の様式で出現情報を表示してもよい。例えば、出現情報の数字の単位は秒でなくても良いし、表示位置は任意で良い。
【実施例２】
【００５４】
以下、本発明を実施するための第２の形態について説明する。本実施例では、白抜きの星型図形が左から右に移動して塗潰した星型図形に変化する動画像データから、塗潰した星型図形が表示された画像を検索し、出現情報として出現残時間を帯状のグラフで表示する場合の例を図５を用いて説明する。なお、実施例１と重複する個所については、説明を省略する。
【００５５】
図５では、(b)の各画像の左上に、出現情報として帯状のグラフが表示されている。塗潰された帯の横幅は再生開始時点からの経過時間、白抜きの帯の横幅は出現時点までの残り時間を示している。時間の経過と共に塗潰された帯の横幅は増え、白抜きの帯の横幅は減っている。出現時点では白抜き帯が消える。
【００５６】
この出現情報により、利用者は、出現時点までの残り時間が減少する度合いを把握することができる。
【００５７】
なお、他の様式で出現情報を表示してもよい。例えば、帯の色は任意で良いし、帯の替わりに棒や線を用いても良い。
【実施例３】
【００５８】
以下、本発明を実施するための第３の形態について説明する。本実施例では、三角型の図形が星型の図形に変化する動画像データから星型の図形を検索し、出現情報として出現残時間を円状のグラフで表示する場合の例を図６を用いて説明する。なお、実施例１と重複する個所については、説明を省略する。
【００５９】
図６では、(b)の各画像の左上に、出現情報として円状のグラフが表示されている。白抜き部分の面積は再生開始時点からの経過時間、塗潰された部分の面積は出現時点までの残り時間を示している。時間の経過と共に白抜き部分の面積は増え、塗潰された部分の面積は減っている。出現時点では塗潰された部分が消える。
【００６０】
この出現情報により、利用者は、出現時点までの残り時間が減少する度合いを把握することができる。
【００６１】
なお、他の様式で出現情報を表示してもよい。例えば、円状のグラフの色は任意で良いし、円状のグラフでなくアナログ時計の表示を用いても良いし、線だけが回転するように表示してもよい。
【実施例４】
【００６２】
以下、本発明を実施するための第４の形態について説明する。本実施例では、三角型の図形が星型の図形に変化する動画像データから星型の図形を検索し、出現情報として出現残時間を弧状の線で表示する場合の例を図７を用いて説明する。なお、実施例１と重複する個所については、説明を省略する。
【００６３】
図７では、(b)の各画像の左上に、出現情報として弧状の線が表示されている。線は出現時点までの残り時間を示している。時間の経過と共に弧状の線の長さが短くなり、出現時点では弧状の線が消える。
【００６４】
この出現情報により、利用者は、出現時点までの残り時間が減少する度合いを把握することができる。
【００６５】
なお、時間の経過と共に縮小する線を表示し、出現時点に線が消える速度で線を縮小させるならば、他の様式で出現情報を表示してもよい。例えば、弧状の線でなくても直線でも良いし、実線でなくても点線でも良い。
【実施例５】
【００６６】
以下、本発明を実施するための第５の形態について説明する。本実施例では、三角型の図形の横に星型の図形が現れる動画像データから星型の図形を検索し、出現情報として出現残時間と出現位置と出現寸法を二重図形で表示する場合の例を図８、図９を用いて説明する。なお、実施例１と重複する個所については、説明を省略する。
【００６７】
図８では、(b)の各画像の右側に、出現情報として二重円が表示されている。外側の円形領域の境界線と内側の円形領域の境界線との間の距離は出現時点までの残り時間を示している。時間の経過と共に内側の円が大きくなり、出現時点では内側と外側の円形領域が一致する。また、外側の円は、出現位置と出現寸法を示している。
【００６８】
図９では、(b)の各画像の右側に、出現情報として二重の角丸矩形が表示されている。外側の角丸矩形領域の境界線と内側の角丸矩形領域の境界線との間の距離は出現時点までの残り時間を示している。時間の経過と共に外側の角丸矩形が小さくなり、出現時点では内側と外側の角丸矩形領域が一致する。また、内側の角丸矩形は、出現位置と出現寸法を示している。
【００６９】
この出現情報により、利用者は、出現時点までの残り時間が減少する度合いを把握することができる。また、利用者は、出現時点前からおおよその出現位置と出現寸法を把握することができる。
【００７０】
なお、出現位置と出現寸法を示す表示領域と、時間の経過と共に大きさが変化する領域である残時間表示領域とを表示し、出現時点に、残時間表示領域がなくなるようにすれば、他の様式で出現情報を表示してもよい。
【実施例６】
【００７１】
以下、本発明を実施するための第６の形態について説明する。本実施例では、三角型の図形の横に星型の図形が現れる動画像データから星型の図形を検索し、出現情報として出現残時間と出現位置を４つの印で表示する場合の例を図１０を用いて説明する。なお、実施例１と重複する個所については、説明を省略する。
【００７２】
図１０では、(b)の各画像の右側に、出現情報として４つの印が表示されている。４つの印同士の互いの距離は出現時点までの残り時間を示している。出現時点で４つの印が重なるように、時間の経過と共に４つの印が１点に向かって移動する。４つの印が向かう１点は、出現位置を示している。また、下段の出現時点の図では、出現情報の表示を消去している。
【００７３】
すなわち、４つの印で示される領域は出現残時間表示領域であるとともに、出現位置を示す表示領域となる。そして、当該出現残時間表示領域は、時間の経過と共に大きさが変化して、出現時点では、消える。
【００７４】
この出現情報により、利用者は、出現時点までの残り時間が減少する度合いを把握することができる。また、利用者は、出現時点前からおおよその出現位置を把握することができる。また、出現時点では出現情報が消えるため、出現情報の表示に邪魔されることなく検索された画像を視聴できる。
【００７５】
なお、他の様式で出現情報を表示してもよい。例えば、印は２つ以上であれば良いし、印は三角形に限らない。
【実施例７】
【００７６】
以下、本発明を実施するための第７の形態について説明する。本実施例では、三角型の図形の横に星型の図形が現れる動画像データから星型の図形を検索し、出現情報として出現残時間と出現位置と出現寸法を角丸矩形で表示する場合の例を図１１を用いて説明する。なお、実施例１と重複する個所については、説明を省略する。
【００７７】
図１１では、(b)の各画像の右側に、出現情報として角丸矩形が表示されている。角丸矩形の大きさは出現時点までの残り時間を示している。出現時点で角丸矩形が消えるように、時間の経過と共に角丸矩形が縮む。縮んでいく角丸矩形の中心は、出現位置を示している。最初に表示された角丸矩形の位置と寸法は、出現位置と出現寸法を示している。また、下段の出現時点の図では、出現情報の表示を消去している。
【００７８】
すなわち、角丸矩形で示される領域は出現残時間表示領域であり、最初に表示される出現残時間表示領域は、出現位置及び出現寸法を示す表示領域となる。そして、当該出現残時間表示領域は、時間の経過と共に大きさが変化して、出現時点では、消える。
【００７９】
この出現情報により、利用者は、出現時点までの残り時間が減少する度合いを把握することができる。また、利用者は、出現時点前からおおよその出現位置と出現寸法を把握することができる。また、出現時点では出現情報が消えるため、出現情報の表示に邪魔されることなく検索された画像を視聴できる。
【００８０】
なお、他の様式で出現情報を表示してもよい。例えば、角丸矩形でなくても円形でも良いし、実線でなくても点線でも良い。
【実施例８】
【００８１】
以下、本発明を実施するための第８の形態について説明する。本実施例では、何も表示されていない状態から星型の図形が２つ現れる動画像データから星型の図形を検索し、出現情報として出現残時間を帯状のグラフで表示し、別な出現情報として出現位置と出現寸法を出現時の画像データを用いた画像で表示する場合の例を図１２を用いて説明する。なお、実施例１と重複する個所については、説明を省略する。
【００８２】
図１２では、(b)の各画像の左上に、出現情報として帯状のグラフが表示されている。帯状のグラフの説明は実施例２と同様であるため省略する。
【００８３】
(b)の各画像の中央および右側には、別の出現情報として、出現時の画像から星型の図形の枠線を抽出した画像が表示されている。出現時の画像から抽出した画像は、出現位置と出現寸法を正確に示しており、出現時点で出現した図形と一致する。出現時点までは、枠線のみを抽出した状態で時間の経過に合わせて点滅を繰り返す。
【００８４】
この出現情報により、利用者は、出現時点までの残り時間が減少する度合いを把握することができる。また、利用者は、正確な出現位置と出現寸法を把握することができる。また、利用者は、検索された画像の正確な形も把握することができる。また、枠線のみの画像が点滅することで、利用者は、再生時点では実際の動画像データではまだ表示されていないことを把握できる。
【００８５】
なお、出現時の動画像データを加工した画像を表示するならば、他の様式で出現情報を表示してもよい。例えば、枠線を抽出した画像ではなく色彩を薄めた画像を用いてもよいし、点滅させずに色彩を変化させても良い。
【００８６】
以上説明した本発明の実施形態では、検索画像再生機器１が検索処理部１２６を有し、画像検索機能を実行して得た出現情報を出現情報データベース１２２４に保存する場合の例を挙げて説明したが、外部の別の機器に画像検索機能を実行させ、通信装置１３を介して得た出現情報を出現情報データベース１２２４に保存しても良い。
【００８７】
この場合は、検索画像再生機器１が検索処理部１２６を有する必要がないため、検索画像再生機器１の演算処理負荷を減らすことができる。また、より高速な演算が可能な外部の別の機器により短時間に検索処理を終えることができるため、待ち時間による利用者の負担が減る。
【００８８】
また、本発明の各実施形態を組み合わせて実施しても良い。
【００８９】
本発明の実施形態によれば、検索画像再生機器は、検索された画像の出現時点より前から動画像の再生を開始し、出現時点までの残り時間、出現位置、出現寸法などの情報と共に表示されるように出力する。このため、動画像データから検索された画像の再生において、利用者は、検索された画像の出現時点より前から再生された動画像を、出現時点までの残り時間、出現位置、出現寸法などの情報を予見して視聴することができるため、利用者の負担が軽減される。
【００９０】
例えば、利用者は、2時間の長さの映画コンテンツから、「ABC」という文字列が含まれる画像を検索するとする。検索された画像の出現時点から再生すると、どういう経緯で「ABC」が使われているか理解しづらいため、その時点を含むチャプターの先頭から再生する。視聴者は、そのチャプター中のどこかで「ABC」という文字列が表示されることは分かっているが、出現に関する情報がないと、チャプター再生中ずっと（例えば20分間）動画を注視して、いつ、画面のどこに、どのくらいの大きさで現れるのか不明なまま「ABC」の文字列を探し続けなければならない。本発明の実施形態によれば、出現時点までの残り時間、出現位置、出現寸法などの情報を予見して視聴することができるため、このような利用者の負担が軽減される。
【００９１】
また、例えば、20人のグループが出演した音楽番組から、顔を知らないが名前を知っている１人の画像を、人名で検索するとする。人名と顔画像を関連付けたデータベースを用いることで検索は可能だが、検索された画像を含む部分が再生されるだけでは、利用者にとっては20人中の誰が該当しているのか分からない。該当する人物がハイライト表示されていれば誰が該当しているのかは分かるが、動画の視聴が邪魔されてしまう。本発明の実施形態によれば、利用者は、出現時点より前から視聴しつつ、出現時点までの残り時間、出現位置、出現寸法などの出現情報を把握でき、かつ、出現時点では出現情報が消えるため、検索した人物の画像を視聴する際に邪魔されることもない。また、利用者は、出現情報を表示するよう指示を出すことで、再度、出現情報を表示させて出現位置を確認することができる。
【符号の説明】
【００９２】
１…検索画像再生機器、１１…制御装置、１２…記録装置、１３…通信装置、１４…入力装置、１５…出力装置、１６…表示装置、１７…動画像再生装置。
【図１】
0005534989.tif 000002
【図２】
0005534989.tif 000003
【図３】
0005534989.tif 000004
【図４】
0005534989.tif 000005
【図５】
0005534989.tif 000006
【図６】
0005534989.tif 000007
【図７】
0005534989.tif 000008
【図８】
0005534989.tif 000009
【図９】
0005534989.tif 000010
【図１０】
0005534989.tif 000011
【図１１】
0005534989.tif 000012
【図１２】
0005534989.tif 000013