(57)【要約】【課題】  縮小画像表示処理の負荷を低減すると共に、シーンチェンジ点の多少に起因した縮小画像の表示むらを軽減する。【解決手段】  シーンチェンジ点での隣接フレーム間相違度Ｄとこのシーンチェンジ点を検索するための縮小画像Ｔｈと共に記録された映像を再生表示する表示手段１と、この表示手段１が有する画面のフレーム長に対応させて縮小画像Ｔｈを表示する時間幅Ｔを決定する時間幅決定手段２と、この時間幅Ｔで表示する縮小画像枚数を決定する枚数決定手段３と、この枚数決定手段３により決定された縮小画像枚数に一致する枚数の縮小画像Ｔｈを抽出可能にこの時間幅Ｔに記録された隣接フレーム間相違度Ｄに閾値を設定する閾値設定手段４と、この閾値設定手段４により設定された閾値以上のシーンチェンジ点に対応する縮小画像Ｔｈを映像に同期させて画面に再生表示するように表示手段１の動作を制御する制御手段６とを備える。【選択図】        図１
2005252850.tif 000002
【特許請求の範囲】
【請求項１】
シーンチェンジ点での隣接フレーム間相違度と当該シーンチェンジ点を検索するための縮小画像と共に記録された映像を再生する装置であって、
前記映像を画面に再生表示する表示手段と、
この表示手段が有する画面のフレーム長に対応させて前記縮小画像を表示する時間幅を決定する時間幅決定手段と、
この時間幅決定手段により決定された前記時間幅で表示する縮小画像枚数を決定する枚数決定手段と、
この枚数決定手段により決定された前記縮小画像枚数に一致する枚数の縮小画像を抽出可能に前記時間幅に記録された前記隣接フレーム間相違度に閾値を設定する閾値設定手段と、
この閾値設定手段により設定された前記閾値以上のシーンチェンジ点に対応する前記縮小画像を前記映像に同期させて画面に再生表示するように前記表示手段の動作を制御する制御手段と
を備えることを特徴とする映像再生装置。
【請求項２】
前記閾値設定手段は、前記隣接フレーム間相違度として記録された隣接フレーム間の輝度差分値に閾値を設定することを特徴とする請求項１に記載の映像再生装置。
【請求項３】
前記時間幅決定手段により決定された前記時間幅を分割する時間幅分割手段を更に備え、
前記枚数決定手段は、前記時間幅分割手段により分割された前記時間幅で表示する縮小画像枚数を決定し、
前記閾値設定手段は、前記時間幅分割手段により分割された前記時間幅に記録された前記隣接フレーム間相違度に閾値を設定する
ことを特徴とする請求項１に記載の映像再生装置。
【請求項４】
シーンチェンジ点での隣接フレーム間相違度と当該シーンチェンジ点を検索するための縮小画像と共に記録された映像を再生する方法であって、
前記映像を再生表示する画面のフレーム長に対応させて前記縮小画像を表示する時間幅を決定し、
決定された前記時間幅で表示する縮小画像枚数を決定し、
決定された前記縮小画像枚数に一致する枚数の縮小画像を抽出可能に前記時間幅に記録された前記隣接フレーム間相違度に閾値を設定し、
設定された前記閾値以上のシーンチェンジ点に対応する前記縮小画像を前記映像に同期させて画面に再生表示する
ことを特徴とする映像再生方法。
【請求項５】
前記縮小画像枚数に一致する枚数の縮小画像を抽出可能に前記時間幅に記録された前記隣接フレーム間相違度に閾値を設定する際に、
前記隣接フレーム間相違度として記録された隣接フレーム間の輝度差分値に閾値を設定する
ことを特徴とする請求項４に記載の映像再生方法。
【請求項６】
前記映像を再生表示する画面のフレーム長に対応させて前記縮小画像を表示する時間幅を決定した後、
決定された前記時間幅を分割し、
分割された前記時間幅で表示する縮小画像枚数を決定する
ことを特徴とする請求項４に記載の映像再生方法。
【請求項７】
シーンチェンジ点での隣接フレーム間相違度と当該シーンチェンジ点を検索するための縮小画像と共に記録された映像を再生するために、
前記映像を再生表示する画面のフレーム長に対応させて前記縮小画像を表示する時間幅を決定し、
決定された前記時間幅で表示する縮小画像枚数を決定し、
決定された前記縮小画像枚数に一致する枚数の縮小画像を抽出可能に前記時間幅に記録された前記隣接フレーム間相違度に閾値を設定し、
設定された前記閾値以上のシーンチェンジ点に対応する前記縮小画像を前記映像に同期させて画面に再生表示する
ことを特徴とする映像再生方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像再生装置、映像再生方法及びその方法をコンピュータに実行させるためのプログラムに関し、特に、映像を再生表示する画面のフレーム長に対応させた時間幅で表示する縮小画像枚数に一致する枚数の縮小画像を抽出可能に隣接フレーム間相違度に閾値を設定することによって、縮小画像表示処理の負荷と縮小画像の表示むらとを軽減することができるようにした映像再生装置、映像再生方法及びその方法をコンピュータに実行させるためのプログラムに関する。
【背景技術】
【０００２】
従来、映像を検索するための索引（インデックス：Index）として、各シーンの最初のフレーム画像等から生成された縮小画像（サムネイル：thumbnail）を表示することによって、目的の映像を迅速に検索して再生できるようにした映像再生方法が多数提案されている。また、このような映像検索用インデックスとしてサムネイルを表示するために、映像（動画）記録時に、動画を構成する複数のフレームの輝度ヒストグラムを取り、前のフレームとのヒストグラム差分値が所定の閾値を越えた場合にシーンチェンジが発生したと判断し、このシーンを代表するフレームからサムネイルを生成してシーンチェンジ点と共に記録する映像記録方法が知られている。
【０００３】
この従来の映像記録方法によりＤＶＤ（Digital Versatile Disc）等の記録メディアにコンテンツ（Content）として記録された映像を再生する場合、映像検索用インデックスとして再生表示される複数のサムネイルの中から目的とするシーンのサムネイルを選択すると、このシーンの開始点に該当するシーンチェンジ点から映像が再生される。従って、サムネイルの選択のみで目的とするシーンをその開始点から視聴することができるので、このシーンの内容を確実に把握することができる（特許文献１参照）。
【０００４】
【特許文献１】特開２００２−２７４１１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、例えば図７に示すように、映像検索用のサムネイルＴｈを再生映像Ｍ１１と同期させて同一画面に表示することができれば、再生シーンの前後にあるシーンを予め認識することができるので、巻き戻し及び早送りをする場合に便利である。この図７に示す映像再生例においては、サムネイルＴｈ１１を選択して映像Ｍ１１を再生中であっても、例えばサムネイルＴｈ１２を選択して再生開始点を即座に変更することができるので、再生映像Ｍ１１より前に記録されたシーンを迅速に再生表示することができるため利便性が向上すると考えられる。
【０００６】
このような表示形式でコンテンツ内の映像（ビデオ）とサムネイルとを同期させて表示するアプリケーションの処理はＣＰＵの負荷が大きいため、動作速度の速いＣＰＵが必要となる。一方、映像記録再生装置（所謂ビデオ装置）をテレビ放送受信装置等に組み込んだ組込機器では、動作速度として比較的低速なＣＰＵが採用される場合が多い。このため、コンテンツとしてビデオと共に記録メディアに記録された全てのサムネイルをビデオと同期させて再生表示することは困難である。
【０００７】
動作速度の遅い上述したようなＣＰＵを採用した場合、１００ピクセル（pixel）のサムネイルを再生表示するためには、約１秒間の処理時間を必要とする。よって、映像表示画面の水平走査方向に時間軸を取ってサムネイルを再生表示するとき、１２０ピクセル程度のサムネイルであれば、５枚乃至７枚のサムネイルをビデオと同期させて表示することが可能となる。
【０００８】
図８は、記録された全てのサムネイルから表示可能枚数のサムネイルを選択するための固定閾値設定例を示す図であって、横軸に時間Ｔを取り、縦軸に前のフレームとの輝度ヒストグラムの差分を取り、シーンチェンジ点における前のフレームとの差分値を記載したグラフＧ１０を示す。
【０００９】
コンテンツとして時間幅Ｔに記録された全てのサムネイルから、例えば、表示可能枚数として６枚のサムネイルを選択する場合、図８のグラフＧ１０において、輝度ヒストグラムの差分に固定閾値ＴFを設定し、この固定閾値ＴFを越える差分値Ｄ１３〜Ｄ１８に対応したサムネイルＴｈ１３〜Ｔｈ１８を抽出する方法が考えられる。固定閾値ＴF以下の差分値に対応したサムネイルを再生表示しないことによって、ビデオと同期させて画面に再生表示するサムネイルの枚数を減らすことができるため、ＣＰＵの負荷を低減することができる。
【００１０】
しかしながら、コンテンツ全体に固定閾値ＴFを設定してサムネイル枚数を制限した場合、図８に示すように、コンテンツ全体が差分値（シーンチェンジレベル）の低い区間Ａとシーンチェンジレベルの高い区間Ｂとを含むとき、区間Ｂからはサムネイルが抽出されるが、区間Ａからはサムネイルが１枚も抽出されないことになる。従って、図９に示すように、表示画面の水平フレーム長に時間幅Ｔを対応させてサムネイルを再生表示した場合、この時間幅Ｔの後半にサムネイルＴｈ１３〜Ｔｈ１８が集中的に表示されてしまう。
【００１１】
このため、シーンチェンジが激しく短時間に複数のサムネイルが表示される時間帯では、複数のサムネイルが重畳表示され、サムネイルＴｈ１３，Ｔｈ１４，Ｔｈ１５及びＴｈ１７のように、部分的にしか表示されないサムネイルも存在することになる。これでは、特にサムネイルＴｈ１５のように、その大部分が他のサムネイルＴｈ１６により隠されてしまったサムネイルからシーンの内容を把握して目的のシーンを選択することは困難である。
【００１２】
また、単一の固定閾値ＴFを設定することによって、シーンチェンジの激しい時間帯ではサムネイルの表示枚数を減らすことができ、ＣＰＵの負荷を低減することができるが、シーンチェンジの穏やかな時間帯では、固定閾値ＴFのレベルによっては、ＣＰＵの処理能力としてはサムネイルを表示可能であるにもかかわらず、サムネイルが表示されない可能性がある。このため、シーンチェンジ点の多少に起因してサムネイルの表示に時間的なむらが生じてしまうという問題もある。
【００１３】
本発明は、この問題を解決し、サムネイル表示処理の負荷を低減することができると共に、シーンチェンジ点の多少に起因したサムネイルの表示むらを軽減することができる映像再生装置、映像再生方法及びその方法をコンピュータに実行させるためのプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記課題を解決するために、本発明に係る映像再生装置は、シーンチェンジ点での隣接フレーム間相違度とこのシーンチェンジ点を検索するための縮小画像と共に記録された映像を再生する装置であって、この映像を画面に再生表示する表示手段と、この表示手段が有する画面のフレーム長に対応させて縮小画像を表示する時間幅を決定する時間幅決定手段と、この時間幅決定手段により決定された時間幅で表示する縮小画像枚数を決定する枚数決定手段と、この枚数決定手段により決定された縮小画像枚数に一致する枚数の縮小画像を抽出可能にこの時間幅に記録された隣接フレーム間相違度に閾値を設定する閾値設定手段と、この閾値設定手段により設定された閾値以上のシーンチェンジ点に対応する縮小画像を映像に同期させて画面に再生表示するように表示手段の動作を制御する制御手段とを備えることを特徴とする。
【００１５】
本発明に係る映像再生装置によれば、シーンチェンジ点での隣接フレーム間相違度とこのシーンチェンジ点を検索するための縮小画像と共に記録された映像を再生する場合に、縮小画像を表示する時間幅が、時間幅決定手段により映像を再生表示する画面のフレーム長に対応させて決定され、ここで決定された時間幅で表示する縮小画像枚数が枚数決定手段により決定される。この縮小画像枚数に一致する枚数の縮小画像を抽出可能に閾値決定手段によりこの時間幅に記録された隣接フレーム間相違度に閾値が設定される。そして、この閾値以上のシーンチェンジ点に対応する縮小画像を映像に同期させて画面に再生表示するように制御手段により表示手段の動作が制御される。
【００１６】
従って、設定された閾値以上のシーンチェンジ点に対応する縮小画像のみを映像と同期させて再生表示することができるので、記録された全ての縮小画像を再生表示した場合と比較して、縮小画像表示処理の負荷を低減することができると共に、シーンチェンジ点の多少に起因した縮小画像の表示むらを軽減することができる。
【００１７】
本発明に係る映像再生方法は、シーンチェンジ点での隣接フレーム間相違度とこのシーンチェンジ点を検索するための縮小画像と共に記録された映像を再生する方法であって、この映像を再生表示する画面のフレーム長に対応させて縮小画像を表示する時間幅を決定し、ここに決定された時間幅で表示する縮小画像枚数を決定し、ここに決定された縮小画像枚数に一致する枚数の縮小画像を抽出可能にこの時間幅に記録された隣接フレーム間相違度に閾値を設定し、ここに設定された閾値以上のシーンチェンジ点に対応する縮小画像を映像に同期させて画面に再生表示することを特徴とする。
【００１８】
また、本発明に係る映像再生方法をコンピュータに実行させるためのプログラムは、シーンチェンジ点での隣接フレーム間相違度とこのシーンチェンジ点を検索するための縮小画像と共に記録された映像を再生するために、この映像を再生表示する画面のフレーム長に対応させて縮小画像を表示する時間幅を決定し、ここに決定された時間幅で表示する縮小画像枚数を決定し、ここに決定された縮小画像枚数に一致する枚数の縮小画像を抽出可能にこの時間幅に記録された隣接フレーム間相違度に閾値を設定し、ここに設定された閾値以上のシーンチェンジ点に対応する縮小画像を映像に同期させて画面に再生表示することを特徴とする。
【００１９】
本発明に係る映像再生方法及びその方法をコンピュータに実行させるためのプログラムによれば、設定された閾値以上のシーンチェンジ点に対応する縮小画像のみを映像と同期させて再生表示することができるので、記録された全ての縮小画像を再生表示した場合と比較して、縮小画像表示処理の負荷を低減することができると共に、シーンチェンジ点の多少に起因した縮小画像の表示むらを軽減することができる。
【発明の効果】
【００２０】
本発明によれば、シーンチェンジ点での隣接フレーム間相違度とこのシーンチェンジ点を検索するための縮小画像と共に記録された映像を再生するために、映像を再生表示する画面のフレーム長に対応させた時間幅で表示する縮小画像枚数に一致する枚数の縮小画像を抽出可能にこの時間幅に記録された隣接フレーム間相違度に閾値を設定する。
【００２１】
この構成によって、設定された閾値以上のシーンチェンジ点に対応する縮小画像のみを映像と同期させて再生表示することができるので、記録された全ての縮小画像を再生表示した場合と比較して、縮小画像表示処理の負荷を低減することができる。このため、動作速度の低速な画像処理系であっても、再生開始位置を検索するための索引として限定された枚数の縮小画像を映像と同期させて一画面に再生表示することができる。よって、従来より廉価な映像再生装置を提供することができる。
【００２２】
また、縮小画像を表示する記録時間幅に応じて閾値を可変設定することができるため、シーンチェンジ点の多少によらずに一定枚数の縮小画像を映像と同期させて再生表示することができる。従って、シーンチェンジ点の多少に起因した縮小画像の表示むらを軽減することができる。
【発明を実施するための最良の形態】
【００２３】
以下、添付の図面を参照しながら、本発明に係る映像再生装置、映像再生方法及びその方法をコンピュータに実行させるためのプログラムを実施するための最良の形態について説明する。
【００２４】
本実施形態では、映像を再生表示する画面のフレーム長に対応させた時間幅で表示する縮小画像枚数に一致する枚数の縮小画像を抽出可能に、この時間幅に記録された隣接フレーム間相違度に閾値を設定する。これによって、設定された閾値以上のシーンチェンジ点に対応する縮小画像のみを映像と同期させて再生表示することができるようにしたものである。
【００２５】
図１は、本実施形態としての映像再生装置１００の構成例を示す機能ブロック図である。映像再生装置１００は、シーンチェンジ点での隣接フレーム間相違度とこのシーンチェンジ点を検索するための縮小画像（サムネイル）と共に記録された映像（ビデオ）を再生する装置であって、図示のように、表示手段１、時間幅決定手段２、枚数決定手段３、閾値設定手段４、時間幅分割手段５及び制御手段６を備えて構成される。
【００２６】
表示手段１は、制御手段６と接続され、この制御手段６の制御下で、ビデオを画面に再生表示する。時間幅決定手段２は、この制御手段６の制御下で、表示手段１が有する画面のフレーム長に対応させてサムネイルを表示する時間幅を決定する。枚数決定手段３は、制御手段６と接続され、時間幅決定手段２により決定された時間幅で表示するサムネイル枚数を決定する。
【００２７】
閾値設定手段４は、制御手段６に接続され、枚数決定手段３により決定されたサムネイル枚数に一致する枚数のサムネイルを抽出可能に、時間幅決定手段により決定された時間幅に記録された隣接フレーム間相違度に閾値を設定する。本実施形態においては、前フレームとの輝度ヒストグラムの差分値が予め規定された基準値（閾値）を越えるフレームをシーンチェンジ点と判断し、このシーンチェンジ点に係るフレームと前フレームとの差分値を隣接フレーム間相違度として利用する。従って、閾値設定手段４は、シーンチェンジ点における前フレームとの輝度差分値に動的に変更可能な閾値を設定することになる。
【００２８】
時間幅分割手段５は、制御手段６に接続され、時間幅決定手段２により決定された時間幅を更に分割する。この時間幅分割手段５により時間幅が分割された場合、枚数決定手段３は、この時間幅分割手段５により分割された時間幅で表示するサムネイル枚数を決定し、閾値設定手段４は、時間幅分割手段５により分割された時間幅に記録された輝度差分値に閾値を設定する。
【００２９】
制御手段６は、表示手段１、時間幅決定手段２、枚数決定手段３、閾値設定手段４及び時間幅分割手段５と夫々接続され、閾値設定手段４により設定された閾値以上のシーンチェンジ点に対応するサムネイルをビデオに同期させて画面に再生表示するように表示手段１の動作を制御する。
【００３０】
このように構成された映像再生装置１００は、例えば、図２に示すようなハードウエア構成に組み込まれて実現される。この映像再生装置１００において、アンテナ１１は、周知のテレビジョン放送受信アンテナであって、チューナ１２と接続される。アンテナ１１は、任意のテレビジョン放送波を受信し、その受信信号をチューナ１２に送出する。
【００３１】
チューナ１２は、アンテナ１１及びＹＣ分離回路１３と接続され、アンテナ１１より供給されるテレビジョン放送波の受信信号から所定のチャネル信号を分離して受信し、このチャネル信号をＹＣ分離回路１３に送出する。
【００３２】
ＹＣ分離回路１３は、チューナ１２及びＮＴＳＣ（National TV Standards Committee）デコーダ１４と接続され、チューナ１２から入力されるチャネル信号の中の映像信号を輝度信号（Ｙ信号）と色信号（Ｃ信号）とに分離し、分離後の映像信号をＮＴＳＣデコーダ１４に送出する。
【００３３】
ＮＴＳＣデコーダ１４は、ＹＣ分離回路１３及びプリ映像信号処理回路１５と接続され、ＹＣ分離回路１３から入力される映像信号に対して、Ａ／Ｄ変換処理及びクロマエンコード処理等を施してからデジタルコンポーネントビデオ信号（Digital Component Video Signal：以下、ＤＣＶ信号と記載する）に変換し、このＤＣＶ信号をプリ映像信号処理回路１５に送出する。
【００３４】
プリ映像信号処理回路１５は、ＮＴＳＣデコーダ１４、ＭＰＥＧ（Moving Picture coding Experts Group）ビデオエンコーダ１６及びポスト映像信号処理回路２１と夫々接続される。プリ映像信号処理回路１５は、ＮＴＳＣデコーダ１４から入力されるＤＣＶ信号に対して各フィールドの輝度ヒストグラムを取り、時間的に隣接したフレーム間のヒストグラム差分値が予め規定された基準値を越えるシーンチェンジ点を検出し、このシーンチェンジ点となるフレームの画像データをポスト映像信号処理回路２１に送出する。
【００３５】
また、プリ映像信号処理回路１５は、シーンチェンジ点となるフレームの画像データと共にＤＣＶ信号をＭＰＥＧビデオエンコーダ１６に送出する。
【００３６】
ＭＰＥＧビデオエンコーダ１６は、プリ映像信号処理回路１５及びマルチプレクサ／デマルチプレクサ１７と接続され、プリ映像信号処理回路１５から入力されるＤＣＶ信号に離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）等の符号化処理を施すことによって、ＭＰＥＧ規格に準拠した映像ＰＥＳ（Packetized Elementary Stream：パケタイズドエレメンタリストリーム）を生成し、この映像ＰＥＳをマルチプレクサ／デマルチプレクサ１７に送出する。
【００３７】
マルチプレクサ／デマルチプレクサ１７は、ＭＰＥＧビデオエンコーダ１６、バッファコントローラ１８、ＭＰＥＧ−ＡＶデコーダ２０及び図示しないＭＰＥＧオーディオエンコーダ等と夫々接続される。
【００３８】
マルチプレクサ／デマルチプレクサ１７は、ビデオ記録時には、ＭＰＥＧビデオエンコーダ１６及びＭＰＥＧオーディオエンコーダ等から入力される映像ＰＥＳ、音声ＰＥＳ及び各種の制御信号等をマルチプレクス処理することによって、ＭＰＥＧ規格に準拠したトランスポートストリーム（Transport Stream）を生成し、このトランスポートストリームをバッファコントローラ１８に送出する。
【００３９】
また、マルチプレクサ／デマルチプレクサ１７は、ビデオ再生時には、バッファコントローラ１８から入力されるトランスポートストリームをデマルチプレクス処理して映像ＰＥＳ及び音声ＰＥＳ等に分離し、分離後のＰＥＳをＭＰＥＧ−ＡＶデコーダ２０に送出する。
【００４０】
バッファコントローラ１８は、マルチプレクサ／デマルチプレクサ１７及びＨＤＤ（Hard Disk Drive：ハードディスク駆動装置）１９と接続され、マルチプレクサ／デマルチプレクサ１７から連続的に入力されるトランスポートストリームをＨＤＤ１９に断続的に送出して記録可能に制御する。また、バッファコントローラ１８は、ＨＤＤ１９から断続的に入力されるデータを連結可能にバッファ制御することによって、ＨＤＤ１９から読み出されるトランスポートストリームをマルチプレクサ／デマルチプレクサ１７に連続的に送出する。
【００４１】
ＨＤＤ１９は、バッファコントローラ１８と接続され、バッファコントローラ１８から断続的に入力されるトランスポートストリームを所定のアドレスに記録すると共に、所定のアドレスに記録されているトランスポートストリームを読み出してバッファコントローラ１８に送出する。
【００４２】
ＭＰＥＧ−ＡＶデコーダ２０は、マルチプレクサ／デマルチプレクサ１７及びポスト映像信号処理回路２１と接続され、マルチプレクサ／デマルチプレクサ１７から入力されるＰＥＳを映像ＰＥＳと音声ＰＥＳとに分離して所定のデコード処理を施した後、ベースバンドの画像データをポスト信号処理回路２１に、ベースバンドの音声データを音声信号処理回路（図示せず）に夫々送出する。
【００４３】
ポスト信号処理回路２１は、プリ映像信号処理回路１５、ＭＰＥＧ−ＡＶデコーダ２０及びＯＳＤ（On Screen Display）回路２２と夫々接続される。ポスト信号処理回路２１は、プリ映像信号処理回路１５から入力されるシーンチェンジ点の画像データを圧縮処理することによりサムネイルを生成する。そして、ポスト信号処理回路２１は、画像表示ウインドウ等をＧＵＩ（Graphic User Interface）として生成し、この画像表示ウインドウにサムネイルを表示可能に貼り付け、ＭＰＥＧ−ＡＶデコーダ２０から入力されるベースバンドの画像データと共にＯＳＤ回路２２に送出する。
【００４４】
ＯＳＤ回路２２は、ポスト信号処理回路２１及び表示装置２３に接続され、ベースバンドの画像データに、ポスト信号処理回路２１によりサムネイルが貼り付けられた画像表示ウインドウを重畳させて表示装置２３に送出する。
【００４５】
表示装置２３は、画像表示機能を備えたＬＣＤ（Liquid Crystal Display）等であって、ＯＳＤ回路２２に接続される。表示装置２３は、ＯＳＤ回路２２から入力される画像データに基づいて表示を切り換えることによって、映像検索用のインデックスとなるサムネイルをビデオに重畳させて画面に再生表示することになる。
【００４６】
上述した各部は、バス１０を介してシステムコントローラ２４と夫々接続され、システムコントローラ２４によりその動作を制御される。また、バス１０には、入出力インターフェイス２５が接続される。
【００４７】
システムコントローラ２４は、ＣＰＵ（Central Processing Unit）２４ａ、ＲＡＭ（Random Access Memory）２４ｂ及びＲＯＭ（Read Only Memory）２４ｃを備えて構成される。システムコントローラ２４は、そのＣＰＵ２４ａが、ＲＡＭ２４ｂをワークエリアとして使用しながらＲＯＭ２４ｃに格納された制御プログラムを実行することによって、映像再生装置１００の各部の動作をバス１０を介して制御する。
【００４８】
入出力インターフェイス２５は、入力部２６、ドライブ２７及びバス１０と夫々接続される。入力部２６は、キーボード、マウス、リモートコントローラ（リモコン）及び表示装置２３の画面上に一体構成された透明タッチパネル等からなり、映像再生装置１００を操作するためのユーザインターフェイスとして機能する。よって、入出力インターフェイス２５は、入力部２６からの入力をシステムコントローラ２４へ媒介することになる。
【００４９】
ドライブ２７は、入出力インターフェイス２５に接続され、ＣＤＲＯＭ及びＤＶＤのような光学式記録媒体２８、フロッピー（Ｒ）ディスクのような磁気記録媒体２９並びにメモリスティック（Ｒ）のような半導体メモリ３０等を読取可能に装着する。これによりドライブ２７は、これらの記録媒体２８，２９，３０に記録されたデータを読み取り、ここで読み取ったデータを入出力インターフェイス２５を介してシステムコントローラ２４に入力する。
【００５０】
よって、映像再生装置１００は、アンテナ１１により受信したテレビジョン放送及びＨＤＤ１９から読み出した映像だけではなく、ＣＤＲＯＭ２８、フロッピー（Ｒ）ディスク２９及びメモリスティック３０に記録された動画等の各種コンテンツを再生表示することができる。
【００５１】
ここで、図１に示した機能ブロック図と、図２に示したブロック図との関係を説明する。本実施形態に係る映像再生装置１００において、プリ映像信号処理回路１５、ポスト映像信号処理回路２１、ＯＳＤ回路２２及び表示装置２３は、表示手段１の機能を担う。
【００５２】
また、ＲＯＭ２４ｃは、本発明に係るプログラムを予め格納し、ＣＰＵ２４ａがＲＯＭ２４ｃに格納されたプログラムを実行することによって、時間幅決定手段２、枚数決定手段３、閾値設定手段４、時間幅分割手段５及び制御手段６として機能するようになる。ＣＰＵ２４ａ、ＲＡＭ２４ｂ及びＲＯＭ２４ｃは、周知のコンピュータシステムにより実現することができる。
【００５３】
このように構成された映像再生装置１００に電力を供給し、例えばＨＤＤ１９に記録されたコンテンツを選択して再生するようにリモコン２６を介して操作すると、リモコン２６により選択されたコンテンツにおいて、シーンチェンジ点を検索するためのサムネイルとビデオとを同期させて再生表示するために、ビデオを再生表示する画面のフレーム長に対応させてサムネイルを表示する時間幅Ｔが時間幅決定手段２により決定される。
【００５４】
次に、時間幅分割手段５によって、例えば時間幅Ｔが２分割され、時間幅Ｔより短い時間幅ｔ＝Ｔ／２が決定される。これによりコンテンツは、図３に示すように、時間幅ｔの区間Ａと、同じ時間幅ｔの区間Ｂとに分割される。そして、この時間幅ｔで表示するサムネイル枚数が、例えば３枚のように枚数決定手段３により決定される。
【００５５】
このように区間Ａと区間Ｂとに区切られたコンテンツ対して、各々の区間に記録されたシーンチェンジ点におけるシーンチェンジレベルが、閾値設定手段４により検出され、全てのシーンチェンジ点がそのシーンチェンジレベルの昇順にソートされる。これによって、枚数決定手段３により決定されたサムネイル枚数に一致する３枚のサムネイルを抽出可能に、閾値設定手段４は、時間幅ｔに記録されたシーンチェンジレベルに閾値を設定することができるようになる。
【００５６】
閾値設定手段４は、区間Ａで前のフレームとの差分値が３番目に高いシーンチェンジ点を含むように、区間Ａに記録されたシーンチェンジレベルに閾値ＴAを設定する。これによって、３番目に高いシーンチェンジレベルＤ１乃至最も高いシーンチェンジレベルＤ３に対応したサムネイルＴＨ１，Ｔｈ２、Ｔｈ３を抽出することができる。
【００５７】
同様に、閾値設定手段４は、区間Ｂで前のフレームとの差分値が３番目に高いシーンチェンジ点を含むように、区間Ｂに記録されたシーンチェンジレベルに閾値ＴBを設定する。これによって、３番目に高いシーンチェンジレベルＤ５、２番目に高いシーンチェンジレベルＤ６及び３番目に高いシーンチェンジレベルＤ４に夫々対応したサムネイルＴＨ５，Ｔｈ６、Ｔｈ４を抽出することができる。
【００５８】
このように時間幅ｔの区間Ａ，Ｂに夫々記録されたシーンチェンジレベルに応じて動的に閾値を変更することによって、区間Ａ，Ｂから夫々３枚ずつのサムネイルを抽出することができる。総計６枚のサムネイルとビデオとの同期再生処理は、低速のＣＰＵであっても問題なく実行することができる。よって、組込機器用の動作速度が比較的低速である、例えば３００ＭＨｚ程度のＣＰＵにより、サムネイルとビデオとの同期再生処理を実現できるので、より廉価な映像再生装置を提供できる。
【００５９】
図４は、上述のようにして抽出されたサムネイルの表示例を示す略式概念図である。図４に示すように、表示装置２３が有する画面の水平フレーム長に時間幅Ｔを対応させたとき、区間Ａで閾値ＴA以上のシーンチェンジ点Ｄ１，Ｄ２，Ｄ３に夫々対応するサムネイルＴｈ１，Ｔｈ２，Ｔｈ３と、区間Ｂで閾値ＴB以上のシーンチェンジ点Ｄ４，Ｄ５，Ｄ６に夫々対応するサムネイルＴｈ４，Ｔｈ５，Ｔｈ６とを、ビデオＭ１に同期させて同一画面に再生表示することができる。
【００６０】
この図４に示すサムネイルの表示例では、ニュースキャスターがニュースを読む場面のように、シーンチェンジが穏やかな区間Ａであっても、シーンチェンジレベルに応じて低い閾値ＴAが設定されるので、ニュースキャスターのサムネイルＴｈ１，Ｔｈ２，Ｔｈ３が表示される。よって、単一の固定閾値ＴFを適用した場合と比較して、シーンチェンジレベルの高低によるシーンチェンジ点の多少に起因して発生するサムネイルの表示むらを軽減することが可能となる。
【００６１】
一方、シーンチェンジが激しい区間Ｂでは、サムネイル枚数を限定可能に高めの閾値ＴBが設定されるので、従来のように複数のサムネイルが重畳表示されることが無くなる。よって、コンテンツの記録状態に応じて適切な枚数のサムネイルが、このサムネイルに対応するシーンの内容を認識可能に表示される。
【００６２】
このため、例えば、再生中のビデオＭ１を視聴しながら、このコンテンツ内での再生位置をサムネイルＴｈ２により把握できる。また、リモコン２７によりサムネイルＴｈ４を選択することによって、このサムネイルＴｈ４に対応するシーンチェンジ点に再生開始位置を変更することができるので、早送り再生及び巻き戻し再生等の操作性に優れて利便性が高い。
【００６３】
次に、本発明に係る映像再生方法及びその方法をコンピュータに実行させるためのプログラムの実施形態として、上述した映像再生装置１００による映像再生例について、図５及び図６に示すフローチャートを参照して説明する。
【００６４】
この実施形態では、本発明に係る映像再生方法をコンピュータに実行させるためのプログラムを予めＲＯＭ２４ｃに格納することを前提とする。そして、ＣＰＵ２４ａが本発明に係るプログラムを起動することによって、シーンチェンジ点における前のフレームとの輝度ヒストグラム差分値とこのシーンチェンジ点を検索するためのサムネイルと共に記録されたビデオを再生するために、本発明に係る映像再生方法を実行するものとする。
【００６５】
これを前提として、図５に示すフローチャートのステップＳ１で、ビデオを再生表示する画面のフレーム長に対応させて、一画面にサムネイルを表示する時間幅Ｔを時間幅決定手段２により決定し、時間幅分割手段５により時間幅Ｔを分割して時間幅ｔを決定する。
【００６６】
ステップＳ２で、時間幅ｔに区切られた区間Ａで表示するサムネイル枚数Ｎを枚数決定手段３により決定し、ステップＳ３で、時間幅ｔに記録されたサムネイルを抽出する。ステップＳ４で、ｔ分間に記録されたサムネイル枚数ｎが枚数決定手段３により決定されたサムネイル枚数Ｎと一致する場合、ステップＳ５に進み、時間幅ｔ内にＮ枚のサムネイルをビデオと同期させて表示し、ステップＳ６に進む。
【００６７】
ステップＳ６で、入力部２６より再生終了の指示入力がなされた場合、映像再生を終了する。このステップＳ６で、再生終了しない場合、ステップＳ３に戻り、コンテンツとして次の時間幅ｔに記録されたサムネイルを抽出する。
【００６８】
ステップＳ４で、ｔ分間の区間Ａのサムネイル枚数ｎが枚数決定手段３により決定されたサムネイル枚数Ｎと一致しなかった場合、図６に示すフローチャートのステップＳ７に移行する。
【００６９】
このステップＳ７で、閾値設定手段４により時間幅ｔに記録されたサムネイルに対応するシーンチェンジレベルを調べ、ステップＳ８で、シーンチェンジレベルが調べられたサムネイルをシーンチェンジレベルの昇順にソートする。
【００７０】
ステップＳ９で、ｔ分間のサムネイル枚数ｎが枚数決定手段３により決定された表示枚数Ｎと一致する閾値ＴAを閾値設定手段４により設定する。ステップＳ１０で、この閾値ＴA以上のシーンチェンジレベルＤ１，Ｄ２，Ｄ３に対応するサムネイルＴｈ１，Ｔｈ２，Ｔｈ３を選択し、図５に示すフローチャートのステップＳ５に戻る。
【００７１】
このステップＳ５で、時間幅ｔ内にＮ枚のサムネイルＴｈ１，Ｔｈ２，Ｔｈ３をビデオＭ１と同期させて表示し、ステップＳ６に進む。
【００７２】
ステップＳ６で、入力部２６より再生終了の指示入力がなされた場合、映像再生を終了する。このステップＳ６で、再生終了しない場合、ステップＳ３に戻り、コンテンツとして次の時間幅ｔとなる区間Ｂに記録されたサムネイルを抽出し、上述した区間Ａに対する処理と同様に、映像再生処理を実行する。
【００７３】
これによって、ある時点でのコンテンツの記録状態に応じて設定された閾値ＴA，ＴB以上のシーンチェンジ点に対応するサムネイルのみをビデオと同期させて再生表示することができるので、記録された全てのサムネイルを再生表示した場合と比較して、サムネイル表示処理の負荷を低減することができる。
【００７４】
従って、動作速度の低速なＣＰＵであっても、再生開始位置を検索するためのインデックスとして限定された枚数のサムネイルをビデオと同期させて画面に再生表示することができる。このため、従来より廉価な映像再生装置を提供することができる。
【００７５】
また、サムネイルを表示する記録時間幅ｔに応じて閾値ＴA，ＴBを可変設定することができるため、シーンチェンジ点の多少によらずに一定枚数のサムネイルをビデオと同期させて再生表示することができる。よって、シーンチェンジ点の多少に起因したサムネイルの表示むらを軽減することができる。
【００７６】
以上、本発明に係る映像再生装置、映像再生方法及びその方法をコンピュータに実行させるためのプログラムの実施に最良の形態及びその効果について詳細に説明してきたが、本発明は、この実施形態の構成に限定されるものではなく、この出願の願書に添付した特許請求の範囲により規定された本発明の適用範囲から逸脱せずに、上述した実施形態の構成が備える機能を達成可能な構成であれば、どのようなものであっても適用することができる。
【００７７】
例えば、上述した実施形態においては、隣接フレーム間相違度として、前のフレームとの輝度ヒストグラム差分値を利用したが、隣接フレーム間相違度は、特に輝度差分値に限定されず、周知の動きベクトル差分法により隣接フレーム間での動きベクトルの差分を検出し、検出されたベクトル差分値に任意変更可能な閾値を設定する構成としてもかまわない。
【００７８】
また、上述した実施形態においては、本発明に係るプログラムを予めＲＯＭ２４ｃに格納する構成としたが、本発明に係るプログラムが格納される記録媒体はＲＯＭ２４ｃに特に限定されず、ＨＤＤ１９に格納する構成も可能であり、また、ドライブ２７に装着可能な記録媒体２８，２９，３０に格納し、これらの記録媒体から読み取ってもかまわない。
【００７９】
さらにまた、上述した実施形態においては、ビデオを再生表示する画面の水平フレーム長に時間幅Ｔを対応させたが、画面の垂直フレーム長に時間幅Ｔを対応させる構成であっても作用効果が変わらないことは言うまでもない。
【産業上の利用可能性】
【００８０】
本発明は、映像検索用のサムネイルとビデオとを同期させて再生するビデオ装置等に適用して極めて好適である。
【図面の簡単な説明】
【００８１】
【図１】本発明に係る映像再生装置の構成例を示す機能ブロック図である。
【図２】本発明に係る映像再生装置のハードウエアの構成例を示すブロック図である。
【図３】閾値設定例を示す略式概念図である。
【図４】サムネイルの表示例を示す略式概念図である。
【図５】本発明に係る映像再生方法を示すフローチャート（その１）である。
【図６】本発明に係る映像再生方法を示すフローチャート（その２）である。
【図７】映像再生例（その１）を示す略式概念図である。
【図８】固定閾値設定例を示す略式概念図である。
【図９】映像再生例（その２）を示す略式概念図である。
【符号の説明】
【００８２】
１００・・・映像再生装置、２・・・時間幅決定手段、３・・・枚数決定手段、４・・・閾値設定手段、５・・・時間幅分割手段、６・・・制御手段、１０・・・バス、１１・・・アンテナ、１２・・・チューナ、１３・・・ＹＣ分離回路、１４・・・ＮＴＳＣデコーダ、１５・・・プリ映像信号処理回路、１６・・・ＭＰＥＧビデオエンコーダ、１７・・・マルチプレクサ／デマルチプレクサ、１８・・・バッファコントローラ、１９・・・ＨＤＤ、２０・・・ＭＰＥＧ  ＡＶデコーダ、２１・・・ポスト映像信号処理回路、２２・・・ＯＳＤ回路、２３・・・表示装置、２４・・・システムコントローラ、２６・・・入力部、２７・・・ドライブ
【図１】
2005252850.tif 000003
【図２】
2005252850.tif 000004
【図３】
2005252850.tif 000005
【図４】
2005252850.tif 000006
【図５】
2005252850.tif 000007
【図６】
2005252850.tif 000008
【図７】
2005252850.tif 000009
【図８】
2005252850.tif 000010
【図９】
2005252850.tif 000011
【手続補正書】
【提出日】平成17年2月28日(2005.2.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１
【補正方法】変更
【補正の内容】
【請求項１】
シーンチェンジ点での隣接フレーム間相違度と当該シーンチェンジ点を検索するための縮小画像と共に記録された映像を再生する装置であって、
表示手段が有する画面のフレーム長に対応させて前記縮小画像を表示する時間幅を決定する時間幅決定手段と、
この時間幅決定手段により決定された前記時間幅で表示する縮小画像枚数を決定する枚数決定手段と、
この枚数決定手段により決定された前記縮小画像枚数に一致する枚数の縮小画像を抽出可能に前記時間幅に記録された前記隣接フレーム間相違度に閾値を設定する閾値設定手段と、
この閾値設定手段により設定された前記閾値以上のシーンチェンジ点に対応する前記縮小画像を前記映像に同期させて画面に再生表示するように前記表示手段の動作を制御する制御手段と
を備えることを特徴とする映像再生装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
上記課題を解決するために、本発明に係る映像再生装置は、シーンチェンジ点での隣接フレーム間相違度とこのシーンチェンジ点を検索するための縮小画像と共に記録された映像を再生する装置であって、表示手段が有する画面のフレーム長に対応させて縮小画像を表示する時間幅を決定する時間幅決定手段と、この時間幅決定手段により決定された時間幅で表示する縮小画像枚数を決定する枚数決定手段と、この枚数決定手段により決定された縮小画像枚数に一致する枚数の縮小画像を抽出可能にこの時間幅に記録された隣接フレーム間相違度に閾値を設定する閾値設定手段と、この閾値設定手段により設定された閾値以上のシーンチェンジ点に対応する縮小画像を映像に同期させて画面に再生表示するように表示手段の動作を制御する制御手段とを備えることを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００５６
【補正方法】変更
【補正の内容】
【００５６】
閾値設定手段４は、区間Ａで前のフレームとの差分値が３番目に高いシーンチェンジ点を含むように、区間Ａに記録されたシーンチェンジレベルに閾値ＴAを設定する。これによって、３番目に高いシーンチェンジレベルＤ１乃至最も高いシーンチェンジレベルＤ３に対応したサムネイルＴｈ１，Ｔｈ２，Ｔｈ３を抽出することができる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００５７
【補正方法】変更
【補正の内容】
【００５７】
同様に、閾値設定手段４は、区間Ｂで前のフレームとの差分値が３番目に高いシーンチェンジ点を含むように、区間Ｂに記録されたシーンチェンジレベルに閾値ＴBを設定する。これによって、１番目に高いシーンチェンジレベルＤ５、２番目に高いシーンチェンジレベルＤ６及び３番目に高いシーンチェンジレベルＤ４に夫々対応したサムネイルＴｈ５，Ｔｈ６，Ｔｈ４を抽出することができる。