(57)【要約】【課題】  各動画像データの再生状況が認識できるサムネイル画像データの表示方法を提供する。【解決手段】  複数のサムネイル画像データを画面内に表示するサムネイル画像データ表示方法に用いる画像記録再生装置であって、入力動画像データから複数の画像データを抽出し、抽出された複数の画像データのそれぞれに対応する複数のサムネイル画像データを出力する。そして、再生処理された入力動画像データに対応するサムネイル画像データとしては静止画が表示され、再生処理されていない入力動画像データに対応するサムネイル画像データとしては動画表示される。【選択図】    図１
2007110467.tif 000002
【特許請求の範囲】
【請求項１】
複数のサムネイル画像データを画面内に表示するサムネイル画像データ表示方法に用いる画像記録再生装置であって、
入力動画像データを符号化処理する画像データ処理部と、
前記入力動画像データから複数の画像データを抽出し、当該抽出された複数の画像データのそれぞれに対応する前記複数のサムネイル画像データを出力するサムネイル画像データ処理部と、
前記符号化処理された符号化画像データと、前記複数のサムネイル画像データを記録する画像データ記録部と、
前記符号化画像データを再生処理する画像データ再生部と
を備え、
前記サムネイル画像データ処理部は、前記再生処理が停止した時点における画像データ、または当該画像データの時間的に近傍にある画像データに対応するサムネイル静止画像データを出力し、
前記再生処理が行われていない画像データに対応する前記サムネイル画像データとしてサムネイル動画像データを出力すること
を特徴とする画像記録再生装置。
【請求項２】
複数のサムネイル画像データを画面内に表示するサムネイル画像データ表示方法に用いる画像記録再生装置であって、
入力動画像データを符号化処理する画像データ処理部と、
前記入力動画像データから複数の画像データを抽出し、当該抽出された複数の画像データのそれぞれに対応する前記複数のサムネイル画像データを出力するサムネイル画像データ処理部と、
前記符号化処理された符号化画像データと、前記複数のサムネイル画像データを記録する画像データ記録部と、
前記符号化画像データを再生処理する画像データ再生部と
を備え、
前記サムネイル画像データ処理部は、前記再生処理が終了した画像データに対応するサムネイル画像データとしてサムネイル静止画像データを出力し、
前記再生処理が行われていない画像データに対応する前記サムネイル画像データとしてサムネイル動画像データを出力すること
を特徴とする画像記録再生装置。
【請求項３】
再生処理が終了した画像データに対応するサムネイル画像データとして出力されるサムネイル静止画像データは、
前記再生処理の終了前に表示されていた画像データに対応するサムネイル画像データであること
を特徴とする請求項２に記載の画像記録再生装置。
【請求項４】
サムネイル動画像データから選択されたサムネイル画像データは、
前記サムネイル動画像データの先頭、または最終のサムネイル画像データであること
を特徴とする請求項３に記載の画像記録再生装置。
【請求項５】
入力動画像データの画像情報に基づいて、当該入力動画像データから複数の画像データを抽出する
ことを特徴とする請求項１または２に記載の画像記録再生装置。
【請求項６】
画像情報は、シーンチェンジに関する情報であること
を特徴とする請求項５に記載の画像記録再生装置。
【請求項７】
画像情報は、音に関する情報であること
を特徴とする請求項５に記載の画像記録再生装置。
【請求項８】
入力動画像データの画像情報に基づいて、当該入力動画像データから複数の画像データを抽出した後、さらに、時間情報に基づいて複数の画像データを抽出すること
を特徴とする請求項５に記載の画像記録再生装置。
【請求項９】
複数のサムネイル画像データを画面内に表示する画像データの表示方法であって、
入力動画像データを符号化処理する画像データ処理ステップと、
前記入力動画像データから複数の画像データを抽出する抽出ステップと、
当該抽出された複数の画像データのそれぞれに対応する前記複数のサムネイル画像データを出力するサムネイル画像データ処理ステップと、
前記符号化処理された符号化画像データと、前記複数のサムネイル画像データを記録する画像データ記録ステップと、
前記符号化画像データを再生処理する画像データ再生ステップと
を備え、
前記サムネイル画像データ処理ステップは、前記再生処理が停止した時点における画像データ、または当該画像データの時間的に近傍にある画像データに対応するサムネイル静止画像データを出力し、
前記再生処理が行われていない部分に対応する前記サムネイル画像データとしてサムネイル動画像データを出力すること
を特徴とする表示方法。
【請求項１０】
入力される動画像データから複数のサムネイル画像データを生成し、当該複数のサムネイル画像データを画面内に表示するサムネイル画像データ表示方法であって、
前記動画像データにおいて再生処理が行われた部分に対応する前記サムネイル画像データは静止画表示され、
前記動画像データにおいて再生処理が行われていない部分に対応する前記サムネイル画像データは動画表示であること
を特徴とするサムネイル画像データ表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、複数のサムネイル画像データを画面内に表示するサムネイル画像データ表示方法に用いる画像記録再生装置、及び画像データの表示方法、及び画面内に複数のサムネイル画像データを表示するサムネイル画像データ表示方法に関するものである。
【背景技術】
【０００２】
日常生活において、テレビジョン放送をハードディスクレコーダやビデオカセットレコーダで録画、記録する場合、あるいは撮影者の前風景をデジタルムービーやデジタルスチルカメラの動画撮影機能で録画、記録する場合がある。これらの場合、記録した複数の動画像データを実際に再生することなく、その記録内容を簡単に確認する方法として、デジタルスチルカメラで撮影した静止画像データの確認と同様に、動画像データ中のから抽出したフレームを縮小して生成した静止画像データを、画面上に複数個並べて表示するサムネイル表示が用いられることが多い。
【０００３】
例えば、下記特許文献には、動画像データから複数の静止画像データを取り出して複数のサムネイル画像データを生成し、コマ送り表示する方法が提案されている。
【０００４】
【特許文献１】特開平１１−２８４９４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記した従来の表示方法では、まだ再生していない動画像データ、再生途中の動画像データ、再生済みの動画像データの区別無く動画像表示しており、ユーザはどの動画像データを再生したのかを確認することができなかった。
【０００６】
本発明は、上記の課題に鑑みてなされたもので、複数の動画像データに対して、再生状態の区別を可能とする画像記録再生装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明に係る画像記録再生装置は、
複数のサムネイル画像データを画面内に表示するサムネイル画像データ表示方法に用いる画像記録再生装置であって、
入力動画像データを符号化処理する画像データ処理部と、
前記入力動画像データから複数の画像データを抽出し、当該抽出された複数の画像データのそれぞれに対応する前記複数のサムネイル画像データを出力するサムネイル画像データ処理部と、
前記符号化処理された符号化画像データと、前記複数のサムネイル画像データを記録する画像データ記録部と、
前記符号化画像データを再生処理する画像データ再生部と
を備え、
前記サムネイル画像データ処理部は、前記再生処理が停止した時点における画像データ、または当該画像データの時間的に近傍にある画像データに対応するサムネイル静止画像データを出力し、
前記再生処理が行われていない画像データに対応する前記サムネイル画像データとしてサムネイル動画像データを出力すること
としたものである。
【発明の効果】
【０００８】
本発明に係る画像記録再生装置によれば、サムネイル画像データを確認することにより、当該サムネイル画像データに対応する動画像データについて再生処理が行われたか否かの再生状態を区別することが可能となる。
【発明を実施するための最良の形態】
【０００９】
実施の形態１．
以下に、本発明の実施の形態を、図面を参照しながら詳細に説明する。なお、以下の説明における動画像符号化方式として、ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｕｎｉｏｎ−Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  ｓｅｃｔｏｒ）勧告Ｈ．２６ｘや、ＩＳＯ／ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｏｒｇａｎｉｚａｔｉｏｎ  ｆｏｒ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ  Ｃｏｍｍｉｓｓｉｏｎ）、標準ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）等がある。
【００１０】
＜画像記録再生装置の構成＞
図１は、本発明の実施の形態１に係る画像記録再生装置１０１の構成を概略的に示すブロック図である。図１に示されるように、画像記録再生装置１０１は、操作部１と、制御部２と入力端子３ａ、３ｂと、画像データ処理部４と、画像データ記録部５と、サムネイル画像データ処理部６と、画像データ再生部７を備えている。なお、図では、表示部８を画像記録再生装置１０１の構成要素としていないが、表示部８を含む画像記録再生装置１０１としてもよい。
【００１１】
画像データ処理部４は動画像データ符号化部４１を備えている。サムネイル画像データ処理部５は代表画像データ抽出部６１、サムネイル画像データ生成部６２、サムネイル画像データ管理部６３、及びサムネイル画像データ再生部６４を備える。画像データ再生部７は、動画像データ復号部７１を備えている。
【００１２】
操作部１は、各種ボタンやキーを備え、操作者（ユーザ）はボタンやキーを操作することにより、制御部２に対して記録開始／停止、再生開始／停止、表示切り替えなどの命令を出力する。制御部２は、操作部１からの命令に従い、画像データ処理部４、サムネイル画像データ処理部６、画像データ再生部７を制御する。なお、表示部８も制御部２に制御される場合がある。
【００１３】
画像データ処理部４は、内部の動画像データ符号化部４１において、入力端子３ａから入力された動画像データを符号化し、符号化画像データを画像データ記録部５に出力する。
【００１４】
サムネイル画像データ処理部６は、入力端子３ａから入力された動画像データと、入力端子３ｂから入力された音声データをもとに、入力された動画像データの中から代表画像データを抽出し、さらに、その代表画像データのサムネイル画像データを生成する。そして、ＭＰＥＧ２、ＭＰＥＧ４などの動画像符号化、あるいはＪＰＥＧなど静止画像符号化を行って、サムネイル画像データの符号化データ（以下、「符号化サムネイル画像データ」とも記す。）を生成し、画像データ記録部５に出力する。
【００１５】
また、サムネイル画像データ処理部６は、画像データ記録部５から出力された符号化サムネイル画像データを復号しサムネイル画像データを生成し、そのサムネイル画像データを表示部８に出力する。
【００１６】
画像データ記録部５は、画像データ処理部４から出力された符号化画像データと、サムネイル画像データ処理部６で生成された符号化サムネイル画像データとを記録する。画像データ再生部７は、画像データ記録部５から出力された符号化画像データを、内部の動画像データ復号部７１で復号し、復号して得られた動画像データを表示部８に出力する。表示部８は、画像データ再生部７から出力された動画像データと、サムネイル画像データ処理部６から出力されたサムネイル画像データを選択、合成して表示する。
【００１７】
＜代表画像データ抽出部＞
さらに、各構成要素について、詳細に説明する。図２は、図１に示されるサムネイル画像データ処理部６中の代表画像データ抽出部６１の構成を概略的に示すブロック図である。図２に示されるように、代表画像データ抽出部６１は、入力端子６０１、６０２、６０５、シーンチェンジ検出部６０３、音量音質変化検出部６０４、代表画像データ判定部６０６、スイッチ６０７、出力端子６０８を備えている。
【００１８】
入力端子６０１には、入力端子３ａから入力された動画像データが入力される。入力端子６０２には、入力端子３ｂから入力された音声データが入力される。入力端子６０５には、操作部２からの代表画像データのサンプリング周期、サンプリング期間などの制御信号が入力される。
【００１９】
シーンチェンジ検出部６０３は、入力端子６０１から入力された動画像データのフレーム毎（ＭＰＥＧ４の場合はＶＯＰ（Ｖｉｄｅｏ  Ｏｂｊｅｃｔ  Ｐｌａｎｅ）毎）の画面内容の変化を検出し、その検出信号（以下、「シーンチェンジ検出信号」とも記す。）を代表画像データ判定部６０６に出力する。
【００２０】
音量音質変化検出部６０４は、入力端子６０２から入力された音声データの音量、音質など、音にかかわる時間変化を検出し、その検出信号（以下、「音量音質変化検出信号」とも記す。）を代表画像データ判定部６０６に出力する。
【００２１】
代表画像データ判定部６０６は、シーンチェンジ検出部６０３から出力されたシーンチェンジ検出信号と、音量音質変化検出部６０４から出力された音量音質変化検出信号と、入力端子６０５を介して入力されたサンプリング周期、サンプリング期間などの制御信号をもとに、スイッチ６０７での実際のサンプリングタイミングを決定する。
【００２２】
スイッチ６０７は、入力端子６０１から入力された動画像データを代表画像データ判定部６０６から出力されたサンプリングタイミングでＯＮ／ＯＦＦしてサンプリングする。出力端子６０８は、スイッチ６０７でサンプリングされた動画像データを出力する。
【００２３】
＜サムネイル画像データ生成部＞
図３は、図１に示されるサムネイル画像データ生成部６２の構成を概略的に示すブロック図である。図３に示されるように、サムネイル画像データ生成部６２は、入力端子６２１、６２２、６２３、スイッチ６２４、リサイズ部６２５と、サムネイル画像データ符号化部６２６、出力端子６２７を備えている。
【００２４】
入力端子６２１には、出力端子６０８から出力された動画像データが入力される。入力端子６２２には画像データ再生部７で復号されて出力された動画像データ（以下、「再生画像データ」とも記す。特に、再生停止時の１フレームの静止画像データを「再生停止画像データ」とも記す。）が入力される。入力端子６２３には、制御部２からのサムネイル生成入力切替信号が入力される。スイッチ６２４は、入力端子６２３を介して入力されるサムネイル生成入力切替信号をもとに、入力端子６２１から入力される動画像データと、入力端子６２２から入力される再生画像データを切り替える。
【００２５】
リサイズ部６２５は、スイッチ６２４で選択された画像データについてリサイズ処理を行い、サムネイル画像データを生成する。
【００２６】
サムネイル画像データ符号化部６２６は、リサイズ部６２５で得られたサムネイル画像データに対し、ＭＰＥＧ２やＭＰＥＧ４などの動画像符号化、あるいはＪＰＥＧなどの静止画像符号化を行い、符号化サムネイル画像データを生成する。
【００２７】
出力端子６２７は、サムネイル画像データ符号化部６２６から生成された符号化サムネイル画像データを出力する。
【００２８】
＜サムネイル画像データ管理部＞
図４は、図１に示されるサムネイル画像データ管理部６３の構成を概略的に示すブロック図である。図４に示されるように、サムネイル画像データ管理部６３は、入力端子６３１、６３９ａ、６３９ｂ、入出力端子６３６ａ、６３６ｂ、６３６ｃ、スイッチ６３２、６３７、サムネイル代表動画像データ管理部６３３、サムネイル代表静止画像データ管理部６３４、サムネイル再生停止画像データ管理部６３５を備えている。
【００２９】
入力端子６３１には、サムネイル画像データ生成部６２で生成された符号化サムネイル画像データが入力される。入力端子６３９ａには、制御部２から入力されるサムネイル振分信号が入力され、スイッチ６３２を切り替える。スイッチ６３２では、入力端子６３９ａから入力されたサムネイル振分信号により、入力端子６３１から入力された符号化サムネイル画像データを、サムネイル代表動画像データ管理部６３３、サムネイル代表静止画像データ管理部６３４、サムネイル再生停止画像データ管理部６３５に振り分ける。
【００３０】
サムネイル代表動画像データ管理部６３３には、入力端子６２１を介してサムネイル画像データ生成部６２に入力されて処理された、複数の動画像データの符号化サムネイル画像データが入力される。そして、サムネイル代表動画像データ管理部６３３は、符号化サムネイル画像データと、その時間情報を含む制御データとを管理する。なお、ここでいう時間情報には、記録時点の時刻（絶対的な時間）や、記録開始時からの時間（相対的な時間）などが含まれる。
【００３１】
サムネイル代表静止画像データ管理部６３４には、動画像データを代表する１枚の静止画像データの符号化サムネイル画像データが入力され、その時間情報を含む制御データを管理する。
【００３２】
サムネイル再生停止画像データ管理部６３５には、入力端子６２２を介してサムネイル画像データ生成部６２に入力されて符号化された１枚の再生停止画像データの符号化サムネイル画像データが入力され、その時間情報を含む制御データを管理する。
【００３３】
入出力端子６３６ａは、サムネイル代表動画像データ管理部６３３で管理された符号化サムネイル画像データを画像データ記録部５との間でやりとりする。入出力端子６３６ｂは、サムネイル代表静止画像データ管理部６３４で管理された符号化サムネイル画像データを画像データ記録部５との間でやりとりする。入出力端子６３６ｃは、サムネイル再生停止画像データ管理部６３５で管理された符号化サムネイル画像データを画像データ記録部５との間でやりとりする。
【００３４】
入力端子６３９ｂには、制御部２から入力されるサムネイル選択信号が入力され、スイッチ６３７を切り替える。スイッチ６３７では、入力端子６３９ｂから入力されるサムネイル選択信号により、サムネイル代表動画像データ管理部６３３、サムネイル代表静止画像データ管理部６３４、サムネイル再生停止画像データ管理部６３５から出力される符号化サムネイル画像データを切り替えて、出力端子６３８に出力する。出力端子６３８は、スイッチ６３７で選択された符号化サムネイル画像データを出力する。
【００３５】
＜サムネイル画像データ再生部＞
図５は、図１に示されるサムネイル画像データ再生部６４の構成を概略的に示すブロック図である。図５に示されるように、サムネイル画像データ再生部６４は、入力端子６４１、サムネイル画像データ復号部６４２、出力端子６４３とを備えている。
【００３６】
入力端子６４１には、サムネイル画像データ管理部６３から出力される符号化サムネイル画像データが入力される。サムネイル画像復号部６４２は、入力端子６４１から入力される符号化サムネイル画像データを復号し、サムネイル画像データを生成する。出力端子６４３は、サムネイル画像データ復号部６４２で復号して得られたサムネイル画像データを出力する。
【００３７】
＜画像記録再生装置の動作＞
以下に、図１から５を用いて、実施の形態１に係る画像記録再生装置１０１の動作を説明する。図１に示されるように、操作者（ユーザ）は操作部１のボタンやキーを操作することにより、制御部２に動作命令を出力する。制御部２は、操作部１からの動作命令により、画像データ処理部４、サムネイル画像データ処理部６、画像データ再生部７を制御する。なお、制御部２の制御対象として表示部８を含んでもよい。
【００３８】
具体的には、記録時には、画像データ処理部４、サムネイル画像データ処理部６、表示部８を制御し、再生時には、サムネイル画像データ処理部６、画像データ再生部７、表示部８を制御することになる。
【００３９】
＜画像記録再生装置の記録時の動作＞
まず、実施の形態１に係る画像記録再生装置１０１の記録時の動作について説明する。動画像データは、入力端子３ａを介して画像データ処理部４、サムネイル画像データ処理部６に入力される。音声データは、入力端子３ｂを介してサムネイル画像データ処理部６に入力される。入力端子３ａを介して画像データ処理部４に入力された動画像データは、内部の動画像データ符号化部４１で、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４などの動画像符号化方式により符号化される。符号化によって得られた符号化画像データは、画像データ記録部５に出力され、記録、格納される。
【００４０】
また、入力端子３ａを介してサムネイル画像データ処理部６に入力された動画像データは、入力端子６０１を介してシーンチェンジ検出部６０３、スイッチ６０７の端子ａに入力される。一方、入力端子３ｂを介してサムネイル画像データ処理部６に入力された音声データは、入力端子６０２を介して音量音質変化検出部６０４に入力される。
【００４１】
シーンチェンジ検出部６０３では、入力端子６０１から入力された動画像データからシーンチェンジを検出し、シーンチェンジ検出信号を代表画像データ判定部６０６に出力する。シーンチェンジ検出の一例としては、フレームを構成する画素毎にフレーム間の差分をとり、その差分の絶対和を算出し、その絶対和がある閾値以上になったときシーンチェンジがあったと判定する。なお、シーンチェンジ検出方法はこれに限るものではない。フィールドで処理をしてもよいし、フレームをブロックに分割した上で、ブロック毎に差の絶対和を算出し、閾値を越えたブロック数でシーンチェンジを判定してもよい。
【００４２】
音量音質変化検出部６０４では、入力端子６０２を介して入力された音声データの音量や音質、それら時間変化を検出し、音量音質変化検出信号を代表画像判定部６０６に出力する。具体的には、ステレオ／モノラルの切替えや、無音期間などを検出する。また、ボリュームの変化なども含まれる。
【００４３】
入力端子６０５からは、制御部２から代表画像データ抽出のためのサンプリング周期、サンプリング期間などの制御信号が入力され、代表画像データ判定部６０６に入力される。代表画像データ判定部６０６では、シーンチェンジ検出部６０３から出力されたシーンチェンジ検出信号、音量音質変化検出部６０４から出力された音量音質変化検出信号、入力端子６０５より入力された代表画像のサンプリング周期、サンプリング期間などの制御信号をもとに、サンプリングタイミングを設定し、スイッチ６０７に対してサンプリング信号を出力する。
【００４４】
スイッチ６０７の端子ａには、入力端子６０１を介して動画像データが入力される。スイッチ６０７では、代表画像データ判定部６０６からのサンプリング信号により、端子ａと端子ｂの間をＯＮ／ＯＦＦすることにより、入力端子６０１を介して端子ａに入力された動画像データの端子ｂへの出力を制御する。具体的には、入力端子６０１から入力された動画像データの代表画像データを決定し、代表画像データを抽出することになる。
【００４５】
スイッチ６０７の端子ｂから出力されるサンプリングされた画像データ（以下、１枚１枚を「代表画像データ」と表現し、それら代表画像データによって構成される一連の画像データを「代表動画像データ」、代表動画像データ中の特定の１枚を「代表静止画像データ」とも記す。）は出力端子６０８を介して出力される。
【００４６】
代表画像データ抽出部６１の端子６０８から出力された、代表動画像データは、入力端子６２１を介して、サムネイル画像データ生成部６２に入力される。一方、入力端子６２２には、画像データ再生部７で復号されて出力された再生画像データが入力される。入力端子６２１を介して入力された代表画像データは、スイッチ６２４の端子ａに、入力端子６２２を介して入力された再生画像データはスイッチ６２４の端子ｂに入力される。入力端子６２３には、制御部２からサムネイル生成入力切替信号が入力される。
【００４７】
スイッチ６２４は、サムネイル生成入力切替信号によって、入力端子６２１を介して端子ａに入力された代表動画像データと、入力端子６２２を介して端子ｂに入力された再生画像データとを切り替えて、端子ｃに出力する。スイッチ６２４の端子ｃから出力された画像データは、リサイズ部６２５に出力される。
【００４８】
リサイズ部６２５では、入力された画像データに対してリサイズ処理（主に、縮小処理）を行い、リサイズされた画像データをサムネイル画像データ符号化部６２６に出力する。
【００４９】
サムネイル画像データ符号化部６２６では、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４などの動画像符号化方式や、ＪＰＥＧなどの静止画像符号化方式による符号化を行い、符号化サムネイル画像データを生成する。ここでは、代表動画像データも、静止画像データである代表画像データの集まりであるので、代表静止画像データ、再生停止画像データと同様に、静止画像符号化方式による符号化を行うものとして説明を行うが、これに限るものではない。サムネイル画像データ生成時、時間毎（フレーム毎）に符号化を制御して、データ毎に符号化方式を異にした場合でも、サムネイル画像データ再生時、データ毎に復号を制御できれば、データ毎にそれぞれに符号化方式を異にしてもよい。サムネイル画像データ符号化部６２６より出力された符号化サムネイル画像データは、出力端子６２７を介して出力される。
【００５０】
サムネイル画像データ生成部６２の出力端子６２７から出力された符号化サムネイル画像データは、入力端子６３１を介して、サムネイル画像データ管理部６３に入力される。入力端子６３１を介して入力された符号化サムネイル画像データは、スイッチ６３２の端子ａに入力される。入力端子６３９ａには、制御部２からサムネイル振分信号が入力される。
【００５１】
スイッチ６３２では、入力端子６３９ａから入力されるサムネイル振り分け信号により、端子ａに入力された符号化サムネイル画像データの出力先を、端子ｂ、端子ｃ、端子ｄに振り分ける。
【００５２】
スイッチ６３２の端子ｂは、サムネイル代表動画像データ管理部６３３に接続され、サムネイル画像データ生成部６２の入力端子６２１を介して入力され、サムネイル画像データ符号化部６２６で符号化された符号化サムネイル画像データ（以下、「符号化サムネイル代表動画像データ」とも記す。）は、端子ｂを経由し、サムネイル代表動画像データ管理部６３３に入力される。また、スイッチ６３２の端子ｃは、サムネイル代表静止画像データ管理部６３４に接続され、サムネイル画像データ生成部６２の入力端子６２１を介して入力され、サムネイル画像データ符号化部６２６で符号化された代表静止画像データ（以下、「符号化サムネイル代表静止画像データ」とも記す。）は、端子ｃを経由し、サムネイル代表静止画像データ管理部６３４に入力される。一方、スイッチ６３２の端子ｄは、サムネイル再生停止画像データ管理部６３５に接続され、サムネイル画像データ生成部６２の入力端子６２２を介して入力され、サムネイル画像データ符号化部６２６で符号化された再生停止画像データ（以下、「符号化サムネイル再生停止画像データ」とも記す。）は、端子ｄを経由し、サムネイル再生停止画像データ管理部６３５に入力される。
【００５３】
サムネイル代表動画像データ管理部６３３では、スイッチ６３２の端子ｂを経由して入力された符号化サムネイル代表動画像データの時間情報などの制御情報を管理するともに、入出力端子６３６ａを介して、符号化サムネイル代表動画像データを画像データ記録部５に出力する。サムネイル代表静止画像データ管理部６３４では、スイッチ６３２の端子ｃを経由して入力された符号化サムネイル代表静止画像データの時間情報などの制御情報を管理するともに、入出力端子６３６ｂを介して、符号化サムネイル代表静止画像データを画像データ記録部５に出力する。サムネイル再生停止画像データ管理部６３５では、スイッチ６３２の端子ｃを経由して入力された符号化サムネイル再生停止画像データの時間情報などの制御情報を管理するともに、入出力端子６３６ｃを介して、符号化サムネイル再生停止画像データを画像データ記録部５に出力する。
【００５４】
画像データ記録部５では、サムネイル画像データ管理部６３から入出力端子６３６ａを介して出力された符号化サムネイル代表動画像データ、入出力端子６３６ｂを介して出力された符号化サムネイル代表静止画像データ、及び入出力端子６３６ｃを介して出力された符号化サムネイル再生停止画像データをそれぞれ、記録、格納する。
【００５５】
＜画像記録再生装置における再生前のサムネイル表示の動作＞
続いて、実施の形態１に係る画像記録再生装置１０１における再生の前の動作、すなわちサムネイル表示の動作について説明する。この場合、各画像データがどのような内容をもつかを確認するために、表示部８の画面内に、記録された複数の動画像データを複数サムネイル表示する。なお、表示部８は一画面で構成されてもよく、ユーザが各画像データの内容を確認することができるのであれば、複数の画面で構成されてもよい。
【００５６】
このような表示を行うために、制御部２は、サムネイル画像データ処理部６を制御し、サムネイル画像データ処理部６から各動画像データに対応するサムネイル画像データを出力する必要がある。サムネイル画像データをサムネイル画像データ処理部６から出力するためには、画像データ記録部５に記録、格納された各動画像データに対応する符号化サムネイル画像データをサムネイル画像データ処理部６が読み出して復号し、サムネイル画像データを生成しておく必要がある。
【００５７】
ここで、図６に、サムネイル画像データを表示部８に表示するまでのフローを記載する。まず、画像記録再生装置１０１に入力される動画像データから、画像情報を用いて、代表動画像データを抽出する（ＳＴ１１）。次に、抽出された代表動画像データをサムネイル画像処理し、サムネイル画像データを生成する（ＳＴ１２）。最後に、生成されたサムネイル画像データを表示部８に表示する。次段落以降、順を追って、説明する。なお、図６では、表示８にサムネイル画像データを表示するまでのフローを示したが、サムネイル画像データの生成まで（ＳＴ１１、ＳＴ１２）と、サムネイル画像データの表示（ＳＴ１３）とは連続した動作である必要は無い。サムネイル画像データが生成された後、ユーザの指示により表示部８にサムネイル画像データが表示される。
【００５８】
まず、画像データ記録部５に記録されている各画像データについて、制御部２はサムネイル画像データ処理部６に対して、画像データ毎の再生状態を通知する。この再生状態には、「過去に再生されたことがあるか」、「再生されたことがないのか」、「再生途中であればどこまで再生されたのか」、「最後まで再生されたのか」、「次にどの動画像データのサムネイル画像データを出力するのか」といった情報が含まれるが、これに限るものではない。サムネイル画像データ処理部６では、制御部２から入力された動画像データ毎の再生状態を、サムネイル画像データ管理部６３に通知する。
【００５９】
サムネイル画像データ管理部６３では、制御部３から入力された画像データ毎の再生順や再生状態に応じて、サムネイル代表動画像データ管理部６３３、サムネイル代表静止画像データ管理部６３４、サムネイル再生停止画像データ管理部６３５を制御し、必要な符号化サムネイル画像データを、それぞれ、入出力端子６３６ａ、６３６ｂ、６３６ｃを介して、画像データ記録部５から読み出す。
【００６０】
そして、符号化サムネイル代表動画像データが要求された場合には、符号化サムネイル画像データとして符号化サムネイル代表動画像データが入出力端子６３６ａから入力され、スイッチ６３７の端子ｂに入力される。符号化サムネイル代表静止画像データが要求された場合には、符号化サムネイル代表静止画像データが入出力端子６３６ｂから入力され、スイッチ６３７の端子ｃに入力される。符号化サムネイル再生停止画像データが要求された場合は、符号化サムネイル再生停止画像データが入出力端子６３６ｃから入力され、スイッチ６３７の端子ｄに入力される。スイッチ６３７では、制御部２から入力された各画像データの再生状態に応じて、端子ａへの出力を、端子ｂ、ｃ、ｄで切り替える。スイッチ６３７の端子ａから出力された符号化サムネイル画像データは、出力端子６３８を介してサムネイル画像データ再生部６４に出力される。
【００６１】
出力端子６３８を介してサムネイル画像データ管理部６３から出力された符号化サムネイル画像データは、入力端子６４１を介してサムネイル画像データ再生部６４に入力され、内部のサムネイル画像データ復号部６４２に入力される。サムネイル画像データ復号部６４２では、入力端子６４１を介して入力された符号化サムネイル画像データを復号する。復号の結果得られたサムネイル画像データは、出力端子６４３を介して出力される。
【００６２】
サムネイル画像データ再生部６４から出力されたサムネイル画像データは表示部８に入力される。表示部８では、各画像データに対応するサムネイル画像データが、各サムネイル画像データの表示領域に表示される。
【００６３】
サムネイル表示について、図８を用いて説明する。図８（１）に、記録した全ての動画像データがまだ一度も再生されていない場合のサムネイル表示の一例を示す。このような場合、本実施の形態１に係る画像記録再生装置１０１の表示部８には、図８（１）に示すように、すべての画像データについて、この画像データに対応するサムネイル代表動画像データが表示されている。すなわち、すべてのサムネイル画像データは動画表示である。
【００６４】
ここで、動画像表示である代表動画像表示について説明する。代表動画像データが表示部８に表示される場合では、まず、記録時に、入力端子３ａを介して入力された動画像データのうち、代表画像データ抽出部６１で選択された代表動画像データがサムネイル画像データ生成部６２でリサイズされてサムネイル代表動画像データとなる。さらに、リサイズ後、圧縮・符号化されて符号化サムネイル代表動画像データとして、サムネイル画像データ管理部６３内のサムネイル代表動画像データ管理部６３３で管理されるとともに、画像データ記録部５に記録される。そして、再生時、画像データ記録部５に記録されていた符号化サムネイル代表動画像データが、サムネイル画像データ管理部６３内のサムネイル代表動画像データ管理部６３３から読み出されて、サムネイル画像データ再生部６４で復号され、サムネイル画像データとなって表示部８に入力される。最後に、時間とともにサムネイル代表画像データが更新されることにより、コマ送り表示されている状態が代表動画像表示となる。
【００６５】
代表画像データ抽出部６１で代表画像データとして選択された画像データのサムネイル画像データが時間順に表示され、最後のフレームまで表示されると、最初のフレームに戻って繰り返し表示される。このように、代表画像データに対応する代表画像データを時間順に表示し、代表動画像表示とすることにより、記録した動画像データの内容を全体にわたり、把握することができる。
【００６６】
＜画像記録再生装置における再生後のサムネイル表示の動作＞
続いて、図８（１）の状態から、操作部１を操作し、表示部８のタイトル６に表示されたサムネイル画像データを選択し、再生処理を行った場合の動作について説明する。この場合、図７に示すように、まず、ユーザが表示部８に表示されている複数のサムネイル画像データから任意のサムネイル画像データを選択する（ＳＴ２１）。次に、選択されたサムネイル画像データに対応する動画像データが再生される（ＳＴ２２）。ここで、再生処理の途中でユーザが再生を停止すると（ＳＴ２３）、画像記録再生装置１０１は再生停止位置の画像データに基づいて再生停止画像データを抽出する（ＳＴ２４）。さらに、この再生停止画像データに基づいてサムネイル再生停止画像データを生成するために、画像記録再生装置１０１はサムネイル画像処理を行い（ＳＴ２５）、生成したサムネイル再生停止画像データを表示部８に表示する。以下、詳細に説明する。
【００６７】
制御部２は、操作部１からの再生命令を受け、画像データ再生部７を制御する。画像データ再生部７内には、動画像データ復号部７１がある。この動画像データ復号部７１は、画像データ記録部５から符号化動画像データを読み出して復号を行い、表示部８に復号の結果得られた動画像データを出力する。表示部８では、画面が制御され、画面上の再生画像データの表示領域にこの動画像データが表示される。
【００６８】
この後、タイトル６の画像データの再生処理を停止した場合には、制御部２は、操作部１からの再生停止命令を受け、画像データ再生部７を制御し、動画像データ復号部７１での復号処理を停止するとともに、再生処理の最後に表示部８で表示させた画像データ、すなわち再生停止画像データを、画像データ再生部７からサムネイル画像データ処理部６に出力させる。
【００６９】
サムネイル画像データ処理部６に入力された再生停止画像データは、入力端子６２２を介して、サムネイル画像データ生成部６２に入力される。入力端子６２２を介してスイッチ６２４の端子ｂに入力された再生停止画像データは、入力端子６２３を介して制御部２から入力されるサムネイル生成入力切替信号によりスイッチ６２４の端子ｃから出力される。そして、リサイズ部６２５によりリサイズ処理がなされ、サムネイル画像データ符号化部６２６で符号化され、符号化サムネイル再生停止画像データとして出力端子６２７を介してサムネイル画像データ管理部６３に出力される。サムネイル画像データ管理部６３では、入力端子６３１を介して入力された符号化サムネイル再生停止画像データはスイッチ６３２の端子ａに入力される。入力端子６３９ａを介して制御部２から入力されるサムネイル振分信号により、端子ａは端子ｄに接続され、符号化サムネイル再生停止画像データは端子ｄからサムネイル再生停止画像データ管理部６３５に入力され、時間情報など制御情報が管理される。符号化サムネイル再生停止画像データは、入出力端子６３６ｃを介して画像データ記録部５に出力され、画像データ記録部５内に記録、格納される。
【００７０】
一方、サムネイル再生停止画像データ管理部６３５は、符号化サムネイル再生停止画像データをスイッチ６３７の端子ｄに入力する。この場合、制御部２から、タイトル６についてはサムネイル再生停止画像データの表示を要求する選択信号が出力されるので、この選択信号に基づいてスイッチ６３７を端子ｄに切り替える。スイッチ６３７の端子ａから出力された符号化サムネイル画像データは、出力端子６３８を介してサムネイル画像データ再生部６４に出力される。
【００７１】
さらに、出力端子６３８を介してサムネイル画像データ管理部６３から出力された符号化サムネイル再生停止画像データは、入力端子６４１を介してサムネイル画像データ再生部６４に入力され、内部のサムネイル画像データ復号部６４２に入力される。サムネイル画像データ復号部６４２では、入力端子６４１を介して入力された符号化サムネイル画像データを復号する。復号の結果得られたサムネイル再生停止画像データは、出力端子６４３を介して出力される。
【００７２】
サムネイル画像データ再生部６４から出力されたサムネイル再生停止画像データは表示部８に入力される。表示部８では、タイトル６の表示領域に、サムネイル再生停止画像データが表示される。
【００７３】
なお、上記の説明では、符号化サムネイル再生停止画像データは、サムネイル再生停止画像データ管理部６３５から直接出力されるとしたが、画像データ記録部５に記録されたものを読み出して出力してもよい。
【００７４】
図８（２）に、選択したタイトル６の動画像データの再生停止後に、表示部８の表示をサムネイル表示に戻した場合の例を示す。図に示すように、サムネイル表示中のタイトル６は、再生停止画像表示となる。ここで、再生停止画像表示とは、画像データ記録部５に記録されていた再生停止時に作成した符号化サムネイル再生停止画像データが、サムネイル画像データ管理部６３内のサムネイル再生停止画像データ管理部６３５から読み出されて、サムネイル画像データ再生部６４で復号され、サムネイル再生停止画像データとなって表示部８に入力され、静止画として表示されている状態をいう。
【００７５】
このように、再生処理をした動画像データに対応するサムネイル画像データが静止画表示となることにより、再生処理をしていない他の動画像データに対応するサムネイル画像データが動画像表示となっていることから、ユーザが動画像データをどこまで再生したかを容易に把握、認識できるようになる。したがって、サムネイル表示となっている画面を確認すれば、どこまで再生したかや再生停止位置が一目瞭然となる。
【００７６】
なお、図８（２）のように、再生停止画像表示をしているタイトル６を、操作部１から制御部２を制御することにより、代表動画像表示をするようにしてもよい。例えば、符号化サムネイル再生停止画像データと、符号化サムネイル代表動画像画像データ中の時間情報について、画像記録再生装置１０１に入力された動画像データに占める位置（時間）を比較する。符号化サムネイル再生停止画像データの時間情報はサムネイル再生停止画像データ管理部６３５で、符号化サムネイル代表動画像データの時間情報はサムネイル代表動画像データ管理部６３３で管理されている。したがって、サムネイル画像データ管理部６３では、符号化サムネイル再生停止画像データよりも後になる符号化サムネイル代表動画像データの符号化代表画像データを画像データ記録部５から読み出し、サムネイル画像データ再生部６４で復号し、復号の結果得られたサムネイル画像データを表示部８に出力し、表示部８は所定のサムネイル画像データ表示領域に表示を行う。なお、必ずしも、再生停止画像表示を経由して、代表動画像表示に移行する必要はなく、サムネイル表示とともに、途中まで再生した動画像については、上記のように再生停止以降にあたる代表動画像のサムネイルで表現するように構成してもよい。
【００７７】
最後のサムネイル代表画像データまで再生されると、最初に読み出した符号化サムネイル再生停止画像データ以降にあたる符号化サムネイル代表動画像データのサムネイル代表画像データに戻り、処理を繰り返すことにより、再生停止以降の動画像データの内容を把握することができる。
【００７８】
次に、操作部１を操作して、表示部６のタイトル７に表示されたサムネイル動画像データを選択し、再生処理を最後まで行った場合の動作について説明する。再生停止時には、前記したように、符号化サムネイル再生停止画像データが作成される。
【００７９】
図８（３）に、選択した動画像データを最後まで再生した後に、表示部８の表示をサムネイル表示に戻した場合の例を示す。このとき、サムネイル表示中のタイトル７が代表静止画像表示となる。ここで、代表静止画表示とは、画像データ記録部５に記録されていた符号化サムネイル代表静止画像データが、サムネイル画像データ管理部６３内のサムネイル代表静止画像データ管理部６３４から読み出されて、サムネイル画像データ再生部６４で復号され、サムネイル代表画像データとなって表示部８に入力され、静止画表示されている状態をいう。代表静止画表示になっていることで、タイトル７の動画像データを既に最後まで再生したことを容易に判断することができる。
【００８０】
最後まで再生処理を行ったかどうかの判断としては、例えば以下の方法により行う。まず、動画像データの記録開始位置を０とした場合に、再生停止時に作成した符号化サムネイル再生停止画像データの再生位置Ｆ（どこまで再生したか）とし、記録時に作成済みの符号化サムネイル代表動画像データを構成する符号化サムネイル代表画像データのうち、記録位置がもっとも遅い符号化サムネイル代表画像データＦｅｎｄ（どこが最終の代表画像データであるか）とする。このときに、Ｆ＞Ｆｅｎｄである場合が、最後まで再生処理を行った場合である。すなわち、Ｆｅｎｄは代表画像データとして最後のものあるので、それを超えて再生が停止されたとき、選択された動画像データが最後まで再生処理がなされたと判断する。
【００８１】
＜代表画像データ候補の抽出処理＞
次に、符号化サムネイル代表動画像データを作成するときの、代表画像データ判定部６０６における代表画像データ候補の抽出処理について、フローの概略を図９を用いて説明する。
【００８２】
まず、画像記録再生装置１０１に入力された動画像データの画像情報に基づいて、この動画像データから代表動画像データを抽出する候補の期間として第１の代表画像データ候補期間を設定する（ＳＴ３１）。次に、画像データ記録部５の記録容量等に基づいて、第１の代表画像データ候補期間からさらに第２の代表画像データ候補期間を設定する（ＳＴ３２）。ここで、設定された第２の代表画像データ候補期間から代表動画像データを抽出し（ＳＴ３３）、サムネイル画像処理を行う（ＳＴ３４）。以下、抽出処理の詳細について、図１０、図１３を用いて説明する。
【００８３】
図１０（１）に示す第１の代表画像データ候補期間は、シーンチェンジ検出部６０３から出力されるシーンチェンジ検出信号と、音量音質変化検出部６０４から出力される音量音質変化検出信号とから設定する。具体的な例としては、テレビジョン番組などの番組本編期間とコマーシャル期間（以下、「ＣＭ期間」とも記す。）であり、例えば、番組本編期間を第１の代表画像データ候補期間とする。このとき、ＣＭ期間は第１の代表画像データ候補期間でない残りの録画時間となる。
【００８４】
この上で、制御部２からの制御信号であるサンプリング期間から、第２の代表画像データ候補期間を設定する。図１０（１）では、第１の代表画像データ候補期間が、すべて第２の代表画像候補期間となっている。一方、後述する図１３（１）では、第１の代表画像データ候補期間の一部が第２の代表画像データ候補期間となっている。
【００８５】
その後、図１０（２）に示すように、第２の代表画像データ候補期間の動画像データを、制御部２からの制御信号であるサンプリング周期で抜き出し、代表動画像データを抽出する。代表動画像データは、リサイズ部６２５でリサイズ処理され、図１０（３）に示すように、サムネイル代表動画像データとなり、サムネイル画像データ符号化部６２６で符号化されて、符号化サムネイル代表動画像データとして、画像データ記録部５に記録される。
【００８６】
ここで、前述した通り、代表動画像データは代表画像データにより構成され、特に代表画像データ中の一つの画像データを代表静止画像データともいう。また、代表静止画像データに対応するサムネイル代表静止画像データは、サムネイル代表動画像データを構成するサムネイル代表画像データのひとつであり、例えば、代表動画像データの最初の代表画像データＦｓｔａｒｔから生成されるサムネイル画像データである。
【００８７】
なお、サムネイル代表静止画像データはこれに限るものではなく、逆に、サムネイル代表動画像データの後のサムネイル代表画像データＦｅｎｄから生成されるサムネイル画像データでもよい。また、操作部１から制御部２を介してサムネイル画像データ管理部６３内のサムネイル代表動画像データ管理部６３３を制御し、符号化サムネイル代表動画像データ中の任意の符号化サムネイル代表画像データを選択し、符号化サムネイル代表静止画像データとしてサムネイル代表静止画像データ管理部６３４に登録するように構成してもよい。さらに、サムネイル画像データ管理部６３内のサムネイル再生停止画像データ管理部６３５を制御し、符号化サムネイル再生停止画像データを符号化サムネイル代表静止画像データとしてサムネイル代表静止画像データ管理部６３４に登録するように構成してもよい。
【００８８】
図１１（１）、（２）に、サムネイル代表動画像データと、画像記録再生装置１０１に入力された動画像データの再生処理との時間関係の一例を示す。図に示すように、第２の代表画像データ候補期間とならない期間には、サムネイル代表動画像データが存在しない。一方、第２の代表画像データ候補期間では、フレームが間引かれた状態で、サムネイル代表動画像データが存在する。（なお、画像データＦｓｔｏｐは、サムネイル代表動画像データを構成する画像データではないが、後述する画像データＦ０とＦ１との位置関係を表すため、便宜的に図１１（１）中に記載している。）
【００８９】
画像データ再生部７による動画像データの再生処理が、画像データＦｓｔｏｐのフレームで終わった状態を示したのが、図１１（３）である。図に示すように、サムネイル代表動画像データは動画像データと比較すると間引き処理が行われている。したがって、再生処理の最終の画像データＦｓｔｏｐに相当するサムネイル代表画像データが存在しない場合がある。このような再生停止時には、サムネイル画像データ処理部６内のサムネイル画像データ生成部６２では、最終再生フレームＦｓｔｏｐに対応するサムネイル画像データであるサムネイル再生停止画像データを生成する。
【００９０】
そして、制御部２からの指令によって、図１１（４）に示すように、サムネイル再生停止画像データとして再生停止時に生成された、画像データＦｓｔｏｐに対応するサムネイル画像データと、画像データＦｓｔｏｐに最も近いＦ０＜Ｆｓｔｏｐとなる画像データＦ０に対応するサムネイル代表画像データと、画像データＦｓｔｏｐに最も近いＦ１＞Ｆｓｔｏｐとなる画像データＦ１のサムネイル代表画像データが選択される。最後に、画像記録再生装置１０１は、これらのサムネイル画像データから一つを選択し、表示部８に表示する。
【００９１】
ここで、サンプリング周期が長い場合には、上記３つのサムネイル画像データの内容の差異は大きい。そして、再生停止時に生成された画像データＦｓｔｏｐに対応するサムネイル再生停止画像データは、操作者がまさに再生を停止した画面の画像データを示すという効果がある。一方、画像データＦｓｔｏｐに最も近いＦ０＜Ｆｓｔｏｐとなる画像データＦ０のサムネイル代表画像データには、操作者に、少なくとも画像データＦ０までは再生したことを伝える効果がある。さらに、画像データＦｓｔｏｐに最も近いＦ１＞Ｆｓｔｏｐとなる画像データＦ１のサムネイル代表画像データには、操作者に、次の再生時に画面に表示される画像データの内容を伝える効果がある。
【００９２】
さらに、図１２（１）、（２）に、サムネイル代表動画像データと、画像記録再生装置１０１に入力された動画像データの再生処理との時間関係の別の一例を示す。このような状態において、画像データ再生部７による再生処理が画像データＦｓｔｏｐというフレームで終わった状態を示したのが、図１２（３）である。すなわち、図１２（３）においては、第２の代表画像データ候補期間でない期間、例えばＣＭ期間中に、再生処理を停止している。（なお、画像データＦｓｔｏｐは、サムネイル代表動画像データを構成する画像データではないが、後述する画像データＦ０とＦ１との位置関係を表すため、便宜的に図１２（１）中に記載している。）
【００９３】
この場合、画像データＦｓｔｏｐに対応するサムネイル画像データは、ＣＭ期間中のフレームとなる。一方、画像データＦ０は、ＣＭ期間前の最終の代表画像データであり、画像データＦ１は、ＣＭ期間後の最初の代表画像データを表すことになる。
【００９４】
そして、制御部２からの指令によって、図１２（４）に示すように、サムネイル再生停止画像データとして再生停止時に生成された、画像データＦｓｔｏｐに対応するサムネイル代表画像データと、画像データＦｓｔｏｐに最も近いＦ０＜Ｆｓｔｏｐとなる画像データＦ０に対応するサムネイル代表画像データと、画像データＦｓｔｏｐに最も近いＦ１＞Ｆｓｔｏｐとなる画像データＦ１のサムネイル代表画像データが選択される。
【００９５】
そして、図１１の場合と同様、再生停止時に生成された画像データＦｓｔｏｐに対応するサムネイル再生停止画像データは、操作者がまさに再生を停止した画面の画像データを示すという効果がある。一方、画像データＦｓｔｏｐに最も近いＦ０＜Ｆｓｔｏｐとなる画像データＦ０のサムネイル代表画像データには、操作者に、少なくとも画像データＦ０までは再生したことを伝える効果がある。さらに、画像データＦｓｔｏｐに最も近いＦ１＞Ｆｓｔｏｐとなる画像データＦ１のサムネイル代表画像データには、操作者に、次の再生時に画面に表示される画像データの内容を伝える効果がある。最後に、画像記録再生装置１０１は、これらのサムネイル画像データから一つを選択し、表示部８に表示する。
【００９６】
次に、図１３（１）に、第１の代表画像データ候補期間の一部が第２の代表画像データ候補期間となっている場合の一例を示す。番組本編期間とＣＭ期間との例をとると、番組本編期間が第１の代表画像データ候補期間、ＣＭ期間が第１の代表画像データ候補期間でない期間となる。その上で、番組本編期間の先頭数分間からサムネイル画像データを作成するとした場合、第２の代表画像データ候補期間は各番組本編期間の先頭数分間となる。
【００９７】
このように、画面の切り替わり後の数分間のみサムネイル画像データを作成することは、メモリ容量の点から有利である。なお、このとき、第１の代表画像データ候補期間であり、かつ、第２の代表画像データ候補期間でない部分は、当然ＣＭ期間ではなく、例えば、使用メモリの削減等を目的として、サムネイル画像データの作成の対象から外された番組本編期間である。したがって、メモリ容量が十分に存在する場合は、代表画像データを抽出する期間に相当する。
【００９８】
さらに、図１３（２）に示すように、代表画像データを作成するために、第２の代表画像データ候補期間の動画像データを、制御部２からの制御信号であるサンプリング周期で抜き出し、代表動画像データを抽出する。抽出された代表動画像データは、リサイズ部６２５でリサイズ処理され、図１３（３）に示すように、サムネイル代表動画像データとなり、サムネイル画像符号化部６２６で符号化されて、符号化サムネイル代表動画像データとして、画像データ記録部５に記録される。
【００９９】
次に、第１の代表画像データ候補期間のすべてが第２の代表画像データ候補期間となっておらず、第１の代表画像データ候補期間の一部が第２の代表画像データ候補期間となっている場合において、画像記録再生装置１０１に入力された動画像データの再生処理が、第１の代表画像データ候補期間にあり、第２の代表画像データ候補期間にない位置で、停止されたときのサムネイル再生停止画像データについて、図１４を用いて説明する。
【０１００】
図１４（１）、（２）に、サムネイル代表動画像データと、画像記録再生装置１０１に入力された動画像データの再生処理との時間関係の一例を示す。画像データ再生部７での動画像データの再生処理が、第１の代表画像データ候補期間にあり、かつ、第２の代表画像データ候補期間にない位置の画像データＦｓｔｏｐのフレームで終わった状態を示したのが、図１４（３）である。
【０１０１】
このような場合、サムネイル画像データ処理部６内のサムネイル画像データ生成部６２では、最終の再生画像データであるＦｓｔｏｐについてサムネイル画像データが生成され、サムネイル再生停止画像データとしては、再生停止時に生成された画像データＦｓｔｏｐに対応するサムネイル画像データが選択される。なお、図１１や図１２に示すように、画像データＦｓｔｏｐに最も近いＦ０＜Ｆｓｔｏｐとなる画像データＦ０に対応するサムネイル画像データや、画像データＦｓｔｏｐに最も近いＦ１＞Ｆｓｔｏｐとなる画像データＦ１に対応するサムネイル画像データをサムネイル再生停止画像データとしてもよい。
【０１０２】
図１５に、サムネイル表示時に各動画像データの再生状態を表示する場合の一例を示す。図に示すように、各サムネイル画像データの下に、再生状態を表す再生ステータスバーを備えている。なお、「再生状態を表す」とは、「再生停止位置を表す」としてもよい。
【０１０３】
ここでは、再生ステータスバーは、左端を０％、右端を１００％として、黒塗りされた位置まで再生されていることを表す。したがって、タイトル６は、再生ステータスバーが約５０％を示しており、さらに表示は再生停止画像表示となっている。すなわち、現在、約５０％再生済みであり、再生停止画像表示されている位置（画像データ）近傍まで再生処理が終了していることを表している。
【０１０４】
タイトル９は、再生ステータスバーが約２０％で、代表動画像表示となっている。これは、タイトル６と同様に、タイトル９のサムネイル画像データに対応する動画像データの再生処理が約２０％まで終了しているが、初期設定、あるいは、操作部１からの操作を受けた制御部２の指令により、代表動画像表示に切り替わった状態である。すなわち、タイトル９の約２０％以降の代表動画像データについて、繰り返しサムネイル画像表示される。
【０１０５】
タイトル７は、再生ステータスバーが１００％で、代表静止画像表示となっている。すなわち、タイトル７の動画像データの再生処理がすべて終了していることを表している。タイトル１は、再生ステータスバーが０％で、代表静止画像表示となっている。本実施の形態では、未再生時は代表動画像表示となっているため、タイトル１は再生済みで、初期設定、あるいは、操作部１からの操作を受けた制御部２の指令により、再生位置が動画像データの先頭に戻っていることを表している。
【０１０６】
その他、タイトル２、タイトル３、タイトル４、タイトル５、タイトル８は未再生による代表動画像表示である。代表動画像表示は、代表動画像データに対応したサムネイル動画像データを表示するものであり、サムネイル代表画像データを時間順にコマ送り表示するものである。この場合、コマ送り表示に合わせて再生ステータスバーの黒塗りされた範囲を変化させるように構成してもよい。具体的には、タイトル５では、再生ステータスバーの黒塗りされた範囲は、コマ送り再生に同期して、０％から１００％の範囲を移動することになる。一方、タイトル９では、再生ステータスバーの黒塗りされた範囲は、コマ送り再生に同期して、およそ２０％から１００％の範囲を移動する。これにより、代表動画像表示であっても、各動画像データについて再生処理が行われたか否かをユーザや操作者が認識できる。
【０１０７】
また、再生ステータスバーの機能を拡張し、制御部２を介し、操作部１から操作できるように構成することにより、再生ステータスバーの黒塗り範囲を移動させることで、移動した先の代表画像データに対応するサムネイル画像データを表示させることも可能である。
【０１０８】
以上説明したように、実施の形態１に係る画像記録再生装置１０１は、サムネイル画像データ処理部６を制御することにより、表示部８におけるサムネイル表示において、まだ再生していない動画像データについては代表動画像表示、再生途中の動画像については再生停止画像表示、再生済みの動画像については代表静止画像表示を行うことが可能となる。これにより、再生処理を行った動画像データは静止画表示され、再生処理を行っていない動画像データは動画表示されることから、動画像データ毎の再生状態を容易に判別することができる。さらに、再生処理を行っていない動画像データが動画像表示されるので、再生処理されていない内容を把握することができる。
【０１０９】
さらに、本実施の形態１に係る画像記録再生装置１０１の代表画像データ判定部６０６では、シーンチェンジ検出部６０３から出力されたシーンチェンジ検出信号、音量音質変化検出部６０４から出力された音量音質変化検出信号を使って、第１の代表画像データ候補期間を設定したが、これに限るものではない。すなわち、動画像データから得られる画像情報であれば、シーンチェンジ検出信号や、音量音質変化検出信号以外の信号でもよい。
【０１１０】
また、シーンチェンジ検出信号か音量音質変化検出信号のいずれか一方の信号から第１の代表画像データ候補期間を設定してもよいことは言うまでもない。つまり、シーンチェンジ検出部６０３から出力されたシーンチェンジ検出信号をもとに、シーンチェンジチェンジ後の一定期間を第１の代表画像データ候補期間とするように構成してもよいし、音量音質変化検出部６０からの音量音質変化検出信号をもとに、ある一定量の音量がある場合を第１の代表画像データ候補期間とするようにしてもよく、音量や音質が変化した後の一定期間を第１の代表画像データ候補期間とするように構成してもよい。
【０１１１】
また、本実施の形態１に係る画像記録再生装置１０１の代表画像データ判定部６０６では、第２の代表画像データ候補期間を制御部２からのサンプリング期間をもとに第１の代表画像データ候補期間の先頭から設定したが、これに限るものではない。第１の代表画像データ候補期間の先頭から一定期間後に、第２の代表画像データ候補期間の先頭を設定するようにしてもよい。また、一定期間の設定も、時間で指定されてもよいし、フレーム数で指定されてもよい。
【０１１２】
さらに、本実施の形態１に係る画像記録再生装置１０１の代表画像データ判定部６０６では、制御部２からのサンプリング周期をもとに、第２の代表画像データ候補期間から代表画像データを一定間隔で抽出するものとしたが、これに限るものではない。例えば、第２の代表画像データ候補期間の先頭では密に代表画像データを抽出し、先頭から離れるに従って粗く代表画像データを抽出してもよい。あるいは、最初も粗く、徐々に密に、最後にはまた粗く代表画像データを抽出してもよい。
【０１１３】
さらに、代表動画像データの抽出処理を２回に分けるのではなく、１回の抽出処理で代表画像データ候補期間を設定してもよい。この場合、上記で説明した第１の代表画像データ候補期間の設定のみでもよく、第２の代表画像データ候補期間の設定のみでもよい。
【０１１４】
さらに、本実施の形態１に係る画像記録再生装置１０１のサムネイル画像データ符号化部６２６の符号化方式は、静止画像符号化方式に限るものではなく、動画像符号化方式でもよいことは言うまでもない。さらに、サムネイル画像データ復号部６４２での復号と整合を取って制御することにより、サムネイル画像データ毎に符号化方式を異にしてもよい。
【０１１５】
また、図８や、図１５では、再生処理した動画像データは静止画表示し、再生処理していない動画像データは動画表示としたが、例えば、動画像データをデータの先頭からタイトル５の約５０％の位置まで再生した場合、タイトル１、タイトル２、タイトル３、タイトル４を代表静止画像表示とし、タイトル５を再生停止画像表示、タイトル６からタイトル９を代表動画像表示としてもよい。
【０１１６】
また、一つの番組本編からなる画像データから複数の代表動画像データを抽出し、サムネイル代表動画像データを表示させる場合だけでなく、複数の番組からなる画像データから複数の代表動画像データを抽出し、サムネイル代表動画像データを表示させてもよい。例えば、シリーズ番組の複数の放送を記録した場合、複数の放送内容についてサムネイル表示されるので、ユーザは自分が視聴した放送を簡単に認識できるようになる。
【０１１７】
また、画像データ記録部５に記録されるサムネイル画像データは、符号化処理後の符号化サムネイル画像データとしたが、符号化処理を行っていないサムネイル画像データを記録してもよい。特に、サムネイル画像データの画面サイズが画像記録再生装置に入力される動画像データと比較して小さい場合や、画像データ記録部５の記録容量が大きい場合は、サムネイル画像データに対する符号化処理の必要性が低くなる。
【０１１８】
また、表示部８は必ずしも一画面で構成される必要性は無く、複数の画面で表示部８が構成されてもよい。例えば、複数のモニタを用いて、各サムネイル画像データを各モニタの画面に表示してもよい。
【０１１９】
以上に説明した本発明の画像記録再生装置の活用例としては、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）レコーダ、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｃ  Ｄｒｉｖｅ）記録再生装置、ハイブリッドレコーダ（ＤＶＤ記録再生装置とＨＤＤ記録再生装置の複合機）等に適用できる。
【図面の簡単な説明】
【０１２０】
【図１】本発明の実施の形態１に係る画像記録再生装置の構成を概略的に示すブロック図である。
【図２】本発明の実施の形態１における代表画像データ抽出部の構成を概略的に示すブロック図である。
【図３】本発明の実施の形態１におけるサムネイル画像データ生成部の構成を概略的に示すブロック図である。
【図４】本発明の実施の形態１におけるサムネイル画像データ管理部の構成を概略的に示すブロック図である。
【図５】本発明の実施の形態１におけるサムネイル画像データ再生部の構成を概略的に示すブロック図である。
【図６】本発明の実施の形態１におけるサムネイル画像データの生成を概略的に示すフロー図である。
【図７】本発明の実施の形態１におけるサムネイル画像データの生成を概略的に示すフロー図である。
【図８】本発明の実施の形態１に係る画像記録再生装置の表示部におけるサムネイル表示の一例の説明図である。
【図９】本発明の実施の形態１における代表画像データ候補期間の設定を概略的に示すフロー図である。
【図１０】本発明の実施の形態１に係る画像記録再生装置における代表画像データ候補期間の設定、代表画像データ抽出、サムネイル画像処理を示す説明図である。
【図１１】本発明の実施の形態１に係る画像記録再生装置におけるサムネイル代表動画像データ、動画像データ、動画像データの再生処理、サムネイル画像処理を示す説明図である。
【図１２】本発明の実施の形態１に係る画像記録再生装置におけるサムネイル代表動画像データ、動画像データ、動画像データの再生処理、サムネイル画像処理を示す説明図である。
【図１３】本発明の実施の形態１に係る画像記録再生装置における代表画像データ候補期間の設定、代表画像データ抽出、サムネイル画像処理を示す説明図である。
【図１４】本発明の実施の形態１に係る画像記録再生装置におけるサムネイル代表動画像データ、動画像データ、動画像データの再生処理、サムネイル画像処理を示す説明図である。
【図１５】本発明の実施の形態１に係る画像記録再生装置の表示部におけるサムネイル表示の一例の説明図である。
【符号の説明】
【０１２１】
１  操作部、  ２  制御部、  ４  画像データ処理部、  ５  画像データ記録部、  ６  サムネイル画像データ処理部、  ７  画像データ再生部、  ８  表示部、  ４１  動画像データ符号化部、  ６１  代表画像データ抽出部、  ６２  サムネイル画像データ生成部、  ６３  サムネイル画像データ管理部、  ６４  サムネイル画像データ再生部、  ７１  動画像データ復号部、  ６０３  シーンチェンジ検出部、  ６０４  音量音質変化検出部、  ６０６  代表画像データ判定部、  ６０７  スイッチ、  ６２４  スイッチ、  ６２５  リサイズ部、  ６２６  サムネイル画像データ符号化部、  ６３２  スイッチ、  ６３３  サムネイル代表動画像データ管理部、  ６３４  サムネイル代表静止画像データ管理部、  ６３５  サムネイル再生停止画像データ管理部、  ６３７  スイッチ、  ６４２  サムネイル画像データ復号部。
【図１】
2007110467.tif 000003
【図２】
2007110467.tif 000004
【図３】
2007110467.tif 000005
【図４】
2007110467.tif 000006
【図５】
2007110467.tif 000007
【図６】
2007110467.tif 000008
【図７】
2007110467.tif 000009
【図８】
2007110467.tif 000010
【図９】
2007110467.tif 000011
【図１０】
2007110467.tif 000012
【図１１】
2007110467.tif 000013
【図１２】
2007110467.tif 000014
【図１３】
2007110467.tif 000015
【図１４】
2007110467.tif 000016
【図１５】
2007110467.tif 000017