(57)【要約】【課題】圧縮符号化された動画像データからその代表画像を表示する際の待ち時間を短縮できるようにする。【解決手段】代表画像決定部１２は、フレームヘッダ位置蓄積部２２から読み出した各フレームのヘッダ位置からそれぞれ１フレーム分の符号長を算出し、算出した各符号長データをフレーム符号長蓄積部２３に出力する１フレーム分符号長算出部１２１と、フレーム符号長蓄積部２３から読み出した各フレームの符号長データをそれぞれ比較し、比較したうち符号長データが最大となるフレームを代表画像として決定する最大符号長画像判定部１２２とを有している。代表画像表示部１３は、最大符号長画像判定部１２２により決定された代表画像を復号して静止画像を生成する代表画像復号部１３１と、動画像符号化データストリームから抽出した代表画像を表示する画像表示部１３２とを有している。【選択図】        図１
2004320646.tif 000002
【特許請求の範囲】
【請求項１】
圧縮符号化された複数のフレームからなる動画像符号化データストリームにおける前記複数のフレームから代表画像を抽出する代表画像表示方法であって、
前記複数のフレームからそれぞれ１フレーム分の符号長を算出する工程と、
符号長が選択条件を満たすフレームを代表画像として抽出する工程とを備えていることを特徴とする代表画像表示方法。
【請求項２】
前記代表画像として抽出されたフレームを復号して表示する工程をさらに備えていることを特徴とする請求項１に記載の代表画像表示方法。
【請求項３】
前記選択条件には、前記複数のフレームのうちの最大符号長を用いることを特徴とする請求項１に記載の代表画像表示方法。
【請求項４】
圧縮符号化された複数のフレームからなる動画像符号化データストリームにおける前記複数のフレームから代表画像を抽出する代表画像表示装置であって、
前記動画像符号化データストリームにおける各フレームの先頭に位置するフレームヘッダ位置を検出するフレームヘッダ位置検出手段と、
前記各フレームヘッダ位置から各フレームの符号長をそれぞれ算出する符号長算出手段と、
前記複数のフレームのうち符号長が選択条件を満たすフレームを抽出する代表画像抽出手段とを備えていることを特徴とする代表画像装置。
【請求項５】
抽出されたフレームを復号して表示する表示手段をさらに備えていることを特徴とする請求項４に記載の代表画像表示装置。
【請求項６】
前記選択条件には、前記複数のフレームのうちの最大符号長を用いることを特徴とする請求項４に記載の代表画像表示装置。
【請求項７】
前記選択条件には、前記複数のフレームのうち独立符号化されたフレームの最大符号長を用いることを特徴とする請求項４に記載の代表画像表示装置。
【請求項８】
前記選択条件には、基準となる符号長を用いることを特徴とする請求項４に記載の代表画像表示装置。
【請求項９】
前記選択条件には、連続する２つのフレーム間の符号長の変化量における最大値を用いることを特徴とする請求項４に記載の代表画像装置。
【請求項１０】
前記選択条件は、前記複数のフレームのうち最大符号長を持つフレームと、該最大符号長を持つフレームから符号長が降順となる少なくとも１つのフレームとを選択することを特徴とする請求項４に記載の代表画像表示装置。
【請求項１１】
前記選択条件には、前記複数のフレームのうち連続するＮ（但し、Ｎは２以上の整数である。）個のフレームの符号長の和の最大符号長を用いることを特徴とする請求項４に記載の代表画像表示装置。
【請求項１２】
それぞれが、圧縮符号化された複数のフレームからなる複数の動画像符号化データストリームにおいて、前記各動画像符号化データストリームにおける各フレームから代表画像を抽出して表示する代表画像表示装置であって、
前記複数の動画像符号化データストリームのなかから、前記代表画像の候補となる少なくとも１つの候補画像を選択する候補画像選択部と、
選択された前記候補画像における各フレームのフレームヘッダ位置を蓄積するフレームヘッダ位置蓄積部と、
前記フレームヘッダ位置から算出した各フレームの１フレーム分の符号長を蓄積するフレーム符号長蓄積部と、
蓄積された前記符号長に基づいて、前記候補画像の複数のフレームから代表画像を決定する代表画像決定部と、
決定された前記代表画像を表示する代表画像表示部とを備えていることを特徴とする代表画像表示装置。
【請求項１３】
前記候補画像選択部は、選択された前記候補画像における各フレームの先頭に位置するフレームヘッダ位置を検出して、前記フレームヘッダ位置蓄積部に出力するフレームヘッダ位置検出手段を有し、
前記代表画像決定部は、連続する２つのフレームのフレームヘッダ位置から１フレーム分の符号長を算出する１フレーム分符号長算出手段と、算出された各フレームの符号長をそれぞれ比較して、符号長が最大となるフレームを抽出し、抽出されたフレームを代表画像と決定する最大符号長画像判定手段とを有し、
前記代表画像表示部は、抽出された代表画像から静止画像を復号する代表画像復号手段と、復号された静止画像を表示する代表画像表示手段とを有していることを特徴とする請求項１２に記載の代表画像表示装置。
【請求項１４】
前記候補画像選択部は、前記候補画像を選択する際の動画像符号化データストリーム中の開始位置として、任意の位置を指定可能とする候補画像選択開始位置指定手段を有していることを特徴とする請求項１２に記載の代表画像表示装置。
【請求項１５】
前記候補画像選択部は、各フレームが独立で符号化されているか、又は予測符号化されているかをフレームヘッダ情報から読み取るフレームヘッダ情報読出手段と、独立符号化されている場合には独立符号化されているフレームのみを抽出し、そのヘッダ位置を検出する独立符号化フレーム抽出手段とを有していることを特徴とする請求項１２に記載の代表画像表示装置。
【請求項１６】
前記代表画像決定部は、連続する２つのフレームのフレームヘッダ位置から１フレーム分の符号長を算出する１フレーム分符号長算出手段と、算出された各フレームの符号長と基準符号長とをそれぞれ比較して、比較した符号長と基準符号長との差に基づいてフレームを抽出し、抽出されたフレームを代表画像として決定する符号長比較判定手段とを有していることを特徴とする請求項１２に記載の代表画像表示装置。
【請求項１７】
前記代表画像決定部は、連続する２つのフレームの符号長の差から前記２つのフレームの符号長の変化量を算出する１フレーム分符号長変化量算出手段と、算出された符号長の変化量を比較し、符号長の増加が最も大きいフレームを代表画像として決定する変化量比較判定手段とを有していることを特徴とする請求項１２に記載の代表画像表示装置。
【請求項１８】
前記代表画像決定部は、前記フレーム符号長蓄積部に蓄積された各フレームの符号長を用いて、１つの動画像符号化データストリームから複数の代表画像を決定する複数代表画像選択手段と、
決定された複数の代表画像を表示する複数代表画像表示手段と有していることを特徴とする請求項１２に記載の代表画像表示装置。
【請求項１９】
前記代表画像決定部は、連続するＮ（但し、Ｎは２以上の整数である。）個のフレームの符号長の和を求めることにより、Ｎフレーム分の符号長の和を算出するＮフレーム分符号長算出手段と、前記Ｎフレーム分の符号長の和を比較して、最大値を含むＮ個の連続するフレームを代表画像として決定するＮフレーム分符号長比較判定手段とを有し、
前記代表画像表示部は、連続するＮフレーム分の代表画像を動画像として復号する代表動画像復号手段と、前記動画像を繰り返して表示する代表動画像表示手段とを有していることを特徴とする請求項１２に記載の代表画像表示装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像データから代表画像を抽出して表示する代表画像表示方法及び代表画像表示装置に関する。
【０００２】
【従来の技術】
近年、動画像圧縮符号化技術の発達による圧縮符号化の高効率化と、半導体製造技術の発達による半導体装置の性能向上とによって、コンピュータで動画像を扱うことが容易となり、動画像データのデジタル化が急速に進んでいる。しかしながら、動画像データのデータ量が増えるにつれて、蓄積された動画像データのなかからユーザが所望の動画像を探し出すことは困難となる。
【０００３】
そこで、ユーザに動画像の内容を視覚的に知らせるために、動画像のプレビューとして、代表画像を抽出し且つ縮小した状態で一覧表示するという手法が採られている。ところが、動画像の先頭を単純に代表画像として用いると、例えばフェードイン（黒又は白等の単色の画像から徐々に画像が現われる手法）処理がなされている場合にはその代表画像は単色となってしまい、プレビューとしての意味をなさない。
【０００４】
例えば特許文献１に記載された第１の従来例としての代表画像表示装置は、復号化した画像中の同色成分の比率を調べて、同色成分の比率が所定の割合以上である場合には、動画像の次のフレームを抽出してその画像を復号化し、さらに同色成分の比率が所定の割合未満となるまで処理を繰り返し行なって、同色成分の比率が所定の割合未満となったときの画像を代表画像として用いている。
【０００５】
また、特許文献２に記載された第２の従来例は、画面内の輝度の総和、画面内の特定色の総数、画面内のエッジの総和、及び個々のフレーム内に付随した音響データの絶対値の総和のうちの少なくとも１つを利用して代表画像を決定している。
【０００６】
【特許文献１】
特開２０００−１８４３９５号公報
【特許文献２】
特開２０００−３５０１５６号公報
【０００７】
【発明が解決しようとする課題】
前記従来の代表画像表示装置又は表示方法は、画像データが持つ種々の特徴により代表画像を決定している。例えば、輝度情報及び色情報を始めとする画像データから得られる特徴は、動画像データの各フレームを復号化しなければ抽出することができない。従って、代表画像として表示する画像データ以外の画像に対しても代表画像を決定する過程で復号化する必要がある。このため、１画像データのすべてを復号化するための処理時間が必要となり、待ち時間が発生するという問題がある。さらに、複数の動画像データの代表画像をそれぞれ表示する場合には、各動画像データに対する演算処理が累積されるため、すべての代表画像を表示し終えるまでにはさらに長い待ち時間が発生する。
【０００８】
本発明は、前記従来の問題を解決し、圧縮符号化された動画像データからその代表画像を表示する際の待ち時間を短縮できるようにすることを目的とする。
【０００９】
【課題を解決するための手段】
前記の目的を達成するため、本発明は、代表画像表示装置及びその方法を、画像データを構成する複数のフレームにおけるフレームごとの符号長を選択条件として代表画像を抽出する構成とする。
【００１０】
具体的に、本発明に係る代表画像表示方法は、圧縮符号化された複数のフレームからなる動画像符号化データストリームにおける複数のフレームから代表画像を抽出する代表画像表示方法を対象とし、複数のフレームからそれぞれ１フレーム分の符号長を算出する工程と、符号長が選択条件を満たすフレームを代表画像として抽出する工程とを備えている。
【００１１】
本発明の代表画像表示方法によると、符号長が選択条件を満たすフレームを代表画像として抽出するため、いずれのフレームをも復号化することなく代表画像を決定することができる。このため、圧縮符号化された動画像データからその代表画像を表示する際の待ち時間を大幅に短縮することができる。
【００１２】
本発明の代表画像表示方法は、代表画像として抽出されたフレームを復号して表示する工程をさらに備えていることが好ましい。
【００１３】
本発明の代表画像表示方法において、選択条件には複数のフレームのうちの最大符号長を用いることが好ましい。
【００１４】
本発明に係る第１の代表画像表示装置は、圧縮符号化された複数のフレームからなる動画像符号化データストリームにおける複数のフレームから代表画像を抽出する代表画像表示装置を対象とし、動画像符号化データストリームにおける各フレームの先頭に位置するフレームヘッダ位置を検出するフレームヘッダ位置検出手段と、各フレームヘッダ位置から各フレームの符号長をそれぞれ算出する符号長算出手段と、複数のフレームのうち符号長が選択条件を満たすフレームを抽出する代表画像抽出手段とを備えている。
【００１５】
本発明の第１の代表画像表示装置によると、符号長算出手段は各フレームヘッダ位置から各フレームの符号長をそれぞれ算出し、さらに、代表画像抽出手段は複数のフレームのうち符号長が選択条件を満たすフレームを抽出するため、いずれのフレームをも復号化することなく代表画像を決定することができるので、圧縮符号化された動画像データからその代表画像を表示する際の待ち時間を大幅に短縮することができる。
【００１６】
本発明の第１の代表画像表示装置は、抽出されたフレームを復号して表示する表示手段をさらに備えていることが好ましい。
【００１７】
本発明の第１の代表画像表示装置において、選択条件には複数のフレームのうちの最大符号長を用いることが好ましい。
【００１８】
また、本発明の第１の代表画像表示装置において、選択条件には複数のフレームのうち独立符号化されたフレームの最大符号長を用いることが好ましい。
【００１９】
また、本発明の第１の代表画像表示装置において、選択条件には基準となる符号長を用いることが好ましい。
【００２０】
また、本発明の第１の代表画像表示装置において、選択条件には連続する２つのフレーム間の符号長の変化量における最大値を用いることが好ましい。
【００２１】
また、本発明の第１の代表画像表示装置において、選択条件は、複数のフレームのうち最大符号長を持つフレームと、該最大符号長を持つフレームから符号長が降順となる少なくとも１つのフレームとを選択することが好ましい。
【００２２】
本発明に係る第２の代表画像表示装置は、それぞれが、圧縮符号化された複数のフレームからなる複数の動画像符号化データストリームにおいて、各動画像符号化データストリームにおける各フレームから代表画像を抽出して表示する代表画像表示装置を対象とし、複数の動画像符号化データストリームのなかから、代表画像の候補となる少なくとも１つの候補画像を選択する候補画像選択部と、選択された候補画像における各フレームのフレームヘッダ位置を蓄積するフレームヘッダ位置蓄積部と、フレームヘッダ位置から算出した各フレームの１フレーム分の符号長を蓄積するフレーム符号長蓄積部と、蓄積された符号長に基づいて、候補画像の複数のフレームから代表画像を決定する代表画像決定部と、決定された代表画像を表示する代表画像表示部とを備えている。
【００２３】
本発明の第２の代表画像表示装置によると、フレームヘッダ位置蓄積部は候補画像を構成する各フレームのフレームヘッダ位置を蓄積し、フレーム符号長蓄積部はフレームヘッダ位置から算出した各フレームの１フレーム分の符号長を蓄積し、代表画像決定部は、蓄積された符号長に基づいて候補画像の複数のフレームから代表画像を決定するため、いずれのフレームをも復号化することなく代表画像を決定することができるので、圧縮符号化された動画像データからその代表画像を表示する際の待ち時間を大幅に短縮することができる。
【００２４】
本発明の第２の代表画像表示装置において、候補画像選択部は、選択された候補画像における各フレームの先頭に位置するフレームヘッダ位置を検出して、フレームヘッダ位置蓄積部に出力するフレームヘッダ位置検出手段を有し、代表画像決定部は、連続する２つのフレームのフレームヘッダ位置から１フレーム分の符号長を算出する１フレーム分符号長算出手段と、算出された各フレームの符号長をそれぞれ比較して、符号長が最大となるフレームを抽出し、抽出されたフレームを代表画像と決定する最大符号長画像判定手段とを有し、代表画像表示部は、抽出された代表画像から静止画像を復号する代表画像復号手段と、復号された静止画像を表示する代表画像表示手段とを有していることが好ましい。
【００２５】
本発明の第２の代表画像表示装置において、候補画像選択部は、候補画像を選択する際の動画像符号化データストリーム中の開始位置として、任意の位置を指定可能とする候補画像選択開始位置指定手段を有していることが好ましい。
【００２６】
本発明の第２の代表画像表示装置において、候補画像選択部は、各フレームが独立で符号化されているか、又は予測符号化されているかをフレームヘッダ情報から読み取るフレームヘッダ情報読出手段と、独立符号化されている場合には独立符号化されているフレームのみを抽出し、そのヘッダ位置を検出する独立符号化フレーム抽出手段とを有していることが好ましい。
【００２７】
本発明の第２の代表画像表示装置において、代表画像決定部は、連続する２つのフレームのフレームヘッダ位置から１フレーム分の符号長を算出する１フレーム分符号長算出手段と、算出された各フレームの符号長と基準符号長とをそれぞれ比較して、比較した符号長と基準符号長との差に基づいてフレームを抽出し、抽出されたフレームを代表画像として決定する符号長比較判定手段とを有していることが好ましい。
【００２８】
また、本発明の第２の代表画像表示装置において、代表画像決定部は、連続する２つのフレームの符号長の差から２つのフレームの符号長の変化量を算出する１フレーム分符号長変化量算出手段と、算出された符号長の変化量を比較し、符号長の増加が最も大きいフレームを代表画像として決定する変化量比較判定手段とを有していることが好ましい。
【００２９】
また、本発明の第２の代表画像表示装置において、代表画像決定部は、フレーム符号長蓄積部に蓄積された各フレームの符号長を用いて、１つの動画像符号化データストリームから複数の代表画像を決定する複数代表画像選択手段と、決定された複数の代表画像を表示する複数代表画像表示手段と有していることが好ましい。
【００３０】
また、本発明の第２の代表画像表示装置において、代表画像決定部は、連続するＮ（但し、Ｎは２以上の整数である。）個のフレームの符号長の和を求めることにより、Ｎフレーム分の符号長の和を算出するＮフレーム分符号長算出手段と、Ｎフレーム分の符号長の和を比較して、最大値を含むＮ個の連続するフレームを代表画像として決定するＮフレーム分符号長比較判定手段とを有し、代表画像表示部は、連続するＮフレーム分の代表画像を動画像として復号する代表動画像復号手段と、動画像を繰り返して表示する代表動画像表示手段とを有していることが好ましい。
【００３１】
【発明の実施の形態】
（第１の実施形態）
本発明の第１の実施形態について図面を参照しながら説明する。
【００３２】
図１は本発明の第１の実施形態に係る代表画像表示装置のブロック構成を示している。
【００３３】
図１に示すように、第１の実施形態に係る代表画像表示装置は、それぞれ圧縮符号化された複数の動画像符号化データストリームのなかから、動画像を代表する代表画像の候補となる少なくとも１つの候補画像を選択する候補画像選択部１１と、選択された候補画像のなかから代表画像を決定する代表画像決定部１２と、決定された代表画像を表示する代表画像表示部１３とから構成されている。
【００３４】
候補画像選択部１１は、動画像符号化データストリーム蓄積部２１に蓄積されている少なくとも１つの動画像符号化データストリームを順方向に読み出し、各フレームの先頭に位置するフレームヘッダを示すビット列を検出することにより動画像中の各フレームのヘッダ位置を特定し、特定した各フレームのヘッダ位置（位置情報）をフレームヘッダ位置蓄積部２２に出力するフレームヘッダ位置検出部１１１を有している。なお、動画像符号化データストリーム蓄積部２１は、本実施形態に係る代表画像表示装置が必ずしも備える必要はなく、外部に設けられた記憶装置であっても良い。
【００３５】
代表画像決定部１２は、フレームヘッダ位置蓄積部２２から読み出した各フレームのヘッダ位置からそれぞれ１フレーム分の符号長を算出し、算出した各符号長データをフレーム符号長蓄積部２３に出力する１フレーム分符号長算出部１２１と、フレーム符号長蓄積部２３から読み出した各フレームの符号長データをそれぞれ比較し、比較したうち符号長データが最大となるフレームを代表画像として決定する最大符号長画像判定部１２２とを有している。
【００３６】
代表画像表示部１３は、最大符号長画像判定部１２２により決定された代表画像を復号して静止画像を生成する代表画像復号部１３１と、動画像符号化データストリームから抽出された代表画像を表示する画像表示部１３２とを有している。
【００３７】
ここで、第１の実施形態に係る代表画像装置は、ＣＰＵ及び主記憶装置を備えたコンピュータ、マイクロコンピュータ、画像再生装置、又は動画の再生可能な携帯電話機等の動画像表示部を備えた携帯端末機や、ＤＶＤプレーヤ等の蓄積メディアからの動画再生装置等が好ましい。
【００３８】
以下、前記のように構成された代表画像表示装置の動作について図１及び図２（ａ）〜図２（ｄ）を参照しながら説明する。
【００３９】
図２（ａ）は圧縮符号化された複数のフレームからなる動画像符号化データストリームの構成を模式的に表わしている。図２（ａ）に示すように、動画像符号化データストリーム１０１は、連続する複数のフレーム１０２、１０３等を含み、各フレーム１０２、１０３はそれぞれ、フレームヘッダ１０２ａ、１０３ａとフレーム本体１０２ｂ、１０３ｂとからなる。
【００４０】
まず、図１において、候補画像選択部１１は、動画像符号化データストリーム蓄積部２１に蓄積されている少なくとも１つの動画像符号化データストリームを読み込む。続いて、候補画像選択部１１は、読み込んだ動画像符号化データストリームが複数の場合には、そのなかから、あらかじめ指定された表示候補である動画像符号化データストリーム１０１を選択する。続いて、フレームヘッダ位置検出部１１１は、選択された動画像符号化データストリーム１０１中の各フレームのフレームヘッダ１０２ａ、１０３ａ等を抽出し、そのヘッダ位置をフレームヘッダ位置蓄積部２２にそれぞれ蓄積する。ここで、各フレームヘッダ位置１０２ａ、１０３ａ等の位置情報は、動画像符号化データストリーム１０１における先頭からの相対アドレス（オフセットアドレス）で表わしても良く、また動画像符号化データストリーム１０１のメモリ上における絶対アドレスで表わしても良い。
【００４１】
次に、代表画像決定部１２は、フレームヘッダ位置蓄積部２２から各フレームのフレームヘッダ１０２ａ、１０３ａ等のヘッダ位置を読み込む。続いて、代表画像決定部１２の１フレーム分符号長算出部１２１は、各フレームのフレームヘッダ１０２ａ、１０３ａ等のヘッダ位置と、それぞれに後続するフレームのヘッダ位置との差（オフセット）から、各フレームの符号長Ｌを算出し、その算出結果をフレーム符号長蓄積部２３に蓄積する。
【００４２】
次に、図２（ｂ）に示すように、代表画像決定部１２の最大符号長画像判定部１２２は、フレーム符号長蓄積部２３に蓄積された各フレームの符号長Ｌを比較し、ここでは、最大の符号長Ｌ２  を持つフレーム１０３が代表画像に選択される。続いて、最大符号長画像判定部１２２は、選択したフレーム１０３のフレームヘッダ１０３ａのヘッダ位置を代表画像表示部１３に出力する。
【００４３】
次に、図２（ｃ）に示すように、代表画像表示部１３の代表画像復号部１３１は、選択されたフレーム１０３のフレームヘッダ位置１０３ａの情報に基づいてフレーム１０３を復号化する。
【００４４】
次に、図２（ｄ）に示すように、復号化された静止画像は、画像表示部１３２に一覧表示される。
【００４５】
第１の実施形態においては、代表画像に符号長が最大であるフレームを用いており、このことはフレームの情報量がデータストリーム中では最も多いことと同義であるため、代表画像として表示されたフレーム（静止画像）は、データストリーム中で画像の特徴を最も良く表わすこととなるので、ユーザが動画像を認識する際の判断が容易となる。
【００４６】
ここで、フレームヘッダ位置検出部１１１は、選択された１つの動画像符号化データストリーム１０１に含まれるすべてのフレームに対して最後のフレームまで一度にヘッダ位置の検出を行なっても良い。また、１フレームずつヘッダ位置を検出し、検出したフレームのヘッダ位置をフレームヘッダ位置蓄積部２２に蓄積し、１フレーム分符号長算出部１２１においても１フレームずつ符号長を算出し、次のフレームをフレームヘッダ位置検出部１１１に戻って処理を繰り返すという方法を採っても良い。
【００４７】
以上説明したように、第１の実施形態によると、代表画像を抽出する際の選択処理において、圧縮符号化された動画像符号化データストリーム１０１の各フレームには復号化処理を行なわず、実際に表示する代表画像に対してのみ復号化処理を行なうため、代表画像を表示する際の待ち時間を大幅に短縮することができる。
【００４８】
なお、代表画像は符号長が最大のフレームに限られず、代表画像中で符号長が相対的に大きいフレームであればよい。
【００４９】
（第２の実施形態）
以下、本発明の第２の実施形態について図面を参照しながら説明する。
【００５０】
図３は本発明の第２の実施形態に係る代表画像表示装置のブロック構成を示している。図３において、図１に示す構成要素と同一の構成要素には同一の符号を付すことにより説明を省略する。
【００５１】
図３に示すように、第２の実施形態は、候補画像選択部１１におけるフレームヘッダ位置検出部１１１の前段に、候補画像選択開始位置指定部１１２を設けることを特徴とする。
【００５２】
候補画像選択開始位置指定部１１２は、候補画像を構成する複数のフレームのヘッダ位置をサーチする際の、データストリーム中の開始位置を任意に指定することができる。
【００５３】
以下、このように構成された代表画像表示装置の動作を説明する。
【００５４】
まず、図３において、候補画像選択部１１は、動画像符号化データストリーム蓄積部２１から少なくとも１つの動画像符号化データストリームを読み込む。このとき、候補画像選択部１１は、読み込んだ動画像符号化データストリームが複数の場合には、そのなかから、あらかじめ指定された表示候補である動画像符号化データストリームを選択する。続いて、候補画像選択開始位置指定部１１２は、候補画像を構成する複数のフレームに対して選択（サーチ）を開始する開始位置を指定する。この開始位置は、例えば動画像符号化データストリームがｎ個（但し、ｎは１以上の整数である。）のフレームからなる場合には、１〜ｎのうちの数値の１つは先頭フレームからのヘッダ位置と対応するため、外部から開始位置の値を指定できるようにしても良い。続いて、フレームヘッダ位置検出部１１１は、選択された動画像符号化データストリームの指定された選択位置からフレームヘッダを抽出し、そのヘッダ位置をフレームヘッダ位置蓄積部２２に蓄積する。
【００５５】
これ以降は、第１の実施形態と同様に、符号長が最大であるフレームを判定し、さらに、判定されたフレームのみを復号化して代表画像を表示する。
【００５６】
このように、第２の実施形態によると、候補画像選択部１１に、フレームのヘッダ位置をサーチし始める開始位置を先頭からずらすことができる候補画像選択開始位置指定部１１２を設けているため、動画像符号化データストリームの先頭付近にしばしば表われるフェードイン前の単色画像及びフェードイン中の画像が代表画像として抽出される可能性を小さくすることができる。
【００５７】
（第３の実施形態）
以下、本発明の第３の実施形態について図面を参照しながら説明する。
【００５８】
図４は本発明の第３の実施形態に係る代表画像表示装置のブロック構成を示している。図４において、図１に示す構成要素と同一の構成要素には同一の符号を付すことにより説明を省略する。
【００５９】
図４に示すように、第３の実施形態は、候補画像選択部１１におけるフレームヘッダ位置検出部１１１の後段に、動画像符号化データストリームを構成する各フレームが独立で符号化されているか又は予測符号化されているかをフレームヘッダ情報から読み取り、フレームヘッダ情報蓄積部２４に出力するフレームヘッダ情報読出部１１３と、フレームヘッダ情報蓄積部２４から読み込んだフレームのなかから、独立で符号化されているフレームを抽出し、そのフレームのデータストリーム中における位置を検出して独立符号化フレームとして独立符号化フレーム位置蓄積部２５に出力する独立符号化フレーム抽出部１１４とを設けることを特徴とする。
【００６０】
以下、このように構成された代表画像表示装置の動作を説明する。
【００６１】
まず、図４において、候補画像選択部１１は、動画像符号化データストリーム蓄積部２１から少なくとも１つの動画像符号化データストリームを読み込む。このとき、候補画像選択部１１は、読み込んだ動画像符号化データストリームが複数の場合には、そのなかから、あらかじめ指定された表示候補である動画像符号化データストリームを選択する。続いて、フレームヘッダ位置検出部１１１は、選択された動画像符号化データストリーム中の各フレームのフレームヘッダを抽出し、そのヘッダ位置をフレームヘッダ位置蓄積部２２に蓄積する。続いて、フレームヘッダ情報読出部１１３は、フレームヘッダ位置蓄積部２２から各フレームのヘッダ位置を読み出し、さらにその内容であるヘッダ情報を読み出して、フレームヘッダ情報蓄積部２４に出力する。続いて、独立符号化フレーム抽出部１１４は、フレームヘッダ情報蓄積部２４から読み出したヘッダ情報により、独立で符号化されたフレームのみを抽出し、抽出された各フレームのヘッダ位置を独立符号化フレーム位置蓄積部２５にそれぞれ出力する。
【００６２】
次に、代表画像決定部１２は、独立符号化フレーム位置蓄積部４０４に蓄積されている、独立で符号化された各フレームのヘッダ位置を読み出す。
【００６３】
これ以降は、第１の実施形態と同様に、符号長が最大であるフレームを判定し、さらに、判定されたフレームのみを復号化して代表画像を表示する。
【００６４】
このように、第３の実施形態によると、候補画像選択部１１に、各フレームのフレームヘッダ情報を読み出すフレームヘッダ情報読出部１１３と、フレームヘッダ情報から独立で符号化されたフレームを抽出する独立符号化フレーム抽出部１１４を設けている。このため、予測符号化を行なう動画像圧縮符号化技術を用いて圧縮符号化された、独立符号化フレームと予測符号化フレームという異なるアルゴリズムで符号化されたフレームが混在するような動画像符号化データストリームを扱う場合においても、単独では復号化できないため、独立符号化フレームと比べて復号化に時間を要する予測符号化フレームを代表画像の候補から除外することができる。その結果、独立符号化フレームのみを対象として代表画像を選択できるので、より効率的に代表画像を抽出することが可能となる。
【００６５】
（第４の実施形態）
以下、本発明の第４の実施形態について図面を参照しながら説明する。
【００６６】
図５は本発明の第４の実施形態に係る代表画像表示装置のブロック構成を示している。図５において、図１に示す構成要素と同一の構成要素には同一の符号を付すことにより説明を省略する。
【００６７】
図５に示すように、第４の実施形態は、代表画像決定部１２において、最大符号長画像判定部１２２に代えて、判定基準である基準符号長と各フレームの符号長との差を求め、この差が大きいフレームを代表画像として判定する符号長比較判定部１２３を設けることを特徴とする。ここでは、基準符号長として各データストリーム中の先頭フレームの符号長を用いる。
【００６８】
以下、このように構成された代表画像表示装置の動作を説明する。
【００６９】
まず、第１の実施形態と同様に、候補画像選択部１１において、フレームヘッダ位置検出部１１１は、入力された動画像符号化データストリームから各フレームのヘッダ位置を検出して、検出した各ヘッダ位置をフレームヘッダ位置蓄積部２２に蓄積する。
【００７０】
次に、代表画像決定部１２において、１フレーム分符号長算出部１２１は、各フレームのヘッダ位置の差から各フレームの符号長を算出し、その算出結果をフレーム符号長蓄積部２３に蓄積する。続いて、符号長比較判定部１２３は、フレーム符号長蓄積部２３に蓄積された各フレームの符号長を読み出し、基準符号長と順次比較する。ここでは、最初に基準符号長を超えた符号長のフレームを抽出する。
【００７１】
以降は、第１の実施形態と同様に、抽出されたフレームのヘッダ位置の情報に基づいてフレームを復号化して表示する。
【００７２】
このように、第４の実施形態によると、代表画像決定部１２に、各フレームの符号長と基準符号長とを比較する符号長比較判定部１２３を設けているため、データストリームの先頭のフレームから順次比較すると、基準符号長を超える符号長を持つフレームが検出された時点で比較処理を終了することができる。従って、必ずしもデータストリーム中のすべてのフレームを比較する必要がなくなるので、処理時間をさらに短縮することができる。
【００７３】
なお、第４の実施形態においては、基準符号長に先頭フレームの符号長を用いたが、これに限られず、外部から指定した値を用いても良く、また、ストリームデータ中から抽出してもよい。
【００７４】
その上、フレームヘッダ位置検出部１１１が１フレームずつヘッダ位置を検出し、検出したフレームのヘッダ位置をフレームヘッダ位置蓄積部２２に蓄積し、さらに、１フレーム分符号長算出部１２１が蓄積された１フレームずつのヘッダ位置から符号長を算出する場合には、最初に基準符号長を超えた符号長のフレームが代表画像となるため、フレームヘッダ位置蓄積部２２及びフレーム符号長蓄積部２３が必要とする記憶容量を小さくすることができる。
【００７５】
（第５の実施形態）
以下、本発明の第５の実施形態について図面を参照しながら説明する。
【００７６】
図６は本発明の第５の実施形態に係る代表画像表示装置のブロック構成を示している。図６において、図１に示す構成要素と同一の構成要素には同一の符号を付すことにより説明を省略する。
【００７７】
図６に示すように、第５の実施形態は、代表画像決定部１２における１フレーム分符号長算出部１２１の後段に、連続する２つのフレーム間の符号長の差（変化量）を算出して、その変化量を符号長変化量蓄積部２７に出力する１フレーム分符号長変化量算出部１２４と、符号長変化量蓄積部２７から読み出した符号長の変化量をそれぞれ比較して、変化量の最大値を形成するフレームを代表画像に決定する変化量比較判定部１２５とを設けることを特徴とする。ここでは、連続する２つのフレームのうち後続フレームの符号長と先頭フレームの符号長との差を符号長の変化量と定義する。
【００７８】
以下、このように構成された代表画像表示装置の動作を説明する。
【００７９】
まず、第１の実施形態と同様に、候補画像選択部１１において、フレームヘッダ位置検出部１１１は、入力された動画像符号化データストリームから各フレームのヘッダ位置を検出して、検出した各ヘッダ位置をフレームヘッダ位置蓄積部２２に蓄積する。
【００８０】
次に、代表画像決定部１２において、１フレーム分符号長算出部１２１は、各フレームのヘッダ位置の差から各フレームの符号長を算出し、その算出結果をフレーム符号長蓄積部２３に蓄積する。続いて、１フレーム分符号長変化量算出部１２４は、各フレームの符号長蓄積部２３から各フレームの符号長を読み出し、連続するフレーム間で符号長の差を取って、これらフレーム間の符号長の変化量を算出し、その算出結果を符号長変化量蓄積部２７に出力する。ここで、連続するフレーム間の符号長の変化量を算出する際の算出順序は特に限定されないが、例えば、第２のフレームと第１のフレームとの間の符号長の変化量を算出したとすると、次には第３のフレームと第２のフレームとの間の符号長を算出する。
【００８１】
続いて、変化量比較判定部１２５は、符号長変化量蓄積部２７から、連続するフレーム間の符号長の変化量を読み出し、変化量が最大となるフレームを選択する。ここでは、選択された連続する２フレームのうち、後続のフレームが代表画像となる。
【００８２】
以降は、第１の実施形態と同様に、選択されたフレームのヘッダ位置の情報に基づいてフレームを復号化して表示する。
【００８３】
第５の実施形態によると、連続するフレーム間で符号長の変化量が最大となるフレームを代表画像として選択する。この連続するフレーム間で変化量が最大となるフレームは、データストリーム中で画像の特徴部分を含むこととなるので、ユーザが動画像を認識する際の判断が容易となる。
【００８４】
なお、連続するフレーム間の符号長の変化量に基準値を設けると、代表画像の選択に要する処理時間を短縮することができる。
【００８５】
（第６の実施形態）
以下、本発明の第６の実施形態について図面を参照しながら説明する。
【００８６】
図７は本発明の第６の実施形態に係る代表画像表示装置のブロック構成を示している。図７において、図１に示す構成要素と同一の構成要素には同一の符号を付すことにより説明を省略する。
【００８７】
図７に示すように、第６の実施形態は、代表画像決定部１２において、最大符号長画像判定部１２２に代えて、データストリームの各フレームの符号長を用いて複数の代表画像を決定する複数代表画像選択部１２６を設け、さらに、代表画像表示部１３において、画像表示部１３２に代えて、１つの動画像（データストリーム）当たり複数の代表画像を表示できる複数画像表示部１３３とを設けることを特徴とする。
【００８８】
以下、このように構成された代表画像表示装置の動作を説明する。
【００８９】
まず、第１の実施形態と同様に、候補画像選択部１１において、フレームヘッダ位置検出部１１１は、入力された動画像符号化データストリームから各フレームのヘッダ位置を検出して、検出した各ヘッダ位置をフレームヘッダ位置蓄積部２２に蓄積する。
【００９０】
次に、代表画像決定部１２において、１フレーム分符号長算出部１２１は、各フレームのヘッダ位置の差から各フレームの符号長を算出し、その算出結果をフレーム符号長蓄積部２３に蓄積する。続いて、複数代表画像選択部１２６は、フレーム符号長蓄積部２３に蓄積された各フレームの符号長を読み出し、読み出した符号長のうち大きい値から順に対応する複数のフレームを選択してそれらを代表画像に決定する。
【００９１】
次に、代表画像表示部１３には、選択された複数のフレームの各ヘッダ位置が入力される。ここで、代表画像復号部１３１は、入力された複数のフレームのみを復号化し、復号化された複数の静止画像は、複数画像表示部１３３に一覧表示される。
【００９２】
このように、第６の実施形態によると、１動画像当たり複数の代表画像を抽出して表示するため、動画像の内容がより認識し易くなる。
【００９３】
（第７の実施形態）
以下、本発明の第７の実施形態について図面を参照しながら説明する。
【００９４】
図８は本発明の第７の実施形態に係る代表画像表示装置のブロック構成を示している。図８において、図１に示す構成要素と同一の構成要素には同一の符号を付すことにより説明を省略する。
【００９５】
図８に示すように、第７の実施形態は、代表画像決定部１２において、１フレーム分符号長算出部１２１及び最大符号長画像判定部１２２に代えて、連続するＮ（但し、Ｎは２以上の整数である。）個のフレームごとに符号長の和を算出し、それらをＮフレーム分符号長蓄積部２８に出力するＮフレーム分符号長算出部１２７と、Ｎフレーム分の符号長の和をそれぞれ比較し、最大値を持つＮ個のフレームを代表画像とするＮフレーム分符号長比較判定部１２８とを設けている。
【００９６】
さらに、代表画像表示部１３において、代表画像復号部１３１及び画像表示部１３２に代えて、連続するＮフレーム分の代表画像を復号する代表動画像復号部１３４と、各代表画像のプレビューを短い動画像の繰り返しで表示する動画像表示部１３５とを設けることを特徴とする。ここで、Ｎの値には特に制限はなく、また、Ｎ個の連続するフレームの内容は、１つの独立符号化されたフレームと、それに続く（Ｎ−１）枚の予測符号化されたフレームとする。
【００９７】
以下、このように構成された代表画像表示装置の動作を説明する。
【００９８】
まず、第１の実施形態と同様に、候補画像選択部１１において、フレームヘッダ位置検出部１１１は、入力された動画像符号化データストリームから各フレームのヘッダ位置を検出して、検出した各ヘッダ位置をフレームヘッダ位置蓄積部２２に蓄積する。
【００９９】
次に、代表画像決定部１２において、Ｎフレーム分符号長算出部１２７は、各Ｎフレームの先頭フレームのヘッダ位置と末尾フレームの次のフレームのヘッダ位置との差からＮフレーム分の符号長を算出し、その算出結果をＮフレーム分符号長蓄積部２８に出力する。続いて、Ｎフレーム分符号長比較判定部１２８は、Ｎフレーム分符号長蓄積部２８からＮフレームごとの符号長を読み出し、符号長が最大となるＮフレームを選択してそれらを代表画像に決定する。
【０１００】
次に、代表画像表示部１３において、代表動画像復号部１３４は入力されたＮフレームを復号化して動画像を生成し、動画像表示部１３５は生成された動画像を一覧表示する。
【０１０１】
このように、第７の実施形態によると、代表画像（レビュー画像）を静止画像としてではなく、Ｎフレーム分の動画像として表示することができるため、動画像の内容をより一層認識し易くなる。
【０１０２】
なお、ここでは、Ｎ個の連続するフレームを、１つの独立符号化されたフレームと、それに続く（Ｎ−１）枚の予測符号化されたフレームとにより構成したが、これに限られず、同一のアルゴリズムで符号化された画像を同数ずつ含んでいればよい。
【０１０３】
【発明の効果】
本発明に係る代表画像表示方法及び代表画像表示装置によると、圧縮符号化された動画像符号化データストリームに含まれるいずれのフレームをも復号化することなく代表画像を決定することができるため、圧縮符号化された動画像データからその代表画像を表示する際の待ち時間を大幅に短縮することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る代表画像表示装置を示すブロック図である。
【図２】（ａ）〜（ｄ）は本発明の第１の実施形態に係る代表画像表示装置の動作を示し、（ａ）は圧縮符号化された複数のフレームからなる動画像符号化データストリームの構成を示す模式図であり、（ｂ）はフレームごとの符号長を模式的に示す図であり、（ｃ）は動画像符号化データストリームとそのなかで代表画像として選択されたフレームとを模式的に示す図であり、（ｄ）は代表画像として復号化された静止画像が表示された様子を示す斜視図である。
【図３】本発明の第２の実施形態に係る代表画像表示装置を示すブロック図である。
【図４】本発明の第３の実施形態に係る代表画像表示装置を示すブロック図である。
【図５】本発明の第４の実施形態に係る代表画像表示装置を示すブロック図である。
【図６】本発明の第５の実施形態に係る代表画像表示装置を示すブロック図である。
【図７】本発明の第６の実施形態に係る代表画像表示装置を示すブロック図である。
【図８】本発明の第７の実施形態に係る代表画像表示装置を示すブロック図である。
【符号の説明】
１１      候補画像選択部
１１１    フレームヘッダ位置検出部
１２      代表画像決定部
１２１    １フレーム分符号長算出部
１２２    最大符号長画像判定部
１２３    符号長比較判定部
１２４    １フレーム分符号長変化量算出部
１２５    変化量比較判定部
１２６    複数代表画像選択部
１２７    Ｎフレーム分符号長算出部
１２８    Ｎフレーム分符号長比較判定部
１３      代表画像表示部
１３１    代表画像復号部
１３２    画像表示部
１３３    複数画像表示部
１３４    代表動画像復号部
１３５    動画像表示部
２１      動画像符号化データストリーム蓄積部
２２      フレームヘッダ位置蓄積部
２３      フレーム符号長蓄積部
２４      フレームヘッダ情報蓄積部
２５      独立符号化フレーム位置蓄積部
２７      符号長変化量蓄積部
２８      Ｎフレーム分符号長蓄積部
１０１    動画像符号化データストリーム
１０２    フレーム
１０２ａ  フレームヘッダ
１０２ｂ  フレーム本体
１０３    フレーム
１０３ａ  フレームヘッダ
１０３ｂ  フレーム本体
【図１】
2004320646.tif 000003
【図２】
2004320646.tif 000004
【図３】
2004320646.tif 000005
【図４】
2004320646.tif 000006
【図５】
2004320646.tif 000007
【図６】
2004320646.tif 000008
【図７】
2004320646.tif 000009
【図８】
2004320646.tif 000010