(57)【要約】【課題】  サムネイル動画を再生するために必要なフレームバッファを低減する。【解決手段】  デコード部１０１は、入力されたデジタル映像信号を映像に復号する。画像縮小部１０２は、復号された映像を任意のサイズに縮小する。フレームバッファ１０３は、画像縮小部によって縮小された映像（縮小映像）を一時的に格納する。表示部は、フレームバッファ１０４に格納された縮小映像（サムネイル）を表示する。【選択図】  図１
2005323018.tif 000002
【特許請求の範囲】
【請求項１】
符号化された映像信号（符号化映像信号）を映像信号に復号化し、当該映像信号を所定のサイズに縮小するデコード・縮小部と、
前記デコード・縮小部で縮小された映像信号（縮小映像信号）を格納するフレームバッファとを備える
ことを特徴とするデジタル映像信号処理装置。
【請求項２】
請求項１において、
前記符号化映像信号は、複数のフレームを含み、
前記フレームは、
複数の第１の画素ブロックを含み、
前記第１の画素ブロックは、
前記フレームを所定のサイズに区分したときの区画単位であり、
前記第１の画素ブロックのデータは、
当該第１の画素ブロックの画素値を示すデータ（画素データ）から当該第１の画素ブロックの空間周波数成分を示すデータ（周波数データ）に直交変換されており、
前記デコード・縮小部は、
前記第１の画素ブロックを周波数データから画素データに変換する逆直交変換部と、
前記逆直交変換部によって周波数データから画素データに変換された画素ブロックを所定のサイズに縮小する画素ブロック縮小部とを含み、
前記フレームバッファは、
前記画素ブロック縮小部によって縮小された第１の画素ブロック（第１の縮小画素ブロック）を自己の所定の位置に格納することにより縮小動画像を生成する
ことを特徴とするデジタル映像信号処理装置。
【請求項３】
請求項２において、
前記フレームは、さらに
前記第１の画素ブロックと同じサイズを有する第２の画素ブロックを含み、
前記第２の画素ブロックのデータは、
インター符号化されており、かつ当該第２の画素ブロックの画素値を示すデータ（画素データ）から当該第２の画素ブロックの空間周波数成分を示すデータ（周波数データ）に直交変換されており、
前記逆直交変換部は、さらに
前記第２の画素ブロックを周波数データから画素データに変換し、
前記画素ブロック縮小部は、さらに
前記逆直交変換部によって周波数データから画素データに変換された第２の画素ブロックを前記所定のサイズに縮小し、
前記デジタル映像信号処理装置は、さらに
前記フレームバッファに格納された縮小動画像を参照して、前記画素ブロック縮小部によって縮小された第２の画素ブロック（第２の縮小画素ブロック）に対して動き補償による復号化を行う画素ブロック合成部をさらに備え、
前記フレームバッファは、さらに
前記画素ブロック合成部によって動き補償による復号化が行われた第２の縮小画素ブロックを自己の所定の位置に格納することにより縮小動画像を生成する
ことを特徴とするデジタル映像信号処理装置。
【請求項４】
請求項１において、
前記符号化映像信号は、複数のフレームを含み、
前記フレームは、
複数の第１の画素ブロックを含み、
前記第１の画素ブロックは、
前記フレームを所定のサイズに区分したときの区画単位であり、
前記第１の画素ブロックのデータは、
当該第１の画素ブロックの画素値を示すデータ（画素データ）から当該第１の画素ブロックの空間周波数成分を示すデータ（周波数データ）に直交変換されており、
前記デジタル映像信号処理装置は、前記デコード・縮小部に代えて、
所定の基底画像を用いて、前記画素ブロックを周波数データから画素データに変換しかつ当該第１の画素ブロックを縮小する縮小逆直交変換部を新たに備え、
前記フレームバッファは、
前記縮小逆直交変換部によって得られた第１の画素ブロックを自己の所定の位置に格納することにより縮小動画像を生成する
ことを特徴とするデジタル映像信号処理装置。
【請求項５】
請求項４において、
前記フレームは、さらに
前記第１の画素ブロックと同じサイズを有する第２の画素ブロックを含み、
前記第２の画素ブロックのデータは、
インター符号化されており、かつ当該第２の画素ブロックの画素値を示すデータ（画素データ）から当該第２の画素ブロックの空間周波数成分を示すデータ（周波数データ）に直交変換されており、
前記縮小逆直交変換部は、さらに
所定の基底画像を用いて、前記第２の画素ブロックを周波数データから画素データに変換しかつ当該第２の画素ブロックを前記所定のサイズ縮小し、
前記デジタル映像信号処理装置は、さらに
前記フレームバッファに格納された縮小動画像を参照して、前記縮小逆直交変換部によって取得された第２の画素ブロック（第２の縮小画素ブロック）に対して動き補償による復号化を行う画素ブロック合成部を備え、
前記フレームバッファは、さらに
前記画素ブロック合成部によって動き補償による復号化が行われた第２の縮小画素ブロックを自己の所定の位置に格納することにより縮小動画像を生成する
ことを特徴とするデジタル映像信号処理装置。
【請求項６】
請求項４において、
前記縮小逆直交変換部は、さらに
前記周波数データのうち所定の空間周波数成分を示す部分に対して逆直交変換を行わない
ことを特徴とするデジタル映像信号処理装置。
【請求項７】
請求項３または請求項５において、
前記第２の画素ブロックは、さらに
フレーム間符号化に関する情報（参照ブロック情報）を含み、
前記デジタル映像信号処理装置は、さらに
前記第２の画素ブロックに含まれる参照ブロック情報を参照し、前記前記フレームバッファに格納された縮小動画像より縮小参照画素ブロックを生成する参照画像生成部を備え、
前記画素ブロック合成部は、
前記参照画像生成部によって生成された縮小参照画素ブロックと前記第２の縮小画素ブロックとを合成することにより動き補償による復号化を行う
ことを特徴とするデジタル映像信号処理装置。
【請求項８】
請求項１において、
前記符号化映像信号が多重化した多重符号化映像信号から各々の符号化映像信号を分離する映像信号分離部と、
前記映像信号分離部によって分離された各々の符号化映像信号を順番に選択するデコードスケジューリング部とをさらに備え、
前記デコード・縮小部は、
前記デコードスケジューリング部によって選択された符号化映像信号を映像信号に復号化し、当該映像信号を所定のサイズに縮小し、
前記フレームバッファは、
前記デコード・縮小部によって縮小された各々の映像信号を１つの混合映像データとして自己に格納する
ことを特徴とするデジタル映像信号処理装置。
【請求項９】
請求項８において、
前記多重符号化映像信号は、さらに
各々の符号化映像信号が格納されている位置を示す情報（映像信号位置情報）を含み、
前記映像信号分離部は、
前記多重符号化映像信号に含まれる映像信号位置情報を参照して、当該多重符号化映像信号から各々の符号化映像信号を分離する
ことを特徴とするデジタル映像信号処理装置。
【請求項１０】
請求項８において、
前記多重符号化映像信号には、前記符号化映像信号が時分割で多重化されており、
前記デジタル映像信号処理装置は、さらに
時分割に多重化された各々の前記符号化映像信号を自己に格納し、格納した当該符号化映像信号をフレーム単位で管理する入力映像信号バッファを備え、
前記映像信号分離部は、
前記時分割に多重化された各々の映像信号を前記入力映像信号バッファに格納する
ことを特徴とするデジタル映像信号処理装置。
【請求項１１】
請求項８において、
前記デコードスケジューリング部は、
前記映像信号分離部によって分離された各々の符号化映像信号をフレーム単位で順番に選択する
ことを特徴とするデジタル映像信号処理装置。
【請求項１２】
請求項８において、
複数の前記符号化映像信号を多重化することにより前記多重符号化映像信号を生成する映像信号多重化部をさらに備える
ことを特徴とするデジタル映像信号処理装置。
【請求項１３】
請求項８において、
前記フレームバッファに格納され混合映像データを符号化するエンコード部をさらに備える
ことを特徴とするデジタル映像信号処理装置。
【請求項１４】
請求項１３において、
前記エンコード部によって符号化された混合映像データを記録する記録部をさらに備える
ことを特徴とするデジタル映像信号処理装置。
【請求項１５】
請求項１３において、
前記エンコード部によって符号化された混合映像データ（符号化混合映像データ）を送信する伝送部をさらに備える
ことを特徴とするデジタル映像信号処理装置。
【請求項１６】
請求項７において、
前記符号化映像信号は、ＭＰＥＧ形式のビデオストリームであり、
前記第１の画素ブロックは、イントラ符号化されたマクロブロックであり、
前記第２の画素ブロックは、インター符号化されたマクロブロックであり、
前記参照ブロックデータは、動きベクトルである
ことを特徴とするデジタル映像信号処理装置。
【請求項１７】
符号化された映像信号（符号化映像信号）を映像信号に復号化し、当該映像信号を所定のサイズに縮小するデコード・縮小ステップと、
前記デコード・縮小ステップで縮小された映像信号（縮小映像信号）をフレームバッファに格納する格納ステップとを備える
ことを特徴とするデジタル映像信号処理方法。
【請求項１８】
請求項１７において、
前記符号化映像信号は、複数のフレームを含み、
前記フレームは、
複数の第１の画素ブロックを含み、
前記第１の画素ブロックは、
前記フレームを所定のサイズに区分したときの区画単位であり、
前記第１の画素ブロックのデータは、
当該第１の画素ブロックの画素値を示すデータ（画素データ）から当該第１の画素ブロックの空間周波数成分を示すデータ（周波数データ）に直交変換されており、
前記デコード・縮小ステップは、
前記画素ブロックを周波数データから画素データに変換する逆直交変換ステップと、
前記逆直交変換部によって周波数データから画素データに変換された第１の画素ブロックを所定のサイズに縮小する画素ブロック縮小ステップとを含み、
前記格納ステップは、
前記画素ブロック縮小部によって縮小された第１の画素ブロック（第１の縮小画素ブロック）を前記フレームバッファの所定の位置に格納することにより縮小動画像を生成する
ことを特徴とするデジタル映像信号処理方法。
【請求項１９】
請求項１８において、
前記フレームは、さらに
前記第１の画素ブロックと同じサイズを有する第２の画素ブロックを含み、
前記第２の画素ブロックのデータは、
インター符号化されており、かつ当該第２の画素ブロックの画素値を示すデータ（画素データ）から当該第２の画素ブロックの空間周波数成分を示すデータ（周波数データ）に直交変換されており、
前記第２の画素ブロックは、フレーム間符号化に関する情報（参照ブロック情報）を含み、
前記逆直交変換ステップは、さらに
前記第２の画素ブロックを周波数データから画素データに変換し、
前記画素ブロック縮小ステップは、さらに
前記逆直交変換部によって周波数データから画素データに変換された第２の画素ブロックを前記所定のサイズに縮小し、
前記デジタル映像信号処理方法は、さらに
前記第２の画素ブロックに含まれる参照ブロック情報を参照し、前記前記フレームバッファに格納された縮小動画像より縮小参照画素ブロックを生成する参照画像生成ステップと、
前記参照画像生成ステップによって生成された縮小参照画素ブロックと前記画素ブロック縮小ステップによって縮小された第２の画素ブロック（第２の縮小画素ブロック）とを合成することにより動き補償による復号化を行う画素ブロック合成ステップをさらに備え、
前記格納ステップは、さらに
前記画素ブロック合成ステップによって動き補償による復号化が行われた第２の縮小画素ブロックを前記フレームバッファの所定の位置に格納することにより縮小動画像を生成する
ことを特徴とするデジタル映像信号処理方法。
【請求項２０】
請求項１７において、
前記符号化映像信号は、複数のフレームを含み、
前記フレームは、
複数の第１の画素ブロックを含み、
前記第１の画素ブロックは、
前記フレームを所定のサイズに区分したときの区画単位であり、
前記第１の画素ブロックのデータは、
当該第１の画素ブロックの画素値を示すデータ（画素データ）から当該第１の画素ブロックの空間周波数成分を示すデータ（周波数データ）に直交変換されており、
前記デジタル映像信号処理方法は、前記デコード・縮小ステップに代えて、
所定の基底画像を用いて、前記画素ブロックを周波数データから画素データに変換しかつ当該画素ブロックを縮小する縮小逆直交変換ステップを新たに備え、
前記格納ステップは、
前記縮小逆直交変換部によって得られた第１の画素ブロックをフレームバッファの所定の位置に格納することにより縮小動画像を生成する
ことを特徴とするデジタル映像信号処理方法。
【請求項２１】
請求項２０において、
前記フレームは、さらに
前記第１の画素ブロックと同じサイズを有する第２の画素ブロックを含み、
前記第２の画素ブロックのデータは、
インター符号化されており、かつ当該第２の画素ブロックの画素値を示すデータ（画素データ）から当該第２の画素ブロックの空間周波数成分を示すデータ（周波数データ）に直交変換されており、
フレーム間符号化に関する情報（参照ブロック情報）を含み、
前記縮小逆直交変換ステップは、さらに
前記第２の画素ブロックに含まれる参照ブロック情報を参照し、前記前記フレームバッファに格納された縮小動画像より縮小参照画素ブロックを生成する参照画像生成ステップと、
前記フレームバッファに格納された縮小動画像を参照して、前記縮小逆直交変換ステップによって取得された第２の画素ブロック（第２の縮小画素ブロック）に対して動き補償による復号化を行う画素ブロック合成ステップとをさらに備え、
前記格納ステップは、
前記縮小画素ブロック合成ぶによって動き補償による復号化が行われた第２の縮小画素ブロックをフレームバッファの所定の位置に格納することにより縮小動画像を生成する
ことを特徴とするデジタル映像信号処理方法。
【請求項２２】
請求項１７において、
前記デジタル映像信号処理方法は、前記符号化映像信号を時分割で多重化した多重符号化映像信号を処理する方法であり、
前記多重符号化映像信号は、
各々の符号化映像信号が存在する位置を示す情報（映像信号位置情報）を含み、
前記デジタル映像信号処理方法は、さらに、
前記多重符号化映像信号に含まれる映像信号位置情報を参照し、当該多重符号化映像信号から各々の符号化映像信号を分離する映像信号分離ステップと、
前記映像信号分離ステップによって分離された各々の符号化映像信号を入力映像信号バッファに格納し、格納した当該符号化映像信号をフレーム単位で管理する格納管理ステップと、
前記格納管理ステップによって入力映像信号バッファに格納された各々の符号化映像信号をフレーム単位で順番に選択するデコードスケジューリングステップとを備え、
前記デコード・縮小ステップは、
前記デコードスケジューリングステップによって選択された符号化映像信号を映像信号に復号化し、当該映像信号を所定のサイズに縮小し、
前記格納ステップは、
前記デコード・縮小部によって縮小された各々の映像信号を１つの混合映像データとして前記フレームバッファに格納する
ことを特徴とするデジタル映像信号処理方法。
【請求項２３】
請求項１９または請求項２１において、
前記符号化映像信号は、ＭＰＥＧ形式のビデオストリームであり、
前記第１の画素ブロックは、イントラ符号化されたマクロブロックであり、
前記第２の画素ブロックは、インター符号化されたマクロブロックであり、
前記参照ブロックデータは、動きベクトルである
ことを特徴とするデジタル映像信号処理方法。
【請求項２４】
請求項１において、
前記符号化映像信号は、複数の動画像を含み、
前記動画像は、複数の画素ブロックを含み、
前記画素ブロックは、
前記動画像を所定のサイズに区分したときの区画単位であり、
前記デコード・縮小部は、
前記動画像に含まれる画素ブロックを復号化し、当該復号化した画素ブロック（復号化画素ブロック）を所定のサイズに縮小し、
前記フレームバッファは、
前記デコード・縮小部によって縮小された復号化画素ブロック（縮小画素ブロック）を自己の所定の位置に格納することにより縮小動画像を生成する
ことを特徴とするデジタル映像信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化された映像信号のサムネイル動画を作成する装置および方法に関する。
【背景技術】
【０００２】
映像データの一覧性を高める為には、映像データのある時点を示す縮小画を１画面に並べて配置したサムネイル（縮小静止画像）表示が有効である。従来のシステムでは、これらのサムネイル（縮小静止画像）をメニューまたはシーン一覧などの形式で表示し、この情報を元にユーザーが操作を行うといった機能を実現している。
【０００３】
現在ＤＶＤをはじめとするデジタル映像機器は動画を扱うものであるため、上記のサムネイルを動画として表示することは、内容をより正確に伝えることができるため有効である。サムネイル動画を再生する方法として以下の方法が紹介されている。
【０００４】
特許文献１の方法は、サムネイル動画に用いる縮小動画像をあらかじめ作成して記憶部に記憶しておき、再生時に記憶部に記憶された縮小動画像の中から再生に必要な縮小動画像を出力する。記憶部には、サイズの異なる縮小動画像が記憶されている。
【０００５】
特許文献２の方法は、表示画面上に各々の映像データのタイトルが表示されており、そのタイトルのうち１つを選択すると選択された映像データのサムネイル動画が再生される。
【特許文献１】特開平１１−２８４９４８
【特許文献２】特開２００１−１５７１４７
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１では対象となる動画の1フレーム全体をデコードした後に縮小し、合成画面のフレームバッファに格納するという処理を繰り返し、表示すべき画像を作成していた。
【０００７】
また、特許文献２では複数のサムネイル動画を同時に再生するためには、複数のデコーダや画像合成装置を搭載するなどの対応が必要となり、資源が限られた一般的な民生機器での実現は困難であった。
【０００８】
本発明の目的は、サムネイル動画用の縮小動画像をあらかじめ記憶しておく必要がなく、１つのデコーダによって複数のサムネイル動画を同時に再生することができる装置および方法を提供することである。
【課題を解決するための手段】
【０００９】
この発明の１つの局面に従うと、デジタル映像信号処理装置は、デコード・縮小部と、
フレームバッファとを備える。デコード・縮小部は、符号化された映像信号（符号化映像信号）を映像信号に復号化し、当該映像信号を所定のサイズに縮小する。フレームバッファは、上記デコード・縮小部で縮小された映像信号（縮小映像信号）を格納する。
【００１０】
上記デジタル映像信号装置では、復号した動画像をその場で縮小し直接フレームバッファへ格納することにより、必要となるフレームバッファを削減することができる。
【００１１】
好ましくは、上記符号化映像信号は、複数のフレームを含む。フレームは、複数の第１の画素ブロックを含む。第１の画素ブロックは、フレームを所定のサイズに区分したときの区画単位である。第１の画素ブロックのデータは、その第１の画素ブロックの画素値を示すデータ（画素データ）からその第１の画素ブロックの空間周波数成分を示すデータ（周波数データ）に直交変換されている。上記デコード・縮小部は、逆直交変換部と、画素ブロック縮小部とを含む。逆直交変換部は、第１の画素ブロックを周波数データから画素データに変換する。画素ブロック縮小部は、逆直交変換部によって周波数データから画素データに変換された画素ブロックを所定のサイズに縮小する。フレームバッファは、画素ブロック縮小部によって縮小された画素ブロック（縮小画素ブロック）を自己の所定の位置に格納することにより縮小動画像を生成する。
【００１２】
上記デジタル映像信号処理装置では、画素ブロック単位で復号化した後に画素ブロック単位で縮小することにより、１枚のフレーム全てを復号化した後にそのフレームを縮小する場合よりも処理に必要となるフレームバッファを低減することができる。
【００１３】
好ましくは、上記フレームは、さらに上記第１の画素ブロックと同じサイズを有する第２の画素ブロックを含む。第２の画素ブロックのデータは、インター符号化されており、かつその第２の画素ブロックの画素値を示すデータ（画素データ）からその第２の画素ブロックの空間周波数成分を示すデータ（周波数データ）に直交変換されている。上記逆直交変換部は、さらに第２の画素ブロックを周波数データから画素データに変換する。上記画素ブロック縮小部は、さらに逆直交変換部によって周波数データから画素データに変換された第２の画素ブロックを上記所定のサイズに縮小する。上記デジタル映像信号処理装置は、さらに画素ブロック合成部をさらに備える。画素ブロック合成部は、上記フレームバッファに格納された縮小動画像を参照して、上記画素ブロック縮小部によって縮小された第２の画素ブロック（第２の縮小画素ブロック）に対して動き補償による復号化を行う。上記フレームバッファは、さらに画素ブロック合成部によって動き補償による復号化が行われた第２の縮小画素ブロックを自己の所定の位置に格納することにより縮小動画像を生成する。
【００１４】
上記デジタル映像信号処理装置では、フレームバッファに格納された縮小動画像を参照して動き補償による復号化を行うことにより、フレーム間予測符号化された画素ブロックを復号化することができる。
【００１５】
好ましくは、上記符号化映像信号は、複数のフレームを含む。フレームは、複数の第１の画素ブロックを含む。第１の画素ブロックは、フレームを所定のサイズに区分したときの区画単位である。第１の画素ブロックのデータは、その第１の画素ブロックの画素値を示すデータ（画素データ）からその第１の画素ブロックの空間周波数成分を示すデータ（周波数データ）に直交変換されている。上記デジタル映像信号処理装置は、上記デコード・縮小部に代えて、縮小逆直交変換部を新たに備える。縮小逆直交変換部は、所定の基底画像を用いて、第１の画素ブロックを周波数データから画素データに変換しかつその第１の画素ブロックを縮小する。上記フレームバッファは、縮小逆直交変換部によって得られた第１の画素ブロックを自己の所定の位置に格納することにより縮小動画像を生成する。
【００１６】
上記デジタル映像信号処理装置では、所定の基底画像のサイズを調整することにより縮小逆直交変換部によって取得される画素ブロックのサイズを設定することができる。これにより、逆直交変換と画素ブロックの縮小化とを同時に行うことができる。
【００１７】
好ましくは、上記フレームは、さらに上記第１の画素ブロックと同じサイズを有する第２の画素ブロックを含む。第２の画素ブロックのデータは、インター符号化されており、かつその第２の画素ブロックの画素値を示すデータ（画素データ）からその第２の画素ブロックの空間周波数成分を示すデータ（周波数データ）に直交変換されている。上記縮小逆直交変換部は、さらに所定の基底画像を用いて、第２の画素ブロックを周波数データから画素データに変換しかつその第２の画素ブロックを上記所定のサイズ縮小する。上記デジタル映像信号処理装置は、さらに画素ブロック合成部を備える。画素ブロック合成部は、上記フレームバッファに格納された縮小動画像を参照して、上記縮小逆直交変換部によって取得された第２の画素ブロック（第２の縮小画素ブロック）に対して動き補償による復号化を行う。上記フレームバッファは、さらに画素ブロック合成部によって動き補償による復号化が行われた第２の縮小画素ブロックを自己の所定の位置に格納することにより縮小動画像を生成する。
【００１８】
上記デジタル映像信号処理装置では、フレームバッファに格納された縮小動画像を参照して動き補償による復号化を行うことにより、フレーム間予測符号化された画素ブロックを復号化することができる。
【００１９】
好ましくは、上記縮小逆直交変換部は、さらに上記周波数データのうち所定の空間周波数成分を示す部分に対して逆直交変換を行わない。
【００２０】
上記デジタル映像信号処理装置では、所定のデータに対して処理を行わないので、処理量を削減することができる。例えば、誤差範囲に含まれる周波数成分に該当する部分を全て復号しなければ、その分処理量を削減することができる。
【００２１】
好ましくは、上記第２の画素ブロックは、さらにフレーム間符号化に関する情報（参照ブロック情報）を含む。上記デジタル映像信号処理装置は、さらに参照画像生成部を備える。参照画像生成部は、上記第２の画素ブロックに含まれる参照ブロック情報を参照し、上記上記フレームバッファに格納された縮小動画像より縮小参照画素ブロックを生成する。上記画素ブロック合成部は、参照画像生成部によって生成された縮小参照画素ブロックと上記第２の縮小画素ブロックとを合成することにより動き補償による復号化を行う。
【００２２】
上記デジタル映像信号処理装置では、参照ブロック情報（例えば動きベクトル等）を参照しフレームバッファに格納された縮小動画像より、動き補償による復号化に第２の縮小画素ブロックと同じサイズの縮小参照画素ブロックを用いることにより、フレーム間予測符号化された画素ブロックを復号化することができる。
【００２３】
好ましくは、上記デジタル映像信号処理装置は、さらに映像信号分離部と、デコードスケジューリング部とを備える。映像信号分離部は、上記符号化映像信号が多重化した多重符号化映像信号から各々の符号化映像信号を分離する。デコードスケジューリング部は、映像信号分離部によって分離された各々の符号化映像信号を順番に選択する。上記デコード・縮小部は、デコードスケジューリング部によって選択された符号化映像信号を映像信号に復号化し、その映像信号を所定のサイズに縮小する。上記フレームバッファは、上記デコード・縮小部によって縮小された各々の映像信号を１つの混合映像データとして自己に格納する。
【００２４】
上記デジタル映像信号処理装置では、フレームバッファに格納された混合画像データを表示すれば、縮小されたの複数の映像信号（サムネイル）を同時に表示することができる。これにより、１つのデコーダによって複数のサムネイル動画を再生できるので、装置のコストを低減することができる。
【００２５】
上記多重符号化映像信号は、さらに各々の符号化映像信号が格納されている位置を示す情報（映像信号位置情報）を含む。上記映像信号分離部は、多重符号化映像信号に含まれる映像信号位置情報を参照して、その多重符号化映像信号から各々の符号化映像信号を分離する。
【００２６】
好ましくは、上記多重符号化映像信号には、上記符号化映像信号が時分割で多重化されている。上記デジタル映像信号処理装置は、さらに入力映像信号バッファを備える。入力映像信号バッファは、時分割に多重化された各々の上記符号化映像信号を自己に格納し、格納したその符号化映像信号をフレーム単位で管理する。上記映像信号分離部は、上記時分割に多重化された各々の映像信号を入力映像信号バッファに格納する。
【００２７】
好ましくは、上記デコードスケジューリング部は、上記映像信号分離部によって分離された各々の符号化映像信号をフレーム単位で順番に選択する。
【００２８】
好ましくは、上記デジタル映像信号処理装置は、映像信号多重化部をさらに備える。映像信号多重化部は、複数の上記符号化映像信号を多重化することにより上記多重符号化映像信号を生成する。
【００２９】
好ましくは、上記デジタル映像信号処理装置は、エンコード部をさらに備える。エンコード部は、上記フレームバッファに格納され混合映像データを符号化する。
【００３０】
好ましくは、上記デジタル映像信号処理装置は、記録部をさらに備える。記録部は、上記エンコード部によって符号化された混合映像データを記録する。
【００３１】
上記デジタル映像信号処理装置では、記録部に格納された混合映像データを復号化すれば、複数の映像信号のサムネイル動画を再生することができ、例えば、映像データの一覧などのメニュー映像として利用することができる。
【００３２】
好ましくは、上記デジタル映像信号処理装置は、伝送部をさらに備える。伝送部は、上記エンコード部によって符号化された混合映像データ（符号化混合映像データ）を送信する。
【００３３】
上記デジタル映像信号処理装置では、混合映像データを送信することにより、離れた場所でも混合映像データを受信すれば複数の映像信号のサムネイル動画を再生することができ、例えば、監視カメラなどとして利用することができる。
【００３４】
この発明のもう１つの局面に従うと、デジタル映像信号処理方法は、デコード・縮小ステップと、格納ステップとを備える。デコード・縮小ステップは、符号化された映像信号（符号化映像信号）を映像信号に復号化し、その映像信号を所定のサイズに縮小する。格納ステップは、デコード・縮小ステップで縮小された映像信号（縮小映像信号）をフレームバッファに格納する。
【００３５】
上記デジタル映像信号処理方法では、復号した映像信号をその場で縮小し直接フレームバッファへ格納することにより、必要となるフレームバッファを削減することができる。
【００３６】
好ましくは、上記符号化映像信号は、複数のフレームを含む。フレームは、複数の第１の画素ブロックを含む。第１の画素ブロックは、フレームを所定のサイズに区分したときの区画単位である。第１の画素ブロックのデータは、その第１の画素ブロックの画素値を示すデータ（画素データ）からその第１の画素ブロックの空間周波数成分を示すデータ（周波数データ）に直交変換されている。上記デコード・縮小ステップは、逆直交変換ステップと、画素ブロック縮小ステップとを含む。逆直交変換ステップは、第１の画素ブロックを周波数データから画素データに変換する。画素ブロック縮小ステップは、逆直交変換部によって周波数データから画素データに変換された第１の画素ブロックを所定のサイズに縮小する。上記格納ステップは、画素ブロック縮小部によって縮小された第１の画素ブロック（第１の縮小画素ブロック）を上記フレームバッファの所定の位置に格納することにより縮小動画像を生成する。
【００３７】
上記デジタル映像信号処理方法では、画素ブロック単位で復号化した後に画素ブロック単位で縮小することにより、１枚のフレーム全てを復号化した後にそのフレームを縮小する場合よりも処理に必要となるフレームバッファを低減することができる。
【００３８】
好ましくは、上記フレームは、さらに上記第１の画素ブロックと同じサイズを有する第２の画素ブロックを含む。第２の画素ブロックのデータは、インター符号化されており、かつその第２の画素ブロックの画素値を示すデータ（画素データ）からその第２の画素ブロックの空間周波数成分を示すデータ（周波数データ）に直交変換されている。第２の画素ブロックは、フレーム間符号化に関する情報（参照ブロック情報）を含む。上記逆直交変換ステップは、さらに第２の画素ブロックを周波数データから画素データに変換する。上記画素ブロック縮小ステップは、さらに上記逆直交変換部によって周波数データから画素データに変換された第２の画素ブロックを上記所定のサイズに縮小する。上記デジタル映像信号処理方法は、さらに参照画像生成ステップと、画素ブロック合成ステップをさらに備える。参照画像生成ステップは、第２の画素ブロックに含まれる参照ブロック情報を参照し、上記フレームバッファに格納された縮小動画像より縮小参照画素ブロックを生成する。画素ブロック合成ステップは、上記参照画像生成ステップによって生成された縮小参照画素ブロックと上記画素ブロック縮小ステップによって縮小された第２の画素ブロック（第２の縮小画素ブロック）とを合成することにより動き補償による復号化を行う。上記格納ステップは、さらに画素ブロック合成ステップによって動き補償による復号化が行われた第２の縮小画素ブロックを上記フレームバッファの所定の位置に格納することにより縮小動画像を生成する。
【００３９】
上記デジタル映像信号処理方法では、参照ブロック情報（例えば動きベクトル等）を参照しフレームバッファに格納された縮小動画像より、動き補償による復号化に第２の縮小画素ブロックと同じサイズの縮小参照画素ブロックを用いることにより、フレーム間予測符号化された画素ブロックを復号化することができる。
【００４０】
好ましくは、上記符号化映像信号は、複数のフレームを含む。フレームは、複数の第１の画素ブロックを含む。第１の画素ブロックは、フレームを所定のサイズに区分したときの区画単位である。第１の画素ブロックのデータは、その第１の画素ブロックの画素値を示すデータ（画素データ）からその第１の画素ブロックの空間周波数成分を示すデータ（周波数データ）に直交変換されている。上記デジタル映像信号処理方法は、上記デコード・縮小ステップに代えて、縮小逆直交変換ステップを新たに備える。縮小逆直交変換ステップは、所定の基底画像を用いて、第１の画素ブロックを周波数データから画素データに変換しかつその画素ブロックを縮小する。上記格納ステップは、縮小逆直交変換部によって得られた第１の画素ブロックをフレームバッファの所定の位置に格納することにより縮小動画像を生成する。
【００４１】
上記デジタル映像信号処理方法では、所定の基底画像のサイズを調整することにより縮小逆直交変換部によって取得される画素ブロックのサイズを設定することができる。これにより、逆直交変換と画素ブロックの縮小化とを同時に行うことができる。
【００４２】
好ましくは、上記フレームは、さらに上記第１の画素ブロックと同じサイズを有する第２の画素ブロックを含む。第２の画素ブロックのデータは、インター符号化されており、かつその第２の画素ブロックの画素値を示すデータ（画素データ）からその第２の画素ブロックの空間周波数成分を示すデータ（周波数データ）に直交変換されている。第２の画素ブロックのデータは、フレーム間符号化に関する情報（参照ブロック情報）を含む。上記縮小逆直交変換ステップは、さらに参照画像生成ステップと、画素ブロック合成ステップとをさらに備える。参照画像生成ステップは、第２の画素ブロックに含まれる参照ブロック情報を参照し、上記フレームバッファに格納された縮小動画像より縮小参照画素ブロックを生成する。画素ブロック合成ステップは、上記フレームバッファに格納された縮小動画像を参照して、上記縮小逆直交変換ステップによって取得された第２の画素ブロック（第２の縮小画素ブロック）に対して動き補償による復号化を行う。上記格納ステップは、上記画素ブロック合成ステップによって動き補償による復号化が行われた第２の縮小画素ブロックをフレームバッファの所定の位置に格納することにより縮小動画像を生成する。
【００４３】
上記デジタル映像信号処理方法では、参照ブロック情報（例えば動きベクトル等）を参照しフレームバッファに格納された縮小動画像より、動き補償による復号化に第２の縮小画素ブロックと同じサイズの縮小参照画素ブロックを用いることにより、フレーム間予測符号化された画素ブロックを復号化することができる。
【００４４】
好ましくは、上記デジタル映像信号処理方法は、上記符号化映像信号を時分割で多重化した多重符号化映像信号を処理する方法である。多重符号化映像信号は、各々の符号化映像信号が存在する位置を示す情報（映像信号位置情報）を含む。上記デジタル映像信号処理方法は、さらに映像信号分離ステップと、格納管理ステップと、デコードスケジューリングステップとを備える。映像信号分離ステップは、多重符号化映像信号に含まれる映像信号位置情報を参照し、その多重符号化映像信号から各々の符号化映像信号を分離する。格納管理ステップは、映像信号分離ステップによって分離された各々の符号化映像信号を入力映像信号バッファに格納し、格納したその符号化映像信号をフレーム単位で管理する。デコードスケジューリングステップは、格納管理ステップによって入力映像信号バッファに格納された各々の符号化映像信号をフレーム単位で順番に選択する。上記デコード・縮小ステップは、デコードスケジューリング部によって選択された符号化映像信号を映像信号に復号化し、その映像信号を所定のサイズに縮小する。上記格納ステップは、上記デコード・縮小部によって縮小された各々の映像信号を１つの混合映像データとして上記フレームバッファに格納する。
【００４５】
上記デジタル映像信号処理方法では、フレームバッファに格納された混合画像データを表示すれば、縮小されたの複数の映像信号（サムネイル）を同時に表示することができる。これにより、１つのデコード手順によって複数のサムネイル動画を再生できるので、装置のコストを低減することができる。
【００４６】
好ましくは、上記符号化映像信号は、ＭＰＥＧ形式のビデオストリームである。上記第１の画素ブロックは、イントラ符号化されたマクロブロックである。上記第２の画素ブロックは、インター符号化されたマクロブロックである。上記参照ブロックデータは、動きベクトルである。
【００４７】
好ましくは、上記符号化映像信号は、複数の動画像を含む。動画像は、複数の画素ブロックを含む。画素ブロックは、動画像を所定のサイズに区分したときの区画単位である。上記デコード・縮小部は、動画像に含まれる画素ブロックを復号化し、その復号化した画素ブロック（復号化画素ブロック）を所定のサイズに縮小する。上記フレームバッファは、上記デコード・縮小部によって縮小された復号化画素ブロック（縮小画素ブロック）を自己の所定の位置に格納することにより縮小動画像を生成する。
【００４８】
上記デジタル映像信号処理装置では、画素ブロック単位で復号化した後に画素ブロック単位で縮小することにより、１枚のフレーム全てを復号化した後にそのフレームを縮小する場合よりも処理に必要となるフレームバッファを低減することができる。
【発明の効果】
【００４９】
本発明により、複数の映像信号からサムネイル動画をリアルタイムに生成することが可能となり、DVDプレーヤ、レコーダなどの蓄積系映像機器への応用が可能なほか、伝送媒体を経由した遠隔監視やライブカメラなどの用途への応用も可能となる。
【００５０】
また、今後、ストリーム転送性能、デコード性能が飛躍的に向上することが予測されるが、これらの改善に対してスケーラビリティを備えているため、ハードウェアの設計変更などへの影響を低減することができる。
【発明を実施するための最良の形態】
【００５１】
以下、この発明の実施の形態を図面を参照して詳しく説明する。なお、図中同一または相当部分には同一の符号を付しその説明は繰り返さない。
【００５２】
（第１の実施形態）
〈全体構成〉
この発明の第１の実施形態によるデジタル映像信号処理装置１の全体構成を図１に示す。この装置は、デコード・縮小部１００と、フレームバッファ１０３と、表示部１０４とを備える。デコード・縮小部１００は、デコード部１０１と、画像縮小部１０２とを含む。デコード部１０１は、一般的なビデオストリーム（例えばモーションＪＰＥＧ等）を復号する任意の手段であり、入力されたデジタル映像信号を復号する。画像縮小部１０２は、デコード部１０１で復号された動画像を縮小する。フレームバッファ１０３は、画像縮小部１０２で縮小された動画像（縮小動画像）を一時的に格納する。表示部１０４は、フレームバッファ１０３に格納された縮小動画像を表示する。一般的には復号の処理と表示は非同期で行われることが多く、映像信号の復号と復号された映像の表示とを同期させるためにフレームバッファ１０３が存在する。
【００５３】
〈動作〉
次に、図１に示したデジタル映像信号処理装置１の動作について説明する。
【００５４】
まず、デコード部１０１は、デジタル映像信号を復号する。これにより、動画像が復号される。
【００５５】
次に、画像縮小部１０２は、デコード部１０１で復号された動画像を任意のサイズに縮小する。
【００５６】
次に、フレームバッファ１０３は、画像縮小部１０２で縮小された動画像（縮小動画像）を一時的に格納する。
【００５７】
次に、表示部１０４は、フレームバッファ１０３に格納された縮小動画像を表示する。
【００５８】
〈効果〉
以上のように、復号した動画像をその場で縮小し直接フレームバッファ１０３へ格納することにより、必要となるフレームバッファを削減することができる。
【００５９】
（第２の実施形態）
〈入力するデジタル映像信号〉
この発明の第２の実施形態によるデジタル映像信号処理装置２は、ＭＰＥＧ形式のビデオストリームを入力し処理する。ＭＰＥＧ形式のビデオストリームは、一般的に、複数のフレーム（ピクチャ）およびそのフレームに関する情報（表示タイミング等）を含む。ピクチャは，１６×１６ｐｉｘｅｌのマクロブロック単位に分割されており、マクロブロック層，ブロック層と階層的に構成されている。
【００６０】
《マクロブロック》
マクロブロックは、１６×１６ｐｉｘｅｌの正方形であり、８×８ｐｉｘｅｌのブロックを４つ含む。動き補償等はマクロブロック単位で行われる。マクロブロックには、インター符号化されたものと、イントラ符号化されたものとが存在する。インター符号化されたマクロブロックは、元の画像を復号するために動き補償による復号が必要なので、動きベクトルを含む。イントラ符号化されたマクロブロックは、それ単独で元の画像を復号することができ、動き補償による復号が必要ない。
【００６１】
《ブロック》
ブロックは、８×８ピクセルの正方形である。ＤＣＴ変換および量子化，逆ＤＣＴ変換および逆量子化等はブロック単位で行われる。
【００６２】
〈全体構成〉
この発明の第２の実施形態によるデジタル映像信号処理装置２の全体構成を図２に示す。この装置は、図１に示したデコード・縮小部１００に代えて、デコード・縮小部２００を備える。デコード・縮小部２００は、ピクチャ・スライスデコード部２０１と、逆ＤＣＴ変換部２０２と、マクロブロック縮小部２０３と、縮小マクロブロック合成部２０４と、縮小参照画像生成部２０５とを備える。ピクチャ・スライスデコード部２０１は、入力されたデジタル映像信号よりマクロブロック（ＤＣＴ係数列）を復号する。また、ピクチャ・スライスデコード部２０１は、必要に応じて、復号したマクロブロックより動きベクトルを取得する。逆ＤＣＴ変換部２０２は、ピクチャ・スライスデコード部２０１によって復号されたマクロブロック（ＤＣＴ係数列）をブロック単位で逆ＤＣＴ変換する。マクロブロック縮小部２０３は、逆ＤＣＴ変換部２０２によって逆ＤＣＴ変換されたマクロブロックを所定の倍率で縮小する。縮小マクロブロック合成部２０４は、必要に応じて、マクロブロック縮小部２０３によって縮小されたマクロブロックデータ（縮小マクロブロックデータ）に対して動き補償による復号を行う。縮小参照画像生成部２０５は、ピクチャ・スライスデコード部２０１で取得された動きベクトルを参照し、以前に復号された縮小動画像より動き補償による復号に用いられる縮小参照画像データを生成する。フレームバッファ１０３は、縮小マクロブロック合成部２０４より出力された縮小マクロブロックデータを所定の位置に格納する。表示部１０４は、フレームバッファ１０３において縮小動画像が完成すると、表示タイミング等を参照して順次縮小動画像を表示する。
【００６３】
〈動作〉
図２に示したデジタル映像信号処理装置２による動作について図３および図６を参照しつつ説明する。この装置による動作は、サムネイル動画を表示するため縮小動画像を作成するサムネイル作成処理（図３参照）およびその縮小動画像を表示するサムネイル表示処理（図６参照）より構成される。
【００６４】
《サムネイル作成処理》
まず、サムネイル作成処理について図３（フローチャート），図４（データ変化図）を参照しつつ説明する。
【００６５】
〔ステップＳＴ２０１〕
まず、ピクチャ・スライスデコード部２０１は、デジタル映像信号Ｄ２００を入力し、そのデジタル映像信号よりピクチャーレイヤー、スライスレイヤーと順に復号しマクロブロックを復号する。このマクロブロックは、８×８ｐｉｘｅｌのブロック（ＤＣＴ係数列）を４つ含む。例えば、ピクチャ・スライスデコード部２０１は、デジタル映像信号Ｄ２０１，Ｄ２０２よりマクロブロック（ＤＣＴ係数列）ＭＢ２０１，ＭＢ２０３を復号する。
【００６６】
〔ステップＳＴ２０２〕
次に、ピクチャ・スライスデコード部２０１は、復号したマクロブロックがインター符号化されたマクロブロックＭＢ２０３であるかもしくはイントラ符号化されたマクロブロックＭＢ２０１であるかを判断する。インター符号化されたマクロブロックＭＢ２０３であると判断した場合にはステップＳＴ２０３へ進む。イントラ符号化されたマクロブロックＭＢ２０１であると判断した場合にはステップＳＴ２０５へ進む。
【００６７】
〔ステップＳＴ２０３〕
ステップＳＴ２０２でインター符号化されたマクロブロックＭＢ２０３であると判断した場合、ピクチャ・スライスデコード部２０１は、復号したマクロブロックＭＢ２０３に含まれる動きベクトルを取得し、その動きベクトルを縮小参照画像生成部２０５へ出力する。デジタル映像信号はＭＰＥＧ形式のビデオストリームなので、イントラ符号化されたマクロブロックに復号化されるデジタル映像信号Ｄ２０１を復号化すると復号化されたマクロブロックＭＢ２０１には動きベクトルは含まれていないが、インター符号化されたマクロブロックに復号化されるデジタル映像信号Ｄ２０２を復号化すると復号化されたマクロブロックＭＢ２０３は動きベクトルを含んでいる。ピクチャ・スライスデコード部２０１は、この動きベクトルを取得する。
【００６８】
〔ステップＳＴ２０４〕
次に、縮小参照画像生成部２０５は、マクロブロック縮小部２０３におけるマクロブロックの縮小率を参照して、ピクチャ・スライスデコード部２０１より入力された動きベクトルの大きさを調整する。例えば、マクロブロック縮小部２０３におけるマクロブロックの縮小率が０．５倍であるならば、動きベクトルの大きさを０．５倍する。
【００６９】
〔ステップＳＴ２０５〕
次に、逆ＤＣＴ変換部２０２は、ピクチャ・スライスデコード部２０１によって復号されたマクロブロック（ＤＣＴ係数列）を逆ＤＣＴ変換し、マクロブロックデータを取得する。この場合、イントラ符号化されたマクロブロック（ＤＣＴ係数列）ＭＢ２０１はマクロブロックデータＭＢ２０２に逆ＤＣＴ変換され、インター符号化されたマクロブロック（ＤＣＴ係数列）ＭＢ２０３はマクロブロックデータＭＢ２０４に逆ＤＣＴ変換される。
【００７０】
〔ステップＳＴ２０６〕
次に、マクロブロック縮小部２０３は、逆ＤＣＴ変換部２０２によって取得されたマクロブロックデータを縮小する。例えば、マクロブロック縮小部２０３は、マクロブロックデータのピクセル値を間引きすることにより、マクロブロックデータを縮小する。マクロブロック縮小部２０３は、縮小したマクロブロックデータ（縮小マクロブロックデータ）を縮小マクロブロック合成部２０４へ出力する。この実施形態において、マクロブロック縮小部２０３での縮小率は、０．５倍と設定されているとする。よって、マクロブロックデータのサイズは、１６×１６ｐｉｘｅｌから８×８ｐｉｘｅｌに縮小される。この場合、イントラ符号化されたマクロブロックデータＭＢ２０２は縮小マクロブロックデータＳＭＢ２０１に縮小され、インター符号化されたマクロブロックデータＭＢ２０４は縮小マクロブロックデータＳＭＢ２０３に縮小される。
【００７１】
〔ステップＳＴ２０７〕
次に、縮小マクロブロック合成部２０４は、ステップＳＴ２０２と同様に、マクロブロック縮小部２０３から出力された縮小マクロブロックデータがＭＰＥＧ符号化の際にインター符号化されていたかもしくはイントラ符号化されていたかを判断する。イントラ符号化されていた縮小マクロブロックデータＳＭＢ２０１である場合にはＳＴ２０８へ進む。インター符号化されていた縮小マクロブロックデータＳＭＢ２０３である場合にはステップＳＴ２１０へ進む。
【００７２】
〔ステップＳＴ２０８〕
ステップＳＴ２０７でＭＰＥＧ符号化の際にイントラ符号化されていた縮小マクロブロックデータＳＭＢ２０１であると判断した場合、その縮小マクロブロックデータＳＭＢ２０１は単独で復号データとして成立するので、その縮小マクロブロックデータＳＭＢ２０１に対して動き補償による復号を行わなくてよい。よって、縮小参照画像生成部２０５は、動き補償による復号に必要となる縮小参照画像データＲＭＢを生成しない。次に、縮小マクロブロック合成部２０４は、フレームバッファ１０３の所定の位置にそのマクロブロックデータＳＭＢ２０１を格納する。例えば、縮小マクロブロック合成部２０４は、フレームバッファ１０３に格納しようとしている縮小マクロブロックのマクロブロックアドレスを参照し、そのマクロブロックが、ピクチャの左上端から何番目に位置するのかを判断し、その位置にマクロブロックを割り当てる。
【００７３】
〔ステップＳＴ２０９〕
次に、処理すべきデジタル映像信号が残っているか否かを判断する。処理すべきデジタル映像信号が残っている場合にはステップＳＴ２０１へ進む。処理すべきデジタル映像信号が残っていない場合には処理を終了する。
【００７４】
〔ステップＳＴ２１０〕
一方、ステップＳＴ２０７でＭＰＥＧ符号化の際にインター符号化されていた縮小マクロブロックデータＳＭＢ２０３であると判断された場合、その縮小マクロブロックデータＳＭＢ２０３は動き補償による復号が必要である。よって、縮小マクロブロック合成部２０４は、ピクチャ・スライスデコード部２０１によって取得された動きベクトルを参照して、マクロブロック縮小部２０３より出力された縮小マクロブロックデータＳＭＢ２０３に対して双方向の動き補償予測が必要であるかもしくは前方向の動き補償予測のみが必要であるかを判断する。前方向の動き補償予測のみが必要であると判断した場合にはステップＳＴ２１１へ進む。双方向の動き補償予測が必要であると判断した場合にはステップＳＴ２１４へ進む。
【００７５】
〔ステップＳＴ２１１〕
ステップＳＴ２１０で前方向の動き補償予測のみが必要であると判断した場合、縮小参照画像生成部２０５は、ピクチャ・スライスデコード部２０１によって取得された動きベクトルを参照して、フレームバッファ１０３に格納された縮小動画像より前方向の動き補償による復号化を行うために必要な縮小参照画像データ（前方向縮小参照画像データ）ＲＭＢを生成する。例えば、図５のように、縮小参照画像生成部２０５は、動きベクトルを参照して、マクロブロック縮小部２０３より出力された縮小マクロブロックＳＭＢ２０３が含まれる縮小動画像Ｐ２００に対して時間的に過去に存在する縮小動画像Ｐ２０１から縮小参照画像データＲＭＢ２０２を取得し縮小参照画像データＲＭＢとして出力する。
【００７６】
〔ステップＳＴ２１２〕
次に、縮小マクロブロック合成部２０４は、縮小参照画像生成部２０５によって生成された縮小参照画像データＲＭＢを用いて動き補償による復号を行う。例えば、縮小マクロブロック合成部２０４は、マクロブロック縮小部２０３より出力された縮小マクロブロックデータＳＭＢ２０３と縮小参照画像生成部２０５によって生成された縮小参照画像データＲＭＢとを足し合わせる。
【００７７】
〔ステップＳＴ２１３〕
次に、縮小マクロブロック合成部２０４は、動き補償による復号を行った縮小マクロブロックデータＳＭＢ２０４をフレームバッファ１０３の所定の位置に格納する。次に、ステップＳＴ２０９へ進む。
【００７８】
〔ステップＳＴ２１４〕
一方、ステップＳＴ２１０で双方向の動き補償による復号化が必要であると判断された場合、縮小参照画像生成部２０５は、ピクチャ・スライスデコード部２０１によって取得された動きベクトルを参照して、フレームバッファ１０３に格納された縮小動画像より双方向の動き補償予測を行うために必要な縮小参照画像データＲＭＢを生成する。例えば、縮小参照画像生成部２０５は、動きベクトルを参照して、マクロブロック縮小部２０３より出力された縮小マクロブロックＳＭＢ２０３が含まれる縮小動画像Ｐ２００に対して時間的に未来に存在する縮小動画像Ｐ２０２および時間的に過去に存在する縮小動画像Ｐ２０１からそれぞれ縮小参照画像データＲＭＢ２０１，ＲＭＢ２０２を取得し、その２つの縮小参照画像データＲＭＢ２０１，ＲＭＢ２０２の平均値を縮小参照画像ＲＭＢとして出力する。次に、ステップＳＴ２１２へ進む。
【００７９】
このようにして、フレームバッファ１０３に縮小マクロブロックが格納され、縮小動画像Ｐ２００が作成される。
【００８０】
《サムネイル表示処理》
次に、サムネイル表示処理について図６を参照しつつ説明する。
【００８１】
〔ステップＳＴ２１５〕
まず、上述のサムネイル作成処理（ステップＳＴ２０１〜ステップＳＴ２１３）が行われ、フレームバッファ１０３の所定の位置に縮小マクロブロックデータが格納される。
【００８２】
〔ステップＳＴ２１６〕
次に、表示部１０４は、フレームバッファ１０３において縮小マクロブロックデータによって１枚分の縮小動画像が完成しているか否かを判断する。１枚分の縮小動画像が完成している場合にはステップＳＴ２１７へ進む。そうでない場合にはステップＳＴ２１５へ進む。
【００８３】
〔ステップＳＴ２１７〕
次に、表示部１０４は、ステップＳＴ２１５で完成していると判断された縮小動画像が次に表示されるべき縮小動画像であるか否かを判断する。表示されるべき縮小動画像である場合にはステップＳＴ２１８へ進む。そうでない場合にはステップＳＴ２１５へ進む。例えば、表示部１０４は、デジタル映像信号に含まれる表示タイミング情報等を参照して、表示すべき縮小動画像を判断する。
【００８４】
〔ステップＳＴ２１８〕
次に、表示部１０４は、表示タイミングに合わせて、ステップＳＴ２１７で表示されるべきと判断された縮小動画像を表示する。
【００８５】
〔ステップＳＴ２１９〕
次に、処理すべきデータが残っているか否かを判断する。処理すべきデータが残っている場合にはステップＳＴ２１５へ進む。そうでない場合には処理を終了する。
【００８６】
〈効果〉
以上のように、マクロブロック単位で復号化した後にマクロブロック単位で縮小することにより、１枚のピクチャ全てを復号化した後にそのピクチャを縮小する場合よりも処理に必要となるフレームバッファ１０３を低減することができる。例えば、ピクチャのサイズを１６０×１６０ｐｉｘｅｌから８０×８０ｐｉｘｅｌに縮小する場合、１枚のピクチャ全てを復号化した後にそのピクチャを縮小する方法では一旦１枚のピクチャを復号化するので１６０×１６０ｐｉｘｅｌのサイズのピクチャデータを格納できる領域が必要があるが、本実施形態の方法では一旦１つのマクロブロックを復号化するので１６×１６のサイズのマクロブロックデータを格納できる領域があればよい。
【００８７】
（第３の実施形態）
〈全体構成〉
この発明の第３の実施形態によるデジタル映像信号処理装置３の全体構成を図７に示す。この装置は、図２に示したデコード・縮小部２００に代えて、デコード・縮小部３００を備える。デコード・縮小部３００は、図２に示した逆ＤＣＴ変換部２０２およびマクロブロック縮小部２０３に代えて、縮小逆ＤＣＴ変換部３０１を備える。ピクチャ・スライスデコード部２０１は、マクロブロック層まで復号するときに、入力された映像信号（ＭＰＥＧ形式のビデオストリーム）のうち決められた部分を復号しない。縮小逆ＤＣＴ変換部３０１は、縮小マクロブロックデータ１つ分を格納することができるマクロブロックバッファ（図示せず）を内部に有しており、ピクチャ・スライスデコード部２０１によって復号されたマクロブロック（決められた周波数成分が欠落したＤＣＴ係数列）をあらかじめ調整した基底画像列を用いて逆ＤＣＴ変換する。マクロブロックバッファは、４つの縮小ブロックデータを格納する。縮小ブロックデータの各々は、縮小逆ＤＣＴ変換部３０１によって生成される。
【００８８】
〈動作〉
図７に示したデジタル映像信号処理装置３による動作は、図２に示したデジタル映像信号処理装置２による動作と比較すると、サムネイル作成処理が異なる。以下に、第３の実施形態によるデジタル映像信号処理装置３のサムネイル作成処理について図８（フローチャート）および図９（データ変化図）を参照しつつ説明する。
【００８９】
《第３の実施形態におけるサムネイル作成処理》
〔ステップＳＴ３０１〕
まず、ピクチャ・スライスデコード部２０１は、マクロブロック単位のデジタル映像信号のうちＤＣＴ係数に復号しない部分を設定する。
【００９０】
〈復号されないデジタル映像信号〉
図９において、デジタル映像信号Ｄ３００は、複数のデジタル映像信号Ｄ３０１を含んでいる。デジタル映像信号Ｄ３０１はマクロブロック１つ分のデータであり、デジタル映像信号Ｄ３０２はブロック１つ分のデータであり、デジタル映像信号Ｄ３０３はデジタル映像信号（全体）Ｄ３００のうち復号化されないデータである。デジタル映像信号（全体）Ｄ３００のうちピクチャ・スライスデコード部２０１において復号されない部分Ｄ３０３は、デジタル映像信号（ブロック単位）Ｄ３０２うち特定の周波数成分に該当する部分である。この特定の周波数成分は、表示の際に誤差の範囲であると判定される高周波数成分である。例えば、細かい格子模様は縮小すると模様としての情報を失い、均一な画像になってしまうので、この例に見る細かい格子模様のような高周波数成分は縮小画像において誤差範囲におさまる。このような周波数成分のＤＣＴ係数に該当する部分を復号しないようにあらかじめ設定する。
【００９１】
このように、ピクチャ・スライスデコード部２０１は、マクロブロック単位のデジタル映像信号（全体）Ｄ３００のうち表示の際に誤差の範囲であると判定される高周波成分のＤＣＴ係数に該当する部分Ｄ３０３を復号しないように設定する。設定方法として、例えば、ブロック単位のデジタル映像信号Ｄ３０２が符号化の際にＤＣＴ変換後ジグザグスキャンによって一本のデータ列に符号化されている場合には、このデジタル映像信号（ブロック単位）Ｄ３０２の先頭から後方に進むに連れて低周波数成分のＤＣＴ係数から高周波数成分のＤＣＴ係数になるので、このブロック単位のデータ列Ｄ３０２のうち先頭から所定の部分に該当するデジタル映像信号Ｄ３０３を復号しないように設定する。本実施形態では、映像信号は１６×１６ｐｉｘｅｌのマクロブロック１つ分のデジタル映像信号Ｄ３０１を処理するものとし、デジタル映像信号（マクロブロック単位）Ｄ３０１にはＤＣＴ変換された後ジグザグスキャンによって６４個のＤＣＴ係数が低周波成分から順番に並んでいる８×８ｐｉｘｅｌのブロック１つ分のデジタル映像信号Ｄ３０２が４つ含まれているものとし、デジタル映像信号（ブロック単位）Ｄ３０２の先頭から４４番目以降のＤＣＴ係数に該当する部分を復号しない部分Ｄ３０３と設定する。
【００９２】
〔ステップＳ３０２〕
次に、縮小逆ＤＣＴ変換部３０１は、逆ＤＣＴ変換に用いる基底画像列ＢＰ３０１のうち決められた基底画像をあらかじめ削除する。この削除される基底画像は、ピクチャ・スライスデコード部２０１によって復号されないデジタル映像信号の部分（誤差範囲と判定されるＤＣＴ係数に該当する部分）Ｄ３０３に対応する基底画像である。つまり、表示の際に誤差の範囲であると判定される高周波成分に該当する基底画像である。この場合、縮小逆ＤＣＴ変換部３０１は、図９の基底画像列ＢＰ３０１のうち斜線部分の基底画像を削除する。
【００９３】
〔ステップＳＴ３０３〕
次に、縮小逆ＤＣＴ変換部３０１は、逆ＤＣＴ変換に用いる基底画像列ＢＰ３０１の基底画像の画像サイズを設定する。基底画像の画像サイズが設定されると、逆ＤＣＴ変換によって取得されるマクロブロックデータのサイズが決まる。例えば、基底画像の画像サイズが８×８ｐｉｘｅｌと設定されると、逆ＤＣＴ変換によって生成されるマクロブロックデータのサイズも８×８ｐｉｘｅｌになる。さらに、マクロブロックデータのサイズが決まると、マクロブロックデータの集合である縮小動画像の画像サイズが決定する。この実施形態において、基底画像列ＢＰ３０２の基底画像の画像サイズは、標準のサイズ（一般的に８×８ｐｉｘｅｌ）よりも小さいサイズが設定されているものとする。例えば、縮小逆ＤＣＴ変換部３０１は、基底画像列ＢＰ３０１の基底画像の画像サイズを４×４ｐｉｘｅｌ（基底画像列ＢＰ３０２）と設定する。
【００９４】
〔ステップＳＴ３０４〕
次に、縮小逆ＤＣＴ変換部３０１は、内部に有するマクロブロックバッファを初期化する。つまり、マクロブロックバッファに格納されているデータ値を「０」にする。
【００９５】
〔ステップＳＴ３０５〕
次に、ピクチャ・スライスデコード部２０１は、デジタル映像信号Ｄ３００を先頭から順番に入力する。
【００９６】
〔ステップＳＴ３０６〕
次に、ピクチャ・スライスデコード部２０１は、入力したデジタル映像信号がＤＣＴ係数に復号しない部分Ｄ３０３であるか否かを判断する。そのデジタル映像信号がＤＣＴ係数に復号しない部分Ｄ３０３である場合にはステップＳＴ３１３へ進む。そうでない場合にはステップＳＴ３０７へ進む。
【００９７】
〔ステップＳＴ３０７〕
ステップＳＴ３０５で入力したデジタル映像信号がＤＣＴ係数に復号する部分であると判断された場合、ピクチャ・スライスデコード部２０１は、そのデジタル映像信号を復号し、ＤＣＴ係数を取得する。次に、ピクチャ・スライスデコード部２０１は、取得したＤＣＴ係数を出力逆ＤＣＴ変換部３０１に出力する。
【００９８】
〔ステップＳＴ３０８〕
次に、縮小逆ＤＣＴ変換部３０１は、基底画像列ＢＰ３０２のうちピクチャ・スライスデコード部２０１からのＤＣＴ係数に対応する基底画像（４×４ｐｉｘｅｌ）を選択し、選択した基底画像とピクチャ・スライスデコード部２０１からのＤＣＴ係数との積を求めることによって縮小ブロックデータ（４×４ｐｉｘｅｌ）を生成する。
【００９９】
〔ステップＳＴ３０９〕
次に、縮小逆ＤＣＴ変換部３０１は、マクロブロックバッファの所定の位置に格納されている縮小ブロックデータに対してステップＳＴ３０８において生成した縮小ブロックデータを加算する。
【０１００】
〔ステップＳＴ３１０〕
次に、縮小逆ＤＣＴ変換部３０１は、マクロブロック１つ分のデジタル映像信号Ｄ３０１を処理したか否かを判断する。マクロブロック１つ分のデジタル映像信号Ｄ３０１を処理したと判断すると、縮小逆ＤＣＴ変換部３０１は、内部に有するマクロブロックバッファに格納された４つの縮小ブロックデータを１つの縮小マクロブロックデータＳＭＢ３０１として縮小マクロブロック合成部２０４に出力する。次に、ステップＳＴ３１１へ進む。一方、マクロブロック１つ分のデジタル映像信号Ｄ３０１を処理していないと判断した場合、ステップＳＴ３０５へ進む。
【０１０１】
〔ステップＳＴ３１１〕
次に、第２の実施形態（ＳＴ２０７〜ＳＴ２１４）と同様に、必要な場合（縮小マクロブロックデータＳＭＢ３０１がインター符号化されたものである場合）に縮小マクロブロックデータＳＭＢ３０１に対して動き補償による復号化を行い、縮小マクロブロック合成部２０４より出力される縮小マクロブロックデータＳＭＢ３０１をフレームバッファ１０３の所定の位置に格納する。
【０１０２】
〔ステップＳＴ３１２〕
次に、処理すべきデータが残っているか否かを判断する。処理すべきデータが残っている場合にはステップＳＴ３０４へ進む。そうでない場合には処理を終了する。
【０１０３】
〔ステップＳＴ３１３〕
一方、ＳＴ３０６で入力したデジタル映像信号がＤＣＴ係数に復号しない部分であると判断された場合、ピクチャ・スライスデコード部２０１は、そのデジタル映像信号を復号せずにスキップする。次に、ステップＳＴ３１０へ進む。
【０１０４】
〈効果〉
以上のように、デジタル映像信号のうち誤差範囲の高周波数成分に該当する部分を全て復号しないことにより、ＤＣＴ係数の復号化に必要な処理量を削除することができる。さらに、ＤＣＴ変換に用いる基底画像列のうち計算に用いられない基底画像をあらかじめ削除することにより、ＤＣＴ変換の処理量を削減することができる。また、基底画像の画像サイズを調整して縮小マクロブロックデータのサイズを縮小することにより、縮小を行う行程を省くことができる。
【０１０５】
（第４の実施形態）
〈全体構成〉
この発明の第４の実施形態によるデジタル映像信号処理装置４の全体構成を図１０に示す。この装置は、図１，図２，および図７に示されたデジタル映像信号処理装置１，２，３のうち１つの装置に加えて、映像信号多重化部４０１と、記録媒体４０２と、映像信号分離部４０３と、入力映像信号バッファ４０４Ａ，４０４０Ｂ，４０４Ｃと、デコードスケジューリング部４０５とを備える。なお、本実施形態では、デコード・縮小部に図１に示したデコード・縮小部１００（デコード部１０１、画像縮小部１０２）を配置し、入力映像信号バッファは、３つ存在するものとする。映像信号多重化部４０１は、複数のデジタル映像信号を入力し、それらの映像信号を多重化して１本の多重化映像信号を生成し、記録媒体４０２に記録するか映像信号分離部４０３に出力する。映像信号分離部４０３は、入力された多重化デジタル映像信号を各々のデジタル映像信号別に各々の入力映像信号バッファ４０４Ａ，４０４Ｂ，４０４Ｃに格納する。デコードスケジューリング部４０５は、各々の入力映像信号バッファ４０４Ａ，４０４Ｂ，４０４Ｃより各々のデジタル映像信号を順送りにピクチャ単位でデコード・縮小部に出力する。デコード・縮小部１００は、入力されたデジタル映像信号をデコードし縮小し、フレームバッファ１０３に格納する。表示部１０４は、デコードスケジューリング部４０５の指示に従い、フレームバッファ１０３に格納された各々の動画像を同時に表示する。
【０１０６】
〈動作〉
図１０に示したデジタル映像信号処理装置４による動作では、映像多重化処理，映像信号分離処理およびデコードスケジューリング処理が行われる。映像多重化処理は、複数のデジタル映像信号（映像Ａ，映像Ｂ，映像Ｃ）を多重化し多重化映像信号Ｄ４００を生成する処理である。映像信号分離処理は、入力したデジタル映像信号Ｄ４００に含まれる各々のデジタル映像信号（映像Ａ，映像Ｂ，映像Ｃ）を各々のデジタル映像信号に割り当てられた入力映像信号バッファに格納する処理である。デコードスケジューリング処理は、各々の入力映像信号バッファに格納されたデジタル映像信号（映像Ａ，映像Ｂ，映像Ｃ）を順番にデコード・縮小部へ出力し、各々のデジタル映像信号のサムネイルを同時に表示する（１つの画面に各々のデジタル映像信号のサムネイルを同時に表示する）処理である。
【０１０７】
《映像多重化処理》
まず、映像信号多重化部４０１によって映像多重化処理が行われる。映像信号多重化部４０１は、複数のデジタル映像信号を入力し、図１１に示すような多重化デジタル映像信号（ビデオストリーム）Ｄ４００を生成し、記録媒体４０２に記録するかもしくは直接映像信号分離部４０３に出力する。この映像信号Ｄ４００は、時分割されたデジタル映像信号（時分割映像データ）Ｄ４０１と、インジケータパックＤ４０２とを含む。デジタル映像信号Ｄ４００には、各々のデジタル映像信号を時分割したデータＤ４０１が多重化されており、各々の時分割映像データＤ４０１の間にインジケータパックＤ４０２が挿入されている。インジケータパックＤ４０２には、インジケータパック識別コード（映像信号分離部４０３がインジケータパックを認識するためのコード）、映像信号番号（各々のデジタル映像信号を特定する番号）、映像信号数（同時に処理すべきデジタル映像信号の数）、デジタル映像信号の符号化方式、などが含まれている。なお、本実施形態では、デジタル映像信号は、映像Ａ，映像Ｂ，および映像Ｃの計３つ存在し、映像信号番号は、１，２，および３であり、映像信号数は、３であるとする。多重化の方法として、例えば、映像信号多重化部４０１は、映像Ａに対応するインジケータパックＤ４０２を作成し、そのインジケータパックＤ４０２に対応する映像Ａを所定の長さだけ入力する。次に、映像Ｂに対応するインジケータパックを作成し、そのインジケータパックＤ４０２に対応する映像Ｂを所定の長さだけ入力する。
【０１０８】
このようにして、複数のデジタル映像信号が時分割に多重化した多重化デジタル映像信号Ｄ４００を生成する。
【０１０９】
《映像信号分離処理》
まず、映像信号分離処理について図１２（フローチャート）を参照しつつ説明する。
【０１１０】
〔ステップＳＴ４０１〕
まず、映像信号分離部４０３は、多重化デジタル映像信号Ｄ４００を入力する。
【０１１１】
〔ステップＳＴ４０２〕
次に、映像信号分離部４０３は、インジケータパック識別コードの有無を確認し、入力されたデジタル映像信号がインジケータパックＤ４０２であるか否かを判断する。インジケータパックＤ４０２であると判断した場合にはステップＳＴ４０３へ進む。そうでない場合（映像データＤ４０１であると判断した場合）にはステップＳＴ４０６へ進む。
【０１１２】
〔ステップＳＴ４０３〕
次に、映像信号分離部４０３は、インジケータパックＤ４０２に含まれる映像信号番号に対応する入力映像信号バッファを選択する。例えば、映像信号番号が「１」である場合には、映像信号分離部４０３は入力映像信号バッファ４０４Ａを選択する。
【０１１３】
〔ステップＳＴ４０４〕
次に、映像信号分離部４０３は、取得したインジケータパックＤ４０２に含まれる各パラメータ（映像信号数等）を記憶する。
【０１１４】
〔ステップＳＴ４０５〕
次に、映像信号分離部４０３は、処理すべきデータが残っているか否かを判断する。処理すべきデータまだが残ってる場合にはステップＳＴ４０１へ進む。そうでない場合には処理を終了する。
【０１１５】
〔ステップＳＴ４０６〕
一方、ステップＳＴ４０２でインジケータパックＤ４０２でないと判断された場合（時分割映像データＤ４０１であると判断した場合）、映像信号分離部４０３は、取得した時分割映像データＤ４０１を現在選択されている入力映像信号バッファに格納する。次に、ステップＳＴ４０５へ進む。
【０１１６】
このようにして、各々の入力映像信号バッファ４０４Ａ，４０４Ｂ，４０４Ｃに各々のデジタル映像信号（映像Ａ，映像Ｂ，映像Ｃ）が格納される。
【０１１７】
《デコードスケジューリング処理》
次に、デコードスケジューリング処理について図１３（フローチャート）および図１４（データ変化図）を参照しつつ説明する。
【０１１８】
〔ステップＳＴ４０７〕
まず、デコードスケジューリング部４０５は、カウント値Ｎを「１」に設定する。
【０１１９】
〔ステップＳＴ４０８〕
次に、デコードスケジューリング部４０５は、カウント値Ｎが示す入力映像信号バッファに格納されているデジタル映像信号をピクチャ単位でデコード部に出力する。例えば、カウント値Ｎが「１」である場合、デコードスケジューリング部４０５は、入力映像信号バッファ４０４Ａに格納されているデジタル映像信号（映像Ａ）よりピクチャ１枚分のデータ１ａを出力する。
【０１２０】
〔ステップＳＴ４０９〕
次に、第１の実施形態と同様に、デコード・縮小部によって１枚の動画像が復号され、画像縮小部１０２によって復号された動画像が所定のサイズに縮小される。縮小された動画像は、フレームバッファ１０３の所定の位置に格納される。フレームバッファ１０３には、各々のデジタル映像信号の縮小動画像を格納する領域（領域Ａ、領域Ｂ，領域Ｃ）が割り当てられている。例えば、デコード・縮小部は、ピクチャ１枚分のデータ１ａを復号・縮小し、生成した映像Ａの縮小動画像１Ａを、フレームバッファ１０３全領域のうち映像Ａに割り当てられた領域Ａに格納する。このようにして、縮小動画像１Ａ，１Ｂ，１Ｃが１つの合成画像データＰ４００としてフレームバッファ１０３に格納される。
【０１２１】
〔ステップＳＴ４１０〕
次に、デコードスケジューリング部４０５は、カウント値Ｎに１を足す。
【０１２２】
〔ステップＳＴ４１１〕
次に、デコードスケジューリング部４０５は、カウント値Ｎが映像信号数よりも大きいか否かを判断する。カウント値が映像信号数よりも大きい場合にはステップＳＴ４１２へ進む。そうでない場合にはステップＳＴ４０８へ進む。
【０１２３】
〔ステップＳＴ４１２〕
次に、デコードスケジューリング部４０５は、表示部１０４に対して、フレームバッファ１０３に格納されている合成画像データＰ４００を表示するように指示する。表示部１０４は、デコードスケジューリング部４０５からの指示に応答し、フレームバッファ１０３に格納された合成画像データＰ４００を表示する。よって、表示画面には、複数のデジタル映像信号（映像Ａ，映像Ｂ，映像Ｃ）のサムネイル（縮小動画像）が同時に表示される。
【０１２４】
〔ステップＳＴ４１３〕
次に、処理すべきデータが残っているか否かを判断する。処理すべきデータが残っている場合にはステップＳＴ４０７へ進む。そうでない場合には処理を終了する。
【０１２５】
〈効果〉
以上のように、サムネイル用の縮小動画像をあらかじめ蓄積することなく複数のサムネイル動画を同時に再生することにより、必要となるフレームバッファ１０３を削減することができる。また、１つのデコーダによって複数のサムネイル動画を再生できるので、装置のコストを低減することができる。
【０１２６】
なお、映像信号多重化部４０１生成された多重化デジタル映像信号Ｄ４００を直接多重化分離器４０３に入力する場合には、記録媒体を備えなくても構わない。
【０１２７】
なお、本実施形態では、入力映像信号バッファの数は「３」であるが、これに限らない。
【０１２８】
なお、本実施形態によるデジタル映像信号処理装置４は、図１に示したデコード・縮小部１００を配置しているが、図２または図７に示したデコード・縮小部２００，３００を配置することも可能である。この場合、デコード・縮小部２００，３００は、各々の映像データ毎に動き補償による復号を行う。例えば、図２に示したデコード・縮小部２００を用いる場合、縮小マクロブロック合成部２０４は、図１５のように、動きベクトルを参照して、縮小マクロブロックＳＭＢ４０１が格納される縮小動画像２Ａが配置される合成画像データ（現在のピクチャ）Ｐ４００に対して時間的に過去に存在する合成画像データＰ４０１に配置された縮小動画像１Ａより前方向縮小参照画像データＲＭＢ４０１を生成する。また、縮小マクロブロック合成部２０４は、合成画像データ（現在のピクチャ）Ｐ４００に対して時間的に未来に存在する縮小動画像Ｐ４０２に配置された縮小動画像４Ａより後方向縮小参照画像データＲＭＢ４０２を生成する。次に、縮小マクロブロック合成部２０４は、これらの縮小参照画像データＲＭＢ４０１，ＲＭＢ４０２と縮小マクロブロックＳＭＢ４０１とを合成して、合成によって得られた縮小マクロブロックＳＭＢ４０２を
合成画像データＰ４００に配置された映像Ａの縮小動画像２Ａの所定の位置に格納する。
【０１２９】
（第５の実施形態）
〈全体構成〉
この発明の第５の実施形態によるデジタル映像信号処理装置５の全体構成を図１６に示す。この装置は、記録・送信部５０１と、再生部５０５とを備える。記録・送信部５０１は、第４の実施形態によるデジタル映像信号処理装置４と、エンコード部５０２と、記録部５０３と、伝送部５０４とを含む。再生部５０５は、受信部５０６と、デコード部５０７と、出力部５０８とを含む。エンコード部５０２は、第４の実施形態によるデジタル映像信号処理装置４に含まれる表示部１０４によって表示されたサムネイル動画（合成画像データ）を符号化する。記録部５０３は、エンコード部５０２によって符号化されたサムネイル動画（符号化合成画像データ）を格納する。伝送部５０４は、符号化合成画像データを送信する。受信部５０６は、伝送部５０４から送信された符号化合成画像データを受信する。デコード部５０７は、受信部５０６によって受信された符号化合成画像データを復号する。再生部５０５は、デコード部５０７によって復号された合成画像データ（サムネイル動画）を再生する。
【０１３０】
〈動作〉
図１６に示したデジタル映像信号処理装置５による動作では、表示されたサムネイル動画を記録する記録処理と表示されたサムネイル動画を伝送する伝送処理とが行われる。
【０１３１】
《記録処理》
まず、エンコード部５０２は、表示部１０４によって表示された合成画像データＰ４００を符号化する。
【０１３２】
次に、記録部５０３は、エンコード部５０２によって符号化された合成画像データ（符号化合成画像データ）Ｐ５００を格納する。
【０１３３】
《伝送処理》
まず、エンコード部５０２は、表示部１０４によって表示された合成画像データＰ４００を符号化する。
【０１３４】
次に、伝送部５０４は、エンコード部５０２によって符号化された合成画像データ（符号化合成画像データ）Ｐ５００を送信する。
【０１３５】
次に、受信部５０６は、伝送部５０４から送信された符号化合成画像データＰ５００を受信する。
【０１３６】
次に、デコード部５０７は、受信部５０６によって受信された符号化合成画像データＰ５００を復号する。
【０１３７】
次に、再生部５０５は、デコード部５０７によって復号された合成画像データＰ５０１を再生する。
【０１３８】
〈効果〉
以上のように、記録部５０３には複数のサムネイル画像を含む合成画像データが格納される。これにより、記録部５０３に格納された合成画像データを再生すれば、映像データに一覧などのメニュー映像として利用することができる。また、再生部５０５は符号化された合成画像データを受信し再生する。これにより、記録・送信部５０１と再生部５０５とが離れた場所にあっても複数のサムネイル動画を同時に再生することができ、例えば、再生部５０５を遠隔地にある場所を監視する監視カメラとして利用することができる。
【産業上の利用可能性】
【０１３９】
本発明は、複数の映像信号からサムネイル動画をリアルタイムに生成することが可能となり、DVDプレーヤ、レコーダのような蓄積系映像機器等への応用が可能なほか、伝送媒体を経由した遠隔監視やライブカメラ等の用途への応用も可能である。
【図面の簡単な説明】
【０１４０】
【図１】この発明の第１の実施形態によるデジタル映像信号処理装置の全体構成を示すブロック図である。
【図２】この発明の第２の実施形態によるデジタル映像信号処理装置の全体構成を示すブロック図である。
【図３】図２に示したデジタル映像信号処理装置によるサムネイル作成処理を示すフローチャートである。
【図４】図３に示した動作に伴うデータの変化の一例を示す図である。
【図５】動き補償による復号の一例を示す図である。
【図６】図２に示したデジタル映像信号処理装置によるサムネイル表示処理を示すフローチャートである。
【図７】この発明の第３の実施形態によるデジタル映像信号処理装置の全体構成を示すブロック図である。
【図８】図７に示したデジタル映像信号処理装置によるサムネイル作成処理を示すフローチャートである。
【図９】図８に示した動作に伴うデータの変化の一例を示す図である。
【図１０】この発明の第４の実施形態によるデジタル映像信号処理装置の全体構成を示すブロック図である。
【図１１】図１０に示した映像信号多重化部４０１によって生成される多重化デジタル映像信号の一例を示す図である。
【図１２】図１０に示したデジタル映像信号処理装置による映像信号分離処理を示すフローチャートである。
【図１３】図１０に示したデジタル映像信号処理装置によるデコードスケジューリング処理を示すフローチャートである。
【図１４】図１３に示した動作に伴うデータの変化の一例を示す図である。
【図１５】動き補償による復号の一例を示す図である。
【図１６】この発明の第５の実施形態によるデジタル映像信号処理装置の全体構成を示すブロック図である。
【符号の説明】
【０１４１】
１，２，３，４，５    デジタル映像信号処理装置
１００，２００，３００    デコード・縮小部
１０１    デコード部
１０２    画像縮小部
１０３    フレームバッファ
１０４    表示部
２０１    ピクチャ・スライスデコード部
２０２    逆ＤＣＴ変換部
２０３    マクロブロック縮小部
２０４    縮小マクロブロック合成部
２０５    縮小参照画像生成部
Ｄ２００    デジタル映像信号（全体）
Ｄ２０１    デジタル映像信号（イントラ符号化されたマクロブロック）
Ｄ２０２    デジタル映像信号（インター符号化されたマクロブロック）
ＭＢ２０１    イントラ符号化されたマクロブロック（ＤＣＴ係数列）
ＭＢ２０２    イントラ符号化されたマクロブロック（マクロブロックデータ）
ＭＢ２０３    インター符号化されたマクロブロック（ＤＣＴ係数列）
ＭＢ２０４    インター符号化されたマクロブロック（マクロブロックデータ）
ＳＭＢ２０１    縮小マクロブロック（イントラ符号化）
ＳＭＢ２０３    縮小マクロブロック（インター符号化）
ＳＭＢ２０４    縮小マクロブロック（動き補償による復号化後）
ＲＭＢ    縮小参照画像データ
Ｐ２００，Ｐ４００    縮小動画像（現在）
Ｐ２０１，Ｐ４０１    縮小動画像（過去）
Ｐ２０２，Ｐ４０２    縮小動画像（未来）
ＲＭＢ２０１，ＲＭＢ４０１    前方向縮小参照画像データ
ＲＭＢ２０２，ＲＭＢ４０２    後方向縮小参照画像データ
３０１    縮小逆ＤＣＴ変換部
Ｄ３００    デジタル映像信号（全体）
Ｄ３０１    デジタル映像信号（マクロブロック単位）
Ｄ３０２    デジタル映像信号（ブロック単位）
Ｄ３０３    デジタル映像信号（復号されない部分）
ＳＭＢ３０１    縮小マクロブロック
ＢＰ３０１    標準サイズの基底画像列
ＢＰ３０２    縮小された基底画像列
４０１    映像信号多重化部
４０２    記録媒体
４０３    映像信号分離部
４０４Ａ，４０４Ｂ，４０４Ｃ    入力映像信号バッファ
４０５    デコードスケジューリング部
Ｄ４００    多重化デジタル映像信号
Ｄ４０１    時分割されたデジタル映像信号
Ｄ４０２    インジケータパック
ＳＭＢ４０１    縮小マクロブロック（合成前）
ＳＭＢ４０２    縮小マクロブロック（合成後）
５０１    記録・送信部
５０２    デコード部
５０３    記録部
５０４    伝送部
５０５    再生部
５０６    受信部
５０７    デコード部
５０８    出力部
【図１】
2005323018.tif 000003
【図２】
2005323018.tif 000004
【図３】
2005323018.tif 000005
【図４】
2005323018.tif 000006
【図５】
2005323018.tif 000007
【図６】
2005323018.tif 000008
【図７】
2005323018.tif 000009
【図８】
2005323018.tif 000010
【図９】
2005323018.tif 000011
【図１０】
2005323018.tif 000012
【図１１】
2005323018.tif 000013
【図１２】
2005323018.tif 000014
【図１３】
2005323018.tif 000015
【図１４】
2005323018.tif 000016
【図１５】
2005323018.tif 000017
【図１６】
2005323018.tif 000018