(57)【要約】【課題】従来解像度に対応した符号化装置で、高解像度画像を符号化するとともに、符号化装置の性能に対して高いフレームレートでの再生画像を得る。【解決手段】高解像度画像を、Ｍフレームは縮小して低解像度画像にし、次のＮフレームは各フレームを複数フレームに分割して低解像度画像にする処理を繰り返して生成した低解像度画像を符号化し、縮小圧縮画像ストリームと分割圧縮画像ストリームを生成する。  復号化する際には、縮小圧縮画像ストリームのみを復号することで、従来解像度に対応した復号化装置でも内容確認が可能になる。さらに、分割圧縮画像ストリームを復号化及び合成して縮小画像の前後フレームにあたる高解像度画像を復元し、これを利用して縮小画像を高解像度画像に変換することで再生高解像度画像を得る。【選択図】図３
2011091592.tif 000002
【特許請求の範囲】
【請求項１】
時間的に連続して入力される第１の画面解像度を有する画像信号を、当該第１の解像度よりも小さい第２の画面解像度を有する画像信号の符号化が可能な符号化部を用いて符号化を行う符号化装置であって、
時間的に連続して入力される前記第１の画面解像度を有する画像信号に含まれるフレームを縮小して前記第２の画面解像度の縮小画像を生成する画像縮小部と、
前記画像信号に含まれるフレームを、前記第２の画面解像度を有する分割画像に複数分割を行う画像分割部と、
前記画像縮小部と、前記画像分割部とを制御し、前記画像信号に含まれるフレームのうち時間的に連続するＭ（Ｍは整数）枚のフレームを基に縮小画像を生成し、時系列に出力する第１の処理と、当該Ｍ枚のフレームに連続するＮ（Ｎは整数）枚のフレームを基に分割画像を生成し時系列に出力する第２の処理と、を交互に繰り返すことで変換画像を生成し、当該変換画像を出力する画像信号制御部と、
前記画像信号制御部から出力される変換画像を入力とし、分割画像と縮小画像とを別々のストリームに圧縮符号化し、当該分割画像を圧縮して得られる分割圧縮画像ストリーム及び、縮小画像を圧縮して得られる縮小圧縮画像ストリームを出力する符号化部とを備える
画像符号化装置。
【請求項２】
前記画像信号制御部は、前記画像縮小部において処理したフレーム数Ｍ及び、前記画像分割部において処理したフレーム数Ｎを、フレーム数情報として出力する
請求項１に記載の画像符号化装置。
【請求項３】
前記画像信号制御部は、前記縮小画像の画素位置と、前記分割画像の画素位置との対応関係を示す画素位置関係補助データを出力する
請求項１に記載の画像符号化装置。
【請求項４】
前記符号化部は、前記縮小画像を符号化する際に、縮小画像の圧縮画像ストリームの間にスキップト・マクロブロックで構成されたピクチャを挿入することでフレームレートを増加した前記縮小圧縮画像ストリームを生成する
請求項１に記載の画像符号化装置。
【請求項５】
前記符号化部は、前記縮小画像を符号化する際の符号量制御において、符号化方式の規格におけるバッファサイズよりも小さいバッファサイズを用いて符号量制御を行う
請求項４に記載の画像符号化装置。
【請求項６】
前記符号化部は、前記縮小画像を符号化する際に、スキップト・マクロブロックで構成されたピクチャにスタッフィングを付加することにより、他のフレーム間予測符号化したピクチャと概略同程度のデータ量とした縮小圧縮画像ストリームを生成する
請求項４に記載の画像符号化装置。
【請求項７】
前記画像縮小部は、前記Ｎフレームの各フレームを縮小して前記第１の解像度よりも小さい解像度の分割部縮小画像を生成し、
前記符号化部は、前記縮小圧縮画像ストリームに前記縮小画像と、前記分割部縮小画像と、が含まれるように圧縮符号化を行うことを特徴とする、
請求項１に記載の画像符号化装置。
【請求項８】
前記符号化部は、前記縮小画像を符号化する際にはフレーム間符号化処理を行い、前記分割画像を符号化する際にはフレーム内符号化処理を行う
請求項１に記載の画像符号化装置。
【請求項９】
前記分割圧縮画像ストリームを、前記縮小圧縮画像ストリームのユーザデータとして多重する多重化部を備える
請求項１〜８のいずれか１項に記載の画像符号化装置。
【請求項１０】
前記分割圧縮画像ストリームを、前記縮小圧縮画像ストリームに別ＰＩＤを持つパケットとして多重する多重化部を備える
請求項１〜８のいずれか１項に記載の画像符号化装置。
【請求項１１】
前記フレーム数情報を、前記分割圧縮画像ストリームと、前記縮小圧縮画像ストリームとの少なくとも一方にユーザデータとして多重する多重化部を備える
請求項２に記載の画像符号化装置。
【請求項１２】
前記フレーム数情報を、前記分割圧縮画像ストリームと、前記縮小圧縮画像ストリームとの少なくとも一方に別ＰＩＤを持つパケットとして多重する多重化部を備える
請求項２に記載の画像符号化装置。
【請求項１３】
前記フレーム数情報を、前記分割圧縮画像ストリームと、前記縮小圧縮画像ストリームとの少なくとも一方にＭＰＥＧ Ｓｙｓｔｅｍｓにおけるｄｅｓｃｒｉｐｔｏｒとして多重する多重化部を備える
請求項２に記載の画像符号化装置。
【請求項１４】
前記画素位置関係補助データを、前記分割圧縮画像ストリームと、前記縮小圧縮画像ストリームとの少なくとも一方にユーザデータとして多重する多重化部を備える
請求項３に記載の画像符号化装置。
【請求項１５】
前記画素位置関係補助データを、前記分割圧縮画像ストリームと、前記縮小圧縮画像ストリームとの少なくとも一方に別ＰＩＤを持つパケットとして多重する多重化部を備える
請求項３に記載の画像符号化装置。
【請求項１６】
前記画素位置関係補助データを、前記分割圧縮画像ストリームと、前記縮小圧縮画像ストリームとの少なくとも一方にＭＰＥＧ Ｓｙｓｔｅｍｓにおけるｄｅｓｃｒｉｐｔｏｒとして多重する多重化部を備える
請求項３に記載の画像符号化装置。
【請求項１７】
第１の解像度よりも小さい解像度を有する縮小画像と、当該第１の解像度よりも小さい解像度を有しスキップト・マクロブロックで構成された画像信号とが圧縮符号化された縮小圧縮画像ストリームと、
当該第１の解像度を有する画像信号を複数の当該第１の解像度よりも小さい解像度を有するフレームに分割して得られる分割画像を圧縮符号化した分割圧縮画像ストリームと、を入力とする入力部と、
前記分割圧縮画像ストリームに含まれる複数の分割画像を基に、分割前の当該第１の解像度を有する画像信号の復元を行う伸張部と、
前記伸張部において復元された画像信号を、前記分割画像の解像度に縮小し再生後縮小画像を生成する縮小部と、
前記再生後縮小画像を圧縮符号化して再生後縮小圧縮画像ストリームを生成する圧縮部と、
前記再生後縮小画像ストリームに含まれる各ピクチャを、前記縮小圧縮画像ストリームに含まれるスキップト・マクロブロックで構成された画像信号と置き換えることで変換圧縮画像ストリームを生成し、出力する符号処理部と、
を備える符号化変換装置。
【請求項１８】
前記画像符号化装置はさらに、前記分割圧縮画像ストリームと、前記縮小圧縮画像ストリームと、を所定のファイルシステムを有する記録媒体に記録を行う記録部を備え、
前記記録部は、前記ファイルシステム上に、分割画像フォルダと、縮小画像フォルダと、を生成するとともに、前記分割圧縮画像ストリームを当該分割画像フォルダに記録し、前記縮小圧縮画像ストリーム及び、前記符号化部において生成される当該縮小圧縮画像ストリームを再生する際に使用する縮小画像制御情報を当該縮小画像フォルダに記録することを特徴とする、
請求項１に記載の画像符号化装置。
【請求項１９】
前記画像信号制御部は、前記画像縮小部に対して、前記画像信号に含まれるフレームのうち時間的に連続するＭ（Ｍは整数）枚のフレームを基に第１の縮小画像群を生成させるとともに、当該Ｍ枚のフレームに連続するＮ（Ｎは整数）枚のフレームを基に第２の縮小画像群を生成させ、
前記符号化部は、前記第１縮小画像と、前記第２縮小画像と、を時系列に並べて圧縮符号化することで前記縮小圧縮画像ストリームを生成するとともに、当該縮小圧縮画像ストリームを再生する際に使用される縮小画像制御情報を生成し、
前記記録部は、前記ファイルシステム上に、分割画像フォルダと、縮小画像フォルダと、を生成するとともに、前記分割圧縮画像ストリームを当該分割画像フォルダに記録し、前記縮小圧縮画像ストリーム及び、前記符号化部において生成される当該縮小圧縮画像ストリームを再生する際に使用する縮小画像制御情報を当該縮小画像フォルダに記録することを特徴とする、
請求項１に記載の画像符号化装置。
【請求項２０】
前記符号化部は、前記第２縮小画像を符号化する際に検出した動きベクトルを用いて、当該第２縮小画像の縮小前の前記第１の解像度を有する画像信号の分割画像を圧縮符号化することを特徴とする、
請求項１９に記載の画像符号化装置。
【請求項２１】
着脱可能な記録媒体に記録された第１の解像度よりも小さい解像度を有する縮小画像と、当該第１の解像度よりも小さい解像度を有しスキップト・マクロブロックで構成された画像信号とが圧縮符号化された縮小圧縮画像ストリームと、当該第１の解像度を有する画像信号を複数の当該第１の解像度よりも小さい解像度を有するフレームに分割して得られる分割画像を圧縮符号化した分割圧縮画像ストリームと、を当該記録媒体から読み出す読出し部と、
前記縮小圧縮画像ストリームに含まれる縮小画像を基に縮小前の画像信号を復元するとともに、前記分割圧縮画像ストリームに含まれる分割画像から分割前の画像信号を復元する伸張部と、
復元した画像信号を時系列に出力する出力部と、
を備える画像再生装置。
【請求項２２】
前記伸張部は、復元に係る縮小画像を時系列に出力した場合に時間的に前後に出力される画像信号のうち前記分割画像から復元される画像信号を用いて、当該復元に係る縮小画像を復元することを特徴とする請求項２１に記載の画像再生装置。
【請求項２３】
時間的に連続して入力される第１の画面解像度を有する画像信号を、当該第１の解像度よりも小さい第２の画面解像度を有する画像信号の符号化が可能な符号化部を用いて符号化を行う符号化方法であって、
時間的に連続して入力される前記第１の画面解像度を有する画像信号に含まれるフレームを縮小して前記第２の画面解像度の縮小画像を生成する画像縮小ステップと、
前記画像信号に含まれるフレームを、前記第２の画面解像度を有する分割画像に複数分割を行う画像分割ステップと、
前記画像縮小ステップと、前記画像分割ステップとを制御し、前記画像信号に含まれるフレームのうち時間的に連続するＭ（Ｍは整数）枚のフレームを基に縮小画像を生成し、時系列に出力する第１の処理と、当該Ｍ枚のフレームに連続するＮ（Ｎは整数）枚のフレームを基に分割画像を生成し時系列に出力する第２の処理と、を交互に繰り返すことで変換画像を生成し、当該変換画像を出力する画像信号制御ステップと、
前記画像信号制御部から出力される変換画像を入力とし、分割画像と縮小画像とを別々のストリームに圧縮符号化し、当該分割画像を圧縮して得られる分割圧縮画像ストリーム及び、縮小画像を圧縮して得られる縮小圧縮画像ストリームを出力する符号化ステップとを備える
画像符号化方法。
【請求項２４】
時間的に連続して入力される第１の画面解像度を有する画像信号を、当該第１の解像度よりも小さい第２の画面解像度を有する画像信号の符号化が可能な符号化部を用いて符号化を行う集積回路であって、
時間的に連続して入力される前記第１の画面解像度を有する画像信号に含まれるフレームを縮小して前記第２の画面解像度の縮小画像を生成する画像縮小部と、
前記画像信号に含まれるフレームを、前記第２の画面解像度を有する分割画像に複数分割を行う画像分割部と、
前記画像縮小部と、前記画像分割部とを制御し、前記画像信号に含まれるフレームのうち時間的に連続するＭ（Ｍは整数）枚のフレームを基に縮小画像を生成し、時系列に出力する第１の処理と、当該Ｍ枚のフレームに連続するＮ（Ｎは整数）枚のフレームを基に分割画像を生成し時系列に出力する第２の処理と、を交互に繰り返すことで変換画像を生成し、当該変換画像を出力する画像信号制御部と、
前記画像信号制御部から出力される変換画像を入力とし、分割画像と縮小画像とを別々のストリームに圧縮符号化し、当該分割画像を圧縮して得られる分割圧縮画像ストリーム及び、縮小画像を圧縮して得られる縮小圧縮画像ストリームを出力する符号化部とを備える
集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化装置、符号変換装置、画像記録装置、画像再生装置、画像符号化方法及び、集積回路に係わり、特に、高解像度画像を符号化して記録するビデオカメラなどの画像記録装置、当該画像記録装置に内蔵される画像符号化装置、当該画像符号化装置により符号化された高解像度画像データを従来解像度画像データに変換する符号変換装置、及び当該画像記録装置により記録された高解像度画像を再生する画像再生装置に関する。
【背景技術】
【０００２】
従来の画像符号化装置として、ＭＰＥＧ２やＨ．２６４といった標準符号化方式でＨＤＴＶ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  Ｔｅｌｅｖｉｓｉｏｎ）を符号化する装置がある。これらの画像符号化方式においては、フレーム間予測を用いて画像信号を圧縮符号化することで、高い圧縮効率を実現している。
【０００３】
このような画像符号化装置でＨＤＴＶを符号化することは、近年一般的になってきており、デジタル放送やビデオカメラで実用化されている。これをさらに画素数が４０９６×２１６０又は３８４０×２１６０（以下、４Ｋ２Ｋと略する）などの高解像度画像に適用しようとすると、処理の大幅な高速化が必要となる。また、このような画像符号化装置を内蔵して４Ｋ２Ｋなどの高解像度画像を撮影する画像記録装置を構成しようとすると、画像符号化装置だけでなく、周辺回路も高解像度画像に対応する必要があり、この面でもさらに装置の実現が困難となり、非常に高価な画像記録装置となる。
【０００４】
上記のような、４Ｋ２Ｋなどの高精細度画像を符号化する従来の画像符号化装置としては、高解像度画像の各フレームを複数個の小画像に分割し、分割した複数個の小画像のそれぞれを別々の符号化部によって並列処理することで高速に処理する画像符号化装置があった（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−３０４５３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１記載の従来の画像符号化装置では、１フレームを複数個の小画像に分割してそれぞれを別々の分割画像圧縮伸張部で並列に圧縮処理するため、回路規模が大きくなる。また、圧縮符号化のための演算処理量が多いため、消費電力が大きくなるという課題があった。
【０００７】
また、圧縮画像ストリームが高精細度画像であるうえに独自のデータ構造となり、従来解像度画像のみに対応した従来規格互換の画像再生装置では内容を確認することができないという課題がある。さらには、圧縮画像ストリームを従来解像度のものに変換する場合も、独自のデータ構造からの変換になるため、回路規模が大きくなる、処理量が多くなるといった課題がある。
【０００８】
そこで、本発明は上記課題に鑑みてなされたものであり、例えば１９２０×１０８０等の第１の解像度に対応した符号化装置で、当該第１の解像度よりも高い解像度を有する画像を符号化するとともに、符号化装置の性能に対して高いフレームレートでの再生を可能とした画像符号化装置、及び画像記録装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本画像符号化装置は、時間的に連続して入力される第１の画面解像度を有する画像信号を、当該第１の解像度よりも小さい第２の画面解像度を有する画像信号の符号化が可能な符号化部を用いて符号化を行う符号化装置であって、時間的に連続して入力される前記第１の画面解像度を有する画像信号に含まれるフレームを縮小して前記第２の画面解像度の縮小画像を生成する画像縮小部と、前記画像信号に含まれるフレームを、前記第２の画面解像度を有する分割画像に複数分割を行う画像分割部と、前記画像縮小部と、前記画像分割部とを制御し、前記画像信号に含まれるフレームのうち時間的に連続するＭ（Ｍは整数）枚のフレームを基に縮小画像を生成し、時系列に出力する第１の処理と、当該Ｍ枚のフレームに連続するＮ（Ｎは整数）枚のフレームを基に分割画像を生成し時系列に出力する第２の処理と、を交互に繰り返すことで変換画像を生成し、当該変換画像を出力する画像信号制御部と、前記画像信号制御部から出力される変換画像を入力とし、分割画像と縮小画像とを別々のストリームに圧縮符号化し、当該分割画像を圧縮して得られる分割圧縮画像ストリーム及び、縮小画像を圧縮して得られる縮小圧縮画像ストリームを出力する符号化部とを備えることを特徴とする。
【００１０】
この構成によれば、高解像度画像を、従来の低解像度の縮小画像及び分割画像に変換して符号化することで、符号化装置の性能に対して高いフレームレートでの符号化を可能とするとともに、縮小画像と分割画像とを符号化時に使用することで全て縮小画像を用いて符号化するよりも画質を向上させることが可能となる。
【００１１】
また、前記画像信号制御部は、前記画像縮小部において処理したフレーム数Ｍ及び、前記画像分割部において処理したフレーム数Ｎを、フレーム数情報として出力する構成にしても構わない。
【００１２】
この構成によれば、画像復号化装置が前記ＭおよびＮのフレーム数情報を入力し、対応した復号化を行うことが可能になるため、前記ＭおよびＮのフレーム数の選択が自由に行え、再生画質や回路規模の要求に柔軟に対応することが可能となる効果を奏する。
【００１３】
また、前記画像信号制御部は、前記縮小画像の画素位置と、前記分割画像の画素位置との対応関係を示す画素位置関係補助データを出力する構成にしても構わない。
【００１４】
この構成によれば、分割画像から合成した高解像度画像と、縮小画像とから、縮小画像に相当する高解像度画像を復元する際に、画素の位置関係を合わせて復元することが可能になる。また、符号化側が設定した画素の位置関係を復号化側が取得可能になるため、縮小画像作成時に用いるフィルタ特性を自由に選択することが可能になる。
【００１５】
また、前記符号化部は、前記縮小画像を符号化する際に、縮小画像の圧縮画像ストリームの間にスキップト・マクロブロックで構成されたピクチャを挿入することでフレームレートを増加した前記縮小圧縮画像ストリームを生成する構成にしても構わない。
【００１６】
この構成によれば、縮小圧縮画像ストリームのフレームレートを変更して、従来規格に準拠させることが可能となる。これにより、縮小画像のみを復号化することで、従来規格のみに対応した画像復号化装置でも画像の内容を確認することが可能になる。
【００１７】
また、前記符号化部は、前記縮小画像を符号化する際の符号量制御において、符号化方式の規格におけるバッファサイズよりも小さいバッファサイズを用いて符号量制御を行う構成にしても構わない。
【００１８】
この構成によれば、分割画像を合成して得られた高解像度画像を縮小したものを、縮小圧縮画像ストリームと組み合わせて、フレームレートを増加しつつ従来規格の範囲内の符号量制御が行われた圧縮画像ストリームを容易に作成することができる。
【００１９】
また、前記符号化部は、前記縮小画像を符号化する際に、スキップト・マクロブロックで構成されたピクチャにスタッフィングを付加することにより、他のフレーム間予測符号化したピクチャと概略同程度のデータ量とした縮小圧縮画像ストリームを生成する構成にしても構わない。
【００２０】
この構成によれば、分割画像を合成して得られた高解像度画像を縮小したものを、スキップト・マクロブロックで構成されたピクチャと差し替えることで、フレームレートを増加しつつ従来規格の範囲内の符号量制御が行われた圧縮画像ストリームを容易に作成することができる。
【００２１】
また、前記画像縮小部は、前記Ｎフレームの各フレームを縮小して前記第１の解像度よりも小さい解像度の分割部縮小画像を生成し、前記符号化部は、前記縮小圧縮画像ストリームに前記縮小画像と、前記分割部縮小画像と、が含まれるように圧縮符号化を行うことを特徴とする構成にしても構わない。
【００２２】
この構成によれば、縮小画像を符号化する際に、スキップト・マクロブロックで構成されたピクチャを挿入することなく、従来規格互換のフレームレートを持ち、滑らかな動画を再生可能な圧縮画像ストリームを容易に作成することができる。
【００２３】
また、前記符号化部は、前記縮小画像を符号化する際にはフレーム間符号化処理を行い、前記分割画像を符号化する際にはフレーム内符号化処理を行う構成にしても構わない。
【００２４】
この構成によれば、縮小画像はフレーム間符号化により高い圧縮率を得るとともに従来規格準拠の圧縮画像ストリームとすることができ、かつ、高解像度画像を復元する元になる分割画像は、フレーム間の時間差が大きく開いた場合でもフレーム内符号化により高画質で符号化することができる。
【００２５】
また、上記の画像符号化装置において前記分割圧縮画像ストリームを、前記縮小圧縮画像ストリームのユーザデータとして多重する多重化部を備える構成にしても構わない。
【００２６】
この構成によれば、分割圧縮画像ストリームを縮小圧縮画像ストリームと別のフォルダに記録することなく、従来規格に準拠して記録するだけで従来解像度にのみ対応した再生装置と互換性を持つ記録媒体を生成することができる。
【００２７】
また、前記分割圧縮画像ストリームを、前記縮小圧縮画像ストリームに別ＰＩＤを持つパケットとして多重する多重化部を備える構成にしても構わない。
【００２８】
この構成によれば、分割圧縮画像ストリームを縮小圧縮画像ストリームと別のフォルダに記録することなく、従来規格に準拠して記録するだけで従来解像度にのみ対応した再生装置と互換性を持つ記録媒体を生成することができる。また、縮小圧縮画像ストリームとは別パケットに分かれているので、必要に応じて縮小圧縮画像ストリームを復号化することなく、分割圧縮画像ストリームのみを復号化することができる。
【００２９】
また、前記フレーム数情報を、前記分割圧縮画像ストリームと、前記縮小圧縮画像ストリームとの少なくとも一方にユーザデータとして多重する多重化部を備える構成にしても構わない。
【００３０】
この構成によれば、分割画像と縮小画像の比率、周期を予め決めておく必要が無いため、符号化する入力高解像度画像の特性に合わせ、最適な画質を再現する符号化処理を符号化装置と復号化装置で共用することができる。
【００３１】
また、前記フレーム数情報を、前記分割圧縮画像ストリームと、前記縮小圧縮画像ストリームとの少なくとも一方に別ＰＩＤを持つパケットとして多重する多重化部を備える構成にしても構わない。
【００３２】
この構成によれば、分割画像と縮小画像の比率、周期を予め決めておく必要が無いため、符号化する入力高解像度画像の特性に合わせ、最適な画質を再現する符号化処理を符号化装置と復号化装置で共用することができる。また、圧縮画像ストリームとは別パケットになっているため、復号化装置は圧縮画像ストリームを復号化することなく、前記ＭおよびＮのフレーム数情報を知ることができる。
【００３３】
また、前記フレーム数情報を、前記分割圧縮画像ストリームと、前記縮小圧縮画像ストリームとの少なくとも一方にＭＰＥＧ Ｓｙｓｔｅｍｓにおけるｄｅｓｃｒｉｐｔｏｒとして多重する多重化部を備える構成にしても構わない。
【００３４】
この構成によれば、分割画像と縮小画像の比率、周期を予め決めておく必要が無いため、符号化する入力高解像度画像の特性に合わせ、最適な画質を再現する符号化処理を符号化装置と復号化装置で共用することができる。また、他の情報を多重するために用いているｄｅｓｃｒｉｐｔｏｒに多重しているため、元々復号化装置内に存在している、ｄｅｓｃｒｉｐｔｏｒを解析する手段を流用することができ、回路規模を小さく抑えることができる。
【００３５】
また、前記画素位置関係補助データを、前記分割圧縮画像ストリームと、前記縮小圧縮画像ストリームとの少なくとも一方にユーザデータとして多重する多重化部を備える構成にしても構わない。
【００３６】
この構成によれば、縮小画像を生成するための縮小処理、および復号化時に高解像度画像を生成するための超解像度処理の処理内容を、回路規模と画質のトレードオフで選択することができる。
【００３７】
また、前記画素位置関係補助データを、前記分割圧縮画像ストリームと、前記縮小圧縮画像ストリームとの少なくとも一方に別ＰＩＤを持つパケットとして多重する多重化部を備える構成にしても構わない。
【００３８】
この構成によれば、縮小画像を生成するための縮小処理、および復号化時に高解像度画像を生成するための超解像度処理の処理内容を、回路規模と画質のトレードオフで選択することができる。また、圧縮画像ストリームとは別パケットになっているため、復号化装置は圧縮画像ストリームを復号化することなく、前記画素位置関係補助データを知ることができる。
【００３９】
また、前記画素位置関係補助データを、前記分割圧縮画像ストリームと、前記縮小圧縮画像ストリームとの少なくとも一方にＭＰＥＧ Ｓｙｓｔｅｍｓにおけるｄｅｓｃｒｉｐｔｏｒとして多重する多重化部を備える構成にしても構わない。
【００４０】
この構成によれば、縮小画像を生成するための縮小処理、および復号化時に高解像度画像を生成するための超解像度処理の処理内容を、回路規模と画質のトレードオフで選択することができる。また、他の情報を多重するために用いているｄｅｓｃｒｉｐｔｏｒに多重しているため、元々復号化装置内に存在している、ｄｅｓｃｒｉｐｔｏｒを解析する手段を流用することができ、回路規模を小さく抑えることができる。
【００４１】
また、本発明に係る符号変換装置は、第１の解像度よりも小さい解像度を有する縮小画像と、当該第１の解像度よりも小さい解像度を有しスキップト・マクロブロックで構成された画像信号とが圧縮符号化された縮小圧縮画像ストリームと、当該第１の解像度を有する画像信号を複数の当該第１の解像度よりも小さい解像度を有するフレームに分割して得られる分割画像を圧縮符号化した分割圧縮画像ストリームと、を入力とする入力部と、前記分割圧縮画像ストリームに含まれる複数の分割画像を基に、分割前の当該第１の解像度を有する画像信号の復元を行う伸張部と、前記伸張部において復元された画像信号を、前記分割画像の解像度に縮小し再生後縮小画像を生成する縮小部と、前記再生後縮小画像を圧縮符号化して再生後縮小圧縮画像ストリームを生成する圧縮部と、前記再生後縮小画像ストリームに含まれる各ピクチャを、前記縮小圧縮画像ストリームに含まれるスキップト・マクロブロックで構成された画像信号と置き換えることで変換圧縮画像ストリームを生成し、出力する符号処理部と、を備える構成にしても構わない。
【００４２】
この構成によれば、高解像度画像を圧縮した圧縮画像ストリームを、少ない演算処理量で低解像度画像の圧縮画像ストリームに変換することができる。
【００４３】
また、前記画像符号化装置はさらに、前記分割圧縮画像ストリームと、前記縮小圧縮画像ストリームと、を所定のファイルシステムを有する記録媒体に記録を行う記録部を備え、前記記録部は、前記ファイルシステム上に、分割画像フォルダと、縮小画像フォルダと、を生成するとともに、前記分割圧縮画像ストリームを当該分割画像フォルダに記録し、前記縮小圧縮画像ストリーム及び、前記符号化部において生成される当該縮小圧縮画像ストリームを再生する際に使用する縮小画像制御情報を当該縮小画像フォルダに記録することを特徴とする構成にしても構わない。
【００４４】
この構成によれば、縮小画像を従来規格互換のフォルダ構成に記録し、分割画像を従来規格に無い部分のフォルダ構成に記録するため、従来解像度のみに対応した再生装置に記録媒体を装着しても、縮小画像のみを再生することができる。
【００４５】
また、前記画像信号制御部は、前記画像縮小部に対して、前記画像信号に含まれるフレームのうち時間的に連続するＭ（Ｍは整数）枚のフレームを基に第１の縮小画像群を生成させるとともに、当該Ｍ枚のフレームに連続するＮ（Ｎは整数）枚のフレームを基に第２の縮小画像群を生成させ、前記符号化部は、前記第１縮小画像と、前記第２縮小画像と、を時系列に並べて圧縮符号化することで前記縮小圧縮画像ストリームを生成するとともに、当該縮小圧縮画像ストリームを再生する際に使用される縮小画像制御情報を生成し、前記記録部は、前記ファイルシステム上に、分割画像フォルダと、縮小画像フォルダと、を生成するとともに、前記分割圧縮画像ストリームを当該分割画像フォルダに記録し、前記縮小圧縮画像ストリーム及び、前記符号化部において生成される当該縮小圧縮画像ストリームを再生する際に使用する縮小画像制御情報を当該縮小画像フォルダに記録することを特徴とする構成にしても構わない。
【００４６】
この構成によれば、従来規格を超える解像度の高解像度画像を少ない回路規模、演算処理量で符号化及び記録できる。さらに、再生時には、縮小圧縮画像ストリームと、分割圧縮画像ストリームの一方しか再生する必要が無いため、演算処理量をさらに軽減できる。また、この構成で記録した記録媒体は、従来解像度のみに対応した画像再生装置に装着しても、従来解像度の画像を再生することができる。
【００４７】
また、前記符号化部は、前記第２縮小画像を符号化する際に検出した動きベクトルを用いて、当該第２縮小画像の縮小前の前記第１の解像度を有する画像信号の分割画像を圧縮符号化することを特徴とする構成にしても構わない。
【００４８】
この構成によれば、分割画像の画像全体あるいは大きい領域における動きベクトル（以下、全体動きベクトルと呼ぶ）を縮小画像から得られるため、全体動きベクトルを検出する回路を追加することなく分割画像の圧縮処理の効率を高め、再生時の高解像度画像の画質を改善することができる。
【００４９】
また、本画像再生装置は、着脱可能な記録媒体に記録された第１の解像度よりも小さい解像度を有する縮小画像と、当該第１の解像度よりも小さい解像度を有しスキップト・マクロブロックで構成された画像信号とが圧縮符号化された縮小圧縮画像ストリームと、当該第１の解像度を有する画像信号を複数の当該第１の解像度よりも小さい解像度を有するフレームに分割して得られる分割画像を圧縮符号化した分割圧縮画像ストリームと、を当該記録媒体から読み出す読出し部と、前記縮小圧縮画像ストリームに含まれる縮小画像を基に縮小前の画像信号を復元するとともに、前記分割圧縮画像ストリームに含まれる分割画像から分割前の画像信号を復元する伸張部と、復元した画像信号を時系列に出力する出力部と、を備える特徴を有する。
【００５０】
また、前記伸張部は、復元に係る縮小画像を時系列に出力した場合に時間的に前後に出力される画像信号のうち前記分割画像から復元される画像信号を用いて、当該復元に係る縮小画像を復元することを特徴とする構成にしても構わない。
【００５１】
また、本画像符号化方法は、時間的に連続して入力される第１の画面解像度を有する画像信号を、当該第１の解像度よりも小さい第２の画面解像度を有する画像信号の符号化が可能な符号化部を用いて符号化を行う符号化方法であって、時間的に連続して入力される前記第１の画面解像度を有する画像信号に含まれるフレームを縮小して前記第２の画面解像度の縮小画像を生成する画像縮小ステップと、前記画像信号に含まれるフレームを、前記第２の画面解像度を有する分割画像に複数分割を行う画像分割ステップと、前記画像縮小ステップと、前記画像分割ステップとを制御し、前記画像信号に含まれるフレームのうち時間的に連続するＭ（Ｍは整数）枚のフレームを基に縮小画像を生成し、時系列に出力する第１の処理と、当該Ｍ枚のフレームに連続するＮ（Ｎは整数）枚のフレームを基に分割画像を生成し時系列に出力する第２の処理と、を交互に繰り返すことで変換画像を生成し、当該変換画像を出力する画像信号制御ステップと、前記画像信号制御部から出力される変換画像を入力とし、分割画像と縮小画像とを別々のストリームに圧縮符号化し、当該分割画像を圧縮して得られる分割圧縮画像ストリーム及び、縮小画像を圧縮して得られる縮小圧縮画像ストリームを出力する符号化ステップとを備える構成を有する。
【００５２】
この構成によれば、従来解像度の圧縮画像ストリームを復号化する復号化装置を用いて、符号化装置や復号化装置の性能に対して高いフレームレートを持つ高解像度の画像を再生することができる。また、従来規格にのみ準拠した画像記録装置で記録された記録媒体も、通常通り再生することができる。
【００５３】
また、本発明は、このような画像符号化装置として実現できるだけでなく、画像符号化装置の特徴的な構成部を備える集積回路として実現することもできる。また、本発明は、画像符号化装置に含まれる特徴的な構成部の動作をステップとする画像符号化方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【発明の効果】
【００５４】
以上より、本発明は、少ない回路規模、演算処理量での符号化及び記録を可能とし、さらには、従来解像度に対応した符号化装置で、高解像度画像を符号化するとともに、符号化装置の性能に対して高いフレームレートでの再生を可能とした画像符号化装置、及び画像記録装置を提供できる。
【図面の簡単な説明】
【００５５】
【図１】本実施の形態１に係る画像符号化装置を用いた画像記録再生装置の外観を示す斜視図
【図２】本実施の形態１に係る画像符号化装置を用いた画像記録再生装置の構成を示す図
【図３】本実施の形態１に係る画像符号化装置を用いた画像記録再生装置における各部信号を示す図
【図４】本実施の形態１に係る記録媒体に記録されているファイル構成例を示す図
【図５】本実施の形態１に係る画像記録再生装置による再生動作の流れを示すフローチャート
【図６】本実施の形態１に係る記録媒体のファイル構成におけるＢＤＭＶメインフォルダ以下のファイルの関係を説明する図
【図７】本実施の形態１に係る画像記録再生装置の高解像度再生モードにおける各部信号を示す図
【図８】４Ｋ２Ｋ画像と縮小画像の画素位置の相対関係の例を示す図
【図９】本実施の形態２に係る画像符号化装置を用いた画像記録再生装置における各部信号を示す図
【図１０】本実施の形態２に係る圧縮画像ストリームの構造例を示す図
【図１１】ＭＰＥＧ−２規格のＰＥＳの構成例を示す図
【図１２】ＭＰＥＧ−２規格のＴＳの構成例を示す図
【図１３】本実施の形態３に係る画像変換装置の構成例を示す図
【図１４】メモリ制御部５０１から画像縮小部５０６に出力される４Ｋ２Ｋ高解像度画像と、記録媒体１０に記録されている縮小圧縮画像ストリームと、記録処理部５０８が記録媒体２０に記録する毎秒２４フレームの変換圧縮画像ストリームとの関係を説明する図
【図１５】本実施の形態４に係る画像符号化装置を用いた画像記録再生装置の、圧縮伸張部２０５におけるバッファ制御のイメージを示す図
【図１６】本実施の形態５に係る画像符号化装置を用いた画像記録再生装置の、圧縮伸張部２０５におけるバッファ制御のイメージを示す図
【図１７】本実施の形態６に係る画像符号化装置を用いた画像記録再生装置１００２の構成を示す図
【図１８】本実施の形態６に係る画像符号化装置を用いた画像記録再生装置１００２における、記録時の各部信号を示す図
【図１９】本実施の形態６に係る画像符号化装置を用いた画像記録再生装置１００２により記録された記録媒体１０を再生する際の処理を示す図
【発明を実施するための形態】
【００５６】
以下、本発明に係る画像符号化装置の実施の形態について、図面を参照しながら詳細に説明する。
【００５７】
（実施の形態１）
図１は、本実施の形態１に係る画像符号化装置を用いた画像記録再生装置の外観を示す斜視図である。図１に示すように、画像記録再生装置１０００は、例えば、デジタルビデオカメラである。画像記録再生装置１０００は、撮影した高解像度画像を記録媒体１０に記録する画像記録装置としての機能を有する。また、画像記録再生装置１０００は、記録媒体１０に記録されている高解像度画像を再生する画像再生装置としての機能を有する。ここで、説明のため、高解像度画像は画素数が３８４０×２１６０の４Ｋ２Ｋ画像であるものとする。
【００５８】
記録媒体１０は、画像記録再生装置１０００に着脱可能な記録媒体であり、例えば、半導体メモリ又は光ディスク等である。
【００５９】
図２は、本実施の形態１に係る画像符号化装置を用いた画像記録再生装置１０００の構成を示す図である。図２に示すように、画像記録再生装置１０００は、カメラ部１００と、記録再生部２００と、外部メモリ３００と、出力端子３０１と、表示装置３０２と、超解像処理部３２０と、外部メモリ３３０とを備える。
【００６０】
なお、カメラ部１００に内蔵されている画像縮小部１１０が請求項１の画像縮小部に対応する。同じく、画像分割部１１１が請求項１の画像分割部に、カメラ画像信号処理部１０４が請求項１の画像信号制御部に、それぞれ対応する。また、記録再生部２００に内蔵されている圧縮伸張部２０５が請求項１の符号化部に対応する。
【００６１】
以下、カメラ部１００について説明を行う。
【００６２】
カメラ部１００は、レンズ群１０１と、撮像部１０２と、Ａ／Ｄ変換部１０３と、カメラ画像信号処理部１０４と、カメラ制御部１０５とを備える。
【００６３】
レンズ群１０１は、複数の光学レンズから構成される。レンズ群１０１は、光を撮像部１０２に集光する。
【００６４】
撮像部１０２は、撮像素子などから構成され、レンズ群１０１を介して入力された光を撮像する。具体的には、撮像部１０２は、入力された光信号をアナログ信号（電気信号）に変換して、当該アナログ信号をＡ／Ｄ変換部１０３に出力する。
【００６５】
Ａ／Ｄ変換部１０３は、撮像部１０２から出力されたアナログ信号をデジタル信号に変換する。Ａ／Ｄ変換部１０３は、変換したデジタル信号をカメラ画像信号処理部１０４に出力する。
【００６６】
カメラ画像信号処理部１０４は、Ａ／Ｄ変換部１０３から出力されたデジタル信号に対してノイズ除去及び画質調整などの画像信号処理を施し画像信号を生成する。カメラ画像信号処理部１０４は、デジタル信号に画像信号処理を施すことで毎秒２４フレームの４Ｋ２Ｋ画像信号を生成する。また、カメラ制御部１０５は、記録再生部２００と制御信号をやり取りしつつ、カメラ部１００の内部構成各部を制御して４Ｋ２Ｋ画像信号を撮影させる。
【００６７】
本実施の形態におけるカメラ画像信号処理部１０４は、画像縮小部１１０、及び画像分割部１１１を内蔵している。これらの動作について、図３を用いて説明する。
【００６８】
図３は、本実施の形態１に係る画像符号化装置を用いた画像記録再生装置１０００における各部信号を示す図である。
【００６９】
図３（ａ）はカメラ画像信号処理部１０４において生成される４Ｋ２Ｋ画像信号を示す。
【００７０】
図３（ｂ）はカメラ画像信号処理部１０４からメモリ制御部２０１に出力される画像信号を示す。
【００７１】
図３（ｃ）は圧縮伸張部２０５において縮小画像が圧縮されて生成される縮小圧縮画像ストリームを示す。
【００７２】
図３（ｄ）は圧縮伸張部２０５において分割画像が圧縮されて生成される分割圧縮画像ストリームを示す。
【００７３】
図３（ｅ）は圧縮伸張部２０５において縮小圧縮画像ストリームにスキップト・マクロブロックで構成されたＰピクチャを挿入して圧縮伸張部２０５から出力される分割圧縮画像ストリームを示す。
【００７４】
画像縮小部１１０及び画像分割部１１１には、図３（ａ）に示した４Ｋ２Ｋ画像信号が１フレームおきに交互に供給される。
【００７５】
画像縮小部１１０は、入力された４Ｋ２Ｋ画像のフレーム３５０を、水平方向１／２、垂直方向１／２に縮小し、画素数が１９２０×１０８０のＨＤＴＶサイズの縮小画像３６０として記録再生部２００に出力する。
【００７６】
画像分割部１１１は、入力された４Ｋ２Ｋ画像のフレーム３５１を、例えば、水平画素数が１／２、垂直画素数が１／２の４個の分割画像３６１、３６２、３６３及び３６４に分割し、画素数が１９２０×１０８０のＨＤＴＶサイズの分割画像として記録再生部２００に出力する。
【００７７】
なお、画像縮小部１１０及び画像分割部１１１に４Ｋ２Ｋ画像信号が１フレームおきに交互に供給されるとしたが、例えばＭフレーム連続で画像縮小部１１０に供給された後、当該Ｍフレームに続くＮフレームを画像分割部１１１に供給する構成にしても構わない。ここで、Ｍ、Ｎはそれぞれ正の整数とする。
【００７８】
ここで、カメラ画像信号処理部１０４は、縮小画像３６０、及び分割画像３６１、３６２、３６３、３６４を時間軸多重し、図３（ｂ）に示した毎秒６０フレームのＨＤＴＶサイズ画像の形式として（以下、ＨＤＴＶサイズ多重化画像と記載する）記録再生部２００に出力する。
【００７９】
次に、記録再生部２００について説明を行う。
【００８０】
記録再生部２００は、メモリ制御部２０１と、画像出力部２０２と、画像縮小部２０３と、ＧＵＩ多重部２０４と、圧縮伸張部２０５と、記録再生処理部２０６と、システム制御部２０７と、記録制御部２０８とを備える。
【００８１】
メモリ制御部２０１は、システム制御部２０７の制御により、カメラ画像信号処理部１０４から出力されたＨＤＴＶサイズ多重化画像の中から縮小画像を抜き取り、外部メモリ３００上の縮小画像領域３１０に一旦記憶させ、必要に応じて読み出して画像出力部２０２、画像縮小部２０３、圧縮伸張部２０５に出力する。また、メモリ制御部２０１は、システム制御部２０７の制御により、カメラ画像信号処理部１０４から出力されたＨＤＴＶサイズ多重化画像の中から分割画像を抜き取り、外部メモリ３００上の分割画像領域３１１に一旦記憶させ、必要に応じて読み出して画像出力部２０２、及び圧縮伸張部２０５に出力する。
【００８２】
ここで、メモリ制御部２０１は画像出力部２０２及び圧縮伸張部２０５に縮小画像及び分割画像を出力する際には、図３（ｂ）に示したＨＤＴＶサイズ多重化画像として出力する。
【００８３】
画像出力部２０２は、メモリ制御部２０１から出力されたＨＤＴＶサイズ多重化画像を、エッジ強調、ノイズキャンセルなどの画像処理を施した後に、出力端子３０１を介して出力する。従って、画像出力部２０２は４Ｋ２Ｋ画像に対応する必要は無く、従来からのＨＤＴＶ画像に対応した回路を利用することができる。
【００８４】
画像縮小部２０３は、メモリ制御部２０１から出力された縮小画像信号を、表示装置３０２の解像度に合わせてさらに縮小し、ＧＵＩ多重部２０４に出力する。このとき、縮小画像信号は毎秒１２フレームの信号となるが、外部メモリ３００上の縮小画像領域３１０から読み出す際に、必要に応じて繰返し読み出すことで、表示装置３０２が必要とするフレームレートにあった形式の映像信号として出力することができる。また、画像縮小部２０３も、画像出力部２０２と同様に、４Ｋ２Ｋ画像に対応する必要は無く、従来からのＨＤＴＶ画像に対応した回路を利用することができる。
【００８５】
ＧＵＩ多重部２０４は、システム制御部２０７からの制御により、カメラ情報、記録媒体情報などの情報をグラフィックとして、画像縮小部２０３から出力された表示用縮小画像に多重し、表示装置３０２に出力する。
【００８６】
圧縮伸張部２０５は、メモリ制御部２０１から出力されたＨＤＴＶサイズ多重化画像を、ＭＰＥＧ−２又はＨ．２６４などの符号化方法に基づいて、圧縮して多重する。圧縮伸張部２０５は、圧縮多重して得られた圧縮画像ストリームを記録再生処理部２０６に出力する。
【００８７】
このとき、圧縮伸張部２０５はＨＤＴＶサイズ多重化画像を圧縮するため、符号化装置としての性能は、毎秒６０フレームのＨＤＴＶサイズ画像信号を圧縮するだけの性能があれば良い。ただし、システム制御部２０７からの制御により、入力されたＨＤＴＶサイズ多重化画像の中の縮小画像と分割画像を区別し、圧縮処理はそれぞれ独立になるように内部処理を切り替えて圧縮する。
【００８８】
縮小画像を圧縮する際には、図３（ｂ）に示したＨＤＴＶサイズ多重化画像の中の縮小画像同士（例えばフレーム３６０及びフレーム３６５）のみのフレーム間参照を用いて圧縮処理を行う。この場合、Ｂピクチャを用いず、Ｉピクチャ及びＰピクチャのみでフレーム間圧縮処理を行えば、圧縮するフレームの順が入力フレーム順と同じになるので制御が複雑にならなくて済む。
【００８９】
縮小画像から生成された圧縮画像ストリームは図３（ｃ）のような形式になるが、ここではさらに従来規格準拠のストリームとするため、各フレームの間にスキップト・マクロブロックで構成されたＰピクチャ（以降、スキップＰピクチャと略する）を挿入する。
【００９０】
例えば、圧縮伸張部においてＨ．２６４に基づいた圧縮を行った場合、マクロブロックの情報をまったく送らずに、予測動きベクトルを用いて動き保証を行った予測信号の画素を、そのまま符号化画像として用いるスキップト・マクロブロックというマクロブロック・モードが利用できる。
【００９１】
このスキップト・マクロブロックのみでＰピクチャを１枚構成することで、前のピクチャを予測動きベクトルで動き補償した画像をそのまま符号化画像とし、全く圧縮処理を行うことなく１ピクチャ分の圧縮画像ストリームを生成することが可能である。なお、スキップト・マクロブロックのみで構成可能なピクチャはＰピクチャだけでなく、Ｂピクチャでも構成可能である。
【００９２】
このスキップＰピクチャを挿入することで、圧縮伸張部２０５は、図３（ｅ）に示した擬似２４ｐ形式の圧縮画像ストリームを生成し、分割画像の圧縮画像ストリームとは別に分離して記録再生処理部２０６に出力する。従って、圧縮伸張部２０５においては、このスキップＰピクチャを含めた縮小圧縮画像ストリームが、レート制御も含めて従来規格準拠となるように圧縮処理する。
【００９３】
同様に、分割画像を圧縮する際には、図３（ｂ）に示したＨＤＴＶサイズ多重化画像の中の、４Ｋ２Ｋ画像中で同一位置にある分割画像同士のフレーム間参照を用いて圧縮処理を行う。たとえば、左上に位置する分割画像３５２（４Ｋ１−ａ）は、同じ位置の分割画像３５３（４Ｋ３−ａ）からのみ参照可能とする。圧縮伸張部２０５は、分割画像から図３（ｄ）に示す圧縮画像ストリームを生成し、縮小画像の圧縮画像ストリームとは別に分離して記録再生処理部２０６に出力する。
【００９４】
記録再生処理部２０６は、圧縮伸張部２０５から出力された圧縮画像ストリームを記録媒体１０に記録する。
【００９５】
また、記録再生処理部２０６は、圧縮伸張部２０５から出力された縮小圧縮画像ストリームと、分割圧縮画像ストリームとを、記録媒体１０に形成した別のフォルダにそれぞれ記録する。
【００９６】
システム制御部２０７は、カメラ制御部１０５経由で、カメラ画像信号処理部１０４から出力されたＨＤＴＶサイズ多重化画像の中の縮小画像、及び分割画像の順の情報を受け取ってメモリ制御部２０１を制御する。
【００９７】
また、システム制御部２０７は、記載しない入力デバイスを介して受け付けたユーザ操作を操作情報とし、操作情報に基づいて、カメラ制御部１０５、メモリ制御部２０１、画像出力部２０２、画像縮小部２０３、ＧＵＩ多重部２０４、圧縮伸張部２０５、記録再生処理部２０６、記録制御部２０８を制御することで、画像記録再生装置１０００における記録処理、及び再生処理を実行する。
【００９８】
記録制御部２０８は、記録媒体１０を駆動するドライブ装置、又は、記録アドレス入力手順などの記録プロトコルを制御する。
【００９９】
図４は、本実施の形態１に係る記録媒体１０に記録されているファイル構成例を示す図である。
【０１００】
図４に示すように、記録媒体１０に記録されるファイルシステムの１つにおけるディレクトリ構成の最上位階層に、ＢＤＭＶメインフォルダ４１０と、ＨＩＧＨＲＥＳＯメインフォルダ４３０とが形成される。
【０１０１】
ＢＤＭＶメインフォルダ４１０は、従来互換用のフォルダであり、従来規格に対応した記録フォーマットで従来解像度画像、すなわち４Ｋ２Ｋ高解像度画像からの縮小圧縮画像ストリームもしくは従来規格のみに対応した画像記録装置により記録された圧縮画像ストリーム、が記録される。
【０１０２】
以下のＢＤＭＶメインフォルダ４１０に関する説明では、４Ｋ２Ｋ高解像度画像からの縮小画像と、従来規格のみに対応した画像記録装置により記録された従来解像度の画像とを、まとめて従来解像度画像と表現して説明する。
【０１０３】
ＨＩＧＨＲＥＳＯメインフォルダ４３０は、高解像度撮影用フォルダであり、独自記録フォーマットで４Ｋ２Ｋからの分割圧縮画像ストリームが記録される。
【０１０４】
ＢＤＭＶメインフォルダ４１０の配下には、インフォファイル４１１（ｉｎｆｏ）と、メニューファイル４１２（ｍｅｎｕ）と、プレイリストフォルダ４１３（ＰＬＡＹＬＩＳＴ）と、クリップインフォフォルダ４１４（ＣＬＩＰＩＮＦ）と、ストリームフォルダ４１５（ＳＴＲＥＡＭ）と、バックアップフォルダ４１６（ＢＡＣＫＵＰ）とが形成される。
【０１０５】
インフォファイル４１１（ｉｎｆｏ）は、ディレクトリ全体の管理情報を含む。
【０１０６】
メニューファイル４１２（ｍｅｎｕ）は、メニューを構成する情報を含む。
【０１０７】
プレイリストフォルダ４１３（ＰＬＡＹＬＩＳＴ）の配下に、プレイリストファイル４１７（０１００１．ｐｌｓｔ）が格納される。プレイリストファイル４１７（０１００１．ｐｌｓｔ）は、従来解像度画像を再生するための情報を含む。具体的には、プレイリストファイル４１７は、コンテンツの再生順序に関する情報を含む。また、プレイリストファイル４１７は、クリップインフォファイル４１８を指定する情報と、再生時間とを含む。
【０１０８】
クリップインフォフォルダ４１４（ＣＬＩＰＩＮＦ）の配下に、クリップインフォファイル４１８（０１０００．ｃｌｐｉ）が格納される。クリップインフォファイル４１８（０１０００．ｃｌｐｉ）は、従来解像度画像を再生するための情報を含む。具体的には、クリップインフォファイル４１８は、時間情報と圧縮画像ストリーム（ストリームファイル４１９）の位置との対応を示す。また、クリップインフォファイル４１８は、対応する圧縮画像ストリームの部分再生及び特殊再生を実現するためのタイムテーブルを含む。また、クリップインフォファイル４１８は、対応する圧縮画像ストリームの画像サイズ、及び圧縮方法等の情報を含む。
【０１０９】
ストリームフォルダ４１５（ＳＴＲＥＡＭ）の配下に、ストリームファイル４１９（０１０００．ｍ２ｔｓ）が格納される。ストリームファイル４１９（０１０００．ｍ２ｔｓ）は、ＡＶデータファイルを含む。
【０１１０】
バックアップフォルダ４１６（ＢＡＣＫＵＰ）には、例えば編集作業途中の、インフォファイル４１１（ｉｎｆｏ）、メニューファイル４１２（ｍｅｎｕ）、プレイリストフォルダ４１３（ＰＬＡＹＬＩＳＴ）、及びクリップインフォフォルダ４１４（ＣＬＩＰＩＮＦ）のコピーが保存される。これにより、編集途中での電源断等によって従来解像度画像が再生不可能な状態になることを防ぐことができる。
【０１１１】
ＨＩＧＨＲＥＳＯメインフォルダ４３０の配下には、プレイリストフォルダ４３３（ＥＸＴＰＬＡＹＬＩＳＴ）と、クリップインフォフォルダ４３４（ＥＸＴＣＬＩＰＩＮＦ）と、ストリームフォルダ４３５（ＥＸＴＳＴＲＥＡＭ）と、バックアップフォルダ４３６（ＢＡＣＫＵＰ）とが形成される。
【０１１２】
プレイリストフォルダ４３３（ＥＸＴＰＬＡＹＬＩＳＴ）の配下に、プレイリストファイル４３７（０１００１．ｐｌｓｅ）が格納される。プレイリストファイル４３７（０１００１．ｐｌｓｅ）は、分割圧縮画像ストリームを再生するための情報を含む。具体的には、プレイリストファイル４３７は、分割圧縮画像ストリームに関する画像フレーム又はフィールドの再生順序に関する情報を含む。また、プレイリストファイル４３７は、クリップインフォファイル４３８を指定する情報と、再生時間とを含む。
【０１１３】
クリップインフォフォルダ４３４（ＥＸＴＣＬＩＰＩＮＦ）の配下に、クリップインフォファイル４３８（０１０００．ｃｌｐｅ）が格納される。クリップインフォファイル４３８（０１０００．ｃｌｐｅ）は、分割圧縮画像ストリームを再生するための情報を含む。具体的には、クリップインフォファイル４３８は、時間情報と圧縮画像ストリーム（ストリームファイル４３９）の位置との対応、及び分割画像と元の４Ｋ２Ｋ高解像度画像での位置の対応を示す。また、クリップインフォファイル４３８は、対応する圧縮画像ストリームの部分再生及び特殊再生を実現するためのタイムテーブルを含む。また、クリップインフォファイル４３８は、対応する圧縮画像ストリームの画像サイズ、及び圧縮方法等の情報を含む。
【０１１４】
ストリームフォルダ４３５（ＥＸＴＳＴＲＥＡＭ）の配下に、ストリームファイル４３９（０１０００．ｍ２ｔｅ）が格納される。ストリームファイル４３９（０１０００．ｍ２ｔｅ）は、分割圧縮画像ストリームファイルを含む。
【０１１５】
バックアップフォルダ４３６（ＢＡＣＫＵＰ）には、例えば編集作業途中の、プレイリストフォルダ４３３（ＰＬＡＹＬＩＳＴ）、及びクリップインフォフォルダ４３４（ＣＬＩＰＩＮＦ）のコピーが保存される。
【０１１６】
また、ＢＤＭＶメインフォルダ４１０とＨＩＧＨＲＥＳＯメインフォルダ４３０とは、下位に含まれるフォルダ階層の構成が同じである。
【０１１７】
以上のように、実施の形態１に係る画像記録再生装置１０００は、従来規格に準拠した１９２０×１０８０の解像度を有する縮小圧縮画像ストリームをＢＤＭＶメインフォルダ４１０以下に記録し、分割圧縮画像ストリームをＨＩＧＨＲＥＳＯメインフォルダ４３０以下に記録する。
【０１１８】
このように記録することで、ＢＤＭＶメインフォルダ４１０以下のファイル構成は、従来規格のフォルダ構造と同様になる。これにより、高解像度撮影に対応していない従来規格準拠の画像再生装置が、記録媒体１０を再生した場合でも、１９２０×１０８０の解像度を有する縮小画像を再生することができる。さらに、従来規格準拠の画像再生装置でも、プレイリスト編集などの機能を従来通りに使用できる。
【０１１９】
次に、実施の形態１に係る画像記録再生装置１０００による再生動作を説明する。
【０１２０】
図５は、画像記録再生装置１０００による再生動作の流れを示すフローチャートである。ここで画像記録再生装置１０００は、従来規格に準拠した画像記録再生装置により従来解像度画像を記録された記録媒体１０、もしくは高解像度画像を記録された記録媒体１０から縮小画像のみ、を再生する通常再生モードと、画像記録再生装置１０００により高解像度画像を記録された記録媒体１０から縮小画像と分割画像の両方を再生する高解像度モードとを備えているものとする。
【０１２１】
なお、画像記録再生装置１０００により高解像度画像を記録された記録媒体１０を、従来規格にのみ準拠した画像再生装置により再生した場合、ここでの説明における通常再生モードと同様の動作を行い、縮小画像を再生して出力する。
【０１２２】
まず、システム制御部２０７は、ユーザにより設定された再生モードを判定する（Ｓ２２０）。
【０１２３】
再生モードが通常再生モードの場合（Ｓ２２０でＮｏ）、記録再生処理部２０６は、再生対象の従来解像度画像、すなわち４Ｋ２Ｋからの縮小圧縮画像ストリームもしくは従来規格のみに対応した画像記録装置により記録された圧縮画像ストリーム、を記録媒体１０から読み出す（Ｓ２１１）。
【０１２４】
図６は、図４のファイル構成におけるＢＤＭＶメインフォルダ４１０以下のファイルの関係を説明する図である。
【０１２５】
通常再生モードの場合、システム制御部２０７は、再生制御にあたって、プレイリストファイル４１７、クリップインフォファイル４１８、及びストリームファイル４１９の３種類のファイルを使用する。
【０１２６】
プレイリストファイル４１７は、クリップインフォファイル４１８を指定する情報と、再生時間とを含む。記録再生処理部２０６は、再生対象のプレイリストファイル４１７に含まれるクリップインフォファイル４１８を順次参照する。記録再生処理部２０６は、クリップインフォファイル４１８に含まれるタイムテーブルで指定されたストリームファイル４１９を読み出す。
【０１２７】
例えば、プレイリストファイル４１７（０１００１．ｐｌｓｔ）には、クリップ（＃１）、及びクリップ（＃２）などが含まれ、クリップ（＃１）、及びクリップ（＃２）の順に再生されることが示される。記録再生処理部２０６は、クリップ（＃１）については、クリップインフォファイル４１８（０１０００．ｃｌｐｉ）によって対応付けられているストリームファイル４１９（０１０００．ｍ２ｔｓ）を読み出す。記録再生処理部２０６は、クリップ（＃２）については、クリップインフォファイル４１８（０２０００．ｃｌｐｉ）によって対応付けられているストリームファイル４１９（０２０００．ｍ２ｔｓ）を読み出す。
【０１２８】
圧縮伸張部２０５は、記録再生処理部２０６により読み出された従来解像度画像を、分離して伸張する（Ｓ２１２）。
【０１２９】
メモリ制御部２０１は、圧縮伸張部２０５により分離伸張された従来解像度画像を外部メモリ３００に一旦保存し、画像出力部２０２及び画像縮小部２０３に出力する。画像出力部２０２は、メモリ制御部２０１から出力された従来解像度画像を、エッジ強調、ノイズキャンセルなどの画像処理を施した後に、超解像処理部３２０、出力端子３０１を介して出力し、外部のモニタなどに表示する（Ｓ２１３）。このとき、超解像処理部３２０は入力画像に対して処理を行わず、そのまま出力端子３０１に出力する。
【０１３０】
画像縮小部２０３は、メモリ制御部２０１から出力された従来解像度画像を、表示装置３０２の解像度に合わせて縮小し、ＧＵＩ多重部２０４に出力する。ＧＵＩ多重部２０４は、システム制御部２０７からの制御により、カメラ情報、記録媒体情報などの情報をグラフィックとして、画像縮小部２０３から出力された従来解像度画像に多重し、表示装置３０２に出力する。
【０１３１】
以上のように、画像記録再生装置１０００は、通常再生モード時には、従来規格に準拠した圧縮画像ストリーム、もしくは４Ｋ２Ｋから縮小された毎秒１２フレームに相当する縮小圧縮画像ストリームを毎秒２４フレームの形式にしたものをＢＤＭＶメインフォルダ４１０から読み出し、再生する。
【０１３２】
また、ＢＤＭＶメインフォルダ４１０以下のファイル構成は、従来規格のフォルダ構造と同様である。これにより、高解像度撮影に対応していない従来規格準拠の画像再生装置が、記録媒体１０を再生した場合でも、毎秒２４フレーム形式（内容は毎秒１２フレーム相当）の画像を再生することができる。さらに、従来規格準拠の画像再生装置でも、プレイリスト編集などの機能を従来通りに使用できる。
【０１３３】
一方、再生モードが高解像度モードの場合（Ｓ２２０でＹｅｓ）、システム制御部２０７は、再生対象の４Ｋ２Ｋからの縮小画像に対応する分割圧縮画像ストリームが記録媒体１０に記録されているか否かを判定する（Ｓ２２１）。
【０１３４】
高解像度再生モードの場合、システム制御部２０７は、ＢＤＭＶメインフォルダ４１０以下のプレイリストファイル４１７に加えて、ＨＩＧＨＲＥＳＯメインフォルダ４３０以下のプレイリストファイル４３７を参照する。
【０１３５】
高解像度撮影モードの場合、記録再生処理部２０６は、４Ｋ２Ｋからの縮小画像の１つのクリップに対応した分割圧縮画像ストリームをＨＩＧＨＲＥＳＯメインフォルダ４３０に記録する。分割画像のプレイリストファイル４３７には、４Ｋ２Ｋからの縮小画像に対応して再生時に利用可能な分割画像のクリップインフォファイル４３８と再生時間とが記載されている。
【０１３６】
記録再生処理部２０６は、まず、４Ｋ２Ｋからの縮小画像のプレイリストファイル４１７及び分割画像のプレイリストファイル４３７を参照する。
【０１３７】
以下、プレイリストファイル４１７に含まれる最初のクリップ（＃１）を再生する場合を説明する。ここでは、クリップ（＃１）に対応するクリップが分割画像のプレイリストファイル４３７に存在しない。つまり、クリップ（＃１）は、通常撮影モードで記録された圧縮画像ストリーム、又は高解像度撮影に対応していない従来規格の画像記録装置により記録された圧縮画像ストリームである。
【０１３８】
分割圧縮画像ストリームが記録されていないので（Ｓ２２１でＮｏ）、画像記録再生装置１０００は、通常再生モードと同様の処理（Ｓ２１１〜Ｓ２１３）を行う。なお、記録媒体１０に対応する分割圧縮画像ストリームが記録されていない場合（Ｓ２２１でＮｏ）、システム制御部２０７は、ユーザにエラーの内容等を表示し、再生処理を終了してもよい。
【０１３９】
続いて、クリップ（＃２）を再生する処理を説明する。クリップ（＃２）に対応するクリップ（＃２１）が分割圧縮画像ストリームのプレイリストファイル４３７に存在する。つまり、クリップ（＃２）は、高解像度撮影モードで記録された圧縮画像ストリームである。
【０１４０】
分割圧縮画像ストリームが記録されているので（Ｓ２２１でＹｅｓ）、記録再生処理部２０６は、再生対象の４Ｋ２Ｋからの縮小画像と、当該縮小画像に関連した分割圧縮画像ストリームとを記録媒体１０から読み出す（Ｓ２２２）。具体的には、記録再生処理部２０６は、クリップインフォファイル４３８（０２０００．ｃｌｐｅ）によって対応付けられている分割圧縮画像ストリームのストリームファイル４３９（０２０００．ｍ２ｔｅ）を読み出す。また、記録再生処理部２０６は、クリップインフォファイル４１８（０２０００．ｃｌｐｉ）によって対応付けられている縮小画像のストリームファイル４１９（０２０００．ｍ２ｔｓ）を読み出す。
【０１４１】
次に、圧縮伸張部２０５は、記録再生処理部２０６により読み出された縮小圧縮画像ストリーム及び分割圧縮画像ストリームを分離及び伸張する（Ｓ２２２）。この際に、システム制御部２０７は、記録再生処理部２０６、圧縮伸張部２０５、メモリ制御部２０１を制御し、縮小画像及び分割画像を、時間軸多重したＨＤＴＶサイズ多重化画像（図３（ｂ）に示した毎秒６０フレームのＨＤＴＶサイズ画像の形式）として画像出力部２０２に出力するとともに、縮小画像のみを画像縮小部２０３に出力する。
【０１４２】
画像縮小部２０３は、メモリ制御部２０１から出力された縮小画像を、表示装置３０２の解像度に合わせて縮小し、ＧＵＩ多重部２０４に出力する。ＧＵＩ多重部２０４は、システム制御部２０７からの制御により、カメラ情報、記録媒体情報などの情報をグラフィックとして、画像縮小部２０３から出力された画像に多重し、表示装置３０２に出力する。従って、画像縮小部２０３及びＧＵＩ多重部２０４については、通常再生モードでも高解像度再生モードでも処理内容は変わらない。
【０１４３】
画像出力部２０２は、メモリ制御部２０１から出力されたＨＤＴＶサイズ多重化画像を、エッジ強調、ノイズキャンセルなどの画像処理を施した後に、超解像処理部３２０に出力する。従って、画像出力部２０２は４Ｋ２Ｋ画像に対応する必要は無く、従来からのＨＤＴＶ画像に対応した回路を利用することができる。
【０１４４】
超解像処理部３２０は、入力されたＨＤＴＶサイズ多重化画像を一旦外部メモリ３３０に保存したのち、分割画像を合成して４Ｋ２Ｋの高解像度画像を復元し、この高解像度画像と縮小画像とを利用して、縮小画像に対応した４Ｋ２Ｋの高解像度画像を生成する。
【０１４５】
図７は、高解像度再生モードにおける画像記録再生装置１０００の各部信号を示す図である。
【０１４６】
図７（ａ）は記録媒体１０のＢＤＭＶメインフォルダ４１０配下に記録されている分割圧縮画像ストリームを示す図である。
【０１４７】
図７（ｂ）は記録媒体１０のＨＩＧＨＲＥＳＯメインフォルダ４３０配下に記録されている縮小圧縮画像ストリームを示す図である。
【０１４８】
図７（ｃ）は画像出力部２０２が出力するＨＤＴＶサイズ多重化画像を示す図である。      
【０１４９】
図７（ｄ）は外部メモリ３３０に保存されたＨＤＴＶサイズ多重化画像を示す図である。
【０１５０】
図７（ｅ）は超解像処理部３２０において縮小画像及び分割画像から超解像処理により生成される４Ｋ２Ｋ高解像度画像を示す図である。
【０１５１】
圧縮伸張部２０５は、記録再生処理部２０６により読み出された、図７（ａ）に示す分割圧縮画像ストリーム、及び図７（ｂ）に示す縮小圧縮画像ストリームを分離及び伸張して、それぞれメモリ制御部２０１に出力する。
【０１５２】
メモリ制御部２０１は伸張後の圧縮画像、及び分割画像を外部メモリ３００に一旦保存したのち、図７（ｃ）に示すＨＤＴＶサイズ多重化画像に時間軸多重して画像出力部２０２経由で超解像処理部３２０へ出力する。このとき、図７に示したように、スキップＰピクチャ（例えばフレーム３７０及びフレーム３７１）の復号画像はＨＤＴＶサイズ多重化画像に多重しない。
【０１５３】
超解像処理部３２０は、入力されたＨＤＴＶサイズ多重化画像を一旦外部メモリ３３０に保存する。このとき、メモリ上で分割画像を４Ｋ２Ｋの高解像度画像に当てはめたアドレス順で保存し、読み出すことで図７（ｄ）に示した縮小画像と高解像度画像が交互に繰り返された画像が復元される。
【０１５４】
超解像処理部３２０は、図７（ｄ）に示した画像信号を外部メモリ３３０から読み出し、この高解像度画像と縮小画像との繰返し信号を利用して、縮小画像に対応した４Ｋ２Ｋの高解像度画像を生成する。
【０１５５】
例えば、縮小画像（フレーム３８０）を線形補間により４Ｋ２Ｋ画像サイズに拡大したのち、１６×１６画素ごとの動き検出ブロックに分割し、高解像度画像（フレーム３８１）上で、水平・垂直座標が近い位置にある１６×１６画素ブロックとの間で動きベクトル検出処理を実行する。
【０１５６】
この動きベクトル検出処理の結果において、縮小画像の動き検出ブロックと、動きベクトルが指す高解像度画像上の１６×１６画素ブロックとの間の相関性が高い動き検出ブロックについては、動きベクトルが指す高解像度画像上の１６×１６画素をコピーする。一方、相関性の低い動き検出ブロックについては、縮小画像を線形補間により拡大処理して生成された動き検出ブロックをそのまま用いることで、縮小画像３８０に対応する高解像度画像３９０を生成する。
【０１５７】
上記に示す処理を行うことで、縮小画像３８０と高解像度画像３８１の間で動き量の少ない部分は元々高解像度の画素データを用いるため、良好な高解像度画像を得ることができる。一方、動き量の多い部分は線形補間により拡大処理して生成された画素データを用いるため、精細度の低い画像となる。しかし、動き量が多いため、視聴する人の視覚特性上、精細度が低くなっていることが認知されにくい。従って、超解像処理部３２０は、全体的に良好な高解像度画像を出力することが可能である。
【０１５８】
ただし、画像を線形補間により縮小、拡大する際には、使用するフィルタの特性によって元の画像の画素位置に対する処理後の画像の画素位置が変化する。従って、上記の超解像処理の中で、縮小画像（図７の３８０）を線形補間により４Ｋ２Ｋ画像サイズに拡大する際には、拡大後の画素位置と縮小画像の画素位置との相対関係が、図３において４Ｋ２Ｋの画像を縮小する際の、４Ｋ２Ｋ画像の画素位置と縮小画像の画素位置との相対関係と一致するような線形補間フィルタを用いる必要がある。
【０１５９】
図８に４Ｋ２Ｋ画像と縮小画像の画素位置の相対関係の例を示す。図８（ａ）は４Ｋ２Ｋの画素位置の例、図８（ｂ）及び（ｃ）は縮小画像の画素位置の例である。
【０１６０】
図８（ａ）の４Ｋ２Ｋ画像を水平１／２、垂直１／２に縮小してＨＤＴＶ相当の縮小画像を生成する際に、水平２画素×垂直２画素（黒で示した画素）の単純平均を求めることで縮小処理すると図８（ｂ）の×位置が縮小画像の画素位置となる。一方、水平２画素×垂直２画素から単純間引き、すなわち左上隅の１画素で代表させることで縮小処理すると図８（ｃ）の黒丸位置が縮小画像の画素位置となる。従って、縮小画像を４Ｋ２Ｋ画像サイズに拡大する際も、図８（ｂ）の場合と図８（ｃ）の場合とで異なるフィルタ係数を用いて拡大する必要がある。この画素位置の相対関係については、予め規格で取り決めをすることで機器間の互換性を保証し、良好な高解像度画像を得ることが可能となる。
【０１６１】
以上のように、実施の形態１に係る画像記録再生装置１０００は、高解像度再生モード時には、従来規格に準拠した通常解像度の圧縮画像ストリームである縮小圧縮画像ストリームをＢＤＭＶメインフォルダ４１０から読み出し、分割圧縮画像ストリームをＨＩＧＨＲＥＳＯメインフォルダ４３０から読み出す。画像記録再生装置１０００は、読み出した縮小圧縮画像ストリームと分割圧縮画像ストリームとを用いて、高解像度画像を復元し再生する。
【０１６２】
以上、本実施の形態１に係る画像記録再生装置１０００によれば、従来規格を超える解像度の高解像度画像を記録媒体１０に記録及び再生できる。
【０１６３】
このとき、記録再生部２００においては、メモリ制御部２０１における外部メモリ３００への画像の配置制御、及び圧縮伸張部２０５及び記録再生処理部２０６における圧縮画像ストリームの生成及び記録再生に関する制御は従来解像度の記録再生処理とは異なってくるものの、画像自体は従来解像度サイズの画像を扱っているため、少ない回路規模、演算処理量での符号化及び記録を可能としている。
【０１６４】
特に、画像出力部２０２、画像縮小部２０３、ＧＵＩ多重部２０４で扱う画像も従来解像度サイズの画像であるため、記録再生部２００がメモリ制御部２０１における外部メモリ３００への画像の配置制御、及び圧縮伸張部２０５及び記録再生処理部２０６における圧縮画像ストリームの生成及び記録再生に関する制御に関する処理をマイクロプロセッサ上のソフトウェアとして実装していた場合、記録再生部２００は従来解像度に合わせて実装されたハードウェアをそのまま流用することが可能となり、さらに有用である。
【０１６５】
さらには、従来解像度に対応した符号化装置で、高解像度画像を符号化するとともに、再生時には高解像度画像と従来解像度の縮小画像が交互に得られ、この特性を利用して超解像処理を行って高解像度画像を生成することにより、符号化装置の性能に対して高いフレームレートで良好な高解像度画像を再生することを可能とした画像符号化装置、及び画像記録装置を提供できる。
【０１６６】
また、実施の形態１に係る画像記録再生装置１０００で記録した記録媒体１０を、高解像度画像の再生に対応していない従来規格に準拠した画像再生装置に装着して再生した場合には、当該画像再生装置は縮小画像のみを再生することで、従来規格準拠の１９２０×１０８０の解像度を有する画像を再生できる。すなわち、画像記録再生装置１０００は、従来規格の画像再生装置との互換性を確保できる。
【０１６７】
また、実施の形態１に係る画像記録再生装置１０００は、記録媒体１０の１つのファイルシステム内に、従来規格に対応した従来解像度の圧縮画像ストリームと、分割圧縮画像ストリームとを記録するので管理が容易である。つまり、本実施の形態１に係る画像記録再生装置１０００は、管理が容易な高解像度画像を記録できる。
【０１６８】
また、実施の形態１に係る画像記録再生装置１０００は、ＨＩＧＨＲＥＳＯメインフォルダ４３０のフォルダ構成をＢＤＭＶメインフォルダ４１０のフォルダ構成にあわせて形成する。これにより、４Ｋ２Ｋからの縮小画像と分割画像との対応をとりやすくできる。さらに、プレイリストファイル４１７及び４３７からクリップインフォファイル４１８及び４３８を介してストリームファイル４１９及び４３９を指定し再生する処理が従来解像度画像または４Ｋ２Ｋからの縮小圧縮画像ストリーム用と分割圧縮画像ストリーム用とで共用化可能となるので、システム制御部２０７の実装を簡略化することができる。
【０１６９】
以上、本実施の形態１に係る画像記録再生装置１０００について説明したが、本発明は、この実施の形態に限定されるものではない。
【０１７０】
例えば、上記説明では、縮小圧縮画像ストリームの１つのメインフォルダに対して、分割圧縮画像ストリームの１つのメインフォルダが対応するものとして説明したが、分割圧縮画像ストリームが複数に分割されていてもよく、それらが複数のメインフォルダに分かれて記録されていてもよい。
【０１７１】
また、上記説明では、図５において画像記録再生装置１０００は、高解像度再生モードであるか否かを判定（Ｓ２２０）した後に、分割圧縮画像ストリームが存在するか否かを判定（Ｓ２２１）するとしたが、分割圧縮画像ストリームが存在するか否かを判定（Ｓ２２１）した後に、高解像度再生モードであるか否かを判定（Ｓ２２０）してもよい。さらに、画像記録再生装置１０００は、所定の時間毎に、高解像度再生モードであるか否かの判定（Ｓ２２０）を行ってもよい。
【０１７２】
また、上記説明では、図４に示すフォルダ構成を示したが、従来規格互換の画像と、高解像度の画像とが別のフォルダに格納されればよく、本発明はこれに限定されるものではない。つまり、プレイリストファイル４１７、クリップインフォファイル４１８及びストリームファイル４１９は、ＢＤＭＶメインフォルダ４１０、又はＢＤＭＶメインフォルダ４１０の下位に階層的に形成したフォルダに記録されればよい。プレイリストファイル４３７、クリップインフォファイル４３８及びストリームファイル４３９は、ＨＩＧＨＲＥＳＯメインフォルダ４３０、又はＨＩＧＨＲＥＳＯメインフォルダ４３０の下位に階層的に形成したフォルダに記録されればよい。
【０１７３】
また、プレイリストファイル４１７、クリップインフォファイル４１８及びストリームファイル４１９に含まれる情報の実体が、ＢＤＭＶメインフォルダ４１０内に格納される必要はなく、プレイリストファイル４１７、クリップインフォファイル４１８及びストリームファイル４１９に含まれる情報の実体を特定する情報のみがＢＤＭＶメインフォルダ４１０内に格納されてもよい。すなわち、プレイリストファイル４１７、クリップインフォファイル４１８及びストリームファイル４１９は、ＢＤＭＶメインフォルダ４１０に関連付けて記録されればよい。
【０１７４】
同様に、プレイリストファイル４３７、クリップインフォファイル４３８及びストリームファイル４３９に含まれる情報の実体が、ＨＩＧＨＲＥＳＯメインフォルダ４３０内に格納される必要はなく、プレイリストファイル４３７、クリップインフォファイル４３８及びストリームファイル４３９に含まれる情報の実体を特定する情報のみがＨＩＧＨＲＥＳＯメインフォルダ４３０内に格納されてもよい。すなわち、プレイリストファイル４３７、クリップインフォファイル４３８及びストリームファイル４３９は、ＨＩＧＨＲＥＳＯメインフォルダ４３０に関連付けて記録されればよい。
【０１７５】
また、上記説明では、図２において超解像処理部３２０は外部メモリ３３０と接続されているものとしたが、これは外部メモリ３００と兼用するように構成することも可能である。
【０１７６】
（実施の形態２）
次に、本実施の形態２について説明する。
【０１７７】
本実施の形態２に係る画像符号化装置は、実施の形態１に係る画像符号化装置、すなわち圧縮伸張部２０５、および画像記録装置、すなわち画像記録再生装置１０００の変形例である。
【０１７８】
本実施の形態２では、記録媒体上で縮小圧縮画像ストリームと分割圧縮画像ストリームを異なるフォルダに記録することに代わり、縮小画像と分割画像の割合を変更したうえで多重処理を工夫することで、より少ない処理量での符号化を可能にすると共に記録再生処理部２０６の処理を簡略化した画像符号化装置及び画像記録再生装置について説明する。
【０１７９】
本実施の形態２に係る画像符号化装置を用いた画像記録再生装置は、ブロック図レベルの構成は図２に示した画像記録再生装置１０００と同一である。しかし、カメラ画像信号処理部１０４による縮小画像と分割画像の生成方法、及び、圧縮伸張部２０５による圧縮後の多重方法の詳細が、実施の形態１と異なる。
【０１８０】
図９は、本実施の形態２に係る画像符号化装置を用いた画像記録再生装置１０００における各部信号を示す図である。
【０１８１】
図９（ａ）はカメラ画像信号処理部１０４において生成される４Ｋ２Ｋ画像信号を示す図である。
【０１８２】
図９（ｂ）はカメラ画像信号処理部１０４からメモリ制御部２０１に出力される画像信号を示す図である。
【０１８３】
図９（ｃ）は圧縮伸張部２０５において縮小画像が圧縮されて生成される縮小圧縮画像ストリームを示す図である。
【０１８４】
図９（ｄ）は圧縮伸張部２０５において分割画像が圧縮されて生成される分割圧縮画像ストリームを示す図である。
【０１８５】
図９（ｅ）は圧縮伸張部２０５において縮小圧縮画像ストリームにスキップＰピクチャを挿入して圧縮伸張部２０５から出力される分割圧縮画像ストリームを示す図である。
【０１８６】
図９（ａ）に示した毎秒２４フレームの４Ｋ２Ｋ画像信号が、画像縮小部１１０に１１枚供給されるごとに、画像分割部１１１に１枚供給される。画像縮小部１１０は、入力された４Ｋ２Ｋ画像のフレーム３５０を、水平方向１／２、垂直方向１／２に縮小し、画素数が１９２０×１０８０のＨＤＴＶサイズの縮小画像３６０として記録再生部２００に出力する。また、画像分割部１１１は、入力された４Ｋ２Ｋ画像のフレーム３５１を、水平画素数が１／２、垂直画素数が１／２の４個の分割画像３６１、３６２、３６３及び３６４に分割し、画素数が１９２０×１０８０のＨＤＴＶサイズの分割画像として記録再生部２００に出力する。
【０１８７】
図３と異なり、分割画像と分割画像の間に縮小画像が１１枚入るため、カメラ画像信号処理部１０４が、縮小画像３６０、及び分割画像３６１、３６２、３６３、３６４を時間軸多重した結果は、図９（ｂ）に示した毎秒３０フレームのＨＤＴＶサイズ画像の形式になる。カメラ画像信号処理部１０４は、このＨＤＴＶサイズ多重化画像を記録再生部２００に出力する。
【０１８８】
メモリ制御部２０１は、システム制御部２０７の制御により、カメラ画像信号処理部１０４から出力されたＨＤＴＶサイズ多重化画像の中から縮小画像を抜き取り、外部メモリ３００上の縮小画像領域３１０に一旦記憶させ、必要に応じて読み出して画像出力部２０２、画像縮小部２０３、圧縮伸張部２０５に出力する。また、メモリ制御部２０１は、システム制御部２０７の制御により、カメラ画像信号処理部１０４から出力されたＨＤＴＶサイズ多重化画像の中から分割画像を抜き取り、外部メモリ３００上の分割画像領域３１１に一旦記憶させ、必要に応じて読み出して画像出力部２０２、及び圧縮伸張部２０５に出力する。
【０１８９】
ここで、メモリ制御部２０１は画像出力部２０２及び圧縮伸張部２０５に縮小画像及び分割画像を出力する際には、図９（ｂ）に示したＨＤＴＶサイズ多重化画像として出力する。画像出力部２０２は、メモリ制御部２０１から出力されたＨＤＴＶサイズ多重化画像を、エッジ強調、ノイズキャンセルなどの画像処理を施した後に、出力端子３０１を介して出力する。
【０１９０】
圧縮伸張部２０５は、メモリ制御部２０１から出力されたＨＤＴＶサイズ多重化画像を、ＭＰＥＧ−２又はＨ．２６４などの符号化方法に基づいて、圧縮して多重する。圧縮伸張部２０５は、圧縮多重して得られた圧縮画像ストリームを記録再生処理部２０６に出力する。
【０１９１】
このとき、圧縮伸張部２０５はＨＤＴＶサイズ多重化画像を圧縮するため、符号化装置としての性能は、毎秒３０フレームのＨＤＴＶサイズ画像信号を圧縮するだけの性能があれば良い。すなわち、符号化装置としての性能は、現在ＨＤＴＶ信号を圧縮する際に一般的に使われている、いわゆる１０８０ｉ信号形式に対応した性能でよい。ただし、システム制御部２０７からの制御により、入力されたＨＤＴＶサイズ多重化画像の中の縮小画像と分割画像を区別し、圧縮処理はそれぞれ独立になるように内部処理を切り替えて圧縮する。
【０１９２】
縮小画像を圧縮する際には、図９（ｂ）に示したＨＤＴＶサイズ多重化画像の中の縮小画像同士（例えばフレーム３６０及びフレーム３６５）のみのフレーム間参照を用いて圧縮処理を行う。この場合、Ｂピクチャを用いず、Ｉピクチャ及びＰピクチャのみでフレーム間圧縮処理を行えば、圧縮するフレームの順が入力フレーム順と同じになるので制御が複雑にならなくて済む。
【０１９３】
縮小画像から生成された圧縮画像ストリームは図９（ｃ）のような形式になるが、ここではさらに従来規格準拠のストリームとするため、１１フレームに１枚の割合でスキップＰピクチャを挿入することで、圧縮伸張部２０５は、図９（ｅ）に示した擬似２４ｐ形式の圧縮画像ストリームを生成することができる。
【０１９４】
一方、分割画像を圧縮する際には、画像間の時間が大きく開くため相関性が低くなることから、フレーム間参照を用いず、フレーム内圧縮を用いるほうが望ましい。ここでは、圧縮伸張部２０５は、分割画像からフレーム内圧縮処理により、図９（ｄ）に示す圧縮画像ストリームを生成する。
【０１９５】
実施の形態２に係る画像符号化装置、すなわち圧縮伸張部２０５では、分割画像は１１フレームに１枚と縮小画像に対して割合が少ないことから、圧縮伸張部２０５における多重処理の段階で、分割圧縮画像ストリームを縮小圧縮画像ストリームに多重して出力するものとする。このようにすることで、図４におけるＢＤＭＶメインフォルダ配下のフォルダ構成のみで分割圧縮画像ストリームも含めて記録媒体１０に記録することができるようになる。
【０１９６】
なお、実施の形態１に係る画像符号化装置と同様に、圧縮伸張部２０５は縮小圧縮画像ストリームと、分割圧縮画像ストリームとを多重せず、別々のストリームとして出力したのち、図４のフォルダ構成の通りに記録しても構わない。
【０１９７】
分割圧縮画像ストリームを縮小圧縮画像ストリームに多重する方法は複数考えられる。以下、この多重方法について説明する。
【０１９８】
（第１の多重方法）
図１０は、本実施の形態２に係る圧縮画像ストリームの構造例を示す図である。ここでは、映像信号をＨ．２６４規格に基づいて圧縮し、多重化方式としてＭＰＥＧ−２システム規格のＴＳ（トランスポート・ストリーム）の形式に多重化するものとする。
【０１９９】
このとき、多重化前の圧縮画像ストリーム、いわゆるビデオのＥＳ（エレメンタリー・ストリーム）は図１０のように、ＡＵデリミタ、ＳＰＳ、ＰＰＳ、ＳＥＩ、主ピクチャ、冗長ピクチャ、ＥＯＳ（エンド・オブ・シーケンス）、ＥＯＳ（エンド・オブ・ストリーム）で構成される。縮小圧縮画像ストリームにおいて、このうちの主ピクチャに縮小画像を圧縮したデータが格納されている。
【０２００】
この構成の中で、ＳＥＩには複数の種類があり、その中にＵｓｅｒ  Ｄａｔａ  Ｕｎｒｅｇｉｓｔｅｒｅｄ  ＳＥＩと呼ばれる、任意のユーザデータを多重することが可能なものがある。ここに分割圧縮画像ストリームを多重することで、高解像度画像の再生に対応していない、従来規格準拠の画像再生装置では分割圧縮画像ストリームを無視して縮小画像のみを再生することが可能となる。
【０２０１】
（第２の多重方法）
ＭＰＥＧ−２システム規格のＴＳの形式に多重化する場合、図１０のエレメンタリー・ストリームは、まずＰＥＳ（パケッタイズド・エレメンタリー・ストリーム）形式に多重化される。
【０２０２】
図１１は、ＭＰＥＧ−２規格のＰＥＳの構成例を示す図である。圧縮画像ストリーム（ＥＳ）を格納したＰＥＳパケットは可変長のパケットで、入力されたＥＳをピクチャ単位で区切ったものをＰＥＳパケット１個分のパケット・データとする。このパケット・データの先頭に、ＰＥＳスタートコードで開始されるＰＥＳヘッダを付加したものが１個のＰＥＳパケットである。
【０２０３】
図１２は、ＭＰＥＧ−２規格のＴＳの構成例を示す図である。ＴＳパケットは固定長のパケットで、そのペイロード（データを入れる部分）のサイズに合わせてＰＥＳを区切り、複数のＴＳパケットのペイロードに入れてＰＥＳを伝送する。また、ＴＳパケットの先頭に付加されるＴＳヘッダにはパケットの種別を示すパケット識別情報（ＰＩＤ）が多重化されている。このＰＩＤの値は画像データ、音声データなどのペイロードの中身によって固有の値が付けられる。
【０２０４】
本実施の形態においては、縮小圧縮画像ストリームを格納したＰＥＳと、分割圧縮画像ストリームを格納したＰＥＳとを別々のＰＩＤ値を持つＴＳパケットとして多重化する。このときに、縮小圧縮画像ストリームを格納したＴＳパケットには、従来規格において圧縮画像ストリームを格納したＴＳパケットに割り当てられているＰＩＤ値を付与し、分割圧縮画像ストリームを格納したＴＳパケットには、従来規格において使用されていない、もしくはユーザデータに割り当てられているＰＩＤ値を付与する。
【０２０５】
これにより、高解像度画像の再生に対応していない、従来規格準拠の画像再生装置では分割圧縮画像ストリームを無視して縮小圧縮画像ストリームを格納したＴＳパケットのみを選択し、再生することが可能となる。また、本実施の形態の記録再生装置において、必要であれば分割圧縮画像ストリームのみを格納したＴＳパケットのみを選択し、再生することも可能である。
【０２０６】
本実施の形態においては、縮小画像に対して分割画像の割合が少ないため、超解像処理部３２０において、縮小画像に対応する４Ｋ２Ｋの高解像度画像を生成する際に、実施の形態１に対して画質面では不利になる。
【０２０７】
例えば、縮小画像を線形補間により４Ｋ２Ｋ画像サイズに拡大したのち、１６×１６画素ごとの動き検出ブロックに分割し、高解像度画像上で、水平・垂直座標が近い位置にある１６×１６画素ブロックとの間で動きベクトル検出処理を実行する。このときに、縮小画像によっては、直前の高解像度画像からの時間が大きく開いてしまうため、動きベクトル検出の精度が落ちる。これにより、動き量が少ないと判定される部分が減り、縮小画像から線形補間によって拡大処理して生成された動き検出ブロックを用いる箇所が増加してしまう恐れがある。
【０２０８】
しかし依然として、縮小画像と高解像度画像の間で動き量の少ない部分は元々高解像度の画素データを用いるため、全ての画像フレームを縮小画像から拡大処理して生成するのに比べると良好な高解像度画像を得ることができる。
【０２０９】
（画素位置関係補助データの多重）
実施の形態１においては、画像を線形補間により縮小、拡大する際の、高解像度画像の画素位置と縮小画像の画素位置との相対関係について、予め規格で取り決めをすることで機器間の互換性を保証し、良好な高解像度画像を得るものとした。実施の形態２においては、縮小画像を生成するための縮小処理および再生時の超解像処理の性能、すなわち記録再生後の再生画質を、後から向上することを可能とするために、拡大・縮小フィルタを任意に選択できるようにする。
【０２１０】
このため、画素位置の相対関係の情報を画素位置関係補助データとして縮小圧縮画像ストリームに多重化するか、あるいは別途記録媒体１０に記録しておく必要がある。
【０２１１】
一つの方法としては、カメラ画像信号処理部１０４が縮小フィルタに応じて画素位置関係補助データをカメラ制御部１０５に出力し、カメラ制御部１０５からシステム制御部２０７経由で圧縮伸張部２０５に伝送し、圧縮伸張部２０５が縮小圧縮画像ストリームに多重するという方法がある。あるいは、カメラ画像信号処理部１０４における縮小方法が固定であれば、その縮小方法による画素位置関係補助データを予めシステム制御部２０７もしくは圧縮伸張部２０５が記憶しておき、圧縮伸張部２０５が縮小圧縮画像ストリームに多重するという方法がある。
【０２１２】
縮小圧縮画像ストリームに多重する際には、エレメンタリー・ストリームにユーザデータとして（例えば、図１０に示したＨ．２６４におけるＵｓｅｒ  Ｄａｔａ  Ｕｎｒｅｇｉｓｔｅｒｅｄ  ＳＥＩを用いて）多重する方法がある。また、図１２を用いて説明したように、特殊なＰＩＤ値を持つＴＳパケットとして多重する方法がある。
【０２１３】
さらに、別の多重方法として、ＭＰＥＧ−２システム規格のＤｅｓｃｒｉｐｔｏｒとして多重する方法もある。これは、図１２に示したＴＳ形式において、特定のＰＩＤ値を持つＴＳパケットのペイロードに格納されるデータ形式である。このＤｅｓｃｒｉｐｔｏｒは画素位置関係補助データ以外の情報を多重するため、ＭＰＥＧ−２システム規格対応の復号化装置には通常実装されていることから、この多重化方法は画素位置関係補助データの多重および分離のために特別な回路を追加する必要が無いという利点がある。
【０２１４】
また別の方法として、圧縮画像ストリームに多重するのではなく、別途記録媒体１０に画素位置関係補助データを記録しておく方法もある。この場合、従来規格に無いデータであるため、図４のＢＤＭＶメインフォルダ４１０の配下以外の場所に置くファイルとして記録しておくことが望ましい。
【０２１５】
以上説明した構成により、記録媒体１０からの高解像度画像再生時に、圧縮伸張部２０５もしくは記録再生処理部２０６から、システム制御部２０７経由で超解像処理部３２０に画素位置関係補助データを出力し、超解像処理部３２０において最適なフィルタ係数を選択することが可能になる。
【０２１６】
以上、本実施の形態２に係る画像記録再生装置１０００によれば、従来規格を超える解像度の高解像度画像を記録媒体１０に記録及び再生できる。
【０２１７】
このとき、記録再生部２００においては、メモリ制御部２０１における外部メモリ３００への画像の配置制御、及び圧縮伸張部２０５及び記録再生処理部２０６における圧縮画像ストリームの生成及び記録再生に関する制御は従来解像度の記録再生処理とは異なってくるものの、画像データ自体は従来解像度サイズの画像を扱っているため、少ない回路規模、演算処理量での符号化及び記録を可能としている。
【０２１８】
さらには、従来解像度に対応した符号化装置で、高解像度画像を符号化するとともに、再生時には従来解像度の縮小画像の間に適宜、高解像度画像が挿入された画像が得られ、挿入された高解像度画像を利用して超解像処理を行い、縮小画像に相当するフレームの高解像度画像を生成することにより、符号化装置の性能に対して高いフレームレートで良好な高解像度画像を再生することを可能とした画像符号化装置、及び画像記録装置を提供できる。
【０２１９】
また、実施の形態２に係る画像記録再生装置１０００で記録した記録媒体１０を、高解像度画像の再生に対応していない従来規格に準拠した画像再生装置に装着して再生した場合には、当該画像再生装置は圧縮画像ストリームに多重されている分割画像は無視し、縮小画像のみを再生することで、従来規格準拠の１９２０×１０８０の解像度を有する画像を再生できる。すなわち、画像記録再生装置１０００は、従来規格の画像再生装置との互換性を確保できる。
【０２２０】
また、実施の形態２に係る画像記録再生装置１０００は、記録媒体１０のＢＤＭＶメインフォルダ４１０配下に、縮小圧縮画像ストリームと分割圧縮画像ストリームを多重して記録するため管理が容易である。つまり、本実施の形態２に係る画像記録再生装置１０００は、管理が容易な高解像度画像を記録できる。
【０２２１】
以上、本実施の形態２に係る画像記録再生装置１０００について説明したが、本発明は、この実施の形態に限定されるものではない。
【０２２２】
例えば、上記説明では、縮小画像１１フレームおきに１フレームの高解像度画像を４分割して挿入するものとして説明したが、縮小画像のフレーム数Ｍ（Ｍは整数）と、分割画像になる高解像度画像のフレーム数Ｎ（Ｎは整数）と、高解像度画像の分割数は自由に設定することができる。さらには、これらのフレーム数Ｍ及びＮを選択可能とするために、Ｍ及びＮのフレーム数情報についても、画素位置関係補助データと同様に圧縮画像ストリームに多重することができ、多重先も同様にエレメンタリー・ストリームにユーザデータとして多重する方法、特殊なＰＩＤ値を持つＴＳパケットとして多重する方法、ＭＰＥＧ−２システム規格のＤｅｓｃｒｉｐｔｏｒとして多重する方法を用いることができる。また、圧縮画像ストリームに多重する代わりに、記録媒体１０にＭ及びＮのフレーム数情報を記録しておくことも可能である。
【０２２３】
（実施の形態３）
次に、本実施の形態３について説明する。
【０２２４】
本実施の形態３においては、記録媒体１０に記録された縮小圧縮画像ストリーム、及び分割圧縮画像ストリームから、毎秒２４フレームで従来解像度のＨＤＴＶサイズ画像を生成する画像変換処理について説明する。この画像変換処理は、従来解像度にのみ対応した画像再生機器に滑らかな画像を表示する記録媒体を作成するための処理である。
【０２２５】
図１３は、本実施の形態３に係る画像変換装置の構成例を示す図である。
【０２２６】
画像変換装置１００１は、記録再生部５００と、外部メモリ３００とを備える。記録再生部５００は、メモリ制御部５０１と、再生処理部５０２と、分離伸張部５０３と、再生制御部５０４と、システム制御部５０５と、画像縮小部５０６と、圧縮多重部５０７と、記録処理部５０８と、記録制御部５０９とを備える。
【０２２７】
記録再生部５００には、記録媒体１０と、記録媒体２０とを装着して用いる。記録媒体１０には予め本実施の形態１に係る画像符号化装置を用いた画像記録再生装置１０００により、４Ｋ２Ｋ高解像度画像を１フレームおきに縮小画像と分割画像とに振り分けて圧縮符号化し、生成された縮小圧縮画像ストリームと分割圧縮画像ストリームとが、ＢＤＭＶメインフォルダ及びＨＩＧＨＲＥＳＯメインフォルダに分けて記録されている。
【０２２８】
再生処理部５０２は、記録媒体１０に記録された分割圧縮画像ストリームを再生し、分離伸張部５０３に出力する。分離伸張部５０３は、分割圧縮画像ストリームを分離及び伸張して分割画像をメモリ制御部５０１に出力する。メモリ制御部５０１は分割画像を一旦外部メモリ３００に記録し、読み出すとともに合成して４Ｋ２Ｋ高解像度画像として画像縮小部５０６に出力する。
【０２２９】
画像縮小部５０６は、入力された４Ｋ２Ｋ高解像度画像を縮小して、再生後縮小画像として出力する。圧縮多重部５０７は再生後縮小画像を圧縮して再生後縮小圧縮画像ストリームを記録処理部５０８に出力する。記録処理部５０８は再生後縮小圧縮画像ストリームを必要に応じて加工し、毎秒２４フレームの変換圧縮画像ストリームを記録媒体２０に記録する。
【０２３０】
再生制御部５０４は、記録媒体１０を駆動するドライブ装置、又は、記録アドレス入力手順などの記録プロトコルを制御する。また、記録制御部５０９は、記録媒体２０を駆動するドライブ装置、又は、記録アドレス入力手順などの記録プロトコルを制御する。
【０２３１】
システム制御部５０５は、記載しない入力デバイスを介して受け付けたユーザ操作を操作情報とし、操作情報に基づいて、メモリ制御部５０１、再生処理部５０２、分離伸張部５０３、再生制御部５０４、画像縮小部５０６、圧縮多重部５０７、記録処理部５０８、記録制御部５０９を制御することで、画像変換装置１００１における再生処理、画像変換処理、及び記録処理を実行する。
【０２３２】
図１４は、メモリ制御部５０１から画像縮小部５０６に出力される４Ｋ２Ｋ高解像度画像と、記録媒体１０に記録されている縮小圧縮画像ストリームと、記録処理部５０８が記録媒体２０に記録する毎秒２４フレームの変換圧縮画像ストリームとの関係を説明する図である。
【０２３３】
図１４（ａ）はメモリ制御部５０１から画像縮小部５０６に出力される４Ｋ２Ｋ高解像度画像を示す図である。
【０２３４】
図１４（ｂ）は記録媒体１０に記録されている縮小圧縮画像ストリームを示す図である。
【０２３５】
図１４（ｃ）は記録処理部５０８が記録媒体２０に記録する毎秒２４フレームの変換圧縮画像ストリームを示す図である。
【０２３６】
記録再生部５００における画像変換処理は、図１４（ｂ）に示した記録媒体１０に記録されている縮小圧縮画像ストリームの参照構造、及び図１４（ｃ）に示した記録媒体２０に記録する変換圧縮画像ストリームの参照構造により変化する。
【０２３７】
（画像変換方法１）
図１４（ｂ）の縮小圧縮画像ストリームにおいて、Ｐピクチャ６１２が、スキップＰピクチャ６１１ではなく、その前のＰピクチャ６１０を参照する（参照６５１）場合で、かつ、図１４（ｃ）の変換圧縮画像ストリームにおいて、スキップＰピクチャと差し替えられるＰピクチャ６２３が同じくスキップＰピクチャと差し替えられるＩまたはＰピクチャ６２１を参照する（参照６７１）場合は、縮小圧縮画像ストリームを分離及び伸張する必要がない。
【０２３８】
この場合、再生処理部５０２は、記録媒体１０に記録された縮小圧縮画像ストリームを再生し、記録処理部５０８に出力する。一方、圧縮多重部５０７からは、図１４（ａ）に示す分割圧縮画像ストリームから再生及び合成した高解像度画像を、さらに縮小し圧縮して生成した再生後縮小圧縮画像ストリームが、記録処理部５０８に出力されている。
【０２３９】
記録処理部５０８は、再生後縮小圧縮画像ストリームの各ピクチャ（ピクチャ６２１、ピクチャ６２３）を縮小圧縮画像ストリームのスキップＰピクチャ（ピクチャ６１１、ピクチャ６１３）と差し替えることで、変換圧縮画像ストリームを生成し、記録媒体２０に記録する。
【０２４０】
この画像変換方法においては、縮小圧縮画像ストリームを分離及び伸張する必要が無いため、処理量を非常に少なく抑えることが可能である。しかし、縮小圧縮画像ストリームの生成時に工夫が必要となってくる。この詳細については、実施の形態４において説明する。
【０２４１】
（画像変換方法２）
図１４（ｂ）の縮小圧縮画像ストリームにおいて、Ｐピクチャ６１２が、スキップＰピクチャ６１１を参照する（参照６５２）場合、または、図１４（ｃ）の変換圧縮画像ストリームにおいて、スキップＰピクチャと差し替えられるＰピクチャ６２３が、縮小圧縮画像ストリームのＰピクチャ６２２を参照する（参照６７２）場合は、縮小圧縮画像ストリームを分離及び伸張する必要がある。
【０２４２】
この場合、再生処理部５０２は、記録媒体１０に記録された縮小圧縮画像ストリームを再生し、分離伸張部５０３に出力する。分離伸張部５０３は、縮小圧縮画像ストリームを分離及び伸張して縮小画像をメモリ制御部５０１に出力する。この際、スキップＰピクチャ（ピクチャ６１１、ピクチャ６１３）は出力されない。メモリ制御部５０１は縮小画像を一旦外部メモリ３００に記録し、読み出して圧縮多重部５０７に出力する。
【０２４３】
一方、画像縮小部５０６からは、図１４（ａ）に示す分割圧縮画像ストリームから再生及び合成した高解像度画像を、さらに縮小した再生後縮小画像が、圧縮多重部５０７に出力されている。
【０２４４】
圧縮多重部５０７は、メモリ制御部５０１から入力された縮小画像と、画像縮小部５０６から入力された再生後縮小画像の各ピクチャを図１４（ｃ）に示す順番で組み合わせ、圧縮して変換圧縮画像ストリームを生成し、記録処理部５０８に出力する。記録処理部５０８は、変換圧縮画像ストリームを記録媒体２０に記録する。
【０２４５】
この画像変換方法においては、縮小圧縮画像ストリームを分離及び伸張する必要があるため、スキップＰピクチャを伸張する必要が無いものの、先に説明した画像変換方法よりは処理量が増加する。しかし、縮小圧縮画像ストリームの生成時には、縮小圧縮画像ストリーム単独で従来の圧縮符号化の規格に準拠していれば良い。
【０２４６】
以上、本実施の形態３に係る画像変換装置１００１によれば、本実施の形態１に係る画像符号化装置を用いた画像記録再生装置１０００により、記録媒体１０に記録された縮小圧縮画像ストリーム、及び分割圧縮画像ストリームから、毎秒２４フレームで従来解像度のＨＤＴＶサイズ画像を生成し、記録媒体２０に記録することで、従来解像度にのみ対応した画像再生機器に滑らかな動きの画像を表示する記録媒体２０を作成することができる。
【０２４７】
また、この際に、縮小圧縮画像ストリームについては全データを分離及び伸張する必要が無いため、画像変換に必要な処理量を軽減し、少ない回路規模、演算処理量での符号化及び記録を可能としている。
【０２４８】
以上、本実施の形態３に係る画像変換装置１００１について説明したが、本発明は、この実施の形態に限定されるものではない。
【０２４９】
例えば、上記説明では、再生処理部５０２と記録処理部５０８、分離伸張部５０３と圧縮多重部５０７をそれぞれ別の構成として説明したが、記録再生処理部、圧縮伸張部のような共通構成としても実現可能である。また、記録媒体１０とは別の記録媒体２０に変換圧縮画像ストリームを記録するものとして説明したが、外部メモリ３００が十分大きい容量を持つことにより、変換圧縮画像ストリームを記録媒体１０に書き戻す構成とすることもできる。
【０２５０】
さらにはまた、上記説明では画像変換装置として説明したが、例えば本実施の形態１に係る画像符号化装置を用いた画像記録再生装置１０００に、画像縮小部５０６を追加して、画像変換機能を搭載した画像記録再生装置として実現することもできる。
【０２５１】
（実施の形態４）
次に、本実施の形態４について説明する。
【０２５２】
本実施の形態４に係る画像符号化装置は、実施の形態１に係る画像符号化装置、すなわち圧縮伸張部２０５、および画像記録装置、すなわち画像記録再生装置１０００の変形例である。
【０２５３】
本実施の形態４では、縮小画像を圧縮する際のバッファ制御を工夫することで、高精細度画像を記録した記録媒体１０を、実施の形態３に係る画像変換装置１００１で処理した変換圧縮画像ストリームが、圧縮符号化の規格に準拠することを可能とした画像符号化装置及び画像記録再生装置について説明する。
【０２５４】
本実施の形態４に係る画像符号化装置を用いた画像記録再生装置は、ブロック図レベルの構成及び動作は図２に示した画像記録再生装置１０００と同一であるが、圧縮伸張部２０５における圧縮処理の詳細が、実施の形態１と異なる。
【０２５５】
図１５は、本実施の形態４に係る画像符号化装置を用いた画像記録再生装置の、圧縮伸張部２０５におけるバッファ制御のイメージを示す図である。
【０２５６】
画像圧縮符号化の規格においては、装置間で交換しても正常に復号が可能な画像ビットストリームを生成するために、理想的に動作する分離伸張部５０３のモデルを想定している。以下、Ｈ．２６４規格による圧縮符号化を想定して、この分離伸張部のモデルについて説明する。画像符号化装置は、このモデルのストリームバッファ（以下、ＣＰＢ（Ｃｏｄｅｄ  Ｐｉｃｔｕｒｅ  Ｂｕｆｆｅｒ）と称する。）がオーバーフローもアンダーフローも起こさないように、各ピクチャから生成される符号列の符号量を制御する。
【０２５７】
図１５（ａ）は記録媒体１０に記録する縮小圧縮画像ストリームのピクチャ順を示す図である。
【０２５８】
図１５（ｂ）は記録媒体１０に記録する縮小圧縮画像ストリームにおけるＣＰＢモデルのバッファ占有率を示す図である。
【０２５９】
図１５（ｃ）は本実施の形態３に係る画像変換装置１００１で変換処理した後の変換圧縮画像ストリームにおけるＣＰＢモデルのバッファ占有率を示す図である。
【０２６０】
図１５（ｂ）に示すように、ＣＰＢモデルのバッファ占有率は、画像ビットストリームのビットレートに合わせて徐々に増加し、各ピクチャのデコード処理が開始された瞬間に、そのピクチャの符号量だけ減る（すなわち、無限の速度でストリームバッファから読み出される）。
【０２６１】
一般に、Ｉピクチャが最も符号列の符号量が多く、Ｐピクチャがその次に符号量が多く、Ｂピクチャが最も符号量が少なくなる。この符号量は各ピクチャの圧縮処理の困難度によって変動するため、ＣＰＢ占有率は時間とともに変動していくが、符号化部は、ＣＰＢの容量に対してｆｕｌｌにもｅｍｐｔｙにもならないように符号量制御を行う。図１５（ｂ）はこの様子を示したグラフになっている。
【０２６２】
ここで対象となる記録媒体１０は実施の形態３において説明した画像変換処理のうち、図１４（ｂ）の縮小圧縮画像ストリームにおいて、Ｐピクチャ６１２が、スキップＰピクチャ６１１ではなく、その前のＰピクチャ６１０を参照する（参照６５１）場合で、かつ、図１４（ｃ）の変換圧縮画像ストリームにおいて、スキップＰピクチャと差し替えられるＰピクチャ６２３が同じくスキップＰピクチャと差し替えられるＩまたはＰピクチャ６２１を参照する（参照６７１）場合の画像変換処理に対応するものである。
【０２６３】
この場合、実施の形態３に係る画像変換装置１００１が差し替える再生後縮小圧縮画像ストリームの各ピクチャは実画像を圧縮したデータであるため、スキップＰピクチャと比べて１ピクチャあたりのデータ量が多くなる。実施の形態４に係る画像記録装置の圧縮伸張部２０５においては、このデータ量増加を見込んでＣＰＢバッファとして規格よりも小さいサイズのバッファを想定し、縮小圧縮画像ストリーム生成時のレート制御を行う。これにより、スキップＰピクチャを再生後縮小画像の各ピクチャと差し替えても、図１５（ｃ）に示したとおり、ＣＰＢ占有率が規格範囲を超えることがない符号変換が可能になる。
【０２６４】
なお、実施の形態４に係る画像符号化装置と、実施の形態３に係る画像変換装置との間で規格等により取り決めることで、圧縮伸張部２０５において見込むデータ量増加と、圧縮多重部５０７において再生後縮小画像を圧縮する際のＣＰＢ占有率とを整合させ、変換圧縮画像ストリームにおけるＣＰＢ占有率を規格範囲に押さえ込むことが可能になる。
【０２６５】
以上、本実施の形態４に係る画像符号化装置によれば、記録媒体１０に記録した縮小圧縮画像ストリーム及び分割圧縮画像ストリームから、本実施の形態３に係る画像変換装置１００１が、毎秒２４フレームで従来解像度の変換圧縮画像ストリームを生成し記録媒体２０に記録する際に、規格で規定されたバッファ容量を遵守した圧縮画像ストリームを生成することができる。
【０２６６】
以上、本実施の形態４に係る画像符号化装置について説明したが、本発明は、この実施の形態に限定されるものではない。
【０２６７】
例えば、上記説明では、Ｈ．２６４符号化に基づいた画像圧縮を前提にＣＰＢバッファを用いて説明したが、ＭＰＥＧ−２符号化に基づき、ＶＢＶバッファを用いてもよく、さらには別の符号化方式に基づいて、その復号化装置入力段のバッファに対するモデルを用いるのであればどのような符号化方式に基づいても構わない。
【０２６８】
（実施の形態５）
次に、本実施の形態５について説明する。
【０２６９】
本実施の形態５に係る画像符号化装置は、実施の形態４に係る画像符号化装置の変形例であり、実施の形態４と同様に高精細度画像を記録した記録媒体１０を、実施の形態３に係る画像変換装置１００１で処理した変換圧縮画像ストリームが、圧縮符号化の規格に準拠することを可能とした画像符号化装置である。
【０２７０】
図１６は、本実施の形態５に係る画像符号化装置を用いた画像記録再生装置の、圧縮伸張部２０５におけるバッファ制御のイメージを示す図である。
【０２７１】
図１６（ａ）は記録媒体１０に記録する縮小圧縮画像ストリームのピクチャ順を示す図である。
【０２７２】
図１６（ｂ）は実施の形態１に係る画像記録再生装置１０００で記録した記録媒体１０上の縮小圧縮画像ストリームにおけるＣＰＢモデルのバッファ占有率を示す図である。
【０２７３】
図１６（ｃ）は実施の形態５に係る画像記録再生装置で記録した記録媒体１０上の縮小圧縮画像ストリームにおけるＣＰＢモデルのバッファ占有率を示す図である。
【０２７４】
図１６（ｄ）は本実施の形態３に係る画像変換装置１００１で変換処理した後の変換圧縮画像ストリームにおけるＣＰＢモデルのバッファ占有率を示す。
【０２７５】
実施の形態５に係る画像記録装置の圧縮伸張部２０５においては、スキップＰピクチャを挿入する際に、実施の形態３に係る画像変換装置１００１が差し替える再生後縮小圧縮画像ストリームの各ピクチャのデータ量を推測し、このデータ量とスキップＰピクチャのデータ量の差分に相当するデータ量のスタッフィングデータを縮小画像圧縮データに挿入するとともに、このスタッフィングデータ量を含め、縮小圧縮画像ストリーム生成時のレート制御を行う。
【０２７６】
この場合、分割圧縮画像ストリームのデータ量は、元々縮小圧縮画像ストリームとは連続した画像であるため、縮小圧縮画像ストリームのデータ量とほぼ同等となる。従って、このデータ量とスキップＰピクチャのデータ量の差分をスタッフィングデータとして縮小画像圧縮データに挿入しつつレート制御に含めることで、入力画像の圧縮難易度の変化に追従しつつ、変換圧縮画像ストリームのＣＰＢ占有率が規格範囲を超えることがない符号変換が可能になる。
【０２７７】
以上、本実施の形態５に係る画像符号化装置によれば、記録媒体１０に記録した縮小圧縮画像ストリーム及び分割圧縮画像ストリームから、本実施の形態３に係る画像変換装置１００１が、毎秒２４フレームで従来解像度の変換圧縮画像ストリームを生成し記録媒体２０に記録する際に、規格で規定されたバッファ容量を遵守した圧縮画像ストリームを生成することができる。
【０２７８】
また、縮小圧縮画像ストリームに多重するスタッフィングデータ量を調整することで、入力画像の圧縮難易度の時間変化に追従することができる。
【０２７９】
以上、本実施の形態５に係る画像符号化装置について説明したが、本発明は、この実施の形態に限定されるものではない。
【０２８０】
例えば、上記説明では、Ｈ．２６４符号化に基づいた画像圧縮を前提にＣＰＢバッファを用いて説明したが、ＭＰＥＧ−２符号化に基づき、ＶＢＶバッファを用いてもよく、さらには別の符号化方式に基づいて、その復号化装置入力段のバッファに対するモデルを用いるのであればどのような符号化方式に基づいても構わない。
【０２８１】
（実施の形態６）
次に、本実施の形態６について説明する。本実施の形態６に係る画像符号化装置を用いた画像記録再生装置は、本実施の形態１に係る画像符号化装置を用いた画像記録再生装置の変形例である。
【０２８２】
図１７は、本実施の形態６に係る画像符号化装置を用いた画像記録再生装置１００２の構成を示す図である。図１７に示すように、画像記録再生装置１００２は、カメラ部１００と、記録再生部２００と、外部メモリ３００と、出力端子３０１と、表示装置３０２とを備える。なお、図１７において、図２と同じ構成要素については同一番号を付与しており、説明を省略する。
【０２８３】
図１８は、本実施の形態６に係る画像符号化装置を用いた画像記録再生装置１００２における、記録時の各部信号を示す図である。
【０２８４】
図１８（ａ）はカメラ画像信号処理部１０４において生成される４Ｋ２Ｋ画像信号を示す図である。
【０２８５】
図１８（ｂ）はカメラ画像信号処理部１０４からメモリ制御部２０１に出力される画像信号を示す図である。
【０２８６】
図１８（ｃ）は圧縮伸張部２０５において縮小画像が圧縮されて生成される縮小圧縮画像ストリームを示す図である。
【０２８７】
図１８（ｄ）は圧縮伸張部２０５において分割画像が圧縮されて生成される分割圧縮画像ストリームを示す図である。
【０２８８】
図１８（ｅ）は圧縮伸張部２０５において縮小圧縮画像ストリームにスキップＰピクチャを挿入して圧縮伸張部２０５から出力される分割圧縮画像ストリームを示す図である。
【０２８９】
画像縮小部１１０及び画像分割部１１１には、図１８（ａ）に示した４Ｋ２Ｋ画像信号が同時に供給される。図３（ａ）では、毎秒２４フレームの４Ｋ２Ｋ画像信号が撮影され、1フレームおきに交互に供給されていたが、実施の形態６では、カメラ部１００において毎秒１２フレームの４Ｋ２Ｋ画像信号が撮影され、同時に供給される。すなわち、カメラ画像信号処理部１０４から出力されたＨＤＴＶサイズ多重化画像の中の縮小画像と分割画像は同一タイミングになる。ここで、カメラ画像信号処理部１０４は、同一タイミングの縮小画像と分割画像のうち、縮小画像のほうが先に出力されるように多重化する。
【０２９０】
メモリ制御部２０１は、カメラ画像信号処理部１０４から出力されたＨＤＴＶサイズ多重化画像の中から縮小画像を抜き取り、外部メモリ３００上の縮小画像領域３１０に一旦記憶させ、必要に応じて読み出して圧縮伸張部２０５に出力する。また、メモリ制御部２０１は、カメラ画像信号処理部１０４から出力されたＨＤＴＶサイズ多重化画像の中から分割画像を抜き取り、外部メモリ３００上の分割画像領域３１１に一旦記憶させ、必要に応じて読み出して圧縮伸張部２０５に出力するとともに、合成して４Ｋ２Ｋ画像として画像出力部２０２及び画像縮小部２０３に出力する。なお、メモリ制御部２０１は、圧縮伸張部２０５には縮小画像及び分割画像を、ＨＤＴＶサイズ多重化画像形式で出力する。
【０２９１】
画像出力部２０２は、メモリ制御部２０１から出力された４Ｋ２Ｋ画像を、エッジ強調、ノイズキャンセルなどの画像処理を施した後に、出力端子３０１を介して外部の表示装置等に出力する。また、画像縮小部２０３は、メモリ制御部２０１から出力された４Ｋ２Ｋ画像を、表示装置３０２の解像度に合わせてさらに縮小し、ＧＵＩ多重部２０４に出力する。
【０２９２】
圧縮伸張部２０５は、メモリ制御部２０１から出力されたＨＤＴＶサイズ多重化画像を、ＭＰＥＧ−２又はＨ．２６４などの符号化方法に基づいて、圧縮して多重する。このとき、圧縮伸張部２０５は、システム制御部２０７からの制御により、入力されたＨＤＴＶサイズ多重化画像の中の縮小画像と分割画像を区別し、圧縮処理はそれぞれ独立になるように内部処理を切り替えて圧縮する。
【０２９３】
圧縮伸張部２０５における圧縮処理の詳細に関しては、本実施の形態１における圧縮伸張部２０５と同様の処理を行う。ただし、同一タイミングの縮小画像と分割画像のうち、縮小画像のほうが先に出力されてくることを利用し、縮小画像から全体動きベクトルを検出し、これを用いて分割画像を圧縮することで分割画像の符号化効率を改善する。
【０２９４】
これ以降の処理は本実施の形態１に係る画像符号化装置を用いた画像記録再生装置と同様である。
【０２９５】
図１９は、本実施の形態６に係る画像符号化装置を用いた画像記録再生装置１００２により記録された記録媒体１０を再生する際の処理を示す図である。
【０２９６】
図１９（ａ）は高解像度記録に対応した画像再生装置により、記録媒体１０から読み出される分割圧縮画像ストリームを示す図である。
【０２９７】
図１９（ｂ）は高解像度記録に対応した画像再生装置により再生及び出力される高解像度画像信号を示す図である。
【０２９８】
図１９（ｃ）は従来解像度にのみ対応した画像再生装置により、記録媒体１０から読み出される縮小圧縮画像ストリームを示す図である。
【０２９９】
図１９（ｄ）は従来解像度にのみ対応した画像再生装置により、再生及び出力される従来解像度画像信号を示す図である。
【０３００】
本実施の形態６に係る画像符号化装置を用いた画像記録再生装置１００２においては、記録再生処理部２０６が、記録媒体１０のＨＩＧＨＲＥＳＯメインフォルダから図１９（ａ）に示された分割圧縮画像ストリームを読み出し、圧縮伸張部２０５に出力する。圧縮伸張部２０５は分割圧縮画像ストリームを分離及び伸張し、図１９（ｂ）に示された高解像度画像をメモリ制御部２０１に出力する。メモリ制御部２０１は、高解像度画像を一旦外部メモリ３００に記録し、読み出して画像出力部２０２及び画像縮小部２０３に出力する。
【０３０１】
一方、従来解像度のみに対応した画像再生装置においては、記録媒体１０のＢＤＭＶメインフォルダから図１９（ｃ）に示された縮小圧縮画像ストリームを読み出し、圧縮伸張部に出力する。圧縮伸張部は縮小圧縮画像ストリームを分離及び伸張し、図１９（ｄ）に示された従来解像度画像を出力する。
【０３０２】
以上、本実施の形態６に係る画像符号化装置を用いた画像記録再生装置１００２によれば、従来規格を超える解像度の高解像度画像を記録媒体１０に記録及び再生できる。
【０３０３】
このとき、記録再生部２００においては、メモリ制御部２０１における外部メモリ３００への画像の配置制御、及び圧縮伸張部２０５及び記録再生処理部２０６における圧縮画像ストリームの生成及び記録再生に関する制御は従来解像度の記録再生処理とは異なってくるものの、これらの回路で処理する画像自体は従来解像度サイズの画像を扱っているため、少ない回路規模、演算処理量での符号化及び記録を可能としている。
【０３０４】
さらに、再生時には、縮小圧縮画像ストリームと、分割圧縮画像ストリームの一方しか再生する必要が無いため、演算処理量をさらに軽減できる。
【０３０５】
また、実施の形態６に係る画像記録再生装置１００２で記録した記録媒体１０を、高解像度画像の再生に対応していない従来規格に準拠した画像再生装置に装着して再生した場合には、当該画像再生装置は縮小画像のみを再生することで、従来規格準拠の１９２０×１０８０の解像度を有する画像を再生できる。すなわち、画像記録再生装置１００２は、従来規格の画像再生装置との互換性を確保できる。
【０３０６】
また、実施の形態６に係る画像記録再生装置１００２は、記録媒体１０の１つのファイルシステム内に、従来規格に対応した従来解像度の圧縮画像ストリームと、分割圧縮画像ストリームとを記録するので管理が容易である。つまり、本実施の形態１に係る画像記録再生装置１００２は、管理が容易な高解像度画像を記録できる。
【０３０７】
また、実施の形態６に係る画像記録再生装置１００２の圧縮伸張部２０５は、同一タイミングの縮小画像と分割画像のうち、縮小画像のほうが先に出力されてくることを利用し、縮小画像から全体動きベクトルを検出し、これを用いて分割画像を圧縮することで分割画像の符号化効率を改善することができる。
【０３０８】
以上、本実施の形態６に係る画像符号化装置を用いた画像記録再生装置について説明したが、本発明は、この実施の形態に限定されるものではない。
【０３０９】
例えば、上記説明では、縮小圧縮画像ストリームの１つのメインフォルダに対して、分割圧縮画像ストリームの１つのメインフォルダが対応するものとして説明したが、分割圧縮画像ストリームが複数に分割されていてもよく、それらが複数のメインフォルダに分かれて記録されていてもよい。
【０３１０】
以上、本実施の形態１、２、３、４及び５に係る画像符号化装置、画像記録装置及び画像変換装置について説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、及び異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
【０３１１】
例えば、上記説明では、従来規格の画像として１９２０×１０８０の解像度を有する画像を例に説明したが、従来規格の画像は１９２０×１０８０の解像度以外であってもよい。例えば、従来規格の画像は１４４０×１０８０解像度の画像であってもよい。
【０３１２】
また、上記説明では、高解像度画像は４０９６×２１６０又は３８４０×２１６０の解像度としたが、高解像度画像の画像サイズはこれに限定されるものではなく、従来規格の解像度より高い解像度であればよい。従って、例えば従来規格の画像を７２０×４８０の解像度を有する画像とし、高解像度画像を１９２０×１０８０の解像度の画像としても良い。あるいは、例えば従来規格の画像を３８４０×２１６０の画像とし、高解像度画像を７６８０×４３２０の画像としても良い。
【０３１３】
さらに、上記説明では、Ｉピクチャ及びＰピクチャのみを用いたＧＯＰ構造について説明したが、Ｂピクチャを用いたＧＯＰ構造としてもよい。また、Ｉピクチャの間隔についても任意に決定できる。
【０３１４】
また、上記説明では、入力画像として毎秒２４フレームの画像を例に説明したが、フレームレートは毎秒２４フレーム以外であってもよい。例えば、毎秒３０フレームのフレームレートの画像であってもよい。また、順次走査の画像であっても、飛び越し走査の画像であっても良い。
【０３１５】
また、上記の画像符号化装置、画像記録再生装置、画像変換装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されていてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。具体的には、例えば、図２に示すように、カメラ画像信号処理部１０４、記録再生部２００、及び超解像処理部３２０は、それぞれ１個のＬＳＩから構成されてもよく、さらにはこれらをまとめて１個のシステムＬＳＩから構成されてもよい。
【産業上の利用可能性】
【０３１６】
本発明は、画像符号化装置、符号変換装置、画像記録装置、画像再生装置に適用でき、特に、高解像度画像を符号化する、デジタルビデオカメラ、デジタルカメラ、デジタルレコーダ、デジタルテレビ、ゲーム機、ＩＰ電話機及び携帯電話機などの画像記録再生装置や、デジタル放送やケーブルテレビなどの映像送信装置に搭載される画像符号化装置に適用できる。
【符号の説明】
【０３１７】
１００  カメラ部
１０１  レンズ群
１０２  撮像部
１０３  Ａ／Ｄ変換部
１０４  カメラ画像信号処理部
１０５  カメラ制御部
２００  記録再生部
２０１  メモリ制御部
２０２  画像出力部
２０３  画像縮小部
２０４  ＧＵＩ多重部
２０５  圧縮伸張部
２０６  記録再生処理部
２０７  システム制御部
２０８  記録制御部
３００  外部メモリ
３０１  出力端子
３０２  表示装置
３１０  縮小画像領域
３１１  分割画像領域
３２０  超解像処理部
３３０  外部メモリ
５００  記録再生部
５０１  メモリ制御部
５０２  再生処理部
５０３  分離伸張部
５０４  再生制御部
５０５  システム制御部
５０６  画像縮小部
５０７  圧縮多重部
５０８  記録処理部
５０９  記録制御部
【図１】
2011091592.tif 000003
【図２】
2011091592.tif 000004
【図３】
2011091592.tif 000005
【図４】
2011091592.tif 000006
【図５】
2011091592.tif 000007
【図６】
2011091592.tif 000008
【図７】
2011091592.tif 000009
【図８】
2011091592.tif 000010
【図９】
2011091592.tif 000011
【図１０】
2011091592.tif 000012
【図１１】
2011091592.tif 000013
【図１２】
2011091592.tif 000014
【図１３】
2011091592.tif 000015
【図１４】
2011091592.tif 000016
【図１５】
2011091592.tif 000017
【図１６】
2011091592.tif 000018
【図１７】
2011091592.tif 000019
【図１８】
2011091592.tif 000020
【図１９】
2011091592.tif 000021