(57)【要約】【課題】  高精細動画像を画面内で分割して動画像圧縮を行う際に、効率的な動画像圧縮を行う。【解決手段】  動画像に対して画面分割を行い、１フレーム毎に画面分割したうちの１画面を、画像中の人物領域や、動きベクトル、分散画像毎の分散値、分散画像毎の差分値、分散画像の周波数変換係数に応じて順番に選択し、画像間符号化により圧縮して、分割画面位置情報とともに記録することを特徴とし、再生する場合は、伸張した画面のみを記録された分割画面位置情報を用いて更新し、他の分割画面は過去に伸張された画像を保持して表示することを特徴とする。【選択図】  図１
2009017062.tif 000002
【特許請求の範囲】
【請求項１】
動画像に対して画面分割を行い、１フレーム毎に画面分割したうちの１画面を順番に選択し、画像間符号化により圧縮して、分割画面位置情報とともに記録し、
該記録された画像データを伸張し、１フレーム毎に画面分割したうちの伸張した画面のみを該記録された分割画面位置情報を用いて更新し、他の分割画面は過去に伸張された画像を保持して再生することを特徴とする高精細動画像記録再生方法。
【請求項２】
請求項１において、
分割画像の１秒間あたりに符号化される画像数は、分割画面位置によりそれぞれ異なることを特徴とする高精細動画像記録再生方法。
【請求項３】
請求項２において、
動画像の画像情報に応じて、分割画像の１秒間あたりに符号化される画像数を、分割画面位置それぞれに対して変化させることを特徴とする高精細動画像記録再生方法。
【請求項４】
請求項３において、
動画像の画像情報とは、画像中の人物領域や、動きベクトル、分散画像毎の分散値、分散画像毎の差分値、分散画像の周波数変換係数である事を特徴とする高精細動画像記録再生方法。
【請求項５】
高精細動画像を取り込む画像入力部と画像入力部の取り込んだ高精細動画像の画像解析を行う画像解析部と、高精細動画像を一時的にバッファするエンコード動画像バッファ部と、動画像を分割エンコード可能な動画像エンコードを行う動画像エンコード部と、動画像ストリームを記録する記録媒体部と、記録媒体部を制御する記録媒体制御と、画像解析部からの解析結果を基にエンコーダ部の制御と記録媒体制御部の制御を行うホスト部と、動画像エンコード部でエンコードされた動画像ストリームをデコードする動画像デコーダ部と、デコードした高精細動画像を一時的にバッファするデコード動画像バッファ部と、デコード動画像バッファ部の高精細動画像をモニタなどに出力する画像出力部とを有し、
動画像に対して画面分割を行い、１フレーム毎に画面分割したうちの１画面を順番に選択し、画像間符号化により圧縮して、分割画面位置情報とともに記録し、
上記ホスト部は、記録媒体制御部、動画像デコーダ部およびデコード動画像バッファ部の読出しの制御を行ない、１フレーム毎に画面分割したうちのデコードした画面のみを記録された分割画面位置情報を用いて更新し、他の分割画面は過去にデコードした画像を保持して再生することを特徴とする高精細動画像記録再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、動画像を記録・再生できるカメラやレコーダ等のデジタル機器に関する。
【背景技術】
【０００２】
本技術分野の背景技術として、例えば、特開２０００−１６５８５９号公報（特許文献１）がある。該公報には、「［課題］異なる解像度の画像を同一の装置で圧縮伸長処理する。［解決手段］画像データ分割手段１ａは、画像データが、高解像画像データである場合には、これを４個の部分画像データに分割して出力する。画像データ圧縮手段１ｂは、各部分画像データ、または、通常画像データに対して圧縮処理を施す。特定情報付加手段１ｃは、圧縮された画像データが部分画像データである場合には、高解像度画像データにおける位置を特定するための特定情報を付加する。フラグ付加手段１ｄは、部分画像データに対して画像の分割が行われたことを示すフラグを付加する。フラグ検出手段３ａは、圧縮された画像データからフラグを検出する。特定情報抽出手段３ｂは、フラグが検出された場合には、画像データから特定情報を抽出する。画像データ伸長手段３ｃは、画像データに対して伸長処理を施す。再合成手段３ｄは、フラグが検出された場合には、特定情報に応じて部分画像データを再合成して高解像度画像データを再生し、出力する。」（要約参照）と記載されている。
【０００３】
【特許文献１】特開２０００−１６５８５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
近年、ＨＤ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）の高精細なテレビ、レコーダやビデオカメラ等が普及している。さらには、これらの画像解像度を超えた超解像度の動画像が注目されている。
【０００５】
一方、動画像符号化の圧縮技術としてＨ．２６４符号化が注目されている。これは、従来の動画像符号化と比較しても約３倍の圧縮を実現でき、今後のレコーダやビデオカメラの標準となる。しかしながら、ＨＤ以上の解像度の動画像においては、動画像の送受信、記録のためには、Ｈ．２６４符号化以上の画像圧縮能力が必要となる。
【０００６】
現状の圧縮技術を用いて効率よく超解像度の動画像を圧縮する方法としては、例えば、特許文献１において、画像を分割して圧縮する方法が述べられている。しかし、分割画像を効率よく動画像圧縮する為のピクチャ構成やレートコンロールの方法については、述べられていない。また、分割した画像をリアルタイムに圧縮するには、Ｈ．２６４符号化以上の画像圧縮能力が必要という問題、もしくは圧縮を並列に処理することにより回路規模が増大する問題が発生する。
【０００７】
そこで、本発明では、高精細動画像を画面内で分割して動画像圧縮を行う際に、１フレームあたりの画像圧縮能力もしくは回路規模を増大させることなく、効率的な動画像圧縮を行うことを目的とする。
【課題を解決するための手段】
【０００８】
上記目的は特許請求の範囲に記載の発明により達成される。例えば、高精細動画像内の相関性、人物位置、もしくは動きベクトルに着目して、動画像をエンコードする際の、１フレーム毎に選択される分割画面位置を制御する。
【発明の効果】
【０００９】
高精細動画像を少ないデータサイズで高画質に圧縮・保存する事が出来る。
【００１０】
なお、上記した以外の課題、構成、効果は、以下の説明により明らかにされる。
【発明を実施するための最良の形態】
【００１１】
以下、図面を用いて本発明の好適な実施例を説明する。
【実施例１】
【００１２】
図１に動画像分割エンコードの例を示す。本図では、１枚の高精細静止画を９分割しており、それらを動画像エンコーダでエンコードする。本例では、動画像エンコーダとしてH.264エンコーダを用い、分割は画像内を全て同サイズで矩形の領域に分割する事とする。
【００１３】
次に図２に本動画像エンコードの方法を示す。
【００１４】
画像を９分割してそれらを動画像エンコードする場合には、ますは重要度の判定を行う。重要度は、より高画質に圧縮する為の指標であり、重要度の高いところはピクチャタイプをIピクチャにしたり、レートコンロールの際に多くのビットを割り振る。
この重要度の決定に関しては、下記を用いる。
・画面中央の分割画像の重要度を上げる。
・画像認識により人物の特定を行い、その部分の重要度を上げる。
・ユーザが領域を指定する事で重要度を上げる。
・連続的に画像の動き解析を行い、動きのあった分割画像の重要度を上げる。
【００１５】
そして、重要度を決定した後は、その重要度の高い順に、分割画像の１秒間あたりに符号化される画像数を決定し、1フレーム毎に選択する分割画像の位置および順番を決定する。
【００１６】
次に、ピクチャタイプの決定を行う。
【００１７】
ピクチャタイプの決定には、画像を分割した分割画像おのおのの相関性の解析を行う。相関性により上記で重要度順に並び替えた分割画像群に対して重要度の高い順にピクチャタイプを決定していく。
・他のどの分割画像とも相関性が低い場合には、その分割画像をIピクチャとする。
・他の分割画像と相関性が高かった場合には、始めの１枚目はIピクチャとし、２枚目はPピクチャとし、３枚目以降はBピクチャとする。その際に、P、Bピクチャの動き補償の参照ピクチャは、Pであれば始めのIピクチャ。Bであれば始めのIピクチャと次のPピクチャとする。
【００１８】
相関性の解析について説明する。相関性の解析には下記いずれか、またはいくつかを用いる。
・分割画像毎の分散値を算出して値の似ているものを相関性が高いとする。
・分割画像同士の差分を算出して差分値が小さい者を相関性が高いとする。
・分割画像内の符号化対象ブロック毎にDCTの値をマップ化して、そのマップ同士が分散画像同士似ている物を相関性が高いとする。
上記により決定したピクチャタイプでエンコードを行う。
【００１９】
次に、動画像エンコード時のレートコントロールについて説明する。エンコードのする際には、画像の全体の圧縮データ量が、所望のデータ量になる様に各ピクチャのビット割り当てを行う。この際、Iピクチャ、Pピクチャ、Bピクチャのビットの割り振り共に、先頭に近い分割画像ほどビットの割り当てが多くなる様にする。
【００２０】
そして、実際の分割画像毎にエンコードを行うが、分割画像のエンコードを行う際には、分割画像内の画面端に隣する上下左右の符号化単位ブロック（MB:マクロブロック）において、量子化を行う量子化値を周辺分割画像の上下左右で隣接するMBがすでに符号化済みであればその値と同様の値とする。その様にする事で圧縮後の静止画像情報を伸張する際の分割境界での歪を低減させる。また、隣接していないＭＢについては、上記の周辺の分割画像と隣接するブロックの量子化値と大幅に値が変わらないようにＭＢごとの量子化値を制御する。
【００２１】
図４に概念を示す。本図では、分割画像のエンコードについて、上部の既にエンコード済み分割画像Ａ、中央の既にエンコード済み分割画像Bおよび上部の既にエンコード済み分割画像Ａについては、エンコードは過去のフレームで終了しているものとする。エンコードを行う際には、この場合には、上下および右の分割画像が既にエンコードが終わっているので、分割画像内の上下および右端のＭＢについて量子化値を既にエンコード済み分割画像Ａ、BおよびCのＭＢの量子化値と同様の値とする。
【００２２】
再生する場合は、伸張した画面のみを記録された分割画面位置情報を用いて更新し、他の分割画面は過去に伸張された画像を保持して表示する。
【実施例２】
【００２３】
実施例１では、P、Bピクチャの参照関係を自由に調整できる動画像規格で有効である。しかしMPEG2などの圧縮規格では、P,Bの参照関係は規格により定義される。そのような規格で本発明を用いる際には下記の方法が有効である。
【００２４】
まずは、実施例１同様に重要度の決定を行う。次に、実施例１と同様に相関性を決定して相関の高いもの同士でグループを構成する。
次にグループ毎の１秒間あたりに符号化する回数を決定する。グループ毎の１秒間あたりに符号化される回数は、重要度の高い分割画像を含むグループから割り当てる。そして、最後にグループの内部の1フレーム毎に選択する分割画像の位置とピクチャタイプの決定を行う。
この並び替えは、下記の順で行う。
グループ内部で重要度の高い順に1フレーム毎に選択する分割画像の位置および順番を決定する。
始めの１枚目の分割画像をIピクチャとし、２枚目はPピクチャとし、３枚目以降はBピクチャとする。
【００２５】
この様にすることで、MPEG2でのエンコードの際にも参照関係を保って効率よく動画像圧縮が可能である。
【実施例３】
【００２６】
本実施例では、実施例１，２を実現する装置について説明する。図５に構成例を示す。
【００２７】
高精細動画像を取り込むことが出来る画像入力部５０１と、画像入力部５０１の取り込んだ高精細動画像の画像解析を行う画像解析部５０２と、高精細動画像を一時的にバッファするエンコード動画像バッファ部５０３と、動画像を分割エンコード可能な動画像エンコードを行う動画像エンコード部５０４と、動画像ストリームを記録する記録媒体部５０５と、記録媒体部を制御する記録媒体制御５０６と、画像解析部からの解析結果を基にエンコーダ部の制御と記録媒体制御部の制御を行うホスト部５０７とする。また、動画像エンコード部５０４でエンコードされた動画像ストリームをデコードする動画像デコーダ部５０８と、デコードした高精細動画像を一時的にバッファするデコード動画像バッファ部５０９と、デコード動画像バッファ部５０９の高精細動画像をモニタなどに出力する画像出力部５１０とする。また、ホスト部５０７は、記録媒体制御部５０６、動画像デコーダ部５０８およびデコード動画像バッファ部５０９の読出しの制御を行なう。
【００２８】
画像記録時には、画像入力部５０１により取り込んだ高精細動画を画像解析部５０２において重要度、相関性の解析を行う。ホスト部５０７は解析結果を画像解析部５０２より読み出し、1フレーム毎に選択する分割画像の位置および順番とピクチャタイプの決定、レートコンロールのビット割り当てを決定する。そして、ホスト部５０７はその情報を動画像エンコード部５０４に設定しエンコードを行ない、その記録ストリームを記録媒体５０６に保存する。
【００２９】
画像再生時には、ホスト部５０７は記録ストリームを記録媒体５０６から読出し、動画像デコーダ部５０８にてデコードし、得られる画像位置情報をもとに、デコード動画像バッファ部５０９にデコード動画像を格納し、分割画像を１枚の画像としてデコード動画像バッファ部５０９から読出し、画像出力部５１０に出力する。
【図面の簡単な説明】
【００３０】
【図１】本発明の概念図
【図２】実施例１の動画像エンコード手法
【図３】実施例２の動画像エンコード手法
【図４】分割画像エンコード時の量子化値の制御方法
【図５】動画像記録再生装置の例
【図１】
2009017062.tif 000003
【図２】
2009017062.tif 000004
【図３】
2009017062.tif 000005
【図４】
2009017062.tif 000006
【図５】
2009017062.tif 000007