(57)【要約】【課題】ユーザを煩わせることなく、且つ録画の画質を落とすことなくレート変換を行い、ＨＤＤを効率的に利用する画像符号化装置を得る。【解決手段】入力されたＭＰＥＧ−２ビデオストリーム１０１から、符号化の難易度を示す符号化難易度パラメータを算出する符号化難易度パラメータ算出部３と、算出された符号化難易度パラメータに基づいて、ＭＰＥＧ−２ビデオストリーム１０１の圧縮率を決定する録画モード決定部４と、ＭＰＥＧ−２ビデオストリーム１０１を復号した映像データに対して、決定された圧縮率を用いて目標符号量を適応的に切り替えた符号化を行い、Ｈ.２６４／ＡＶＣビデオストリーム１０２を生成する再符号化部５とを備える。【選択図】図１
2014116890.tif 000002
【特許請求の範囲】
【請求項１】
入力された第１の映像符号化データから、符号化の難易度を示す符号化難易度パラメータを算出する符号化難易度パラメータ算出部と、
前記符号化難易度パラメータ算出部が算出した前記符号化難易度パラメータに基づいて、前記第１の映像符号化データの圧縮率を決定する録画モード決定部と、
前記第１の映像符号化データを復号した映像データに対して、前記録画モード決定部が決定した圧縮率を用いて目標符号量を適応的に切り替えた符号化を行い、第２の映像符号化データを生成する再符号化部とを備えた画像符号化装置。
【請求項２】
入力された第１の映像符号化データから、符号化の難易度を示す符号化難易度パラメータを算出する符号化難易度パラメータ算出部と、
前記符号化難易度パラメータ算出部が算出した前記符号化難易度パラメータに基づいて、前記第１の映像符号化データの発生符号量を制御する符号化パラメータを決定する符号化パラメータ決定部と、
前記第１の映像符号化データを復号した映像データに対して、前記符号化パラメータ決定部が決定した符号化パラメータを用いて目標符号量を適応的に切り替えた符号化を行い、第２の映像符号化データを生成する再符号化部とを備えた画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像を圧縮符号化して伝送・記録する画像符号化装置に関するものである。
【背景技術】
【０００２】
放送波を録画する機器として、ＨＤＤレコーダや録画機能付テレビなどといった機器の普及が進んでいる。これら放送波を録画する機器には、ＨＤＤ利用効率化のために、放送番組をＭＰＥＧ−２ビデオストリームのままではなく、Ｈ.２６４／ＡＶＣビデオストリーム等、ＭＰＥＧ−２よりも高圧縮が可能な符号化方式を用いてレート変換し、ビットレートを下げることで記録・保存する機能が備わっている。
【０００３】
放送波をＨ.２６４／ＡＶＣビデオストリームに変換する手段としては、受信したＭＰＥＧ−２ビデオストリームをリアルタイムで変換する手段だけではなく、例えば特許文献１に示すように、ＭＰＥＧ−２ビデオストリームを受信した際には変換せず、後でビットレートを変換する技術が開示されている。また、レート変換時の圧縮率は、通常複数のモードが用意されており、そこからユーザが選択する方式をとる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−０６３１３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した従来の技術では、ビットレートを変換し録画する際には、ユーザが圧縮率を選択し、選択した圧縮率のレートで放送番組を録画していた。そのため、ユーザは番組に応じて個々に圧縮率を設定する必要があり、操作が複雑になるという課題があった。また、録画する番組に対して、最適な圧縮率をユーザが判断するのは困難であり、どの番組に対しても一定の画質を保つために、高いビットレートとなるモードを固定で設定するなど、ＨＤＤの効率的な利用が行われていないという課題があった。
【０００６】
この発明は、上記のような課題を解決するためになされたもので、録画する番組に対して自動で圧縮率を決定することで、ユーザを煩わせることなく、且つ録画の画質を落とすことなくレート変換を行い、ＨＤＤを効率的に利用する画像符号化装置を得ることを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る画像符号化装置は、入力された第１の映像符号化データから、符号化の難易度を示す符号化難易度パラメータを算出する符号化難易度パラメータ算出部と、符号化難易度パラメータ算出部が算出した符号化難易度パラメータに基づいて、第１の映像符号化データの圧縮率を決定する録画モード決定部と、第１の映像符号化データを復号した映像データに対して、録画モード決定部が決定した圧縮率を用いて目標符号量を適応的に切り替えた符号化を行い、第２の映像符号化データを生成する再符号化部とを備えるものである。
【発明の効果】
【０００８】
この発明によれば、ユーザが圧縮率の設定を切り替えることなく、最適な圧縮率で放送番組を符号化することができ、画質を保ったままＨＤＤを効率的に利用することができる。
【図面の簡単な説明】
【０００９】
【図１】実施の形態１による画像符号化装置の構成を示すブロック図である。
【図２】実施の形態１による画像符号化装置の符号化難易度パラメータの算出例を示す図である。
【図３】実施の形態１による画像符号化装置の符号化難易度パラメータのその他の算出例を示す図である。
【図４】実施の形態１による画像符号化装置のその他の構成を示すブロック図である。
【図５】実施の形態１による画像符号化装置の閾値設定処理部の閾値設定例を示す図である。
【図６】実施の形態１による画像符号化装置の閾値設定処理部の閾値設定その他の例を示す図である。
【図７】実施の形態１による画像符号化装置の閾値設定処理部の動作を示すフローチャートである。
【図８】実施の形態１による画像符号化装置の動作を示すフローチャートである。
【図９】実施の形態１による画像符号化装置の符号化難易度パラメータのその他の算出例を示す図である。
【図１０】実施の形態１による画像符号化装置の符号化難易度パラメータのその他の算出例を示す図である。
【図１１】実施の形態２による画像符号化装置の構成を示すブロック図である。
【図１２】実施の形態２による画像符号化装置の量子化マトリクスの例を示す図である。
【図１３】実施の形態２による画像符号化装置のその他の構成を示すブロック図である。
【図１４】実施の形態２による画像符号化装置の閾値設定処理部の動作を示すフローチャートである。
【図１５】実施の形態２による画像符号化装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１０】
実施の形態１．
実施の形態１では、ＭＰＥＧ−２ビデオストリームを受信し、再圧縮して記録する機器あるいはシステムに適用され、ユーザ操作を必要とせず、適切な圧縮率でＭＰＥＧ−２ビデオストリームを記録するための画像符号化装置について説明する。
図１は、この発明の実施の形態１による画像符号化装置の構成を示すブロック図である。
画像符号化装置１０は、受信部１、記憶部２、符号化難易度パラメータ算出部３、録画モード決定部４および再符号化部５で構成されている。
受信部１は、ＭＰＥＧ−２映像符号化方式によって圧縮符号化されたＭＰＥＧ−２ビデオストリーム（第１の映像符号化データ）１０１を受信し、記憶部２に記録する。記憶部２は、ハードディスクや大容量メモリ、ＳＳＤなどで構成される格納領域である。
【００１１】
符号化難易度パラメータ算出部３は、記憶部２に記録されたＭＰＥＧ−２ビデオストリーム１０１を読み出し、あらかじめ設定された所定の長さのシーンの単位で、符号化難易度パラメータを導出する。ここで、シーンとは例えば所定の時間の単位でもよいし、ＭＰＥＧ−２ビデオストリーム１０１のデータ構造を規定するＧＯＰ(Group Of Picture)、すなわちＭＰＥＧ−２ビデオストリーム１０１に対するランダムアクセス可能なデータ単位(２つのＩピクチャ間に含まれる全ピクチャデータ)などでもよい。符号化難易度パラメータ算出部３は、導出した符号化難易度パラメータを、シーンの単位で記憶部２に記録する。録画モード決定部４は、記憶部２に記録された符号化難易度パラメータに基づいて録画モードを決定する。録画モードは、あらかじめ設定された複数の録画モードに対して、符号化難易度パラメータの閾値処理を行うことにより該当する録画モードを選択することにより決定される。
【００１２】
再符号化部５は、復号部６、制御部７および符号化部８で構成されている。
復号部６は、記憶部２から読み出したＭＰＥＧ−２ビデオストリーム１０１を復号し、復号した画像を符号化部８に出力する。制御部７は、録画モード決定部４で決定された録画モードが入力されると、当該録画モードに対応した符号化パラメータを取得し、符号化部８に出力する。符号化部８は、復号部６から入力された画像に対して、制御部７から入力された符号化パラメータを用いて符号化処理を行い、Ｈ.２６４／ＡＶＣビデオストリーム（第２の映像符号化データ）１０２を出力する。また、符号化部８は、制御部７に対して発生符号量のフィードバックを行う。例えば、目標符号量に対して発生符号量が多い場合は、制御部７において粗い量子化を行うなど、発生符号量を減らす方向に制御を行い、逆に発生符号量が少ない場合は、細かい量子化を行うなど、発生符号量を増やす方向に制御を行う。
【００１３】
次に、符号化難易度パラメータ算出部３による符号化難易度パラメータの算出を図２および図３を参照しながら具体的に説明する。
図２に示すように、ＭＰＥＧ−２ビットストリームのＩピクチャ符号化データに含まれるＤＣＴ係数のＤＣ成分から縮小画像（図２におけるＤＣ0，ＤＣ1，ＤＣ2，ＤＣ3）を生成し、生成した縮小画像内で特定の単位ごとに画素間の分散値を計算することが考えられる。分散値を計算する単位は、画像全体でもよいし、所定のブロック単位であるＭＢなどで処理してもよい。ＭＢ単位で処理する場合、縮小画像は２×２になるため、以下の式（１）を用いて計算することができる。
2014116890.tif 000003
画素の分散が大きい場合、画面が複雑であることを意味しており、符号化が難しい画像であることを示している。
【００１４】
上述のようにブロック単位で処理する場合、各ブロックの分散値の平均を１ピクチャの符号化難易度パラメータとしてもよいし、図３に示すように、計算した分散値が所定の閾値を超えたブロックのみをカウントし、その個数を符号化難易度パラメータとしてもよい。図３の例では処理量が増加するが、分散値そのものを使用する場合には局所的に分散が大きいブロックや小さいブロックの影響を受けるのに対し、閾値を超えたブロックをカウントすることで当該影響を小さくすることができるという利点がある。
【００１５】
一方、シーン単位で比較する場合には、１シーン内に含まれるＩピクチャで符号化難易度パラメータを算出し、その平均値をとって符号化難易度パラメータとしてもよいし、閾値を設定して当該閾値を超えたＩピクチャをカウントし、その個数を符号化難易度パラメータとしてもよい。
【００１６】
なお、上述のようにシーン単位で処理する場合、ＭＰＥＧ−２ビデオストリーム１０１のＩピクチャ符号化データに含まれるＤＣＴ係数のＤＣ成分から縮小画像を生成して、生成した縮小画像に対する特徴量を符号化難易度パラメータとしているが、ＭＰＥＧ−２ビデオストリーム１０１を画像データに復号して、復号画像レベルで同様の特徴量抽出を実行してもかまわない。縮小画像ではないため、処理量は増加するものの、実際の画像データに即した特徴量が抽出できるという利点がある。
【００１７】
次に、録画モード決定部４による録画モードの算出を具体的に説明する。
録画モード決定部４が符号化難易度パラメータに基づいて録画モードを決定する方法としては、閾値処理が考えられる。録画モードのモード数をＮとすると、以下に示す閾値判定条件（ａ）に基づいて閾値処理を行い、録画モード（ｍｏｄｅ）を決定する。
・閾値判定条件（ａ）
if TH1<Level then mode1
else if TH2<Level then mode2
・・・
else if THN<Level then modeN
なお、ｍｏｄｅ１＜ｍｏｄｅ２＜・・・＜ｍｏｄｅＮの順で圧縮率が高いものとし、このとき閾値はＴＨ１＞ＴＨ２＞・・・＞ＴＨＮの順であるものとする。
【００１８】
符号化難易度が高いシーンは、圧縮率を高くすると画質が劣化してしまうため、あまり圧縮率を上げられない。一方、符号化難易度が低いシーンは、圧縮率を高くしても画質劣化が目立たない。このため、上記のような閾値処理により圧縮率を決定することにより、シーンの符号化難易度と圧縮率のバランスをとることができる。
【００１９】
次に、上述した閾値ＴＨＮの設定について説明する。閾値ＴＨＮは、各機器において固有値としてもよいし、ユーザ操作や録画する機器の状態に応じて変更してもよい。ユーザ操作や録画する機器の状態に応じて閾値ＴＨＮを変更する場合には、例えば図４に示すように閾値設定処理部９を追加して設ける。図４は、実施の形態１による画像符号化装置１０のその他の構成を示すブロック図である。
閾値設定処理部９は、入力されるユーザ操作や、録画する機器側から入力される状態情報に基づいて閾値ＴＨＮを決定し、録画モード決定部４に設定する処理を行う。
【００２０】
例えば、図５に示すように、各種優先度に応じて閾値を変更してもよい。閾値設定処理部９は、入力されるユーザの選択操作に基づいて、ユーザが画質を優先させたいか、あるいはＨＤＤの効率化を優先させたいかを判断し、画質を優先させたいユーザに対しては、画質を優先させる閾値設定（図５における画像優先閾値の設定）を行う、あるいはＨＤＤの効率化を優先させたいユーザに対しては、圧縮率の高い録画モードに振るような閾値設定（図５におけるＨＤＤ容量優先閾値の設定）を行う。このようにユーザの選択操作に基づいて閾値ＴＨＮの設定を変えることにより、ユーザの嗜好に合わせたモード設定を行うことができる。
【００２１】
なお、画像優先閾値またはＨＤＤ容量優先閾値のどちらが設定された場合にも、録画モード決定部４では、設定された閾値ＴＨＮよりも符号化難易度が高い場合には圧縮率を低く設定し、設定された閾値ＴＨＮよりも符号化難易度が低い場合には圧縮率を高く設定する。
【００２２】
また、シーンが変化する場合であって、各シーンを複数のシーンに分類することができる場合、図５に示すように時間ごとにシーンＡ群とシーンＢ群に分類し、シーンＡ群とシーンＢ群それぞれの符号化難易度を閾値設定処理部９に入力し、閾値設定処理部９はシーンＡ群とシーンＢ群の符号化難易度に基づいて閾値を算出し、より高い閾値を閾値ＴＨＮとして録画モード決定部４に設定する。録画モード決定部４では、より高い閾値である閾値ＴＨＮに基づいて圧縮率を決定することにより、シーン全体から設定された閾値に基づいて圧縮率を決定する場合よりも画質を優先させることができる。
【００２３】
また、閾値設定処理部９は、ユーザの選択操作に基づいてシーンＡ群もしくはシーンＢ群のどちらか一方の閾値を選択し、閾値ＴＨＮとして録画モード決定部４に設定してもよい。これにより、録画モード決定部４では、ユーザが選択したシーン群に着目して圧縮率を決定することができ。ＨＤＤの効率化を優先することができる。
【００２４】
また、閾値設定処理部９は、閾値設定処理部９は、機器側から入力されるＨＤＤの残容量を示す情報を参照し、残容量に応じて閾値ＴＨＮを設定するように構成してもよい。ＨＤＤ残容量に十分余裕があると判断した場合には画質を優先させる閾値設定とし、ＨＤＤ残容量に余裕がないと判断した場合は、高い圧縮率を優先させる閾値設定とする。
【００２５】
さらに、ユーザの嗜好に合わせた閾値設定の異なる方法として、ユーザからのフィードバックをもとに、閾値設定処理部９に閾値ＴＨＮを学習させる方法も考えられる。
図７は、この発明の実施の形態１による画像符号化装置１０の閾値設定処理部９の動作を示すフローチャートである。
まず、ある符号化パラメータを用いて番組録画が行われた後にユーザが当該番組を視聴し、視聴後に画質について評価を行うものとする。
【００２６】
閾値設定処理部９に、ユーザ操作として視聴した番組の画質に対する評価が入力されると（ステップＳＴ１）、閾値設定処理部９は当該評価を参照してユーザが画質に満足したか否か判定を行う（ステップＳＴ２）。ユーザが画質に満足している場合（ステップＳＴ２；ＹＥＳ）、表示部など（不図示）を介してＨＤＤ容量を優先させるためにより高圧縮な録画モードとするかの選択画面を表示させる（ステップＳＴ３）。ＨＤＤ容量を優先させるユーザ選択指示が入力された場合（ステップＳＴ３；ＹＥＳ）、閾値設定処理部９は閾値ＴＨＮを下げる処理を行い（ステップＳＴ４）、圧縮率の高い録画モードが選択されるように調整を行う。一方。ＨＤＤ容量を優先させないユーザ選択指示が入力された場合（ステップＳＴ３；ＮＯ）、処理を終了する。
【００２７】
一方、ユーザが画質に満足していない場合（ステップＳＴ２；ＮＯ）、高画質化を図るためには圧縮率を下げる方向に閾値ＴＨＮを変更させる必要がある。そのため、表示部などを介してＨＤＤ容量を優先させるか否かの選択画面を表示させる（ステップＳＴ５）。ＨＤＤ容量を優先させ、高画質化を行わないとの選択指示が入力された場合（ステップＳＴ５；ＹＥＳ）、閾値ＴＨＮの設定変更は行わずに処理を終了する。一方、ＨＤＤ容量を優先させず、高画質化を行うとの選択指示が入力された場合（ステップＳＴ５；ＮＯ）、閾値設定処理部９は閾値ＴＨＮを上げる処理を行い（ステップＳＴ６）、圧縮率の低い録画モードが選択されるように調整を行う。
【００２８】
このように、閾値設定処理部９はユーザからのフィードバックに基づいて閾値ＴＨＮを微調整することが可能となり、よりユーザの嗜好に合った符号化を実現することができる。なお、ユーザからのフィードバックは常時行われるように構成してもよいし、ある一定期間ごとに行われるように構成してもよい。常時フィードバックを行うことで、細かい設定が可能となるが、ユーザが煩わしさを感じる可能性がある。一方、ある一定区間ごとにフィードバックを行うことで、細かい設定の変更は行うことができないが、ユーザの負担を低減させることができる。
【００２９】
次に、画像符号化装置１０の動作について説明する。
図８は、この発明の実施の形態１における画像符号化装置１０の動作を示すフローチャートである。なお、図８のフローチャートでは、ユーザが自動録画の設定を選択していることを前提に説明を行う。なお、自動録画の設定が選択されていない場合には、従来と同様の録画方法により録画が行われるものとする。なお、以下に示す処理は特定のシーンごとに行われ、録画対象番組が終了されるまで繰り返されるものとする。
【００３０】
受信部１は、録画対象の番組のＭＰＥＧ−２ビデオストリームを受信し、記憶部２に記録させる（ステップＳＴ１１）。符号化難易度パラメータ算出部３は、ステップＳＴ１１で記憶部２に記録されたＭＰＥＧ−２ビデオストリームから符号化難易度パラメータを抽出する（ステップＳＴ１２）。なお、ステップＳＴ１２の処理は、放送波を受信しながら算出してもよいし、受信中は記憶部２に蓄積し、オフラインで算出してもよい。同様に、以下に示す動作は受信しながら行うように構成してもよいし、番組終了まで放送波を受信した後オフラインで再符号化まで行うように構成してもよい。
【００３１】
閾値設定処理部９は、ユーザが画質優先モードを設定しているか否か判定を行う（ステップＳＴ１３）。画質優先モードが設定されている場合（ステップＳＴ１３；ＹＥＳ）、閾値設定処理部９は画質を優先する閾値を設定する（ステップＳＴ１４）。一方、画質優先モードが設定されていない場合（ステップＳＴ１３；ＮＯ）、閾値設定処理部９はＨＤＤ容量を優先する閾値を設定する（ステップＳＴ１５）。録画モード決定部４は、ステップＳＴ１２で抽出された符号化難易度パラメータと、ステップＳＴ１４またはステップＳＴ１５で設定された閾値とを用いて、上述した閾値判定条件（ａ）に基づいて閾値処理を行い、Ｎ個（Ｎ≧１）の録画モードから１つの録画モードに決定する（ステップＳＴ１６）。
【００３２】
再符号化部５は、ステップＳＴ１６で決定した録画モードにより、ステップＳＴ１１で受信したＭＰＥＧ−２ビデオストリームを復号した画像に対して再符号化を行い、得られたＨ.２６４／ＡＶＣビデオストリームを録画ストリームとして出力する（ステップＳＴ１７）。画像符号化装置１０は録画対象番組が終了したか否か判定を行い（ステップＳＴ１８）、終了した場合には（ステップＳＴ１８；ＹＥＳ）、処理を終了する。一方、終了していない場合には（ステップＳＴ１８；ＮＯ）、ステップＳＴ１１の処理に戻り、上述した処理を繰り返す。
【００３３】
上述した説明では、符号化難易度パラメータ３として、Ｉピクチャの縮小画像を用いてパラメータを算出する例を示したが、フレーム間の動きベクトルを用いてパラメータを算出してもよい。動きベクトルを用いることにより、シーン内の動きの複雑度が分かるため、発生符号量の大小を判断することができる。
【００３４】
動きベクトルを用いた符号化難易度パラメータの推定方法として、動きベクトルの長さを用いることが考えられる。
Ｌｅｖｅｌ１ ＝ ｜ＭＶ｜  ・・・（２）
上述した式（２）に示す、動きベクトルの長さが大きいということは、フレーム間で動きが大きいことを意味しており、一般的に動きを捉えにくいシーンであると言える。そのため、動きベクトルの長さをみることで、シーン内の複雑度を推定できる。
【００３５】
または、以下の式（３）に示すように動きベクトルの分散値を用いてもよい。一般的な動画像符号化方式であれば、動きベクトルは符号化済ベクトルから予測したベクトルとの差分を符号化するため、分散が小さければ、それだけ符号化する値が小さくなると考えられる。そのため、動きベクトルの長さを用いる場合と比べ処理量は増えるが、分散値を用いることで、より精度よく符号化難易度を推定することが可能となる。
2014116890.tif 000004
【００３６】
また、符号化難易度パラメータとして、図９に示すようなフレーム間の差分画像の分散を用いてもよい。差分画像の分散が大きいということは、シーン内で動きが大きいことや、雑音が大きいことを示している。そのため、符号化難易度を推定するパラメータとして利用することで、より精度よく符号化難易度を推定できる。
差分画像の分散を用いる場合は、隣接する画像間の差分画像でもよいし、数フレーム離れた画像間の差分画像を用いてもよい。例えば、図１０に示すように、隣接するＩピクチャ同士の差分画像から縮小画像を生成して分散値を算出することにより、縮小画像の生成がＤＣＴ係数のみから行えるため、処理量低減に寄与する。
【００３７】
符号化難易度パラメータとして、上記項目を組み合わせてもよい。画像の複雑度と、動きの複雑度を組み合わせることにより、より精度よく符号化難易度を推定することが可能となる。
【００３８】
以上のように、この実施の形態１によれば、映像符号化データから符号化の難易度を示す符号化難易度パラメータを算出する符号化難易度パラメータ算出部と、算出された符号化難易度パラメータに基づいて画像の圧縮率を示す録画モードを決定する録画モード決定部と、決定された録画モードに応じたパラメータを用いて目標符号量を適応的に切り替えた符号化を行う再符号化部とを備えるように構成したので、ユーザが設定を切り替えることなく、最適な圧縮率で符号化することができ、画質を保ったままＨＤＤの効率的な利用を実現することができる。
【００３９】
また、この実施の形態１によれば、録画モード決定部が閾値処理により録画モードを決定し、閾値処理に用いる閾値を優先度、シーンごとの符号化難易度、ＨＤＤの残容量、あるいはユーザの嗜好などに合わせて設定可能に構成したので、記録する機器側の状態、あるいはユーザの嗜好に合わせた録画モードの決定を行うことができる。
【００４０】
また、この実施の形態１によれば、符号化難易度パラメータとして画像の複雑さと、画像の動きの複雑さとを組み合わせ可能に構成したので、映像符号化データの符号化の難易度を精度よく推定することができる。
【００４１】
なお、上述した実施の形態１では、符号化難易度パラメータに基づいて圧縮率を決定する構成を示したが、当該画像符号化装置１０を記録システムなどに適用する場合には従来手法の手動で圧縮率を決定するモードと切り替え可能なシステムとして構成してもよい。自由にモードを設定したいユーザに対し、手動で決定可能なモードを用意することで、よりユーザの嗜好に合わせた記録システムを提供することができる。
【００４２】
また、上述した実施の形態１では、ＭＰＥＧ−２ビデオストリームを入力し、Ｈ.２６４／ＡＶＣビデオストリームを出力とする例を示したが、これは入力がＨ.２６４／ＡＶＣビデオストリームなど別の動画像符号化方式であってもよいし、出力がＭＰＥＧ−２など別の動画像符号化方式であってもよく、符号化方式に限定されるものではない。
【００４３】
実施の形態２．
上述した実施の形態１では、ＭＰＥＧ−２ビデオストリームを受信し再圧縮して記録する機器あるいはシステムに適用され、適切な圧縮率でＭＰＥＧ−２ビデオストリーム記録するための画像符号化装置について述べたが、この実施の形態２では、ユーザ、記録装置あるいは記録システムが設定した圧縮率に対し、より高画質な映像を得るためのパラメータを設定する構成を示す。
【００４４】
図１１は、この発明の実施の形態２による画像符号化装置の構成を示すブロック図である。実施の形態２の画像符号化装置は、図１で示した実施の形態１の画像符号化装置１０の録画モード決定部４に替えて符号化パラメータ決定部１１を設けている。なお、以下では、実施の形態１による画像符号化装置１０の構成要素と同一または相当する部分には実施の形態１で使用した符号と同一の符号を付して説明を省略または簡略化する。
【００４５】
符号化パラメータ決定部１１は、符号化難易度パラメータ算出部３で算出された符号化難易度パラメータと、ユーザ操作によって指定された録画設定条件とに応じて、量子化マトリクスなどの符号化パラメータを設定する。量子化マトリクスの符号化パラメータのパラメータ数をＮとすると、以下に示す閾値判定条件（ｂ）に基づいて閾値処理を行い、符号化パラメータ（Ｐａｒａ）を決定する。なお、録画設定条件とは、画質を優先するか、あるいはＨＤＤ容量を優先して高画質を望まないかなどユーザの録画に対する嗜好を設定した条件である。
・閾値判定条件（ｂ）
if TH1´<Level then Para1
else if TH2´<Level then Para2
・・・
else if ＴＨＮ´<Level then ParaN
なお、Ｎの値が大きいほど、符号化難易度が低いシーン用のパラメータセットを示している。このとき閾値はＴＨ１´＞ＴＨ２´＞・・・＞ＴＨＮ´の順であるものとする。
再符号化部５の制御部７は、符号化パラメータ決定部１１で決定された符号化パラメータを、符号化部８に出力する。
【００４６】
図１２に量子化マトリクスの例を示す。符号化難易度が高い場合は、図１２（ａ）に示すように高域の係数を落とす符号化パラメータを設定し、難易度が低い場合は、図１２（ｂ）に示すように高域をより残す符号化パラメータを設定する。符号化難易度が高いということは、発生符号量が多いということを示している。指定されたビットレートで符号化するために、高域を落とすマトリクスとすることで、発生符号量を抑えることが可能となる。一方、符号化難易度が低い場合は、発生符号量が少ないことを示しており、図１２（ｂ）に示すように、高域を残すマトリクスとしても、指定されたビットレートで符号化できる可能性が高い。
【００４７】
また、符号化難易度に応じてデブロッキングフィルタなどのループフィルタ強度を変えるように構成することもできる。フィルタ強度を強くすると、画像の高域が失われるため、少しぼけた画像になるが、発生符号量を小さくできるメリットがある。このため、符号化難易度が高いシーンについては、フィルタ強度を強くすることで発生符号量を抑えることが可能となる。
【００４８】
次に、上述した閾値ＴＨＮ´の設定について説明する。閾値ＴＨＮ´は、各機器において固有値としてもよいし、ユーザ操作や録画する機器の状態に応じて変更してもよい。上述したように、符号化難易度が低い映像に対して、量子化マトリクスやブロッキングフィルタのパラメータについて高域を落とすように設定を行うと、高域が失われ、全体的にぼやけた画像となる。一方、符号化難易度が高い映像に対して高域を残すような符号化を行うと、画像のぼやけが減る一方で、モスキートノイズやブロックノイズが目立つ画像となる。どちらの映像を好むかはユーザによって異なるため、閾値の違うモードを複数用意し選択できるようにすることで、ユーザの嗜好に合わせた符号化を行うことができる。
【００４９】
そこで、ユーザ操作や録画する機器の状態に応じて閾値ＴＨＮ´を変更する場合には、例えば図１３に示すように閾値設定処理部９´を追加して設ける。図１３は、実施の形態２による画像符号化装置１０のその他の構成を示すブロック図である。
閾値設定処理部９´は、入力されるユーザ操作や、録画する機器側から入力される状態情報に基づいて閾値ＴＨＮ´を決定し、符号化パラメータ決定部１１に設定する処理を行う。
【００５０】
また、ユーザの嗜好に合わせた閾値設定の異なる方法として、ユーザからのフィードバックをもとに、閾値設定処理部９´に閾値ＴＨＮ´を学習させる方法も考えられる。
図１４は、この発明の実施の形態１による画像符号化装置１０の閾値設定処理部９´の動作を示すフローチャートである。なお、以下では実施の形態１に係る画像符号化装置１０の閾値設定処理部９´と同一のステップには図７で使用した符号と同一の符号を付し、説明を省略または簡略化する。
まず、ある符号化パラメータを用いて番組録画が行われた後に、ユーザが当該番組を視聴し、視聴後に画質について評価を行う（ステップＳＴ１）。閾値設定処理部９´は、ステップＳＴ１として画質に対する評価が入力されると、当該評価を参照してユーザが画質に満足したか否か判定を行う（ステップＳＴ２）。
【００５１】
ユーザが画質に満足している場合（ステップＳＴ２；ＹＥＳ）には処理を終了する。一方、ユーザが画質に満足していない場合（ステップＳＴ２；ＮＯ）、さらに評価を参照して録画した映像がぼやけていると評価したか、または録画した映像にノイズが多いと評価したか判定を行う（ステップＳＴ２１）。ステップＳＴ２１において録画した映像がぼやけていると評価された場合、高域を残す符号化の設定とするために、閾値設定処理部９´は閾値ＴＨＮ´を上げる処理を行い（ステップＳＴ２２）、処理を終了する。一方、ステップＳＴ２１において録画した映像にノイズが多いと評価された場合、高域をより落とす符号化の設定とするために、閾値ＴＨＮ´を下げる処理を行い（ステップＳＴ２３）、処理を終了する。
【００５２】
このように、閾値設定処理部９´はユーザからのフィードバックに基づいて閾値ＴＨＮ´を微調整することが可能となり、よりユーザの嗜好に合った符号化を実現することができる。なお、ユーザからのフィードバックは常時行われるように構成してもよいし、ある一定期間ごとに行われるように構成してもよい。常時フィードバックを行うことで、細かい設定が可能となるが、ユーザが煩わしさを感じる可能性がある。一方、ある一定区間ごとにフィードバックを行うことで、細かい設定の変更は行うことができないが、ユーザの負担を低減させることができる。
【００５３】
次に、画像符号化装置１０の動作について説明する。
図１５は、この発明の実施の形態２における画像符号化装置１０の動作を示すフローチャートである。なお、以下では実施の形態１に係る画像符号化装置１０の閾値設定処理部９´と同一のステップには図８で使用した符号と同一の符号を付し、説明を省略または簡略化する。また、実施の形態１と同様に、図１５のフローチャートにおいても、ユーザが自動録画の設定を選択していることを前提に説明を行う。なお、自動録画の設定が選択されていない場合には、従来と同様の録画方法により録画が行われるものとする。なお、以下に示す処理は特定のシーンごとに行われ、録画対象番組が終了されるまで繰り返されるものとする。
【００５４】
ユーザまたは記録システム側から入力された録画モードが設定されると（ステップＳＴ３１）、受信部１は、録画対象の番組のＭＰＥＧ−２ビデオストリームを受信し、記憶部２に記録させる（ステップＳＴ１１）。符号化難易度パラメータ算出部３は、符号化難易度パラメータを抽出し（ステップＳＴ１２）、その後、ステップＳＴ１３からステップＳＴ１５の処理を行い、選択されたモードに応じて閾値ＴＨＮ´を設定する。
【００５５】
符号化パラメータ決定部１１は、ステップＳＴ１２で抽出された符号化難易度パラメータと、ステップＳＴ１４またはステップＳＴ１５で設定された閾値ＴＨＮ´とを用いて、上述した閾値判定条件（ｂ）に基づいて閾値処理を行い、Ｎ個（Ｎ≧１）の符号化パラメータから１つの符号化パラメータに決定する（ステップＳＴ３２）。
【００５６】
再符号化部５は、ステップＳＴ３２で決定した符号化パラメータにより、ステップＳＴ１１で受信したＭＰＥＧ−２ビデオストリームを復号した画像に対して再符号化を行い、得られたＨ.２６４／ＡＶＣビデオストリームを録画ストリームとして出力する（ステップＳＴ３３）。画像符号化装置１０は録画対象番組が終了したか否か判定を行い（ステップＳＴ１８）、終了した場合には（ステップＳＴ１８；ＹＥＳ）、処理を終了する。一方、終了していない場合には（ステップＳＴ１８；ＮＯ）、ステップＳＴ１１の処理に戻り、上述した処理を繰り返す。
【００５７】
以上のように、この実施の形態２によれば、映像符号化データから符号化の難易度を示す符号化難易度パラメータを算出する符号化難易度パラメータ算出部と、算出された符号化難易度パラメータに基づいて発生符号量を制御する符号化パラメータを決定する符号化パラメータ決定部と、決定された符号化パラメータを用いて発生符号量を適応的に切り替えた符号化を行う再符号化部とを備えるように構成したので、ユーザが設定を切り替えることなく、最適な発生符号量の符号化を行うことができ、ＨＤＤの効率的な利用を実現することができる。
【００５８】
また、この実施の形態１によれば、符号化パラメータ決定部が閾値処理により符号化パラメータを決定し、閾値処理に用いる閾値をユーザの嗜好などに合わせて設定可能に構成したので、ユーザの嗜好に合わせた符号化パラメータを設定することができる。
【００５９】
なお、上述した実施の形態２では、ＭＰＥＧ−２ビデオストリームを入力し、Ｈ.２６４／ＡＶＣビデオストリームを出力とする例を示したが、これは入力がＨ.２６４／ＡＶＣビデオストリームなど別の動画像符号化方式であってもよいし、出力がＭＰＥＧ−２など別の動画像符号化方式であってもよく、符号化方式に限定されるものではない。
【００６０】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【００６１】
１  受信部、２  記憶部、３  符号化難易度パラメータ算出部、４  録画モード決定部、５  再符号化部、６  復号部、７  制御部、８  符号化部、９  閾値設定処理部、１０  画像符号化装置、１１  符号化パラメータ決定部。
【図１】
2014116890.tif 000005
【図２】
2014116890.tif 000006
【図３】
2014116890.tif 000007
【図４】
2014116890.tif 000008
【図５】
2014116890.tif 000009
【図６】
2014116890.tif 000010
【図７】
2014116890.tif 000011
【図８】
2014116890.tif 000012
【図９】
2014116890.tif 000013
【図１０】
2014116890.tif 000014
【図１１】
2014116890.tif 000015
【図１２】
2014116890.tif 000016
【図１３】
2014116890.tif 000017
【図１４】
2014116890.tif 000018
【図１５】
2014116890.tif 000019