(57)【特許請求の範囲】
【請求項１】
被写体からの光を光電変換することで、電気信号を生成する撮像素子と、
前記撮像素子によって生成された電気信号に所定の画像処理を実行することで、映像信号を生成する映像信号生成部と、
前記映像信号の符号化を行う符号化部とを備え、
前記符号化部は、
前記映像信号が示す対象ピクチャをスライス単位で符号化することで、符号化データを生成する符号化処理部と、
前記符号化データの特徴を示す符号化情報をスライス単位で管理する符号化情報管理部と、
前記符号化データのスライス単位の符号量を積算することで、前記符号化データの符号量を示す符号積算値を算出する積算部と、
前記符号積算値が所定の第１閾値より大きいか否かを判定し、前記符号積算値が前記第１閾値より大きいと判定した場合に、前記対象ピクチャの再符号化処理が必要であると判定する符号化結果判定部と、
前記符号化結果判定部によって前記再符号化処理が必要であると判定された場合に、前記符号化情報に基づいて前記再符号化処理の対象となる再符号化対象スライスを決定する再符号化制御部とを有し、
前記符号化処理部は、さらに、
前記再符号化制御部によって決定された再符号化対象スライスの前記再符号化処理を行う
映像信号符号化装置。
【請求項２】
前記映像信号生成部は、さらに、前記映像信号を解析することで、当該映像信号の特徴を示す画像特徴情報を生成し、
前記再符号化制御部は、前記再符号化処理が必要であると判定された場合に、前記符号化情報と前記画像特徴情報との少なくとも一方に基づいて、前記再符号化対象スライスを決定する
請求項１記載の映像信号符号化装置。
【請求項３】
前記再符号化制御部は、
前記符号化情報及び前記画像特徴情報の少なくとも一方に基づいて、前記再符号化処理の優先度を示す優先度情報を含む再符号化情報をスライス単位で生成する再符号化情報生成部と、
前記再符号化情報に基づいて、前記対象ピクチャに含まれる１以上のスライスの中から、前記再符号化対象スライスを決定するスライス決定部と、
前記スライス決定部によって決定された再符号化対象スライスの再符号化処理を実行するように、前記符号化処理部を制御する再符号化要求部とを備える
請求項２記載の映像信号符号化装置。
【請求項４】
前記再符号化処理は、スライスの再符号化と、スライスのダミー化とを含み、
前記再符号化情報生成部は、スライスの再符号化の優先度を示す再符号化優先度と、スライスのダミー化の優先度を示すダミー化優先度との少なくとも一方を示す前記優先度情報を生成し、
前記再符号化要求部は、前記スライス決定部によって決定されたスライスの前記再符号化優先度が前記ダミー化優先度より高い場合には、当該スライスを再符号化するように、前記ダミー化優先度が前記再符号化優先度より低い場合には、当該スライスをダミー化するように、前記符号化処理部を制御する
請求項３記載の映像信号符号化装置。
【請求項５】
前記スライス決定部は、前記再符号化優先度又は前記ダミー化優先度が高いスライスから優先的に、前記再符号化対象スライスとして決定する
請求項４記載の映像信号符号化装置。
【請求項６】
前記再符号化要求部は、前記再符号化対象スライスの再符号化を行う場合、当該再符号化対象スライスに隣接するスライスの符号化又は再符号化に用いられた圧縮率との差が所定の第２閾値以下になるように前記再符号化対象スライスの圧縮率を決定し、決定した圧縮率で前記再符号化対象スライスを再符号化するように、前記符号化処理部を制御する
請求項４又は５記載の映像信号符号化装置。
【請求項７】
前記再符号化要求部は、前記再符号化対象スライスに含まれるマクロブロック、又は、複数の当該マクロブロック単位で、前記再符号化対象スライスの圧縮率を決定する
請求項６記載の映像信号符号化装置。
【請求項８】
前記再符号化情報生成部は、前記符号化情報及び前記画像特徴情報の少なくとも一方に基づいて、前記対象ピクチャに含まれる１以上のスライスの前記再符号化処理を禁止するか否かを示す禁止情報を含む前記再符号化情報を生成し、
前記スライス決定部は、前記禁止情報が前記再符号化処理を禁止しないことを示すスライスの中から、前記再符号化対象スライスを決定する
請求項３記載の映像信号符号化装置。
【請求項９】
前記映像信号生成部は、前記映像信号を解析することで、人物の顔画像が含まれる顔領域、及び、撮影時にフォーカスされたフォーカス領域の少なくとも１つを示す情報を、前記画像特徴情報として生成し、
前記再符号化情報生成部は、前記顔領域又は前記フォーカス領域を含むスライスの前記再符号化処理を禁止するように、前記禁止情報を設定する
請求項８記載の映像信号符号化装置。
【請求項１０】
前記再符号化制御部は、さらに、
前記対象ピクチャの再符号化処理後の符号量が、前記第１閾値より大きいか否かを判定する再符号化終了判定部を備え、
前記スライス決定部は、さらに、前記再符号化終了判定部によって前記第１閾値より大きいと判定された場合、前記対象ピクチャに含まれる１以上のスライスの中から、前記再符号化対象スライスを決定する
請求項３〜９のいずれか１項に記載の映像信号符号化装置。
【請求項１１】
前記再符号化終了判定部は、前記スライス決定部によって決定された再符号化対象スライスの再符号化処理が終了する度に、前記対象ピクチャの再符号化処理後の符号量が前記第１閾値より大きいか否かを判定し、
前記スライス決定部は、前記再符号化終了判定部によって前記第１閾値より小さいと判定されるまで、前記再符号化対象スライスの決定を実行する
請求項１０記載の映像信号符号化装置。
【請求項１２】
前記再符号化情報生成部は、前記符号積算値と前記第１閾値との差が所定の第３閾値より大きいか否かを判定し、前記第３閾値より大きい場合は、符号化時に生成される参照画像を示し、前記第３閾値より小さい場合は、前記映像信号に含まれる入力画像を示す符号化入力情報を示す前記再符号化情報を生成し、
前記再符号化要求部は、前記符号化入力情報が示す画像を前記再符号化処理の対象として選択するように、前記符号化処理部を制御する
請求項４〜１１のいずれか１項に記載の映像信号符号化装置。
【請求項１３】
前記符号化情報管理部は、スライス単位、又は、当該スライスを構成するマクロブロック単位で前記符号化データを評価することで、前記符号化データに含まれる符号化された対象スライスの特徴、又は、前記対象スライスを構成する１以上のマクロブロックの特徴を示すスライス状態管理表をスライス単位で、前記符号化情報として作成する
請求項１〜１２のいずれか１項に記載の映像信号符号化装置。
【請求項１４】
映像信号が示す対象ピクチャをスライス単位で符号化することで、符号化データを生成する符号化ステップと、
前記符号化データのスライス単位の符号量を積算することで、前記符号化データの符号量を示す符号積算値を算出する積算ステップと、
前記符号積算値が所定の閾値より大きいか否かを判定し、前記符号積算値が前記閾値より大きいと判定した場合に、前記対象ピクチャの再符号化処理が必要であると判定する符号化結果判定ステップと、
前記符号化結果判定ステップにおいて再符号化処理が必要であると判定された場合に、前記符号化データの特徴を示す符号化情報に基づいて再符号化処理の対象となる再符号化対象スライスを決定するスライス決定ステップと、
前記スライス決定ステップにおいて決定された再符号化対象スライスの再符号化処理を行う再符号化処理ステップとを含む
映像信号符号化方法。
【請求項１５】
映像信号が示す対象ピクチャを符号化する集積回路であって、
前記対象ピクチャをスライス単位で符号化することで、符号化データを生成する符号化処理部と、
前記符号化データの特徴を示す符号化情報をスライス単位で管理する符号化情報管理部と、
前記符号化データのスライス単位の符号量を積算することで、前記符号化データの符号量を示す符号積算値を算出する積算部と、
前記符号積算値が所定の第１閾値より大きいか否かを判定し、前記符号積算値が前記第１閾値より大きいと判定した場合に、前記対象ピクチャの再符号化処理が必要であると判定する符号化結果判定部と、
前記符号化結果判定部によって前記再符号化処理が必要であると判定された場合に、前記符号化情報に基づいて前記再符号化処理の対象となる再符号化対象スライスを決定する再符号化制御部とを備え、
前記符号化処理部は、さらに、
前記再符号化制御部によって決定された再符号化対象スライスの前記再符号化処理を行う
集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号を符号化して伝送又は記録する映像信号符号化装置及び映像信号符号化方法に関し、特に、目標のビットレートを満たす画像符号化データを生成するために映像信号を再符号化する映像信号符号化装置及び映像信号符号化方法に関する。
【背景技術】
【０００２】
近年、デジタルビデオカメラ、デジタルスチルカメラ、カメラ付き携帯電話、監視カメラ、車載カメラ等の、動画を撮像する機器、静止画を撮像する機器、並びに、動画及び静止画の両方を撮像する機器が広く普及している。
【０００３】
これらの撮像機能を備えた機器において、一般に、撮像して得られる画像データをそのまま、記憶容量が有限である記録メディア（記録媒体）に記録した場合、すぐに容量がいっぱいになる。また、撮像して得られる画像データをそのまま、伝送サイズが有限である伝送経路を利用して伝送した場合、リアルタイムでデータを送信することができない。このため、撮像した画像データを取り扱う場合には、数々の方式でデータ圧縮処理を行い、データ量を減らしてから取り扱うことが一般的である。
【０００４】
例えば、画像データが動画データである場合には圧縮手段として、フレーム間符号化方式が採用されている。フレーム間符号化方式は、映像信号においてフレーム間の相関関係が強いことを利用する方式である。
【０００５】
このフレーム間符号化方式は種々提案されているが、映像信号のフレーム間の差分を算出し、算出した差分を示す差分信号に対して、さらに、画像の持つ２次元空間内の相関を効率良く利用する直交変換を用いた変換符号化方式が良く用いられる。特に、直交変換としてＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）をベースとした符号化方式が、蓄積メディア用動画像符号化標準であるＩＳＯ／ＩＥＣ  １１１７２−２（通称ＭＰＥＧ１）などの国際標準の符号化方式として採用されている。
【０００６】
フレーム間符号化方式においては、対象フレームがフレーム間符号化フレームの場合、映像信号のフレーム間の差分を求め、この差分値をハフマン符号等の可変長符号に変換するものである。
【０００７】
なお、ビデオストリーム（画像データ）の符号化処理により生成されるビットストリーム（圧縮符号化列）は、復号が可能であることが必須である。ビットストリームの復号処理においては、フレーム毎にそのビデオストリームに同期して復号する必要があり、復号処理にはビデオバッファが必要となることは既知である。
【０００８】
つまり、符号化処理は、想定した所定の復号を実施する機器のビデオバッファのオーバフロー及びアンダーフローが起こらないように、符号化時に符号量制御（レートコントロール）を行うことが必須であるといえる。例えば、符号量制御を行う方法として量子化ステップ決定方式があり、符号の発生量をモニタリングすることで、符号化で使う量子化パラメータを決定する方法が用いられている。
【０００９】
しかしながら、ビデオバッファのオーバフロー及びアンダーフローが発生しないようにピクチャ毎に量子化パラメータを制御したとしても、シーンチェンジ等の動きの激しいシーン又は細かい模様を含む画像などでは、符号量オーバーを防げないという課題がある。
【００１０】
この場合、符号量オーバーが発生したピクチャ以降のストリームについては、想定している復号機器では復号できないストリームとなるため、復号処理においてビデオバッファのオーバフロー及びアンダーフローを発生させないビットストリームを生成するためには、量子化パラメータを制御し、符号化をやり直さなければならない。
【００１１】
符号化をやり直す方法として、２パスの符号化を実施する手法、あるいは、ビデオバッファのオーバフロー又はアンダーフロー発生を検知した時点で符号化を停止し、検知時点よりも所定の時間だけ前から符号化を再開するといった手法が提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開平１０−３０４３１１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、上記従来技術では、レート制御を行ったとしても、符号量オーバーが発生した際に、符号化の処理時間、処理性能、及び、必要記憶領域に大きな負荷をかけてしまうという課題がある。具体的には、以下の通りである。
【００１４】
まず、２パスの符号化は、同一ピクチャの符号化を２回繰り返し最適な符号化を行うため通常の２倍の処理時間を費やして実施する必要があるため、符号化処理時間が増加するという課題、並びに、システム処理性能及びメモリインターフェースへの負荷が高まるという課題がある。つまり、符号量オーバーが発生した際、符号量オーバーが検出されたピクチャの再符号化の実施は、システムおける処理時間、処理性能、必要記憶領域に対して大きな負荷となる可能性が高い。したがって、符号化のシステムが破綻し、ピクチャスキップ、又はリアルタイム性の欠落を起こす要因となるという課題がある。
【００１５】
また、特許文献１に記載の技術のように、ビデオバッファのオーバフロー及びアンダーフローを検知した時点で符号化を停止させ、所定の時間だけ遡って符号化を再開するという手法は、ピクチャの符号化を途中で停止させることになるため、ピクチャ全体の符号量が把握できない。このため、符号化を停止させ、所定の時間だけ遡って符号化を再開するという処理の繰り返し頻度が高くなり、結果として処理負荷が軽減できないという課題がある。
【００１６】
また、ピクチャの符号化が完了しない段階で符号化を停止するため、停止した時点移行の符号化情報を知ることができないため、画像特徴を鑑みることを行っていないという課題もある。つまり、符号化処理時にリアルタイムで、符号量オーバーが発生したか否かの確認を実施し、符号量オーバーが発生した時点で符号化を停止し、一定時間遡った時点より符号化を再開する場合においては、ピクチャとしての映像特徴を考慮していないという課題がある。
【００１７】
以上のように、レート制御を実施した場合であっても入力される映像信号の特徴によっては、符号量オーバーを防げないという課題がある。
【００１８】
そこで、本発明は、上述のような課題に鑑みて為されたものであって、符号量オーバーが発生したとしても、符号化の処理時間、処理性能、及び必要記憶領域に大きな負荷をかけることなく、所定のレート制御に従ったビットストリームを生成することができる映像信号符号化装置及び映像信号符号化方法を実現することを目的とする。
【課題を解決するための手段】
【００１９】
上記課題を解決するため、本発明に係る映像信号符号化装置は、被写体からの光を光電変換することで、電気信号を生成する撮像素子と、前記撮像素子によって生成された電気信号に所定の画像処理を実行することで、映像信号を生成する映像信号生成部と、前記映像信号の符号化を行う符号化部とを備え、前記符号化部は、前記映像信号が示す対象ピクチャをスライス単位で符号化することで、符号化データを生成する符号化処理部と、前記符号化データの特徴を示す符号化情報をスライス単位で管理する符号化情報管理部と、前記符号化データのスライス単位の符号量を積算することで、前記符号化データの符号量を示す符号積算値を算出する積算部と、前記符号積算値が所定の第１閾値より大きいか否かを判定し、前記符号積算値が前記第１閾値より大きいと判定した場合に、前記対象ピクチャの再符号化処理が必要であると判定する符号化結果判定部と、前記符号化結果判定部によって前記再符号化処理が必要であると判定された場合に、前記符号化情報に基づいて前記再符号化処理の対象となる再符号化対象スライスを決定する再符号化制御部とを有し、前記符号化処理部は、さらに、前記再符号化制御部によって決定された再符号化対象スライスの前記再符号化処理を行う。
【００２０】
このように、本発明に係る映像信号符号化装置は、ピクチャ毎に再符号化処理が必要であるか否かの判定を行い、再符号化処理が必要と判定されたピクチャの再符号化処理を行う際に、スライス単位の符号化情報を用いて、再符号化対象スライスを決定し、決定したスライスのみを再符号化する。このため、符号量オーバーが発生したとしても、符号化の処理時間、処理性能及び必要記憶領域に大きな負荷をかけることなく、所定のレート制御に従ったビットストリームを生成することができる。
【００２１】
また、前記映像信号生成部は、さらに、前記映像信号を解析することで、当該映像信号の特徴を示す画像特徴情報を生成し、前記再符号化制御部は、前記再符号化処理が必要であると判定された場合に、前記符号化情報と前記画像特徴情報との少なくとも一方に基づいて、前記再符号化対象スライスを決定してもよい。
【００２２】
これにより、入力される映像信号の特徴に基づいて再符号化対象スライスを決定するので、符号化情報のみに基づいて再符号化対象スライスを決定する場合よりも、より適切なスライスを再符号化対象スライスとして決定することができる。
【００２３】
また、前記再符号化制御部は、前記符号化情報及び前記画像特徴情報の少なくとも一方に基づいて、前記再符号化処理の優先度を示す優先度情報を含む再符号化情報をスライス単位で生成する再符号化情報生成部と、前記再符号化情報に基づいて、前記対象ピクチャに含まれる１以上のスライスの中から、前記再符号化対象スライスを決定するスライス決定部と、前記スライス決定部によって決定された再符号化対象スライスの再符号化処理を実行するように、前記符号化処理部を制御する再符号化要求部とを備えてもよい。
【００２４】
これにより、再符号化処理を実施する優先度をスライス毎に決定するので、優先度情報に従って優先度の高いスライスから順に再符号化処理を行うことができる。例えば、符号化情報及び画像特徴情報に基づいて、画像条件的に符号量を少なくしても影響の少ないスライスの優先度を高く設定することで、再符号化を行うことによる画質の劣化を低減することができる。
【００２５】
また、前記再符号化処理は、スライスの再符号化と、スライスのダミー化とを含み、前記再符号化情報生成部は、スライスの再符号化の優先度を示す再符号化優先度と、スライスのダミー化の優先度を示すダミー化優先度とを示す前記優先度情報を生成し、前記再符号化要求部は、前記スライス決定部によって決定されたスライスの前記再符号化優先度が前記ダミー化優先度より高い場合には、当該スライスを再符号化するように、前記ダミー化優先度が前記再符号化優先度より低い場合には、当該スライスをダミー化するように、前記符号化処理部を制御してもよい。
【００２６】
例えば、前記スライス決定部は、前記再符号化優先度又は前記ダミー化優先度が高いスライスから優先的に、前記再符号化対象スライスとして決定してもよい。
【００２７】
これにより、再符号化処理として、スライスの再符号化とダミー化とを選択的に実行することができる。例えば、スライスをダミー化することで、再符号化対象スライスは、前のフレームのスライスと同じスライスであるということを示す情報をストリームに含めるだけでよいので、符号量及び再符号化の処理時間を大幅に削減することができる。また、スライスを再符号化することで、例えば、量子化パラメータが示す量子化幅を大きくすることで、符号量を削減することができるとともに、ダミー化の場合に比べて画質を高めることができる。
【００２８】
また、前記再符号化要求部は、前記再符号化対象スライスの再符号化を行う場合、当該再符号化対象スライスに隣接するスライスの符号化又は再符号化に用いられた圧縮率との差が所定の第２閾値以下になるように前記再符号化対象スライスの圧縮率を決定し、決定した圧縮率で前記再符号化対象スライスを再符号化するように、前記符号化処理部を制御してもよい。
【００２９】
これにより、スライス毎の圧縮率の差が顕著に現れることを避けることを実現し、閲覧者が再符号化によるスライス毎の差を感じる可能性、すなわち、画質の劣化具合を低下させることができる。
【００３０】
また、前記再符号化要求部は、前記再符号化対象スライスに含まれるマクロブロック、又は、複数の当該マクロブロック単位で、前記再符号化対象スライスの圧縮率を決定してもよい。
【００３１】
これにより、１つのマクロブロックからなる小領域毎、又は、複数のマクロブロックからなる中領域毎に圧縮率を決定するので、圧縮率を領域毎に設定することができ、精度の高い再符号化を行うことができる。
【００３２】
また、前記再符号化情報生成部は、前記符号化情報及び前記画像特徴情報の少なくとも一方に基づいて、前記対象ピクチャに含まれる１以上のスライスの前記再符号化処理を禁止するか否かを示す禁止情報を含む前記再符号化情報を生成し、前記スライス決定部は、前記禁止情報が前記再符号化処理を禁止しないことを示すスライスの中から、前記再符号化対象スライスを決定してもよい。
【００３３】
これにより、禁止情報により再符号化処理をすべきでないスライスを設定することができる。例えば、画質の劣化が好ましくないスライスの再符号化を禁止することができる。
【００３４】
また、前記映像信号生成部は、前記映像信号を解析することで、人物の顔画像が含まれる顔領域、及び、撮影時にフォーカスされたフォーカス領域の少なくとも１つを示す情報を、前記画像特徴情報として生成し、前記再符号化情報生成部は、前記顔領域又は前記フォーカス領域を含むスライスの前記再符号化処理を禁止するように、前記禁止情報を設定してもよい。
【００３５】
これにより、画像データとして閲覧者が注目する可能性の高い、フォーカス領域、人物の顔が含まれる領域、動きの激しい領域の符号量を低下させることを阻止することができる。
【００３６】
また、前記再符号化制御部は、さらに、前記対象ピクチャの再符号化処理後の符号量が、前記第１閾値より大きいか否かを判定する再符号化終了判定部を備え、前記スライス決定部は、さらに、前記再符号化終了判定部によって前記第１閾値より大きいと判定された場合、前記対象ピクチャに含まれる１以上のスライスの中から、前記再符号化対象スライスを決定してもよい。
【００３７】
これにより、再符号化処理を実行しても、所定のレート制御に従ったビットストリームが生成されていない場合には、再度、再符号化対象スライスを決定し、再符号化処理を継続することができる。
【００３８】
また、前記再符号化終了判定部は、前記スライス決定部によって決定された再符号化対象スライスの再符号化処理が終了する度に、前記対象ピクチャの再符号化処理後の符号量が前記第１閾値より大きいか否かを判定し、前記スライス決定部は、前記再符号化終了判定部によって前記第１閾値より小さいと判定されるまで、前記再符号化対象スライスの決定を実行してもよい。
【００３９】
これにより、所定のレート制御に従ったビットストリームが生成されるまで再符号化処理を繰り返し実行することができるので、確実に所定のレート制御に従ったビットストリームを生成することができる。
【００４０】
また、前記再符号化情報生成部は、前記符号積算値と前記第１閾値との差が所定の第３閾値より大きいか否かを判定し、前記第３閾値より大きい場合は、符号化時に生成される参照画像を示し、前記第３閾値より小さい場合は、前記映像信号に含まれる入力画像を示す符号化入力情報を示す前記再符号化情報を生成し、前記再符号化要求部は、前記符号化入力情報が示す画像を前記再符号化処理の対象として選択するように、前記符号化処理部を制御してもよい。
【００４１】
これにより、対象ピクチャを符号化することで生成される符号化データの符号量が目標とする符号量より大きい場合に、符号化時に生成される参照画像を再符号化処理の対象とすることにより、再符号化処理において生成される符号量を低減させることが可能となる。
【００４２】
また、前記符号化情報管理部は、スライス単位、又は、当該スライスを構成するマクロブロック単位で前記符号化データを評価することで、前記符号化データに含まれる符号化された対象スライスの特徴、又は、前記対象スライスを構成する１以上のマクロブロックの特徴を示すスライス状態管理表をスライス単位で、前記符号化情報として作成してもよい。
【００４３】
これにより、符号化処理の基本単位であるマクロブロック単位、又は、スライス単位で符号化データの特徴を取得することができるので、符号化データの詳細な特徴に基づいて、再符号化対象スライスを決定することができる。例えば、動きベクトルやマクロブロック情報（イントラ／インター）等を取得することができる。したがって、より適切なスライスを再符号化対象スライスとして決定することができるので、画質の劣化などを防止しつつ再符号化を行うことができる。
【００４４】
また、本発明に係る映像信号符号化方法は、映像信号が示す対象ピクチャをスライス単位で符号化することで、符号化データを生成する符号化ステップと、前記符号化データのスライス単位の符号量を積算することで、前記符号化データの符号量を示す符号積算値を算出する積算ステップと、前記符号積算値が所定の閾値より大きいか否かを判定し、前記符号積算値が前記閾値より大きいと判定した場合に、前記対象ピクチャの再符号化処理が必要であると判定する符号化結果判定ステップと、前記符号化結果判定ステップにおいて再符号化処理が必要であると判定された場合に、前記符号化データの特徴を示す符号化情報に基づいて再符号化処理の対象となる再符号化対象スライスを決定するスライス決定ステップと、前記スライス決定ステップにおいて決定された再符号化対象スライスの再符号化処理を行う再符号化処理ステップとを含む。
【発明の効果】
【００４５】
本発明によれば、符号量オーバーが発生したとしても、符号化の処理時間、処理性能、及び必要記憶領域に大きな負荷をかけることなく、所定のレート制御に従ったビットストリームを生成することができる。
【図面の簡単な説明】
【００４６】
【図１】本発明の実施の形態に係る映像信号符号化装置の構成の一例を示すブロック図である。
【図２】本発明の実施の形態に係る映像信号符号化装置の構成の一例を詳細に示すブロック図である。
【図３】本発明の実施の形態に係る映像信号符号化装置が備える再符号化制御部の構成の一例を詳細に示すブロック図である。
【図４】本発明の実施の形態に係るスライス状態管理表の一例を示す図である。
【図５】本発明の実施の形態に係る再符号化情報の一例を示す図である。
【図６】本発明の実施の形態に係る映像信号符号化装置の動作のうち、再符号化の一例を示すフローチャートである。
【図７】本発明の実施の形態に係る再符号化制御部の動作のうち、スライスの再符号化条件を決定する動作の一例を示すフローチャートである。
【図８】対象ピクチャの一例を示す図である。
【図９】対象ピクチャを符号化することで生成された符号化データのスライス毎の符号量を示すグラフである。
【図１０】対象ピクチャについて、動きベクトル量を持つマクロブロックの数とインター符号化を行っているマクロブロックの数とをスライス毎に表すグラフである。
【図１１】対象ピクチャを符号化及び再符号化した場合において、スライス単位の再符号化処理とピクチャ単位の再符号化処理とのそれぞれに要する時間について示す図である。
【図１２】本発明の実施の形態に係る量子化パラメータの調整を説明するための図である。
【図１３】本発明の実施の形態に係る量子化パラメータの調整処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００４７】
以下、本発明を実施するための形態について、図面を参照しながら説明する。
【００４８】
本発明の実施の形態に係る映像信号符号化装置は、対象ピクチャを符号化することで、符号化データを生成する符号化処理部と、符号化データの符号量が所定の閾値より大きいか否かを判定することで、当該符号量が閾値より大きいと判定した場合に、対象ピクチャの再符号化処理が必要であると判定する符号化結果判定部と、再符号化処理が必要であると判定された場合に、符号化データの特徴を示す符号化情報に基づいて再符号化対象スライスを決定する再符号化制御部とを備え、符号化処理部は、再符号化制御部によって決定されたスライスの再符号化処理を行うことを特徴とする。
【００４９】
以下では、まず、本発明の実施の形態に係る映像信号符号化装置の構成について説明する。
【００５０】
図１は、本発明の実施の形態に係る映像信号符号化装置１０の構成の一例を示すブロック図である。また、図２は、図１の映像信号符号化装置１０の構成の一例を詳細に示すブロック図である。図３は、図１の映像信号符号化装置１０が備える再符号化制御部１３５の構成の一例を詳細に示すブロック図である。以下では、図１〜図３を用いて、本発明の実施の形態に係る映像信号符号化装置１０の構成及び作用を説明する。
【００５１】
図１に示すように、映像信号符号化装置１０は、半導体集積回路１００と、撮像素子１１０とを備える。
【００５２】
撮像素子１１０は、被写体からの光を光電変換することで、電気信号を生成する。つまり、撮像素子１１０は、レンズなどの光学系（図示せず）を通して入力された映像光を電気信号に変換する。撮像素子１１０は、例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）センサ又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどのイメージセンサである。
【００５３】
半導体集積回路１００は、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）又はＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）などの集積回路であり、映像信号生成部１２０と、符号化部１３０とを備える。なお、半導体集積回路１００は、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）及びＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の内部メモリを備えていてもよい。
【００５４】
映像信号生成部１２０は、撮像素子１１０から読み出された電気信号に、所定の画像処理（ＡＥ処理、ＷＢ処理、アパーチャ処理、ＹＣ処理など）を実行することで、映像信号を生成する。映像信号には、輝度信号及び色差信号が含まれる。
【００５５】
符号化部１３０は、映像信号の符号化処理及び再符号化処理を行う。具体的には、符号化部１３０は、輝度信号及び色差信号を入力信号として、符号化処理と、必要に応じて再符号化処理とを行うことで、ビットストリームを生成する。符号化部１３０は、図１に示すように、符号化処理部１３１と、積算部１３２と、符号化結果判定部１３３と、符号化情報管理部１３４と、再符号化制御部１３５とを備える。
【００５６】
符号化処理部１３１は、映像信号が示す対象ピクチャをスライス単位で符号化することで、符号化データを生成する。具体的には、符号化処理部１３１は、輝度信号及び色差信号をレート制御に応じた所定の圧縮率で符号化することで、符号化データを生成する。なお、符号化データは、対象ピクチャが符号化されることで生成された、１ピクチャ分の符号化データである。
【００５７】
より具体的には、符号化処理部１３１は、スライスを構成するマクロブロック単位で、対象ピクチャの符号化を行う。例えば、符号化処理部１３１は、イントラ予測又はインター予測によって生成した予測画像と対象マクロブロックとの差分を算出する。そして、符号化処理部１３１は、算出した差分に、直交変換、量子化、及びエントロピー符号化を行う。なお、符号化処理部１３１が生成する符号化データの符号量は、量子化に用いる量子化パラメータに応じて変化する。
【００５８】
積算部１３２は、符号化データのスライス単位の符号量を積算することで、符号化データの符号量を示す符号積算値を算出する。ここで算出される符号積算値は、対象ピクチャを符号化した場合の１ピクチャ分の符号量である。
【００５９】
符号化結果判定部１３３は、符号積算値が所定の第１閾値より大きいか否かを判定し、符号積算値が第１閾値より大きいと判定した場合に、対象ピクチャの再符号化処理が必要であると判定する。つまり、符号化結果判定部１３３は、符号積算値に基づいて、対象ピクチャにおいて符号量オーバーが発生しているか否かを判定する。このようにして、符号化結果判定部１３３は、再符号化処理の要否を判定する。
【００６０】
符号化情報管理部１３４は、符号化データの特徴を示す符号化情報をスライス単位で管理する。具体的には、符号化情報管理部１３４は、符号化処理部１３１から出力されるマクロブロック単位の符号化データを評価することで、スライス状態情報を示すスライス状態管理表を作成する。スライス状態管理表の具体例については、後で説明する。
【００６１】
再符号化制御部１３５は、符号化結果判定部１３３によって再符号化が必要であると判定された場合に、符号化情報に基づいて再符号化処理の対象となる再符号化対象スライスを決定する。具体的には、再符号化制御部１３５は、対象ピクチャを構成する複数のスライスの中から再符号化対象スライスを決定し、決定した再符号化対象スライスを再符号化するように、符号化処理部１３１に再符号化要求を出力する。再符号化要求は、例えば、再符号化対象スライスを特定することができる情報を含んでいる。
【００６２】
再符号化要求を受け取った場合、符号化処理部１３１は、再符号化要求に基づいて特定される再符号化対象スライスの再符号化処理を行う。
【００６３】
以上に示すように、本発明の実施の形態に係る映像信号符号化装置１０は、対象ピクチャを符号化することで生成された符号化データの符号量が所定の閾値より大きい場合に、対象ピクチャの再符号化を行う。このとき、映像信号符号化装置１０は、符号化データの特徴を示す符号化情報に基づいて、対象ピクチャを構成する複数のスライスの中から再符号化対象のスライスを決定し、決定されたスライスのみを再符号化する。
【００６４】
さらに、図２に示すように、映像信号生成部１２０は、画像情報解析部１２１を備えていてもよい。
【００６５】
画像情報解析部１２１は、入力される映像信号を解析することで、映像信号に含まれる画像特徴情報を生成する。画像特徴情報は、例えば、撮像した画像領域に人物の顔画像が含まれる顔領域を示す情報、撮像時にフォーカスされたフォーカス領域を示す情報、又は、画像周波数の情報などである。生成された画像特徴情報は、符号化部１３０の再符号化制御部１３５に出力される。
【００６６】
再符号化制御部１３５は、符号化結果判定部１３３によって再符号化処理が必要であると判定された場合に、符号化情報管理部１３４が管理する符号化情報と、画像情報解析部１２１が生成する画像特徴情報との少なくとも一方に基づいて、再符号化対象スライスを決定する。
【００６７】
具体的には、図３に示すように、再符号化制御部１３５は、再符号化情報生成部２０１と、スライス判定部２０２と、再符号化要求部２０３と、再符号化終了判定部２０４とを備える。
【００６８】
再符号化情報生成部２０１は、スライス状態管理表及び画像特徴情報に基づいて、再符号化情報を生成する。再符号化情報は、対象ピクチャを構成するスライス単位で生成される情報であり、例えば、再符号化又はダミー化などの再符号化処理を行う優先度を示す優先度情報を含んでいる。
【００６９】
具体的には、再符号化情報生成部２０１は、対象ピクチャを構成するスライス単位で、スライスの再符号化処理の適正を判定することで、スライスの再符号化処理の実行優先度を決定する。例えば、再符号化処理は、スライスの再符号化とスライスのダミー化とを含み、実行優先度は、再符号化優先度及びダミー化優先度である。
【００７０】
再符号化情報生成部２０１の動作、及び、再符号化情報の詳細については、後で説明する。
【００７１】
スライス判定部２０２は、再符号化情報に基づいて、対象ピクチャに含まれる１以上のスライスの中から、再符号化対象スライスを決定する。具体的には、スライス判定部２０２は、再符号化情報生成部２０１によって決定される優先度などに基づいて再符号化対象スライスを決定する。
【００７２】
再符号化要求部２０３は、スライス判定部２０２によって決定された再符号化対象スライスの再符号化処理を実行するように、符号化処理部１３１を制御する。具体的には、再符号化要求部２０３は、符号化処理部１３１に再符号化要求を出力することで、符号化処理部１３１を制御する。
【００７３】
再符号化終了判定部２０４は、対象ピクチャの再符号化処理後の符号量が、上記の第１閾値より大きいか否かを判定する。判定結果は、スライス判定部２０２に出力され、スライス判定部２０２は、対象ピクチャの再符号化処理後の符号量が第１閾値より大きいと再符号化終了判定部２０４によって判定された場合、対象ピクチャに含まれる１以上のスライスの中から新たに再符号化対象スライスを決定する。
【００７４】
例えば、再符号化終了判定部２０４は、再符号化対象スライスの再符号化処理が終了する度に、対象ピクチャの再符号化処理後の符号量が第１閾値より大きいか否かを判定する。そして、スライス判定部２０２は、再符号化終了判定部２０４によって、再符号化対象スライスの再符号化処理後の符号量が第１閾値より小さいと判定されるまで、再符号化対象スライスの決定を実行する。
【００７５】
言い換えると、再符号化終了判定部２０４は、再符号化処理が実行されたスライスを用いて形成された新たな符号化ピクチャによって、所定のレート制御に適応するビットストリームが形成されるか否かを評価し、新たな符号化ピクチャがビットストリームに必要な条件を満たしている場合には、再符号化処理を終了する。そして、再符号化終了判定部２０４は、満たしていない場合にはスライス判定部２０２に次の再符号化対象スライスを決定させる。
【００７６】
以上の構成に示すように、本発明の実施の形態に係る映像信号符号化装置１０は、対象ピクチャの再符号化を行う場合、対象ピクチャを構成する１以上のスライスの中から再符号化対象スライスを決定し、決定した再符号化対象スライスの再符号化処理を行う。そして、再符号化処理後の符号化ピクチャによって、所定のレート制御に適応するビットストリームが形成されるまで、再符号化対象スライスの決定及び再符号化処理を繰り返す。
【００７７】
これにより、対象ピクチャを符号化した際に符号量オーバーが発生したとしても、所定のレート制御に従ったビットストリームを生成することができる。また、このとき、対象ピクチャをスライス単位で再符号化するので、再符号化処理に必要な処理時間、処理性能及び記憶領域に大きな負荷をかけることを低減することができる。
【００７８】
ここで、図４を用いて、符号化情報管理部１３４が作成するスライス状態管理表について説明する。図４は、本発明の実施の形態に係るスライス状態管理表の一例を示す図である。
【００７９】
上述したように、符号化情報管理部１３４は、対象ピクチャが符号化されて生成された符号化データをスライス単位又はマクロブロック単位で評価することで、スライス毎にスライス状態管理表３００を生成する。具体的には、符号化情報管理部１３４は、マクロブロック毎の符号化データを評価して、スライス状態情報を示すスライス状態管理表３００を作成する。
【００８０】
なお、スライス状態情報とは、対象スライスの特徴、及び、当該対象スライスに含まれるマクロブロックの特徴を示す情報である。具体的には、スライス状態情報は、図４に示すような、サイズ情報３１０、符号化方式情報３２０及び動きベクトル情報３３０などを含む。
【００８１】
スライス状態管理表３００は、例えば、サイズ情報３１０と、符号化方式情報３２０と、動きベクトル情報３３０とを示している。
【００８２】
サイズ情報３１０は、対象スライスの符号量３１１を示す。
【００８３】
符号化方式情報３２０は、イントラ符号化数３２１とインター符号化数３２２とを示す。イントラ符号化数３２１は、対象スライスに含まれる複数のマクロブロックのうち、イントラ符号化方式で符号化されたマクロブロックの数を示す。インター符号化数３２２は、対象スライスに含まれる複数のマクロブロックのうち、インター符号化方式で符号化されたマクロブロックの数を示す。
【００８４】
動きベクトル情報３３０は、動きベクトルの最大値３３１と、最小値３３２と、平均値３３３とを示す。動きベクトルの最大値３３１は、対象スライスに含まれるマクロブロック毎に生成される動きベクトルの最大値を示す。動きベクトルの最小値３３２は、対象スライスに含まれるマクロブロック毎に生成される動きベクトルの最小値を示す。動きベクトルの平均値３３３は、対象スライスに含まれるマクロブロック毎に生成される動きベクトルの平均値を示す。
【００８５】
なお、図４は、符号化情報管理部１３４が作成するスライス状態管理表の一例であり、対象ピクチャの符号化を実行した結果を、スライス単位及び／又はマクロブロック単位で収集できる情報であるならば、上記以外の情報をスライス状態管理表３００内で管理してもよい。例えば、所定の値より大きな動きベクトルを有するマクロブロックの数を管理してもよい。
【００８６】
次に、図５を用いて、再符号化情報生成部２０１が生成する再符号化情報について説明する。図５は、本発明の実施の形態に係る再符号化情報の一例を示す図である。
【００８７】
図５において、対象ピクチャ４００は、例えば、Ｎ個のスライスから構成されている（Ｎは任意の自然数）。また、Ｎ個のスライスを区別するため、Ｎ個のスライスのそれぞれをｓｌｉｃｅ＿１〜ｓｌｉｃｅ＿Ｎとして表している。
【００８８】
再符号化情報は、ピクチャを構成するスライス毎に生成されるため、ｓｌｉｃｅ＿１〜ｓｌｉｃｅ＿Ｎのそれぞれに対応付けられたｓｌｉｃｅ＿１の再符号化情報〜ｓｌｉｃｅ＿Ｎの再符号化情報が作成される。
【００８９】
なお、これらの再符号化情報はそれぞれに個別に管理してもよく、あるいは、図５に示すように、再符号化情報テーブル４０１として一括して管理してもよい。また、再符号化情報又は再符号化情報テーブル４０１は、ＳＤカードなどの外部メモリ、又は、ＤＲＡＭ及びＳＲＡＭなどの内部メモリを保有することにより、メモリにおいて管理することも可能である。
【００９０】
再符号化情報は、実行優先度情報４１０、禁止情報４２０及び画像情報４３０などを含む。
【００９１】
実行優先度情報４１０は、対象ピクチャに再符号化処理を実行する場合における、対象スライスに行う所定の処理の優先度を示す情報である。具体的には、実行優先度情報４１０は、再符号化優先度４１１と、ダミー化優先度４１２とを示す。
【００９２】
再符号化優先度４１１は、対象ピクチャに再符号化処理を実行する場合において、対象スライスの再符号化の優先度を示す情報であり、スライスの再符号化の順位を決定するために用いられる。具体的には、再符号化優先度４１１が高いスライスから順に、再符号化すべきスライスであるとスライス判定部２０２によって決定される。これにより、符号化処理部１３１によって、再符号化優先度４１１が高いスライスから、優先的に再符号化が実施される。
【００９３】
ダミー化優先度４２２は、対象ピクチャに再符号化処理を実行する場合において、対象スライスのダミー化の優先度を示す情報であり、スライスのダミー化の順位を決定するために用いられる。なお、ダミー化とは、再符号化の際に対象スライスをダミースライスにすることである。つまり、対象スライスは、当該対象スライスに時間的に連続する前のピクチャにおける同領域のスライスと全く同じ情報として処理される。具体的には、ダミー化優先度４１２が高いスライスから順に、ダミー化すべきスライスであるとスライス判定部２０２によって決定される。これにより、符号化処理部１３１によって、ダミー化優先度４１２が高いスライスから、優先的にダミー化が実施される。
【００９４】
禁止情報４２０は、対象ピクチャに含まれるスライスの再符号化処理を禁止するか否かを示す情報であり、再符号化処理を禁止する場合には、再符号化禁止マーカ４２１が設定される。
【００９５】
再符号化禁止マーカ４２１は、対象ピクチャに再符号化処理を実行する場合において、対象スライスの再符号化処理を禁止することを示す。つまり、再符号化禁止マーカ４２１は、対象スライスが重要な画像（例えば、被写体の顔画像）である場合などの対象スライスの情報量を下げたくない場合に設定される。
【００９６】
これにより、再符号化禁止マーカ４２１が設定されたスライスは再符号化されず、高い符号量が維持される。この場合においても、他のスライスを再符号化することで、ビットレートを満たすように対象ピクチャを符号化することを可能とする。
【００９７】
画像情報４３０は、符号化入力情報４３１、量子化パラメータ４３２を示す。
【００９８】
符号化入力情報４３１は、対象スライスを再符号化する際に、符号化処理部１３１に入力するＹＣデータとして、どのデータを使用するかを決定するフラグ情報である。ＹＣデータとしては、通常ＹＣ（映像信号生成部１２０で生成された画像情報（輝度情報及び色差情報））、又は、参照ＹＣ（符号化処理部１３１において、対象ピクチャを符号化した際に生成される画像情報（輝度情報及び色差情報））を選択できる。
【００９９】
なお、参照ＹＣは、通常ＹＣに比べて符号量が少なくなっているため、再符号化において符号量を低下させる場合に使用することが有効である。また、ここでは、符号化入力情報４３１は、通常ＹＣ又は参照ＹＣのどちらを入力として利用するのかというフラグ情報ではなく、例えば、ＹＣデータがＤＲＡＭ等の内部記憶領域に記憶されている場合、その内部記憶領域における空間アドレス情報等を示す入力領域情報でもよい。
【０１００】
量子化パラメータ基準値４３２は、対象スライスを再符号化する場合における、基準として使用する量子化パラメータ値を示す。例えば、量子化パラメータ基準値４３２には、符号化に用いられた量子化パラメータが示す量子化幅より大きい量子化幅を示す量子化パラメータ値が設定される。これにより、再符号化を行うことで、対象スライスの符号量を削減することができる。
【０１０１】
なお、上記の情報は一例であり、符号化情報管理部１３４によって生成されるスライス状態管理表３００、及び、画像情報解析部１２１によって生成される画像特徴情報を参照することにより生成される情報であれば、どのような情報であっても構わない。
【０１０２】
続いて、本発明の実施の形態に係る映像信号符号化装置１０の動作のうち、再符号化処理に関わる動作について説明する。映像信号を符号化する動作については、従来と同様であるので以下では、説明を省略する。
【０１０３】
図６は、本発明の実施の形態に係る映像信号符号化装置１０の動作のうち、再符号化処理に関わる処理の一例を示すフローチャートである。
【０１０４】
なお、再符号化処理に関わる処理は、符号化処理部１３１が、１ピクチャ分の映像信号（対象ピクチャ）の符号化を完了し、符号化データが生成されたときに開始される。このとき、上述したように、符号化情報管理部１３４は、対象ピクチャに含まれるスライス毎に、図４に示すようなスライス状態管理表３００を作成し、作成したスライス状態管理表３００をメモリなどに保持している。
【０１０５】
まず、符号化結果判定部１３３は、対象ピクチャの再符号化処理が必要であるか否かを判定する（Ｓ１０１）。具体的には、まず、積算部１３２は、スライス単位の符号量を積算することで、符号積算値を算出する。そして、符号化結果判定部１３３は、符号積算値が所定の閾値より大きいか否かを判定し、符号積算値が閾値より大きい場合に、対象ピクチャの再符号化処理が必要であると判定する。
【０１０６】
つまり、符号化結果判定部１３３は、対象ピクチャが符号量オーバー等の課題を有するピクチャであるかを判定することで、対象ピクチャに対して再符号化処理を行うか否かを決定する。例えば、符号積算値が閾値より大きく、符号量オーバーが発生していると判定した場合に、対象ピクチャを符号化することで生成された符号化データでは正常なストリームを構成できないため、対象ピクチャは、再符号化処理が必要なピクチャであると、符号化結果判定部１３３は判定する。
【０１０７】
再符号化処理が必要ではないと符号化結果判定部１３３が判定した場合（Ｓ１０１でＮｏ）、再符号化制御部１３５は、符号化処理部１３１に次のピクチャを対象ピクチャとして符号化させる。
【０１０８】
再符号化処理が必要であると符号化結果判定部１３３が判定した場合（Ｓ１０１でＹｅｓ）、符号化結果判定部１３３は、符号化結果の符号量と達成符号量とに基づいて、再符号化後の目標符号量を算出する（Ｓ１０２）。
【０１０９】
なお、符号化結果の符号量は、対象ピクチャの符号化を行うことで生成された符号化データの実際の符号量、すなわち、符号積算値を示す。達成符号量は、対象ピクチャの符号化を行うことで生成された符号化データが達成すべき、目標の符号量を示す。つまり、符号積算値は、達成符号量以下であることが望まれる。再符号化後の目標符号量は、対象ピクチャの再符号化を行うことで生成される符号化データが達成すべき、目標の符号量を示す。
【０１１０】
次に、再符号化情報生成部２０１は、対象ピクチャを構成する複数のスライスのそれぞれについて、再符号化条件を決定する（Ｓ１０３）。例えば、再符号化情報生成部２０１は、対象ピクチャを構成する複数のスライスのそれぞれについて、符号化データの評価を行うことで、再符号化情報を生成する。再符号化情報は、図５に示すように、対象スライスを再符号化するための条件を表す情報である。再符号化情報生成部２０１は、スライス毎に再符号化情報を生成することで、例えば、図５に示すような再符号化情報テーブル４０１を生成する。
【０１１１】
例えば、再符号化情報生成部２０１は、再符号化優先度及びダミー化優先度、並びに、再符号化時に使用する量子化パラメータの基準値等を決定することで、再符号化情報を生成する。また、このとき、再符号化情報生成部２０１は、対象スライスの状態を評価し、対象スライスが特定の条件を満たす場合には、対象スライスの再符号化を行わないことも決定してもよい。つまり、再符号化情報生成部２０１は、図５に示すように、再符号化情報に、禁止情報４２０を含めてもよい。なお、再符号化情報は、後の処理において参照することが可能な情報である。
【０１１２】
スライス判定部２０２は、Ｎ個のスライスそれぞれの再符号化情報を評価し、Ｎ個のスライスの中から再符号化処理を実施する特定のスライス（以下、再符号化対象スライス）を選択する（Ｓ１０４）。なお、再符号化対象スライスは、再符号化情報における実行優先度が高いスライスから優先的に選択される。例えば、スライス判定部２０２は、再符号化優先度又はダミー化優先度が高いスライスから優先的に、再符号化対象スライスとして決定する。
【０１１３】
さらに、スライス判定部２０２は、選択した再符号化対象スライスをどのように処理するのかについて、再符号化情報に基づき判定する（Ｓ１０５）。例えば、スライス判定部２０２は、再符号化処理として、再符号化対象スライスの再符号化か、再符号化対象スライスのダミー化かを判定する。つまり、再符号化対象スライスが再符号化を行うことにより符号化データを生成しなおすスライスであるのか、又は、ダミースライスとするスライスであるのかについて、再符号化優先度４１１及びダミー化優先度４１２に基づいて判定する。
【０１１４】
例えば、スライス判定部２０２は、選択した再符号化対象スライスの再符号化優先度４１１が設定されている場合、当該の再符号化スライスとして再符号化を行う。また、ダミー化優先度４１２が設定されている場合、当該再符号化対象スライスをダミースライスとするスライスとして扱う。また、選択した再符号化対象スライスの再符号化優先度４１１とダミー化優先度４１２の双方が設定されている場合には、各優先度を比較しより高い優先度が設定されている方式を選択し、再符号化の方法を決定する。
【０１１５】
スライス判定部２０２が再符号化対象スライスを再符号化すると判定した場合（Ｓ１０５で“再符号化”）、再符号化要求部２０３は、再符号化対象スライスに隣接するスライスの圧縮率を確認する（Ｓ１０６）。具体的には、再符号化要求部２０３は、隣接するスライスの量子化パラメータ値（以下、隣接スライス符号化情報）の確認処理を実行する。
【０１１６】
再符号化要求部２０３は、再符号化情報が示す量子化パラメータ基準値４３２、及び、隣接スライス符号化情報を考慮し、再符号化対象スライスの再符号化における圧縮率、具体的には、量子化パラメータ値を決定する（Ｓ１０７）。そして、再符号化要求部２０３は、再符号化対象スライスを特定する情報と、再符号化が選択されたことを示す情報と、量子化パラメータ値とを、再符号化要求として符号化処理部１３１に通知する。
【０１１７】
なお、再符号化要求部２０３は、量子化パラメータ値を、再符号化対象スライスを構成するマクロブロック毎、又は、当該マクロブロックを複数組み合わせた中領域毎に決定することができる。
【０１１８】
符号化処理部１３１は、再符号化対象スライスの再符号化を実行する（Ｓ１０８）。具体的には、符号化処理部１３１は、再符号化要求部２０３によって決定された量子化パラメータ値を用いて、再符号化対象スライスの再符号化を行うことにより、再符号化対象スライスを新たなスライス（以下、再符号化結果スライス）へ作り直す。
【０１１９】
なお、上記の説明において、符号化の圧縮率を示す情報として量子化パラメータ値を用いたが、再符号化における圧縮率を定義することのできる情報であれば、再符号化要求部２０３が決定する情報は量子化パラメータ値に限定する必要はない。
【０１２０】
スライス判定部２０２が再符号化対象スライスをダミー化すると判定した場合（Ｓ１０５で“ダミー化”）、符号化処理部１３１は、ダミー化を実行する（Ｓ１０９）。具体的には、再符号化要求部２０３は、再符号化対象スライスを特定する情報と、ダミー化が選択されたことを示す情報とを、再符号化要求として符号化処理部１３１に通知する。そして、符号化処理部１３１は、再符号化対象スライスをダミースライスとする処理を行うことにより、再符号化対象スライスを再符号化結果スライスへと作り直す。
【０１２１】
符号化処理部１３１は、再符号化又はダミー化によって生成される再符号化結果スライスを用いて、再符号化されたピクチャ（以下、再符号化後ピクチャ）を生成する（Ｓ１１０）。
【０１２２】
再符号化終了判定部２０４は、再符号化後ピクチャの符号量が目標符号量に達したか否かを判定する（Ｓ１１１）。つまり、再符号化終了判定部２０４は、再符号化後ピクチャの符号量と、再符号化後の目標符号量との評価を実施する。
【０１２３】
再符号化後ピクチャの符号量が目標符号量に到達していなければ（Ｓ１１１でＮｏ）、スライス判定部２０２は、新たに再符号化対象スライスを決定する（Ｓ１０４に戻る）。このようにして、再符号化後ピクチャの符号量が目標符号量を達成するまで、スライスの再符号化を繰り返す。
【０１２４】
また、再符号化後ピクチャの符号量が再符号化後の目標符号量を達成している場合（Ｓ１１１でＹｅｓ）、再符号化処理を終了する。
【０１２５】
以上の動作に示すように、本実施の形態に係る映像信号符号化装置１０は、対象ピクチャを符号化することで生成された符号化データの符号量が所定の閾値より大きい場合に、対象ピクチャの再符号化を決定し、対象ピクチャをスライス単位で再符号化する。
【０１２６】
これにより、対象ピクチャの全てを再符号化しないので、符号化の処理時間、処理性能、及び、再符号化処理の際に必要な記憶領域に大きな負荷をかけることなく、所定のレート制御に従ったビットストリームを生成することができる。
【０１２７】
次に、再符号化条件の決定のより詳細な動作について説明する。つまり、対象ピクチャを構成するＮ個のスライスについて、スライス毎の再符号化における実行優先度の決定方法、及び、再符号化時の符号化方法の決定方法について、図７を用いて説明する。図７は、本発明の実施の形態に係る再符号化制御部１３５の動作のうち、スライスの再符号化条件を決定する動作の一例を示すフローチャートである。
【０１２８】
なお、以下では、対象ピクチャは、Ｎ個のスライスで構成されているものとする（Ｎは、任意の自然数）。スライスの状態を評価する対象スライスは、対象ピクチャを構成するＡ個目（Ａは、Ｎ以下の自然数）のスライスと仮定し、Ａスライスと記載する。また、ピクチャを構成する全てのスライスについては、全スライスと記載する。また、再符号化が必要であると判断されたピクチャについては、再符号化対象ピクチャと記載する。
【０１２９】
まず、再符号化情報生成部２０１は、Ａスライスの符号量が所定の閾値Ｘを越えているか、越えていないかを評価する（Ｓ２０１）。なお、例えば、閾値Ｘは、達成符号量平均値、符号化結果符号量平均値、又は、これらの差分により算出する。
【０１３０】
達成符号量平均値は、対象ピクチャを符号化することで生成される符号化データにおいて、超えてはならない符号量のスライスあたりの平均値である。また、符号化結果符号量平均値は、対象ピクチャを符号化することで生成された符号化データにおける、実際の符号量のスライスあたりの平均値である。
【０１３１】
Ａスライスの符号量が閾値Ｘを越えている場合（Ｓ２０１でＹｅｓ）、再符号化情報生成部２０１は、Ａスライスの再符号化優先度を最大値に設定する（Ｓ２０２）。また、Ａスライスの符号量が閾値Ｘを越えていない場合は（Ｓ２０１でＮｏ）、再符号化情報生成部２０１は、再符号化優先度を最小値に設定する（Ｓ２０３）。
【０１３２】
例えば、再符号化優先度は、１〜Ｊ（Ｊは、任意の自然数）の数値で表される。例えば、Ａスライスの再符号化優先度にJが設定されている場合、Ａスライスの再符号化優先度は最大値であるため、１〜Ｎのスライスにおいて、再符号化を優先的に実行するスライスとして設定されていることとなる。つまり、再符号化優先度の値が大きい程、優先度が高い、すなわち、再符号化対象スライスとして選択されやすいことを示す。
【０１３３】
次に、再符号化情報生成部２０１は、Ａスライスを構成する１つ以上のマクロブロックにおいて、インター符号化が行われたマクロブロックの数（インター符号化数３２２）と、イントラ符号化が行われたマクロブロックの数（イントラ符号化数３２１）とを評価する（Ｓ２０４）。具体的には、再符号化情報生成部２０１は、それぞれの符号化方式のマクロブロックがＡスライス内に占める割合を判定する。なお、インター符号化ブロックが多い場合は、Ａスライスは、過去のスライスとの差分が少なく、過去の情報を多く採用しており、過去のスライスとの相関が強いということが分かる。イントラ符号化ブロックが多い場合は、Ａスライスは、過去のスライスとの差分が多く、過去の情報を採用している割合が低く、過去のスライスとの相関が弱いということが分かる。つまり、イントラ符号化ブロックが多い場合はダミー化することは避けるべきであり、インター符号化ブロックが多い場合は、優先的にダミー化することにより符号量を下げる効果を高めることができると考えることが可能である。
【０１３４】
例えば、インター符号化されたマクロブロックがＡスライス内に占める割合がαより高い場合は（Ｓ２０４で“αより高い”）、再符号化情報生成部２０１は、Ａスライスを過去との差分が少ないスライスであると判断し、ダミースライスとして扱っても視覚的影響が低いと考えることが可能であるため、ダミー化優先度を高く設定する。また、インター符号化されたマクロブロックがＡスライス内に占める割合がβより低い場合には（Ｓ２０４で“βより低い”）、再符号化情報生成部２０１は、Ａスライスを過去との相関が弱いスライスであると判断し、再符号化により符号量を低下させることによって画質の劣化を招く可能性が高く、視覚的な悪影響を及ぼす可能性が高いスライスであると判断し、再符号化優先度を低く設定する。
【０１３５】
ここでのα及びβという閾値については、システムの環境により任意に設定して構わない。例えば、αがβより小さい場合であって、インター符号化ブロックの占める割合がαより高く、かつ、βより低い場合は、再符号化情報生成部２０１は、ダミー化優先度を高く設定するとともに、再符号化優先度を低く設定する。
【０１３６】
例えば、αとして８割を設定し、８割以上をインター符号化されたマクロブロックが占めているスライスについてはダミー化することにより、符号量を低下させる効果を高めることができる。また、ここでは、インター符号化されたマクロブロックの割合について評価する場合を記載したが、イントラ符号化されたマクロブロックの割合、又は、インター符号化されたマクロブロックの割合及びイントラ符号化されたマクロブロックの割合の関係性により、条件判断を行っても構わない。
【０１３７】
インター符号化されたマクロブロックの割合に応じて優先度の設定を行った後、又は、インター符号化されたマクロブロックの割合がαより低い、若しくは、βより高い場合は、再符号化情報生成部２０１は、動きがあるマクロブロックの占める割合を評価する（Ｓ２０７）。具体的には、再符号化情報生成部２０１は、Ａスライスを構成するマクロブロックにおいて、動きベクトル量を評価することにより動きのあるスライスであるか否かを判定する。
【０１３８】
動きベクトル量を持つマクロブロックがＡスライス内に占める割合が多ければ、Ａスライスは、動きの激しいスライスであるということが分かる。動きベクトル量を持つマクロブロックがＡスライス内に占める割合が少なければ、Ａスライスは、動きの乏しいスライスであるということが分かる。動きの激しいスライスを再符号化して符号量を低下させた場合、動きを表現するための符号量が下がることになり、ノイズ感の激しい画像となる可能性が高くなる。また、動きの乏しいスライスに関しては、過去フレームと同一にすることで（ダミー化）、符号量を低下させても影響は少ない。
【０１３９】
再符号化情報生成部２０１は、以上のことを考慮し、例えば、動きベクトル量を持つマクロブロックがＡスライス内に占める割合がγより低い場合は（Ｓ２０７で“γより低い”）、ダミー化優先度を高く設定する（Ｓ２０８）。また、動きベクトル量を持つマクロブロックがＡスライス内に占める割合がθより高い場合は（Ｓ２０７で“θより高い”）、再符号化優先度を低く設定する。これにより、動きの激しいスライスの符号量を低下させることを防ぎ、また、動きの少ないスライスについては符号量を少なくする効果を生み出すことができる。
【０１４０】
なお、閾値として使用するγ及びθの値については、システムに応じて任意に設定することが可能とする。例えば、γがθより大きい場合であって、動きベクトル量を持つマクロブロックがＡスライス内に占める割合がγより低く、かつ、θより高い場合は、再符号化情報生成部２０１は、ダミー化優先度を低く設定するとともに、再符号化優先度を高く設定する。また、ここでは、動きベクトル量の有無についての評価について記載したが、動きベクトルの方向についての評価を行っても構わない。
【０１４１】
動きがあるマクロブロックの割合に応じて優先度の設定を行った後、又は、動きがあるマクロブロックの占める割合がγより高い、若しくは、θより低い場合は、再符号化情報生成部２０１は、Ａスライスが人物の顔領域を含んでいるか否かを判定する（Ｓ２１０）。具体的には、再符号化情報生成部２０１は、画像情報解析部１２１によって生成される画像特徴情報に基づいて、Ａスライスが人物の顔領域を含んでいるか否かの評価を行う。
【０１４２】
通常、撮影者が画像を撮影する場合において、人物の顔は、撮影者が注目する可能性の高い領域である。このため、再符号化により符号量を低下させて情報量を下げることは避けたい領域であると考えられる。
【０１４３】
したがって、Ａスライスが人物の顔領域を含んでいると判定した場合（Ｓ２１０でＹｅｓ）、再符号化情報生成部２０１は、再符号化優先度を低く設定する（Ｓ２１１）。これにより、顔領域を含むＡスライスの再符号化が実行される可能性を低く設定することができる。なお、スライスが顔領域を含んでいる場合には、絶対に再符号化させないことが望ましい場合は、再符号化情報生成部２０１は、再符号化禁止マーカを設定することで、対象スライスの再符号化を行わないように設定することも可能である。
【０１４４】
次に、再符号化情報生成部２０１は、Ａスライスがフォーカス領域（合焦領域）を含んでいるか否かを判定する（Ｓ２１２）。通常、撮影者が画像を撮影する場合において、フォーカス領域（焦点領域）は撮影者が注目している領域である。このため、再符号化により符号量を低下させて情報量を下げることは避けたい領域であると考えられる。
【０１４５】
したがって、Ａスライスがフォーカス領域（合焦領域）を含んでいると判定した場合（Ｓ２１２でＹｅｓ）、再符号化情報生成部２０１は、再符号化優先度を低く設定する（Ｓ２１３）。これにより、フォーカス領域を含むＡスライスの再符号化が実行される可能性を低く設定することができる。なお、スライスがフォーカス領域（合焦領域）を含んでいる場合には、絶対に再符号化させないことが望ましい場合は、再符号化情報生成部２０１は、再符号化禁止マーカを設定することで、対象スライスの再符号化を行わないように設定することも可能である。
【０１４６】
このように、再符号化情報生成部２０１は、顔領域又はフォーカス領域を含むスライスの再符号化処理を禁止するように、禁止情報に含まれる再符号化禁止マーカを設定してもよい。これにより、スライス判定部２０２は、禁止情報が再符号化処理を禁止しないことを示すスライス、すなわち、再符号化禁止マーカが設定されていないスライスの中から、再符号化対象スライスを決定する。
【０１４７】
なお、画像領域の特定の条件について、顔領域及びフォーカス領域（合焦領域）について記載したが、画像周波数である低周波領域や高周波領域等、画像の特徴に合わせて評価を行い、優先度を決定しても構わない。
【０１４８】
再符号化情報生成部２０１は、以上のようにして設定された再符号化優先度を、Ａスライスの再符号化優先度４１１として決定する（Ｓ２１４）。さらに、再符号化情報生成部２０１は、以上のようにして設定されたダミー化優先度を、Ａスライスのダミー化優先度４１２として決定する（Ｓ２１５）。再符号化情報生成部２０１は、これらの優先度の情報を、例えば、図５に示すような再符号化情報として生成する。
【０１４９】
さらに、再符号化情報生成部２０１は、優先度の設定がされているか否かを判定する（Ｓ２１６）。再符号化優先度又はダミー化優先度が設定されている場合（Ｓ２１６でＹｅｓ）、再符号化情報生成部２０１は、Ａスライスの符号量と目標とすべき符号量との差分量の評価を行う（Ｓ２１７）。そして、差分量が大きい場合（Ｓ２１７で“大”）、再符号化情報生成部２０１は、符号化入力情報４３１として、参照ＹＣを決定する（Ｓ２１８）。差分量が小さい場合は（Ｓ２１７で“小”）、再符号化情報生成部２０１は、符号化入力情報４３１として、通常ＹＣを決定する（Ｓ２１９）。
【０１５０】
以上のようにして、再符号化情報生成部２０１は、スライス状態管理表及び画像特徴情報に基づいて、再符号化優先度、ダミー化優先度、再符号化禁止マーカ、及び符号化入力情報を含む再符号化情報を生成する。
【０１５１】
以下では、再符号化を行う上で、再符号化スライスを選択する際の処理について、具体例を挙げて説明する。例えば、図８に示すように、ｓｌｉｃｅ＿１からＳｌｉｃｅ＿１０の１０個のスライスから構成されているピクチャ５００を例に説明する。
【０１５２】
図８に示すように、ｓｌｉｃｅ＿４及びｓｌｉｃｅ＿５は、顔領域５０１を含む。顔領域５０１は、一般的に、ユーザにとって重要であると考えられるため、符号量が低下することを避けたい領域である。そのため、ｓｌｉｃｅ＿４及びｓｌｉｃｅ＿５については、再符号化情報生成部２０１がスライスの再符号化についての評価を行う場合において、再符号化優先度４１１を下げる、又は、再符号化禁止マーカ４２１の設定を行う。
【０１５３】
図９は、図８に示すピクチャ５００を符号化することで生成された符号化データのスライス毎の符号量を示すグラフである。ピクチャ５００には達成すべき符号量が定められており、ピクチャ５００に含まれるスライスの符号量平均値は、ピクチャ５００が達成すべき符号量の平均値以内でなければならない。
【０１５４】
図９では、ｓｌｉｃｅ＿１からｓｌｉｃｅ＿１０のそれぞれの実際の符号量は、棒グラフに表す通りである。また、一点鎖線は、ピクチャ５００におけるスライスの平均符号量６０１を表している。また、破線は、ピクチャ５００が達成すべき符号量のスライスあたりの目標平均符号量６０２を表している。
【０１５５】
図９に示すように、ピクチャ５００におけるスライスの平均符号量６０１は、ピクチャ５００が達成すべき符号量のスライスあたりの目標平均符号量６０２を上回っている。つまり、ピクチャ５００を符号化することで生成された符号データは、達成すべき符号量をオーバーしている、すなわち、符号データには符号量オーバーが発生している。このように、ピクチャ５００は、符号量オーバーが発生しているピクチャであるため、再符号化を実施することで、ピクチャが達成しなければならない符号量まで符号量を下げる必要がある。
【０１５６】
図９に示すように、スライス判定部２０２は、ピクチャ５００におけるスライスあたりの平均符号量６０１を、再符号化を実施するか否かを決定するための閾値として設定する。したがって、スライス判定部２０２は、当該閾値、すなわち、スライスあたりの平均符号量６０１を上回る符号量を持つスライスについては、再符号化を実施すると判定する。図９では、ｓｌｉｃｅ＿２、ｓｌｉｃｅ＿３、ｓｌｉｃｅ＿４、ｓｌｉｃｅ＿６が再符号化の対象となる。
【０１５７】
しかしながら、再符号化情報生成部２０１は、画像特徴情報を参照することで、図８に示すようにｓｌｉｃｅ４は顔領域５０１を含んでいると判定することができる。上述したように、顔領域を含んでいるスライスは、符号量を低下させたくない領域であると考えられる。
【０１５８】
したがって、スライスが顔領域を含む場合には、再符号化情報生成部２０１は、再符号化禁止マーカの設定を行うことにより、当該スライスを再符号化の実施対象から除外することも可能である。また、再符号化情報生成部２０１は、ｓｌｉｃｅ＿２、ｓｌｉｃｅ＿３、ｓｌｉｃｅ＿６よりも、ｓｌｉｃｅ＿４の再符号化優先度を低く設定することにより、再符号化の実施における優先順位を下げることも可能である。
【０１５９】
このように、再符号化情報生成部２０１は、画像特徴情報を参照することで、スライスが顔領域を含んでいるか否かを考慮し、再符号化の対象とするスライスを決定するための優先度を設定することができる。なお、ここでは、顔領域を含む場合は、再符号化禁止マーカを設定することで再符号化を禁止するものとし、スライス判定部２０２は、ｓｌｉｃｅ＿２、ｓｌｉｃｅ＿３、ｓｌｉｃｅ＿６を、再符号化対象スライスと判定するものとする。
【０１６０】
図１０は、対象ピクチャについて、動きベクトル量を持つマクロブロックの数と、インター符号化を行っているマクロブロックの数とをスライス毎に表すグラフである。折れ線グラフは、動きベクトル量を持つマクロブロックの数を表す。棒グラフは、インター符号化を行っているマクロブロックの数を表す。
【０１６１】
動きベクトル量を持つマクロブロックの数が少ないスライス、インター符号化を行っているマクロブロックの数が多いスライス、又は、この両方を満たすスライスは、過去との相関が強く、動きが少ないスライスである。このため、これらのスライスは、過去のピクチャの情報をそのまま使用することが可能である、すなわち、ダミー化した場合であっても画質が悪くならないと考えられるスライス（以下、ダミー化可能スライス）である。
【０１６２】
図１０に示す例では、ｓｌｉｃｅ＿９及びｓｌｉｃｅ＿１０がダミー化可能スライスに該当する。そのため、再符号化情報生成部２０１は、ｓｌｉｃｅ＿９及びｓｌｉｃｅ＿１０をダミー化の対象とする、つまり、ダミー化優先度を高く設定する。
【０１６３】
以上のように、再符号化情報生成部２０１は、対象スライスがダミー化可能スライスに相当する場合は、ダミー化優先度を高く設定する。具体的には、再符号化情報生成部２０１は、スライス状態管理表を参照し、所定の閾値より大きいインター符号化数が格納されたスライス状態管理表に対応するスライスのダミー化優先度を高く設定する。また、再符号化情報生成部２０１は、所定の閾値より小さい動きベクトルの最大値が格納されたスライス状態管理表に対応するスライスのダミー化優先度を高く設定する。
【０１６４】
あるいは、再符号化情報生成部２０１は、所定の閾値より大きいインター符号化数と所定の閾値より小さい動きベクトルの最大値とが格納されたスライス状態管理表に対応するスライスのダミー化優先度を最大値に設定してもよい。これにより、動きが少なく、かつ、過去のスライスとの相関が強いスライスを優先的にダミー化することで、画質が劣化することを低減しつつ、符号量を大幅に削減することができる。
【０１６５】
なお、以上のダミー化優先度の設定処理は、例えば、図６に示すフローチャートの再符号化条件の決定処理（Ｓ１０３）において実行される。より具体的には、図７に示すフローチャートのダミー優先度の決定（Ｓ２１５）以前に実行される。例えば、フォーカス領域の判定（Ｓ２１２及びＳ２１３）の後に実行される。
【０１６６】
図１１は、対象ピクチャを符号化及び再符号化した場合において、スライス単位の再符号化処理とピクチャ単位の再符号化処理とのそれぞれに要する時間について示す図である。
【０１６７】
図１１に表すように、再符号化は、１ピクチャの符号化が完了してから行われるものとする。本実施の形態に係る映像信号符号化装置１０は、１ピクチャ分の符号化結果を参照して、再符号化を行うスライスを決定する。このため、再符号化処理は、必ず符号化の終了後に実施するものとし、符号化に並行した再符号化は行わない。
【０１６８】
また、ダミー化処理は、再符号化とは異なり、対象スライスを、当該スライスはダミースライスであるという情報に変更するだけの処理である。このため、再符号化の処理時間は必要ではない。
【０１６９】
したがって、本実施の形態に係る映像信号符号化装置１０が行うスライス単位での再符号化処理においては、図８〜図１０に示す例を用いて比較すると、符号化処理部１３１は、限定したスライス（ｓｌｉｃｅ＿２、ｓｌｉｃｅ＿３、ｓｌｉｃｅ＿６）の再符号化のみを行うことで、レート制御の要件を満たすピクチャを生成することが可能である。このため、スライス単位の再符号化処理は、ピクチャ単位の再符号化処理を行うよりも短い時間で再符号化を完了することができる。
【０１７０】
続いて、再符号化対象スライスを再符号化する際の圧縮率の調整（図Ｓ１０７）について説明する。具体的には、上述したように、再符号化要求部２０３が行う量子化パラメータの調整処理について説明する。
【０１７１】
１回目の符号化に用いた量子化パラメータが示す量子化幅より、再符号化時の量子化パラメータが示す量子化幅を大きくすることで、対象スライスの符号量を少なくすることができる。しかしながら、隣接したスライス間で、量子化パラメータが示す量子化幅の差が大きい場合、スライス間の符号量差が目立つこととなり、画像としての完成度が低くなる。そのため、再符号化スライスでは、隣接するスライスの量子化パラメータ又は圧縮率からの変化量に制限を設けることで、一定以上の変化を行わないものとする。
【０１７２】
ここでは、ｓｌｉｃｅ＿２、ｓｌｉｃｅ＿３、ｓｌｉｃｅ＿６について再符号化を行うものとする。
【０１７３】
図１２は、本発明の実施の形態における量子化パラメータの調整を説明するための図である。
【０１７４】
１スライスは、Ｌ×Ｍマクロブロックにより構成されているものとする（Ｌ及びＭは任意の自然数）。図１２に示す例では、水平方向にＬ個のマクロブロック、垂直方向にＭ個のマクロブロックにより、１スライスは構成されている。なお、ｓｌｉｃｅ＿Ｋ（Ｋは任意の自然数）を構成するマクロブロックのうち、上からｍ番目、かつ、左からｌ番目のマクロブロックについては、ｓＫ＿Ｂｍｌと表すものとする。
【０１７５】
再符号化を行うｓｌｉｃｅ＿２は、ｓｌｉｃｅ＿１とｓｌｉｃｅ＿３とに隣接している。このとき、ｓｌｉｃｅ＿１は再符号化対象ではなく、ｓｌｉｃｅ＿３は再符号化対象であると仮定するものとする。
【０１７６】
再符号化制御部１３５は、ｓｌｉｃｅ＿２は再符号化を行うスライスであると判断し、符号化処理部１３１に再符号化要求を出力する。このとき、再符号化要求部２０３では、符号化結果判定部１３３により求められる再符号化後の目標符号量より、スライスの目標とする符号量、すなわち、スライスあたりの達成符号量を決定し、それに基づいた再符号化を要求する。具体的には、対象スライス（この場合はＳｌｉｃｅ＿２）の現在の符号量と達成符号量との差分率である目標符号量変化率を決定する。
【０１７７】
スライスあたりの目標符号量変化率は、スライス目標差分率と対象ピクチャの符号量削減率とにより決定される。なお、スライス目標差分率は、再符号化前のスライス符号量と目標とする符号量平均値との差分率である。また、対象ピクチャの符号量削減率は、再符号化後に生成するピクチャが既存のピクチャより、どれだけ符号量を削減しなければならないかを示す割合である。
【０１７８】
例えば、スライス目標差分率をＱ、符号量削減率をＰとする場合、目標符号量変化率Ｒは、Ｐ×Ｑによって算出される。なお、目標符号量変化率Ｒは、一例であり、再符号化後にピクチャの符号量を達成符号量以内にすることのできる算出方法であれば、符号化結果判定部１３３は、いかなる算出方法を用いても構わない。
【０１７９】
対象スライスは、再符号化後に、目標符号量変化率Ｒ以上の符号量の削減を達成している必要がある。
【０１８０】
ここで、ｓｌｉｃｅ＿２を再符号化する場合について説明する。ｓｌｉｃｅ＿２の目標符号量変化率は、Ｒ＿Ｓ２とする。また、量子化パラメータの変化量による符号量の変化量は、既知であるとする。
【０１８１】
ｓｌｉｃｅ２の符号化時の量子化パラメータは、符号化時に設定しているため情報より取得できるため既知である。また、量子化パラメータの変化量による符号量の変化量は既知であるため、目標符号量変化率Ｒ＿Ｓ２を達成することができるｓｌｉｃｅ＿２の再符号化時の量子化パラメータ値は、計算により求めることが可能である。
【０１８２】
ここで、ｓｌｉｃｅ＿２は、ｓｌｉｃｅ＿１に隣接している。ｓｌｉｃｅ＿１とｓｌｉｃｅ＿２とにおいて隣接しているマクロブロック間、例えば、Ｓ１＿Ｂｍ１とＳ２＿Ｂ１１との量子化パラメータの差を大きくした場合、スライス間の圧縮率の違いが顕著になるため避けることが望ましい。そのため、上述したように、スライス間の量子化パラメータの変化量は、一定量以内に押さえることが望ましい。
【０１８３】
そのため、算出した再符号化時の量子化パラメータの値と、隣接するスライス内のマクロブロックの量子化パラメータの値との差が大きい場合、再符号化要求部２０３は、スライスあたりの達成符号量に基づき、再符号化を行うスライスのマクロブロック毎の量子化パラメータを変化させる。これにより、スライス間でリニアリティのある変化を実現し、圧縮率の差によるスライス間及びマクロブロック間の違いが再符号化後のピクチャに顕著に現れることを回避することができる。なお、量子化パラメータは、複数のマクロブロックを組み合わせた中領域毎に変化させることも可能であるものとする。
【０１８４】
また、再符号化を行う対象となるスライスが隣接している場合については、隣接しているスライスの再符号化時の量子化パラメータを用いて、隣接するスライス及びマクロブロック又はマクロブロックを複数組み合わせた中領域毎に、量子化パラメータを決定することにより、再符号化対象スライスの連続性を考慮した再符号化時の量子化パラメータの設定を実現する。
【０１８５】
これにより、再符号化後に生成されるピクチャにおいて発生する圧縮率ばらつきによるノイズ感を減少させることが可能となる。
【０１８６】
図１３は、スライスを再符号化する際に用いる量子化パラメータの調整処理の一例を示すフローチャートである。
【０１８７】
ここでは、スライスに対して上部に隣接するスライスを隣接スライス１、下部に隣接するスライスを隣接スライス２とする。なお、再符号化を実施しようとしているスライスを、注目スライスとする。
【０１８８】
まず、再符号化要求部２０３は、注目スライスの再符号化における目標量子化パラメータを決定する（Ｓ３０１）。
【０１８９】
次に、再符号化要求部２０３は、隣接スライス１の量子化パラメータを決定する（Ｓ３０２）。具体的には、再符号化要求部２０３は、注目スライスの隣接スライス１が、再符号化対象スライスであるか否かを判断する。例えば、再符号化対象スライスであるか否かは、隣接スライス１の再符号化優先度又はダミー優先度が設定されているか否かで判断することが可能である。
【０１９０】
そして、隣接スライス１が再符号化対象スライスであれば、隣接スライス１の再符号化時の目標量子化パラメータを隣接スライス１の量子化パラメータとして決定する。また、隣接スライス１が再符号化対象スライスでなければ、隣接スライス１の符号化時の量子化パラメータを隣接スライス１の量子化パラメータとして決定する。
【０１９１】
次に、再符号化要求部２０３は、隣接スライス２の量子化パラメータを決定する（Ｓ３０３）。具体的には、再符号化要求部２０３は、隣接スライス１の量子化パラメータの決定と同等の手法により、隣接スライス２の量子化パラメータを決定する。
【０１９２】
続いて、再符号化要求部２０３は、注目スライスの再符号化時の目標量子化パラメータと、隣接スライス１及び隣接スライス２の量子化パラメータのそれぞれとの差分を算出し、算出した差分を評価する（Ｓ３０４）。
【０１９３】
隣接スライス１又は隣接スライス２と注目スライスとの量子化パラメータの差分が大きい場合は、注目スライスの再符号化により注目スライスの圧縮率が高くなり、スライス間のノイズ感が目立つ可能性が高くなる。また、隣接スライス１又は隣接スライス２と注目スライスとの量子化パラメータの差分が小さい場合は、スライス間に生じるノイズの影響は小さくなる。
【０１９４】
再符号化要求部２０３は、隣接スライス１又は隣接スライス２と注目スライスとの量子化パラメータの差分の評価結果を確認することで、再符号化の実施をどの区分で実施するかを決定する（Ｓ３０５）。例えば、再符号化要求部２０３は、隣接スライス間の量子化パラメータの差分が大きい場合は、マクロブロック毎に量子化パラメータを設定することにより、隣接するマクロブロック間の量子化パラメータの差分を小さくし、再符号化を行うことによって生じる圧縮率の違いを吸収することができる。また、隣接スライス間の量子化パラメータの差分が小さい場合は、複数のマクロブロックからなる中領域毎に量子化パラメータを設定することで、再符号化時の処理量を低減することができる。
【０１９５】
そして、再符号化要求部２０３は、決定した再符号化区分に応じて量子化パラメータ値を決定する（Ｓ３０６）。例えば、再符号化要求部２０３は、マクロブロック単位に量子化パラメータを変更する場合は、マクロブロック毎の量子化パラメータを決定する。また、再符号化要求部２０３は、複数のマクロブロックを組み合わせた中領域単位に再符号化する場合は、中領域毎の量子化パラメータを決定する。あるいは、スライス単位で再符号化する場合は、スライス毎の再符号化における量子化パラメータを決定する。
【０１９６】
なお、マクロブロック単位に量子化パラメータを変更する場合は、再符号化要求部２０３は、隣接するマクロブロックの量子化パラメータ値を参照して、その値に対する差分が予め定められた閾値である差分量以内になるように、目標量子化パラメータを基準として設定する。また、複数のマクロブロックを組み合わせた中領域単位に量子化パラメータを変更する場合は、再符号化要求部２０３は、隣接する中領域毎の量子化パラメータ値を参照して、その値に対する差分が予め定められた差分量以内になるように目標量子化パラメータを基準として設定する。あるいは、スライス単位で再符号化する場合は、再符号化要求部２０３は、目標量子化パラメータを設定する。
【０１９７】
以上のように、再符号化要求部２０３は、再符号化対象スライス（注目スライス）の再符号化を行う場合、当該再符号化対象スライスに隣接するスライスの符号化又は再符号化に用いられた圧縮率との差が所定の第２閾値以下になるように圧縮率を決定する。そして、再符号化要求部２０３は、決定した圧縮率で再符号化対象スライスを再符号化するように、再符号化要求を符号化処理部１３１に出力することで、符号化処理部１３１を制御する。
【０１９８】
これにより、再符号化対象スライスと隣接スライスとの間で、圧縮率が大きく異なることを防止することができるので、スライス間のノイズを低減することができる。
【０１９９】
以上、本発明に係る映像信号符号化装置及び映像信号符号化方法について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものも、本発明の範囲内に含まれる。
【０２００】
なお、本発明は、上述したように、映像信号符号化装置及び映像信号符号化方法として実現できるだけではなく、本実施の形態の映像信号符号化方法をコンピュータに実行させるためのプログラムとして実現してもよい。また、当該プログラムを記録するコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現してもよい。さらに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、これらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信されてもよい。
【０２０１】
また、本発明は、映像信号符号化装置を構成する構成要素の一部又は全部を、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）から構成してもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭなどを含んで構成されるコンピュータシステムである。
【０２０２】
例えば、図１及び図２に示す例では、映像信号生成部１２０と符号化部１３０とが半導体集積回路１００を構成する例について説明したが、符号化部１３０のみで半導体集積回路を構成してもよい。
【産業上の利用可能性】
【０２０３】
本発明に係る映像信号符号化装置及び映像信号符号化方法は、例えば、映像信号を符号化するカメラ又はデジタルレコーダなどに利用することができ、より具体的には、監視カメラ、ＷＥＢカメラなどのネットワークカメラ、又は、車載カメラ、ドライブレコーダなどの自動車搭載用カメラなどに利用することができる。
【符号の説明】
【０２０４】
１０  映像信号符号化装置
１００  半導体集積回路
１１０  撮像素子
１２０  映像信号生成部
１２１  画像情報解析部
１３０  符号化部
１３１  符号化処理部
１３２  積算部
１３３  符号化結果判定部
１３４  符号化情報管理部
１３５  再符号化制御部
２０１  再符号化情報生成部
２０２  スライス判定部
２０３  再符号化要求部
２０４  再符号化終了判定部
３００  スライス状態管理表
３１０  サイズ情報
３１１  符号量
３２０  符号化方式情報
３２１  イントラ符号化数
３２２  インター符号化数
３３０  動きベクトル情報
３３１  最大値
３３２  最小値
３３３  平均値
４００  対象ピクチャ
５００  ピクチャ
５０１  顔領域
６０１  平均符号量
６０２  目標平均符号量
【図１】
0005396302.tif 000002
【図２】
0005396302.tif 000003
【図３】
0005396302.tif 000004
【図４】
0005396302.tif 000005
【図５】
0005396302.tif 000006
【図６】
0005396302.tif 000007
【図７】
0005396302.tif 000008
【図８】
0005396302.tif 000009
【図９】
0005396302.tif 000010
【図１０】
0005396302.tif 000011
【図１１】
0005396302.tif 000012
【図１２】
0005396302.tif 000013
【図１３】
0005396302.tif 000014