(57)【要約】【課題】  フレームを間引いて符号化を行う場合であって、絵柄に急激な変化のある画像の場合、前の伝送対象であり符号化対象のフレームの符号化結果を用いて、次の伝送対象であって符号化対象フレームの符号化パラメータを決定すると適切な値が設定されず、画質が低下するという課題があった。【解決手段】  絵柄の急激な変化がある場合においても、伝送対象ではない画像の符号化結果に基づいて、伝送対象であって符号化対象の画像の符号化パラメータを設定するので、伝送する情報量を所定レートに抑えつつ、最適な画質で符号化を行うことができる。【選択図】        図１
2014096744.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像の符号化を制御する符号化制御部と、
該符号化制御部によって指示された符号化パラメータによって前記入力された画像の符号化を行う符号化部と、
該符号化部で符号化された符号化ビットストリームを外部に出力するように制御する送信制御部とを備えた画像符号化装置において、
前記符号化制御部は、前記入力された画像のうち伝送対象ではない画像を前記符号化部に符号化するように制御し、前記入力された画像のうち伝送対象であって符号化対象の画像の前の前記符号化部で符号化された伝送対象ではない画像の符号化結果に基づいて、前記伝送対象であって符号化対象の画像の符号化パラメータを決定することを特徴とする画像符号化装置。
【請求項２】
前記符号化部は、前記伝送対象ではない画像の符号化の際に、前記伝送対象ではない画像の前の伝送対象であって符号化対象の画像を動き探索の参照フレームとすることを特徴とする請求項１記載の画像符号化装置。
【請求項３】
前記符号化部は、前記入力された画像のうち伝送対象であって符号化対象の画像の前の伝送対象ではない画像を符号化した情報発生量を前記符号化制御部に出力し、
前記符号化制御部は、前記符号化部から入力された前記伝送対象ではない画像を符号化した情報発生量に基づいて、前記伝送対象であって符号化対象の画像の解像度を決定することを特徴とする請求項１または２記載の画像符号化装置。
【請求項４】
前記送信制御部は、前記伝送対象であって符号化対象の画像の前の伝送対象ではない画像を符号化した符号化ビットストリームを記憶した時のバッファ残量を前記符号化制御部に出力し、
前記符号化制御部は、前記符号化部から入力された前記伝送対象ではない画像を符号化した情報発生量と、前記送信制御部から入力された前記伝送対象ではない画像を符号化した符号化ビットストリームを記憶した時のバッファ残量とに基づいて、前記伝送対象であって符号化対象の画像の解像度を決定することを特徴とする請求項３記載の画像符号化装置。
【請求項５】
前記符号化部は、前記符号化制御部で決定した解像度を前記符号化ビットストリームに多重することを特徴とする請求項３または請求項４記載の画像符号化装置。
【請求項６】
前記符号化制御部は、前記伝送対象であって符号化対象の画像の符号化を行う際に、前記伝送対象あって符号化対象の画像の動き探索の参照フレームの解像度を前記伝送対象であって符号化対象の画像と同じ解像度に変換して符号化を行うことを前記符号化部に指示することを特徴とする請求項３または請求項４記載の画像符号化装置。
【請求項７】
前記符号化制御部は、前記入力された画像のうち伝送対象であって符号化対象の画像の符号化を行う際に、前記伝送対象ではない画像を符号化した動きベクトルを用いることと、前記伝送対象ではない画像の符号化は前記伝送対象ではない画像の前の伝送対象であって符号化対象の画像を動き探索の参照フレームとすることと、を前記符号化部に指示することを特徴とする請求項１〜５のいずれかに記載の画像符号化装置。
【請求項８】
前記符号化制御部は、前記入力された画像のうち伝送対象であって符号化対象の画像の初期量子化パラメータ値を前記伝送対象の前の伝送対象であって符号化対象の画像を符号化したときの量子化パラメータ値の平均値と発生情報量、および、前記伝送対象であって符号化対象の画像の前の伝送対象ではない画像を符号化したときの発生情報量に基づいて求め、
前記符号化部は、前記符号化制御部から前記初期量子化パラメータ値が指示されて、前記伝送対象であって符号化対象の画像の符号化を行うことを特徴とする請求項１〜６のいずれかに記載の画像符号化装置。
【請求項９】
入力された画像の符号化を制御する符号化制御部と、該符号化制御部によって指示された符号化パラメータによって前記入力された画像の符号化を行う符号化部と、該符号化部で符号化された符号化ビットストリームを外部に出力するように制御する送信制御部とを備えた画像符号化装置の画像符号化方法において、
前記符号化部が、前記入力された画像のうち伝送対象ではない画像を符号化する符号化ステップ、
前記符号化ステップで、前記入力された画像のうち伝送対象であって符号化対象の画像の前の伝送対象ではない画像が符号化された符号化結果に基づいて、前記伝送対象であって符号化対象の画像の符号化パラメータを決定する符号化パラメータ決定ステップ、を備えたことを特徴とする画像符号化装置の画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の符号化装置および画像の符号化方法に関するものである。
【背景技術】
【０００２】
動画像を符号化して符号化画像を伝送する装置において、伝送レートが非常に低いときに、符号化装置に入力される画像のフレームレートよりも低いフレームレートで符号化・伝送を行う場合がある。これは、１フレームあたりに割り当てる情報量を増やすことで、符号化を行うフレームの画質を向上させるためである。
【０００３】
図７は、符号化装置に入力される画像のフレームレートよりも低いフレームレートで符号化を行う例を示したものである。
符号化装置に対して、３０フレーム／秒のフレームレートで画像が入力されている場合において、符号化・伝送を１０フレーム／秒で行う場合である。ＮからＮ＋７フレームの入力画像に対して、灰色で示したＮフレーム、Ｎ＋３フレーム、Ｎ＋６フレームのみ符号化・伝送を行う。白色で示した間引かれるフレームは伝送する必要がないため、符号化も行われない。
【０００４】
符号化方式ＭＰＥＧ−２、Ｈ．２６４などで符号化して伝送する場合、Ｎフレーム、Ｎ＋３フレーム、Ｎ＋６フレームのみを符号化する。そのため、例えば、ピクチャ符号化タイプが両方向予測を使用しない符号化において、Ｎ＋３フレームの符号化を行う際にはＮフレームを動き探索の参照フレームとし、Ｎ＋６フレームの符号化を行う際にはＮ＋３フレームを動き探索の参照フレームとする。
また、符号化対象フレームの符号化パラメータの一部を既に符号化が終了したフレームの符号化結果をもとに決定する方法がある。
【０００５】
例えば、符号化フレームの発生情報量やバッファ残量に基づいて、符号化対象フレームの量子化パラメータ値を決定する方法がある（特許文献１）。
また、例えば、符号化フレームの発生情報量やバッファ残量に基づいて、画像サイズを決定する方法がある（特許文献２）。
【０００６】
【特許文献１】特開２０１１−０９１７７２号公報
【特許文献２】特開２００５−２８６５９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記の先行技術文献において示されている方法は、符号化装置に入力されるすべてのフレームに対して符号化を行う場合である。
そして、通常の動画像においては、フレーム間の距離が近いほど似通った絵柄である。即ち、相関が高いため、近いフレームをもとに符号化を行う方が遠いフレームをもとに符号化を行うよりも符号化効率が高い。
ところが、従来技術でフレームレートが低く、フレームを間引いて符号化して伝送する場合、間引かれたフレームの符号化は行われず、伝送されるフレームだけが符号化対象となる。そのため伝送対象であり符号化対象のフレームの符号化パラメータを決定するには、既に符号化が終了した前の伝送対象であり符号化対象のフレームの符号化結果をもとに決定する。例えば、図７でＮ＋３フレームの符号化を行う場合には、Ｎフレームの符号化結果をもとに符号化パラメータが決定される。
【０００８】
そのため、伝送対象であり符号化対象のフレームよりも間引かれたフレーム分だけ離れた距離のフレームの符号化結果を用いて符号化パラメータが決定される。フレームを間引いて符号化を行う場合であって、絵柄に急激な変化のある画像の場合では、例えば、前の伝送対象であり符号化対象のフレーム（図７のＮフレーム）の後に急激な画像の変化があった場合に、そのＮフレームの符号化結果を用いて、次の伝送対象であり符号化対象のフレーム（Ｎ＋３フレーム）の符号化パラメータを決定するのはあまり有効ではない。
この様に、フレームを間引いて符号化を行う場合であって、絵柄に急激な変化のある画像の場合、前の伝送対象であり符号化対象のフレームの符号化結果を用いて、次の伝送対象であって符号化対象フレームの符号化パラメータを決定すると適切な値が設定されず、画質が低下するという課題があった。
【課題を解決するための手段】
【０００９】
この発明に係る画像符号化装置は、入力された画像の符号化を制御する符号化制御部と、該符号化制御部によって指示された符号化パラメータによって前記入力された画像の符号化を行う符号化部と、該符号化部で符号化された符号化ビットストリームを外部に出力するように制御する送信制御部とを備え、前記符号化制御部は、前記入力された画像のうち伝送対象ではない画像を前記符号化部に符号化するように制御し、前記入力された画像のうち伝送対象であって符号化対象の画像の前の前記符号化部で符号化された伝送対象ではない画像の符号化結果に基づいて、前記伝送対象であって符号化対象の画像の符号化パラメータを決定するものである。
【発明の効果】
【００１０】
この発明は、絵柄の急激な変化がある場合においても、伝送対象ではない画像の符号化結果に基づいて、伝送対象であって符号化対象の画像の符号化パラメータを設定するので、伝送する情報量を所定レートに抑えつつ、最適な画質で符号化を行うことができる。
【図面の簡単な説明】
【００１１】
【図１】この発明の実施の形態１における画像符号化装置１の機能ブロック図である。
【図２】この発明の実施の形態１における画像符号化装置１が解像度を決定する条件を示す図である。
【図３】この発明の実施の形態１における画像符号化装置１が符号化を行う際に、動き探索で参照するフレームを示す図である。
【図４】この発明の実施の形態１における画像符号化装置１の動作を示すフローチャートである。
【図５】この発明の実施の形態２における符号化の際の動き探索の説明図である。
【図６】この発明の実施の形態３における符号化の際の量子化パラメータ値の算出方法に関して示す図である。
【図７】従来技術においてフレームレートを落として符号化を行う説明図である。
【発明を実施するための形態】
【００１２】
実施の形態１．
図１はこの発明の実施の形態１における画像符号化装置１の機能ブロック図である。
本実施例では、伝送対象であり符号化対象のフレームの符号化パラメータとして解像度を決定する例について説明する。ここでは、例えば、カメラで撮影された画像対象に急激な動きがあり細かい絵柄となり、入力される画像を符号化した時の発生情報量が大きくなるような場合に、所定の伝送レートに抑えつつ発生情報量を削減するために、伝送対象であって符号化対象の画像の解像度を下げる例について示す。
【００１３】
本発明は、画像符号化装置１に入力された画像のすべてのフレーム（伝送対象のフレームと、伝送対象ではないフレームのどちらも）に対して、符号化を行うことを特徴とする。そして、符号化は入力されたフレームの順に行う場合について説明する。
また、符号化を行う符号化方式はＭＰＥＧ−２、Ｈ．２６４などのフレーム単位で動画像の符号化を行うものであれば特に規定はしない。
【００１４】
図１の画像符号化装置１は、解像度制御部２、符号化部３、送信制御部４、解像度決定部５、符号化制御部６から構成される。
画像符号化装置１には、例えば、監視システムのカメラで撮影された画像が入力される。
【００１５】
解像度制御部２は、画像符号化装置１に入力された画像のうち、伝送対象であり符号化対象のフレームに対して解像度決定部５から解像度が指定されると指定された解像度に変換し、符号化部３に出力する。解像度決定部５から指定される解像度が入力画像と同じ場合や解像度の指定がなければ、解像度を変換せずに、そのまま符号化部３に出力する。
解像度制御部２は、符号化制御部６にその機能が含まれていてもよい。
【００１６】
符号化部３は、解像度制御部２から入力された画像に対して、符号化制御部６から指示された符号化パラメータに従って、ＭＰＥＧ−２、Ｈ．２６４などの符号化方法によって、全てのフレームに対して符号化を行う。そして、符号化した符号化ビットストリームのうち、伝送対象であるフレームの符号化ビットストリームのみを送信制御部４のバッファに蓄積する。この時、伝送対象であり符号化対象のフレームが解像度制御部２で解像度変換されて符号化部３で符号化が行われると、伝送対象であり符号化対象のフレームが解像度変換された画像かどうか、あるいは解像度変換を行った時の方法などの情報をユーザーデータとして符号化ビットストリームに多重して送信制御部４のバッファに出力する。また、各フレームの符号化による発生情報量を解像度決定部５に出力する。
【００１７】
送信制御部４は、画像符号化装置１に接続されている外部の回線あるいは蓄積メディアからの要求に応じて、符号化部３から入力され蓄積している符号化ビットストリームを画像符号化装置１の外部の回線あるいは蓄積メディアに出力する。
また、送信制御部４は、バッファ残量を解像度決定部５に出力する。
【００１８】
解像度決定部５は、符号化部３から入力される各フレームの発生情報量と、送信制御部４から入力されるバッファ残量に基づいて伝送対象であり符号化対象のフレームに対する解像度を決定する。そして、決定した解像度を解像度制御部２と符号化制御部６に出力する。
例えば、３０フレーム／秒のフレームレートで画像が入力されている場合において、１０フレーム／秒で符号化・伝送を行うと１フレームあたりに割当てる情報量を増やすことができる。ところが、画像対象の絵柄に急激な変化があり更に細かい絵柄が入力されると、フレームを間引いただけでは十分な画質を得ることができない。そのため、伝送対象であり符号化対象のフレームの解像度を下げることで、１画素当たりに割当てる情報量を更に増やすことによって、所定の画質を維持することができる。
解像度決定部５は、符号化制御部６にその機能が含まれていてもよい。
【００１９】
符号化制御部６は、符号化部３に対して入力される全ての画像（伝送対象フレーム、伝送対象ではないフレームにかかわらず）に対して符号化を指示し、符号化方法、動き探索の参照フレームに対する解像度変換を指示する。
符号化制御部６が符号化部３に対して行う、動き探索の参照フレームに対する解像度変換の指示とは、伝送対象であり符号化対象のフレームが解像度制御部２により解像度が変換されて符号化部３に入力された場合に、伝送対象であって符号化対象の動き探索の参照フレーム（前の伝送対象であって符号化対象のフレーム）の解像度を伝送対象であり符号化対象のフレームと同じ解像度に変換するように、符号化部３に対して指示するものである。
【００２０】
次に、画像符号化装置１の解像度決定部５が、符号化パラメータの１つである解像度を決定する方法について説明する。
図２は、画像符号化装置１が解像度を決定する条件を示す説明図である。
ここでは簡略化のために、画像符号化装置１に入力された画像のフレームを符号化した符号化結果の１つである発生情報量のみを使用して、解像度を決定する場合を示す。
図２では、ＮからＮ＋７フレームまでの入力画像のうち、灰色で示したＮ、Ｎ＋３、Ｎ＋６のフレームは伝送対象のフレームである。
【００２１】
白色で示したＮ＋１、Ｎ＋２、Ｎ＋４、Ｎ＋５，Ｎ＋７のフレームは間引かれるフレームであり伝送対象ではないフレームである。
しかし、伝送対象のフレームの解像度の決定は、前のフレームの符号化結果である発生情報量に基づいて決定する。そのため、伝送対象のフレームも伝送対象ではないフレームもすべてのフレームに対して符号化を行い、その符号化結果の発生情報量に基づいて伝送対象のフレームの解像度を決定する。
【００２２】
本実施例においては、伝送対象ではないフレーム、例えばＮ＋２のフレーム（以下Ｎ＋２フレームと示す）を符号化し、その符号化結果の発生情報量に基づいて、伝送対象のＮ＋３フレームの解像度を決定する例で説明する。
図２の下側に、各フレームの発生情報量が示されている。
Ｉ（Ｎ）〜Ｉ（Ｎ＋２）は、それぞれＮ〜Ｎ＋２フレームの符号化を行った符号化結果である発生情報量である。
Ｎフレームの発生情報量がＩ（Ｎ），Ｎ＋１フレームの発生情報量がＩ（Ｎ＋１）、Ｎ＋２フレームの発生情報量がＩ（Ｎ＋２）であることを示している。
【００２３】
そして、発生情報量が予め決められた所定の閾値を超えている場合には、次の伝送対象であり符号化対象のフレームを符号化する時に、所定の解像度に下げて（縮小して）符号化を行う。発生情報量が所定の閾値を超えていない場合は、次の伝送対象であり符号化対象のフレームを符号化する時に、解像度を変更せずにそのまま符号化を行う。
【００２４】
例えば、Ｎ＋２フレームの絵柄が細かいために、Ｎ＋２フレームを符号化すると、その符号化結果である発生情報量Ｉ(Ｎ＋２)の値が予め決められた所定の閾値を越えたとする。すると、次のＮ＋３フレームを符号化する時には、Ｎ＋３フレームを所定の低い解像度にして（縮小して）から符号化を行う。
【００２５】
このようにすることで、ＮフレームとＮ＋２フレームの間で絵柄が急激に変わり絵柄が細かくなっても、Ｎ＋３フレームの前の画像であるＮ＋２フレームを符号化したときの発生情報量に基づいてＮ＋３フレームの解像度（符号化パラメータ）を決定するので、間引いて符号化・伝送を行う場合でも、解像度を下げて１画素当たりに割当てる情報量を増やすことができ、所定の画質を維持することができる。
以上が、画像符号化装置１が解像度を決定する方法についての説明である。
【００２６】
次に、画像符号化装置１が符号化を行う際に、動き探索で参照するフレームについて説明する。
図３は、画像符号化装置１が符号化の際に、動き探索で参照するフレームを示す図である。
図３では、Ｎ＋３フレームがインターピクチャとして符号化を行う場合について説明している。
【００２７】
図３に示すように、伝送対象であり符号化対象のＮ＋３フレームの動き探索の参照フレームは、前の伝送対象であり符号化対象のＮフレームである。
Ｎ＋１、Ｎ＋２フレームは伝送されないフレームであるため、復号装置ではＮ＋３フレームの動き補償予測の参照フレームとして使用できない。そのため、画像符号化装置１においてもＮ＋３フレームの動き補償予測の参照フレームとしては使用できない。
【００２８】
一方、伝送対象であり符号化対象のＮ＋３フレームの解像度を決定するために、伝送対象ではないＮ＋１フレーム、Ｎ＋２フレームについても符号化を行う。そして、Ｎ＋１フレームとＮ＋２フレームの符号化には、Ｎ＋３フレームと同じ動き探索の参照フレームであるＮフレームを動き探索の参照フレームとする。
これは、Ｎ＋３フレームの符号化の際に、符号化パラメータである解像度をＮ＋３フレームに対して距離の近い前のフレーム（Ｎ＋１フレーム、Ｎ＋２フレーム）の符号化結果に基づき決定するためである。そのため、Ｎ＋１フレーム、Ｎ＋２フレームの符号化の際には、Ｎ＋３フレームとできる限り符号化条件を同じにする。
【００２９】
そして、図１の解像度決定部５は、符号化部３から、例えばＮ＋２フレームを符号化した符号化結果の発生情報量を受け取り、次の伝送対象であって符号化対象のＮ＋３フレームの符号化を行う際に解像度を決定する。
更に、符号化制御部６は、解像度決定部５で決定した解像度に解像度制御部２が伝送対象であって符号化対象のＮ＋３フレームを変換すると、符号化部３に対して、伝送対象であり符号化対象の動き探索の参照フレームであるＮフレームに対しても同じ解像度に変換し、同じ解像度に変換したＮフレームを動き探索の参照フレームとして、Ｎ＋３フレームの符号化を行うように符号化部３に指示する。
【００３０】
このようにして、符号化制御部６はすべての入力フレームに対して符号化を行うように符号化部３に指示するが、動き探索の参照フレームは前の伝送対象であって符号化対象のフレームで行う。更に、符号化制御部６は、伝送対象であって符号化対象のフレームの符号化に際して、解像度変換がされていれば、前の伝送対象であって符号化対象の参照フレームも同じ解像度に変換して、符号化を行うように符号化部３に指示する。そして、符号化制御部６は、伝送対象であって符号化対象のフレームの符号化ビットストリームを送信制御部４のバッファに出力するように符号化部３に指示する。
【００３１】
そして、符号化部３は、符号化されたフレームが解像度変換されたフレームかどうか、あるいは解像度変換に関する情報をユーザーデータとして符号化ビットストリームに多重して送信制御部４に出力する。
このように制御されて符号化された符号化ビットストリームを画像符号化装置１から復号装置が受信することにより、復号装置は画像符号化装置１から受信した解像度変換に関する情報をもとに解像度変換を行い、もとの解像度に戻す処理を行って、正常に復号を行うことができる。
【００３２】
また、符号化部３は、入力画像と入力画像を符号化する際の局部復号画像により演算して求められたＳＮ比（ｓｉｇｎａｌ−ｎｏｉｓｅ  ｒａｔｉｏ）についても、ユーザーデータとして符号化ビットストリームに多重する。復号装置側では、受信したＳＮ比をもとに、間引くフレーム数や１画素あたりに割当てる情報量を決定し、画像符号化装置１に送信する構成にしてもよい。
【００３３】
そのため、画像符号化装置１の解像度決定部５は、復号装置から受信した１画素あたりに割当てる情報量も考慮して解像度を決定する。この様にＳＮ比を画像符号化装置１から復号装置に送信することにより、画像符号化装置１は復号装置から受信した１画素あたりの情報量も考慮した解像度を決定することができる。
以上が、画像符号化装置１が符号化を行う際に、動き探索で参照するフレームについての説明である。
【００３４】
この様に符号化を行うとして、以下、画像符号化装置１の動作について説明する。
図４は、画像符号化装置１の動作を示すフローチャートである。
図４を用いて、画像符号化装置１の動作を説明する。
図１で示した画像符号化装置１に、例えば、監視システムのカメラで撮影された画像が入力される。ここでの説明では、図２で示す伝送対象のＮフレームから始めるものとする。
また、Ｎフレームに対しては、解像度決定部５からは、解像度が入力されないとする。
【００３５】
まず、解像度制御部２は、入力された画像が伝送対象のフレームか否かを判定する（ステップＳ１（以降Ｓ１と示す））。
Ｎフレームは伝送対象のフレームであるため、解像度制御部２は、解像度決定部５から解像度が入力されたか否かを判断し（Ｓ２）、解像度が入力されていなければ、Ｎフレームの解像度を変換せずに符号化部３に出力する。
Ｎフレームでは、解像度決定部５から解像度が入力されないため、解像度制御部２は、解像度を変換せずに符号化部３に出力する。
【００３６】
そして、符号化部３は、符号化制御部６から動き探索の参照フレームに対する解像度変換が指示され、符号化制御部６から指示された符号化パラメータに従って、解像度制御部２から入力されたＮフレームに対して符号化を行う。
【００３７】
符号化制御部６は、入力されたＮフレームの動き探索の参照フレームに対する解像度変換を符号化部３に指示するため、Ｎフレームの動き探索の参照フレームがＮフレームと同じ解像度か否かを判定する（Ｓ３）。Ｎフレームでは、符号化制御部６は、動き探索の参照フレームに対する解像度変換の指示を符号化部３にしない（動き探索の参照フレームが同じ解像度である）とする。
【００３８】
符号化部３は、解像度制御部２から入力されたＮフレームに対して、符号化制御部６から指示された符号化パラメータに従って、ＭＰＥＧ−２、Ｈ．２６４などの符号化方式により符号化を行う（Ｓ４）。
【００３９】
そして、符号化制御部６は、Ｎフレームが伝送対象か否かを判断し（Ｓ５）、伝送対象であれば符号化部３に対して送信制御部４のバッファへ符号化ビットストリームの出力を指示する。伝送対象でなければ、符号化部３に対して送信制御部４のバッファへ符号化ビットストリームの出力は指示しない。
【００４０】
符号化部３は、Ｎフレームが伝送対象のフレームであるため、符号化制御部６からの指示により、Ｎフレームに対して符号化を行った符号化ビットストリームを送信制御部４のバッファに出力し（Ｓ６）、送信制御部４のバッファにＮフレームの符号化ビットストリームが蓄積される。
【００４１】
また、符号化部３は、Ｎフレームを符号化した符号化結果である発生情報量Ｉ（Ｎ）を解像度決定部５に出力し、送信制御部４は、バッファ残量を解像度決定部５に出力する（Ｓ７）。
【００４２】
解像度決定部５は、次に入力されるＮ＋１フレームが伝送対象であって符号化対象のフレームであれば、Ｎフレームを符号化した符号化結果である発生情報量と、送信制御部４から入力されたバッファ残量に基づいて解像度を決定する。ここでは、Ｎ＋１フレームが伝送対象ではないため、Ｎ＋１フレームの解像度はそのままとする。そのため、Ｎ＋１フレームが解像度制御部２に入力された時、解像度決定部５から解像度制御部２に対して解像度を出力しない。
【００４３】
次に、図２で示す伝送対象ではないＮ＋１フレームが入力されたとする。
解像度制御部２は、Ｎ＋１フレームが伝送対象のフレームか否かを判定する（Ｓ１）。
Ｎ＋１フレームは、伝送対象のフレームではないため、解像度制御部２は、Ｎ＋１フレームの解像度を変換しないで符号化部３に出力する。
【００４４】
そして、符号化部３は、符号化制御部６から動き探索の参照フレームに対する解像度変換が指示され、符号化制御部６から指示された符号化パラメータに従って、解像度制御部２から入力されたＮ＋１フレームに対して符号化を行う（Ｓ４）。
この時、符号化部３は、Ｎ＋１フレームが伝送対象のフレームではないため、符号化制御部６から、動き探索の参照フレーム対する解像度は指示されず、すなわち、参照フレーム対する解像度変換は行わずに、解像度制御部２から入力されたＮ＋１フレームに対して符号化を行う。
【００４５】
そして、符号化制御部６は、Ｎ＋１フレームが伝送対象か否かを判断し（Ｓ５）、Ｎ＋１フレームが伝送対象ではないため、符号化部３に対して送信制御部４のバッファへの出力は指示しない。
符号化部３は、Ｎ＋１フレームは伝送対象のフレームではないため、符号化制御部６からの指示により、Ｎ＋１フレームに対して符号化を行った符号化ビットストリームは送信制御部４のバッファに出力せず、送信制御部４のバッファにＮ＋１フレームの符号化ビットストリームは蓄積されない。
【００４６】
そして、符号化部３は、Ｎ＋１フレームを符号化した符号化結果である発生情報量Ｉ（Ｎ＋１）を解像度決定部５に出力し、送信制御部４は、バッファ残量を解像度決定部５に出力する（Ｓ７）。
【００４７】
そして、解像度決定部５は、次に入力されるＮ＋２フレームが伝送対象ではないため、Ｎ＋２フレームの解像度はそのままとする。そのため、Ｎ＋２フレームが解像度制御部２に入力された時、解像度決定部５から解像度制御部２に対して解像度を出力しない。
【００４８】
次に、図２に示す伝送対象ではないＮ＋２フレームが入力されたとする。
解像度制御部２はＮ＋２フレームが伝送対象のフレームか否かを判定する（Ｓ１）。
Ｎ＋２フレームは、伝送対象のフレームではないため、解像度制御部２は、何もせず符号化部３に出力する。
【００４９】
そして、符号化部３は、符号化制御部６から動き探索の参照フレームに対する解像度変換が指示され、符号化制御部６から指示された符号化パラメータに従って、解像度制御部２から入力されたＮ＋２フレームに対して符号化を行う（Ｓ４）。
この時、符号化部３は、Ｎ＋２フレームが伝送対象のフレームではないため、符号化制御部６から、動き探索の参照フレーム対する解像度は指示されず、すなわち、参照フレーム対する解像度変換は行わずに、解像度制御部２から入力されたＮ＋２フレームに対して符号化を行う。
【００５０】
そして、符号化制御部６は、Ｎ＋２フレームが伝送対象か否かを判断し（Ｓ５）、Ｎ＋２フレームが伝送対象ではないため、符号化部３に対して送信制御部４のバッファへの出力は指示しない。
符号化部３は、Ｎ＋２フレームは伝送対象のフレームではないため、符号化制御部６からの指示により、Ｎ＋２フレームに対して符号化を行った符号化ビットストリームは送信制御部４のバッファに出力せず、送信制御部４のバッファにＮ＋２フレームの符号化ビットストリームは蓄積されない。
【００５１】
そして、符号化部３は、Ｎ＋２フレームを符号化した符号化結果である発生情報量Ｉ（Ｎ＋２）を解像度決定部５に出力し、送信制御部４は、バッファ残量を解像度決定部５に出力する（Ｓ７）。
【００５２】
そして、解像度決定部５は、次に入力されるＮ＋３フレームが伝送対象であって符号化対象のフレームであるため、符号化部３から入力されたＮ＋２フレームの発生情報量と送信制御部４から入力されたバッファ残量に基づいて、次に入力される伝送対象であって符号化対象のＮ＋３フレームの解像度を決定する（Ｓ８）。
【００５３】
ここでは、Ｎ＋２フレームの絵柄が細かいために、Ｎ＋２フレームを符号化すると、Ｎ＋２フレームの発生情報量Ｉ（Ｎ+２）が所定の閾値を超えているとする。そのため、解像度決定部５は、次のＮ＋３フレームの解像度を下げる（縮小する）ように決定し、１画素当たりに割当てる情報量を増やす。そして、決定した解像度を解像度制御部２に出力する。このようにすることで、Ｎ＋２フレーム以降の絵柄が急激に細かくなった場合でも所定の画質を維持することができる。
【００５４】
次に、図２に示す伝送対象のＮ＋３フレームが入力されたとする。
解像度制御部２は、Ｎ＋３フレームが伝送対象のフレームか否かを判定する（Ｓ１）。
Ｎ＋３フレームは伝送対象のフレームであるため、解像度制御部２は、解像度決定部５から解像度が入力されたか否かを判断する。（Ｓ２）。
【００５５】
Ｎ＋２フレームの符号化による発生情報量Ｉ（Ｎ＋２）が所定の閾値を超えているため、Ｎ＋３フレームが入力された時、解像度制御部２には、解像度決定部５から発生情報量Ｉ（Ｎ＋２）に基づいて決定した解像度が入力される。
そのため、解像度制御部２は、Ｎ＋３フレームを解像度決定部５から入力された解像度に変換し（Ｓ９）、符号化部３に出力する。
【００５６】
そして、符号化部３は、解像度が変換されて解像度制御部２から入力されたＮ＋３フレームに対して、符号化制御部６から指示された符号化パラメータによって符号化を行う。
Ｎ＋３フレームを符号化する際に、符号化制御部６は、動き探索で参照する前の伝送対象であり符号化対象であるＮフレームの解像度が、Ｎ＋３フレームと同じか否かを判定する（Ｓ３）。
【００５７】
Ｎ＋３フレームは、解像度が変換されているため、符号化制御部６は、符号化部３に対して、動き探索の参照フレームであるＮフレームを、解像度決定部５から入力されていたＮ＋３フレームの解像度に変換するように指示する。
そのため、符号化部３は、符号化制御部６からの指示に寄り、Ｎ＋３フレームを符号化する際に、動き探索で参照する前の伝送対象であり符号化対象であるＮフレームに対してもＮ＋３フレームと同じ解像度に変換する（Ｓ１０）。
【００５８】
このとき、動き探索時の参照フレームであるＮフレームは、解像度変換したＮフレームの画像と解像度変換しないＮフレームの画像の２つを持つものとする。
解像度変換されていないＮフレームの画像は、解像度変換されないＮ＋１フレーム、Ｎ＋２フレームの動き探索の参照フレームの画像として、解像度変換したＮフレームの画像は解像度変換したＮ＋３の動き探索の参照フレームとして参照される。
【００５９】
そして、符号化部３は、符号化制御部６から指示された符号化パラメータに従い、Ｎ＋３フレームと同じ解像度に変換したＮフレームを動き探索の参照フレームとして、Ｎ＋３フレームの符号化を行う（Ｓ４）。
そして、符号化制御部６は、Ｎ＋３フレームが伝送対象か否かを判断し（Ｓ５）、Ｎ＋３フレームが伝送対象であるため、符号化部３に対してＮ＋３フレームを符号化した符号化ビットストリームを送信制御部４のバッファへ出力するように指示する。
【００６０】
そして、符号化部３は、符号化制御部６からの指示により、Ｎ＋３フレームを符号化した符号化ビットストリームを送信制御部４のバッファへ出力し（Ｓ６）、送信制御部４のバッファにＮ＋３フレームの符号化ビットストリームが蓄積される。
【００６１】
また、符号化部３は、Ｎ＋３フレームを符号化した符号化結果である発生情報量Ｉ（Ｎ＋３）を解像度決定部５に出力し、送信制御部４は、バッファ残量を解像度決定部５に出力する（Ｓ７）。
【００６２】
そして、解像度決定部５は、次に入力される、Ｎ＋４フレームが伝送対象ではないため、Ｎ＋４フレームの解像度はそのままとする。そのため、Ｎ＋４フレームが解像度制御部２に入力された時、解像度決定部５から解像度制御部２に対して解像度を出力しない。
以上の様な動作でＮ＋４〜Ｎ＋７フレームについても符号化が行われ、伝送対象のフレームに対しては、符号化ビットストリームが送信制御部４のバッファに蓄積される。
【００６３】
そして、送信制御部４は、バッファに接続されている外部の回線あるいは蓄積メディアからの要求に応じて、バッファに蓄積されている伝送対象のフレームの符号化ビットストリームを画像符号化装置１の外部に出力する。
【００６４】
この様に、伝送対象であり符号化対象のＮ＋３フレームの符号化を行う前に、符号化対象の直前の伝送対象ではないＮ＋２フレームの符号化を行った符号化結果である発生情報量と、バッファ残量に基づいてＮ＋３フレームの解像度（符号化パラメータの一つ）を決定するので、ＮフレームとＮ＋２フレームの間で絵柄が急激に変わり絵柄が細かくなっても、Ｎ＋３フレームを符号化する際においても最適な符号化パラメータが設定され、極端な画質劣化を防止することができる。
【００６５】
本実施例の場合の様に、フレームレートが低い場合であって、絵柄が急激に変化し、絵柄が細かくなる画像に対しても、伝送対象の前の伝送対象ではないＮ＋２フレームの符号化結果に基づいて、Ｎ＋３フレームの解像度を下げて１画素当たりに割当てる情報量を増やすので、伝送する情報量を所定の伝送レートに抑えつつ、最適な符号化パラメータを決定して最適な画質を維持することが可能となる。
【００６６】
また、入力画像と入力画像を符号化する際の局部復号画像により演算して求められたＳＮ比を画像符号化装置１から復号装置に送信することにより、画像符号化装置１は復号装置から受信した１画素あたりの情報量も考慮した解像度（符号化パラメータの一つ）を決定することができる。
上記例においては、Ｎ〜Ｎ＋４フレームのすべてのフレームにおいて、ＭＰＥＧ−２やＨ．２６４で規定された、フレーム内予測およびフレーム間予測で符号化を行うインターピクチャとして符号化を行う場合について説明したが、例えばＮ＋３フレームをフレーム内予測のみを行うイントラピクチャとして符号化を行ってもよい。この場合には、Ｎ＋３フレームの解像度を決定するために符号化を行うＮ＋１およびＮ＋２フレームもイントラピクチャとして符号化を行うものとする。
【００６７】
実施の形態２．
以上の実施の形態１では、入力された画像のうち伝送対象であって符号化対象のフレームの符号化パラメータ（例えば解像度）を伝送対象であって符号化対象のフレームの直前の伝送対象ではないフレームを符号化した符号化結果に基づいて決定する例について説明した。次に、実施の形態２では、動き探索の初期探索点の候補に、伝送対象であって符号化対象のフレームの直前の符号化対象ではないフレームを符号化した際の同じ位置のブロックの動きベクトルを使用する例について説明する。
【００６８】
実施の形態２における構成図は、実施の形態１の図１と同じである。
ただし、実施の形態２における構成は、解像度制御部２と解像度決定部５の有無に関係なく適用できる。
【００６９】
図５は、実施の形態２における符号化の際の動き探索の説明図である。
図５を用いて、実施の形態２における符号化の際の動き探索の初期探索点として伝送対象ではない直前のフレームを符号化した際の動きベクトルを使用する例について説明する。
図５で示す伝送対象フレームは、伝送対象であって符号化対象のフレームである。また、既に符号化の終了した符号化対象の直前のフレームは、伝送対象ではないフレームであり、伝送対象であって符号化対象のフレームの直前のフレームである。
【００７０】
例えば、図５で示す符号化対象フレームが図３で示すＮ＋３フレームであり、図５で示す既に符号化を行った符号化対象の直前のフレームが図３で示すＮ＋２フレームとする。
符号化部３は、符号化制御部６からの指示により、伝送対象ではないＮ＋２フレームの符号化を行う際に、Ｎフレームを動き探索の参照フレームとして符号化を行い、各ブロックの動きベクトルを一時的に記憶する。
【００７１】
図１の符号化制御部６は、符号化部３に対して、伝送対象ではないＮ＋１フレーム、Ｎ＋２フレームに対しても符号化を行うように指示する。
そして、符号化部３が、符号化制御部６からの指示により、伝送対象であるＮ＋３フレームの符号化を行う際に、所定のブロックにおいて動き探索の初期探索を行う時に、既に符号化を行った直前のＮ＋２フレームの同じブロックの位置の動きベクトルを候補の一つとして使用する。
【００７２】
Ｎ＋３フレームの符号化を行う際に、伝送対象ではないＮ＋１およびＮ＋２フレームに対して符号化を行わなければ、Ｎ＋２フレームの動きベクトルの代わりに、前の伝送対象であって符号化対象のＮフレーム内の同じ位置のブロックの動きベクトルを使用することになる。そうすると、ＮフレームからＮ＋３フレームまでの絵柄が大きく変化した場合、動きベクトルの精度が低下する可能性が高い。
図１の符号化部３が、符号化制御部６からの指示により、伝送対象ではないＮ＋２フレームを符号化することによって、その符号化結果である各ブロックの動きベクトルを一時的に記憶し、Ｎ＋３フレームを符号化する際に所定のブロックの動き探索の初期探索点として、直前の伝送対象ではないフレーム（Ｎ＋２フレーム）の符号化結果である同じ位置のブロックの動きベクトルを使用することで、Ｎフレームの動きベクトルを使用するよりも精度の高い動きベクトルを使用した動き探索を行うことができる。
【００７３】
このように符号化を行うことにより、図３の例えば伝送対象フレームＮフレームからＮ＋３フレームまでの絵柄が大きく変化した場合でも、Ｎ＋３フレームの符号化の際の動き探索の初期探索において、Ｎ＋２フレームを符号化した際の同じブロック位置の動きベクトルを使用し、そのＮ＋２フレームを符号化した際の同じブロック位置の動きベクトルは、Ｎ＋２フレームより前の伝送対象であるＮフレームを動き探索の参照フレームとした符号化結果であるため、動きベクトルの精度を上げることができる。
【００７４】
上記の例では、符号化部３がＮ＋２フレームを符号化した時の各ブロックの動きベクトルを一時的に記憶するとして説明したが、Ｎ＋２フレームのすべてのブロックの動きベクトルの平均値、或いは、動きベクトルの大きさ毎の分布をとり、発生頻度の高い動きベクトルを一時的に記憶し、Ｎ＋３フレームの符号化の動き探索の初期探索時に使用するようにしてもよい。
このようにすることで、１つの動きベクトルを記憶しておくだけで、Ｎ＋３フレームの符号化の動きベクトルの精度を上げることができるので、記憶容量を削減することができる。
【００７５】
また、実施の形態１に示した解像度制御部５を設けると、フレームレートが低い場合にも、符号化対象であり伝送対象のフレームの解像度を変換して、直前のフレームを符号化した際の動きベクトルを使用して符号化するので、動きベクトルの精度を上げることができる。
【００７６】
符号化対象であり伝送対象のフレームの解像度を変換して、直前のフレームを符号化した際の動きベクトルを使用して符号化した場合には、符号化部３が、解像度変換に関する情報をユーザーデータとして符号化ビットストリームに多重して送信制御部４に出力し、送信制御部４は符号化ビットストリームを復号装置へ送信する。復号装置はこのユーザーデータに含まれる解像度変換に関する情報をもとに解像度変換を行い、もとの解像度に戻す処理を行うことができる。
【００７７】
実施の形態３．
以上の実施の形態２では、伝送対象であり符号化対象のフレームの符号化を行う際に、直前のフレームであり伝送対象ではないフレームを符号化した際の例えば同じ位置のブロックの動きベクトルを初期探索点として使用する例について説明した。次に、実施の形態３では、伝送対象であって符号化対象の前のフレームであり伝送対象ではないフレームを符号化した符号化結果である発生情報量に基づいて、伝送対象であって符号化対象のフレームの初期量子化パラメータ値を求める例について説明する。
【００７８】
図６は、符号化の際の量子化パラメータ値の算出方法に関して示す図である。
図６に示す様に、伝送対象であるＮフレームに対して、符号化を行った時の量子化パラメータ値の平均値をＱａｖｅ（Ｎ）、発生情報量をＩ（Ｎ）とする。
また、フレーム全体に対してＱａｖｅ（Ｎ）を使用して、Ｎ＋１フレームに対して符号化を行った時の発生情報量をＩ（Ｎ＋１）、Ｎ＋２フレームに対して符号化を行った時の発生情報量をＩ（Ｎ＋２）とする。
【００７９】
その時、伝送対象であって符号化対象であるＮ＋３フレームに対して符号化を行う際の初期量子化パラメータ値Ｑｉｎｉ（Ｎ＋３）を以下のように求める。
Ｑｉｎｉ（Ｎ＋３）＝ｆ（Ｑａｖｅ（Ｎ），Ｉ（Ｎ），Ｉ（Ｎ＋１），Ｉ（Ｎ＋２））
関数ｆは、発生情報量Ｉの増減分に応じて、Ｑａｖｅ（Ｎ）を増減させるような単純なものでもよい。
【００８０】
図１の符号化制御部６は、符号化部３に対して図３で示す伝送対象ではないＮ＋１フレーム、Ｎ＋２フレームに対しても符号化を行うように指示する。
そして、符号化制御部６は、符号化部３が伝送対象であるＮ＋３フレームの符号化を行う際に、上記式の様に前の伝送対象のＮフレームを符号化したときの量子化パラメータ値の平均値と、Ｎフレーム、Ｎ＋１フレーム、およびＮ＋２フレームの符号化結果である発生情報量に基づいて、Ｎ＋３フレームの初期量子化パラメータ値Ｑｉｎｉ（Ｎ＋３）を求める。
そして、符号化部３は、符号化制御部６からの指示により、伝送対象であって符号化対象のＮ＋３フレームの符号化を行う際に、上記式の初期量子化パラメータ値Ｑｉｎｉ（Ｎ＋３）を用いて符号化を行う。
【００８１】
伝送対象ではないＮ＋１フレーム、Ｎ＋２フレームの符号化を行わなければ、Ｎ＋３フレームの符号化の際の初期量子化パラメータ値を求めるには前の伝送対象であって符号化対象であったＮフレームの符号化結果である発生情報量に基づいて行うしかない。そうすると、ＮフレームとＮ＋３フレームとの間で絵柄が急激に変化していた場合には、適切な初期量子化パラメータ値が得られないことになる。
【００８２】
本実施の形態３のように、符号化部３が、符号化制御部６からの指示により、伝送対象ではないＮ＋１フレーム、Ｎ＋２フレームの符号化を行うことで、伝送対象であって符号化対象のＮ＋３フレームの初期量子化パラメータ値も、伝送対象ではないフレームの符号化結果に基づいて求める事ができる。
【００８３】
このように、伝送対象であって符号化対象のＮ＋３フレームの符号化を行う際に、前の伝送対象であって符号化対象のＮフレームに対して符号化を行ったときの量子化パラメータ値の平均と発生情報量（Ｉ（Ｎ））、および、伝送対象ではない前のフレーム（Ｎ＋１フレーム、Ｎ＋２フレーム）を符号化した符号化結果である発生情報量（Ｉ（Ｎ＋１），Ｉ（Ｎ＋２））に基づいて初期量子化パラメータ値を求める。そして、Ｎ＋３フレームを符号化する際にその初期量子化パラメータ値によって符号化を行うことにより、フレームを間引いて符号化する場合に於いて、符号化対象のフレーム間で絵柄が急激に変化した場合にも、最適な初期量子化パラメータ値を設定するため、１フレーム全体を均一な画質で符号化することができる。
【符号の説明】
【００８４】
１  画像符号化装置、２  解像度制御部、３  符号化部、４  送信制御部、５  解像度決定部、６  符号化制御部。
【図１】
2014096744.tif 000003
【図２】
2014096744.tif 000004
【図３】
2014096744.tif 000005
【図４】
2014096744.tif 000006
【図５】
2014096744.tif 000007
【図６】
2014096744.tif 000008
【図７】
2014096744.tif 000009