(57)【要約】【課題】復号画像の画質劣化を防止した情報処理装置、情報処理方法、及びプログラムを提供すること。【解決手段】画像データに対して時間方向階層符号化を行う情報処理装置において、時間方向階層符号化対象の画像の前記画像データに基づいて、前記画像に対する動きベクトルを取得する動き探索部と、前記動きベクトルに基づいて、時間方向階層符号化対象の画像群が静止シーンであるか否かを判定する静止判定部と、前記画像群が静止シーンであると判定されたとき、前記画像群に含まれる前記画像のイントラ予測の符号化コストにオフセット値を加算する加算部と、前記オフセット値が加算されたイントラ予測の符号化コストに基づいて、前記画像群に含まれる前記画像の予測画像をインター予測により生成するインター予測モードを選択する予測モード判定部と、前記予測画像の画像データを利用して、前記画像群に含まれる前記画像の前記画像データに対して符号化処理を行う符号化処理部とを備える。【選択図】図２
2019201388.tif 000002
【特許請求の範囲】
【請求項１】
画像データに対して時間方向階層符号化を行う情報処理装置において、
時間方向階層符号化対象の画像の前記画像データに基づいて、前記画像に対する動きベクトルを取得する動き探索部と、
前記動きベクトルに基づいて、時間方向階層符号化対象の画像群が静止シーンであるか否かを判定する静止判定部と、
前記画像群が静止シーンであると判定されたとき、前記画像群に含まれる前記画像のイントラ予測の符号化コストにオフセット値を加算する加算部と、
前記オフセット値が加算されたイントラ予測の符号化コストに基づいて、前記画像群に含まれる前記画像の予測画像をインター予測により生成するインター予測モードを選択する予測モード判定部と、
前記予測画像の画像データを利用して、前記画像群に含まれる前記画像の前記画像データに対して符号化処理を行う符号化処理部と
を備える情報処理装置。
【請求項２】
更に、前記画像が、時間方向階層符号化におけるピクチャの符号化順及び参照関係を表す単位において最も浅い階層のピクチャに対応する画像であるか否かを判定するピクチャ位置判定部を備え、
前記動き探索部は、前記画像が前記最も浅い階層のピクチャに対応する画像であるときに、前記画像に対する動きベクトルを取得し、前記静止判定部は、該動きベクトルに基づいて前記画像群が静止シーンであるか否かを判定することを特徴とする請求項１記載の情報処理装置。
【請求項３】
更に、前記画像群が静止シーンと判定されたとき、「０」より大きい前記オフセット値を計算し、前記画像群が静止シーンでないと判定されたとき、前記オフセット値を「０」にするイントラコスト調整部を備えることを特徴とする請求項１記載の情報処理装置。
【請求項４】
前記動き探索部は、インター予測により前記予測画像を生成し、時間方向階層符号化対象の前記画像と前記予測画像とに基づいて、前記画像の前記予測画像に対する差分絶対値和を計算し、
前記イントラコスト調整部は、前記差分絶対値和に基づいて前記オフセット値を計算することを特徴とする請求項３記載の情報処理装置。
【請求項５】
前記動き探索部は、前記画像内の予測ブロック単位で、前記差分絶対値和を計算し、
前記イントラコスト調整部は、前記差分絶対値和に基づいて、前記オフセット値を計算することを特徴とする請求項４記載の情報処理装置。
【請求項６】
前記画像群は、時間方向階層符号化におけるＳＯＰ（Structure Of Pictures）に含まれる複数の画像であり、
前記動き探索部は、前記ＳＯＰにおいて、ＴＩＤ（Temporally Identification）が時間方向階層符号化対象の前記画像と同じ階層となっている１又は複数ＳＯＰ前の複数画像と時間方向階層符号化対象の前記画像との前記差分絶対値和、又は符号化順が前記時間方向階層符号化対象と同じ複数ＳＯＰ前の複数画像と時間方向階層符号化対象の前記画像との前記差分絶対値和を計算し、
前記イントラコスト調整部は、前記差分絶対値和の平均値に基づいて、前記オフセット値を計算することを特徴とする請求項４記載の情報処理装置。
【請求項７】
前記画像群は、時間方向階層符号化におけるＳＯＰ（Structure Of Pictures）に含まれる複数の画像であり、
前記動き探索部は、前記ＳＯＰにおいて、ＴＩＤ（Temporally Identification）が「０」の複数画像と、時間方向階層符号化対象の前記画像との前記差分絶対値和を計算し、
前記イントラコスト調整部は、前記差分絶対値和の平均値に基づいて、前記オフセット値を計算することを特徴とする請求項４記載の情報処理装置。
【請求項８】
動き探索部と、静止判定部と、加算部と、予測モード判定部と、符号化処理部とを有し、画像データに対して時間方向階層符号化を行う情報処理装置における情報処理方法であって、
前記動き探索部により、時間方向階層符号化対象の画像の前記画像データに基づいて、前記画像に対する動きベクトルを取得し、
前記静止判定部により、前記動きベクトルに基づいて、時間方向階層符号化対象の画像群が静止シーンであるか否かを判定し、
前記加算部により、前記画像群が静止シーンであると判定されたとき、前記画像群に含まれる前記画像のイントラ予測の符号化コストにオフセット値を加算し、
前記予測モード判定部により、前記オフセット値が加算されたイントラ予測の符号化コストに基づいて、前記画像群に含まれる前記画像の予測画像をインター予測により生成するインター予測モードを選択し、
前記符号化処理部により、前記予測画像の画像データを利用して、前記画像群に含まれる前記画像の前記画像データに対して符号化処理を行う
ことを特徴とする情報処理方法。
【請求項９】
画像データに対して時間方向階層符号化を行う情報処理装置のコンピュータで実行されるプログラムであって、
時間方向階層符号化対象の画像の前記画像データに基づいて、前記画像に対する動きベクトルを取得し、
前記動きベクトルに基づいて、時間方向階層符号化対象の画像群が静止シーンであるか否かを判定し、
前記画像群が静止シーンであると判定されたとき、前記画像群に含まれる前記画像のイントラ予測の符号化コストにオフセット値を加算し、
前記オフセット値が加算されたイントラ予測の符号化コストに基づいて、前記画像群に含まれる前記画像の予測画像をインター予測により生成するインター予測モードを選択し、
前記予測画像の画像データを利用して、前記画像群に含まれる前記画像の前記画像データに対して符号化処理を行う
処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【０００２】
現在、ビデオカメラやＤＶＤ（Digital Versatile Disk）レコーダなど、画像の圧縮符号化技術を用いた製品が広く流通している。また、画像の圧縮符号化に関する分野では、圧縮符号化の効率化や画質などを更に向上させるべく、次世代の圧縮符号化技術について活発な議論が行われている。
【０００３】
圧縮符号化技術については、例えば、ＩＳＯ／ＩＥＣ（International Organization for Standardization/International Electrotechnical Commission）による標準規格として、ＩＳＯ／ＩＥＣ  ２３００８−２（又はＩＴＵ−Ｔ（International Telecommunication Union Telecommunication Standardization Sector）  Ｈ．２６５  “Ｈｉｇｈ  ｅｆｆｉｃｉｅｎｃｙ  ｖｉｄｅｏ  ｃｏｄｉｎｇ”）（以下、「ＨＥＶＣ」と称する場合がある。）がある。ＨＥＶＣでは、４Ｋ（＝３８４０×２１６０画素）画像や、８Ｋ（＝７６８０×４３２０画素）画像に対する符号化方式などを規定している。
【０００４】
ＨＥＶＣなどの符号化方式では、１画面（又はピクチャ）内で、イントラ予測モードとインター予測モードの２種類の予測モードをブロック単位に切り替えることができる。ここで、イントラ予測モードは、例えば、既に符号化済の現在の符号化対象ピクチャ内から画素を空間方向に予測するモードである。また、インター予測モードは、例えば、既に符号化済の符号化対象ピクチャとは別のピクチャから画像を時間方向に予測するモードである。予測モードの選択については、例えば、以下がある。すなわち、符号化装置では、符号化対象画像と予測画像との画素単位での差分絶対値和ＳＡＤ（Sum of Absolute Difference）によるコストをイントラ予測モードによる場合とインター予測モードによる場合の２つを計算し、コストの少ない方の予測モードを選択する。
【０００５】
ＨＥＶＣ規格に関して、日本では、ＡＲＩＢ（Association of Radio Industries and Businesses：電波産業会）  ＳＴＤ−Ｂ３２として規定されている。ＡＲＩＢ  ＳＴＤ−Ｂ３２では、時間方向階層符号化について規定している。時間方向階層符号化は、例えば、Ｂ（Bidirectionally Predictive Picture）ピクチャを参照ピクチャとして用い、階層的な構造で、時間軸方向（又は時間方向、或いは時間スケーラビリティ）において符号化を行う符号化方式である。
【０００６】
図７は、ＡＲＩＢ  ＳＴＤ−Ｂ３２で規定される時間方向階層符号化のＳＯＰ（Structure Of Pictures）の例を表す図である。ＳＯＰとは、例えば、時間方向階層符号化を行う場合に、各ＡＵ（Access Unit）の符号化順及び参照関係を記述する単位となる。図７の場合、１６枚のピクチャで１つのＳＯＰとなる。
【０００７】
図７において、縦軸はＴＩＤ（Temporary Identification）、横軸は表示順序を表す。また、「Ｉ」はＩ（Intra）ピクチャ、「Ｐ」はＰ（Predictive）ピクチャ、「Ｂ」はＢピクチャをそれぞれ表す。
【０００８】
符号化装置では、例えば、表示順序で「−１」のピクチャを符号化した後、時間的に１５ピクチャ離れた表示順序「１５」のピクチャ（ＴＩＤ＝０のピクチャ）を符号化する。次に、符号化装置は、中間のピクチャを、順次、双方向予測で符号化する。図７において、Ｂピクチャに示す添え字は、符号化（または復号）の順番を表している。
【０００９】
符号化装置では、ＡＲＩＢ規格に準拠した６０Ｈｚサブストリーム（ＴＩＤ＝０〜３）と、残りの１２０Ｈｚサブストリーム（ＴＩＤ＝６）とを１つのビットストリームとして伝送することが可能である。復号装置は、１６枚のピクチャのうち、図７に示す点線で囲まれた、ＴＩＤ＝０〜３までのピクチャを復号することで、１秒間で６０枚のフレーム（６０Ｈｚ）を再生することできる。また、復号装置は、図１２に示す一点鎖線で囲まれた、ＴＩＤ＝０〜３，６のピクチャを全て復号することで、１秒間で１２０枚のフレーム（１２０Ｈｚ）を再生することができる。
【００１０】
このように、時間方向階層符号化は、１つの符号化器で、１２０Ｈｚと６０Ｈｚの２つのフレームレートの映像データを送信できるなどの利点がある。
【００１１】
圧縮符号化技術に関して、例えば、以下がある。すなわち、入力画像信号と予測画像信号との差分絶対値和ＳＡＤによるコストを計算して予測モードを選択し、イントラ予測モードの際、予測方向を考慮した第一直交変換とＤＣＴ係数による第二直交変換の２種類の直交変換部により直交変換を行う動画像符号化装置がある。
【００１２】
この技術によれば、イントラ予測の予測モードに関して２種類の直交変換部によるハードウェア構成となるため、イントラ予測における９種類の予測モードそれぞれに対応した専用のハードウェアを設けることがなくなり、回路規模の増加を防ぐことができる、とされる。
【００１３】
また、スライス境界付近で最適な動きベクトルを選択できるか否かを推定し、推定結果に基づいて、符号化構造をＴＩＤ＝０、ＴＩＤ＝０，１、ＴＩＤ＝０〜２、ＴＩＤ＝０〜３で夫々構成されるＳＯＰ構造のいずれかに適応的に決定する映像符号化装置がある。
【００１４】
この技術によれば、スライス境界付近において動きベクトルの選択に制約がある符号化方法を使用する場合に、画質劣化を抑制することができる、とされる。
【００１５】
さらに、局所復号画像における画素値のヒストグラム（各画素値の出現頻度）を算出し、算出されたヒストグラムから符号化歪みに伴うノイズが重畳している画素を特定し、ノイズが重畳している画素の画素値を補正して符号化する端末装置がある。
【００１６】
この技術によれば、ヒストグラムが疎になるスクリーンコンテンツ（ＰＣ（Personal Computer）等の画面に表示された動画像を記録したコンテンツ）の局所復号画像に生じる符号化歪を十分に低減することができる、とされる。
【００１７】
さらに、第１及び第２の符号化ブロックサイズ候補における第１及び第２のブロックサイズ候補コストとコスト比較オフセット値とに基づいて、符号化対象ピクチャの符号化ブロックサイズ候補を第１又は第２のブロック候補サイズのいずれかに決定する映像符号化装置がある。
【００１８】
この技術によれば、符号化効率を低下させずに演算量の削減を行うことができる、とされる。
【先行技術文献】
【特許文献】
【００１９】
【特許文献１】特開２０１５−１０９６９５号公報
【特許文献２】特開２０１７−１０３６２２号公報
【特許文献３】特開２０１５−１７７２９４号公報
【特許文献４】特開２０１７−２８３３７号公報
【発明の概要】
【発明が解決しようとする課題】
【００２０】
圧縮符号化技術を用いた符号化装置においては、カメラ装置（又は撮像装置）で撮像された画像に対して圧縮符号化を行う場合がある。しかし、画像には、カメラ装置に起因するランダムノイズが含まれる場合がある。このため、ランダムノイズに対して、ローパスフィルタなどによるノイズ除去フィルタを用いてノイズを低減させる場合がある。しかし、８Ｋ画像などの超高精細映像に対してノイズ除去フィルタを適用すると、ノイズは低減されるものの品質の良くないぼけた画像となってしまい、画質が劣化する場合がある。
【００２１】
ランダムノイズが含まれる画像であって、かつ、静止シーンの画像に対して圧縮符号化を行う場合、符号化装置は、予測モードとして、イントラ予測を選択する場合がある。その理由について以下説明する。
【００２２】
上述した２種類の直交変換部を用いて直交変換を行う技術で記載するように、符号化装置においては、以下の式（１）を用いて、インター予測モードによるコストとイントラ予測モードによるコストとを計算して、コストの低い予測モードを選択する場合がある。
【００２３】
Ｃｏｓｔ＝画素差分絶対値和ＳＡＤ＋λ×ｂｉｔ  ・・・（１）
式（１）において、例えば、λはスケーリングパラメータ、ｂｉｔは動きベクトルの符号量をそれぞれ表す。
【００２４】
インター予測モードの場合、符号化装置では、既に符号化が終了したピクチャをそのまま利用して、動きベクトル分ずらす処理を行って、予測画像を生成する。そのため、入力画像にランダムノイズが含まれる場合、インター予測モードによる予測画像にもランダムノイズが含まれる。入力画像にランダムノイズが含まれ、予測画像にもランダムノイズが含まれる場合、その差分絶対値和ＳＡＤを計算すると、非常に大きな数値となる。従って、ランダムノイズが含まれ、かつ静止シーンの場合、インター予測モードによるコスト（式（１））は、非常に大きな数値となる。
【００２５】
一方、イントラ予測モードの場合、符号化装置では、同一ピクチャ内の近傍画素の画素値に対して、平均化処理などを行って、予測画像を生成する。そのため、入力画像にランダムノイズが含まれても、平均化処理などによって、ランダムノイズの無い予測画像が生成される。この場合、その差分絶対値和ＳＡＤを計算すると、インター予測モードよりも低い数値となる。
【００２６】
従って、ランダムノイズが含まれ、かつ静止シーンの場合、イントラ予測モードによるコスト（式（１））は、（イントラ予測モードによるコスト）＜（インター予測モードによるコスト）、となる。よって、符号化装置では、静止シーンであるにも拘わらず、イントラ予測モードにより予測画像を生成し、符号化処理を行う場合がある。
【００２７】
ランダムノイズが含まれ、かつ、静止シーンの入力画像に対して、イントラ予測モードにより符号化処理が行われた符号化データを復号すると、上述したように、平均化処理などによって、ランダムノイズが少なくなった又は消失した画像を得る。
【００２８】
したがって、このような場合に、符号化装置において、イントラ予測モードにより符号化処理を行うと、入力画像に忠実な復号画像を得ることができない場合がある。よって、符号化装置において、ランダムノイズが含まれ、かつ、静止シーンの入力映像に対して、イントラ予測モードを選択すると、画質が劣化する場合がある。
【００２９】
また、時間方向階層符号化においても、例えば図７に示すように、Ｂ１〜Ｂ１５の中間ピクチャは、ＴＩＤ＝０のＩピクチャを参照したり、Ｉピクチャを参照したＢピクチャを参照したりする関係となっている。イントラ予測モードで生成されたＩピクチャを参照したＢ１〜Ｂ１５の中間ピクチャは、イントラ予測モードによりランダムノイズが消失した画像をコピーして予測画像を生成することから、これらの画像もランダムノイズが消失した画像となる場合がある。従って、時間方向階層符号化においても、画質が劣化する場合がある。
【００３０】
上述したいずれも技術についても、このような画質劣化に対する対応策は示唆されていない。
【００３１】
そこで、１つの側面では、復号画像の画質劣化を防止した情報処理装置、情報処理方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【００３２】
１つの態様では、画像データに対して時間方向階層符号化を行う情報処理装置において、時間方向階層符号化対象の画像の前記画像データに基づいて、前記画像に対する動きベクトルを取得する動き探索部と、前記動きベクトルに基づいて、時間方向階層符号化対象の画像群が静止シーンであるか否かを判定する静止判定部と、前記画像群が静止シーンであると判定されたとき、前記画像群に含まれる前記画像のイントラ予測の符号化コストにオフセット値を加算する加算部と、前記オフセット値が加算されたイントラ予測の符号化コストに基づいて、前記画像群に含まれる前記画像の予測画像をインター予測により生成するインター予測モードを選択する予測モード判定部と、前記予測画像の画像データを利用して、前記画像群に含まれる前記画像の前記画像データに対して符号化処理を行う符号化処理部とを備える。
【発明の効果】
【００３３】
１つの側面では、復号画像の画質劣化を防止することができる。
【図面の簡単な説明】
【００３４】
【図１】図１は情報処理装置の構成例を表す図である。
【図２】図２はイントラ及びインター判定部の構成例を表す図である。
【図３】図３は動作例を表すフローチャートである。
【図４】図４は動作例を表すフローチャートである。
【図５】図５は符号化装置のハードウェア構成例を表す図である。
【図６】図６は情報処理装置の構成例を表す図である。
【図７】図７は時間方向階層符号化におけるＳＯＰの構造例を表す図である。
【発明を実施するための形態】
【００３５】
以下、本実施の形態について図面を参照して詳細に説明する。本明細書における課題及び実施例は一例であり、本願の権利範囲を限定するものではない。そして、各実施の形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、本明細書で使用している用語や記載した技術的内容は、ＩＳＯ／ＩＥＣなど、画像の圧縮符号化に関する規格として規格書に記載された用語や技術的内容が適宜用いられてもよい。
【００３６】
［第１の実施の形態］
＜情報処理装置（又は符号化装置）の構成例＞
図１は、本第１の実施の形態における情報処理装置１００の構成例を表す図である。図１では、情報処理装置の一例として、符号化装置の構成例を表している。以下では、情報処理装置を、符号化装置と称する場合がある。
【００３７】
符号化装置１００は、例えば、入力画像の画像データに対して、ＨＥＶＣの規定に従う圧縮符号化処理を行う。具体的には、符号化装置１００は、例えば、ＡＲＩＢ  ＳＴＤ−Ｂ３２などに規定された時間方向階層符号処理を行う。符号化装置１００は、入力画像の画像データに対して、時間階層符号化処理を行うことで、第１のフレームレートで再生される際に利用される第１の階層（例えば、ＴＩＤ＝６）の符号化データを生成する。また、符号化装置１００は、第１のフレームレートよりも低い第２のフレームレートで再生される際に利用される第２の階層（例えば、ＴＩＤ＝０〜３）の符号化データを生成する。符号化装置１００は、２つの階層の符号化データを、例えば、１つのビットストリームにまとめて復号装置へ送信できる。
【００３８】
符号化装置１００は、減算部１０１、直交変換部１０２、レート制御部１０３、量子化部１０４、エントロピー符号化部１０５、逆量子化部１０６、逆直交変換部１０７、復号画像生成部１０８、ループフィルタ１０９、復号画像記録部１１０を備える。また、符号化装置１００は、ピクチャ位置判定部１１１、動き探索部１１２、イントラ及びインター判定部１２０を備える。イントラ及びインター判定部１２０は、インターコスト計算部１２１、イントラコスト計算部１２２、予測モード判定部１２３を含む。
【００３９】
減算部１０１は、入力画像の画像データに対して、イントラ及びインター判定部１２０から出力された予測画像の画像データを減算し、差分画像の画像データを生成する。予測画像としては、イントラ予測モードで生成された予測画像と、インター予測モードで生成された予測画像がある。減算部１０１は、差分画像の画像データを直交変換部１０２へ出力する。
【００４０】
なお、動画像のことを「映像」と称したりする場合もあるが、以下においては、「画像」と「映像」とを区別しないで用いる場合がある。また、「画像」と「画像データ」とを区別しないで用いる場合がある。
【００４１】
直交変換部１０２は、差分画像の画像データに対して、例えば、ＴＵ（Transform Unit）単位で整数変換を行い、周波数領域への画像データへ変換する。直交変換部１０２は、整数変換後の差分画像を量子化部１０４へ出力する。
【００４２】
レート制御部１０３は、動き探索部１１２から出力された動き情報に基づいて、量子化ステップなどを含む量子化パラメータを決定する。レート制御部１０３は、量子化パラメータを量子化部１０４へ出力する。
【００４３】
量子化部１０４は、整数変換後の差分画像の画像データに対して、量子化パラメータに含まれる量子化ステップで除算した量子化値を算出する。量子化部１０４は、このような量子化処理を、ＴＵ単位で行う。量子化部１０４は、算出した量子化値をエントロピー符号化部１０５と逆量子化部１０６へ出力する。
【００４４】
エントロピー符号化部１０５は、ＣＡＢＡＣ（Context-Adaptive Binary Arithmetic Coding：コンテキスト適応方２値算術符号化方式）による算術符号化方式を利用して、量子化値などを符号化する。エントロピー符号化部１０５は、符号化後の画像データを出力する。
【００４５】
符号化後の画像データは、例えば、ＩＦ（Interface）処理部などへ出力される。ＩＦ処理部において、符号化後の画像データを、６０Ｈｚサブストリーム（ＴＩＤ＝０〜３）と残りの１２０Ｈｚサブストリーム（ＴＩＤ＝６）とを含むビットストリームとして、復号装置へ送信される。
【００４６】
なお、符号化処理部として、減算部１０１、直交変換部１０２、量子化部１０４、及びエントロピー符号化部１０５が含まれてもよい。
【００４７】
逆量子化部１０６は、量子化値に対して、量子化部１０４で用いた量子化ステップを乗算等することで、量子化値となる前の整数変換後の画像データを算出する。
【００４８】
逆直交変換部１０７は、逆量子化部１０６から出力された画像データに対して、逆整数変換処理を行うことで、整数変換前の差分画像を生成する。
【００４９】
復号画像生成部１０８は、逆直交変換部１０７から出力された差分画像と、予測モード判定部１２３から出力された予測画像とを加算し、復号画像を生成する。復号画像生成部１０８は、生成した復号画像をループフィルタ１０９へ出力する。
【００５０】
ループフィルタ１０９は、復号画像に対して、例えば、符号化歪みを低減するフィルタリング処理を行う。ループフィルタ１０９は、フィルタリング処理された復号画像を復号画像記録部１１０に記録する。
【００５１】
復号画像記録部１１０は、例えば、メモリである。復号画像記録部１１０は、例えば、図７に示す参照関係による予測画像を生成できるようにするため、複数ピクチャ分の復号画像を記録することが可能である。
【００５２】
ピクチャ位置判定部１１１は、例えば、入力画像（又は符号化対象画像）が、時間方向階層符号化におけるピクチャの符号化順及び参照関係を表す単位において最も浅い階層（ＴＩＤ＝０）のピクチャに対応する画像であるか否かを判定する。すなわち、ピクチャ位置判定部１１１は、入力画像がＳＯＰ内において最も浅い階層（ＴＩＤ＝０）に含まれるピクチャに対応する画像か否かを判定する。詳細については動作例で説明する。ピクチャ位置判定部１１１は、入力画像と判定結果とを動き探索部１１２へ出力する。
【００５３】
動き探索部１１２は、復号画像記録部１１０から読み出した復号画像と、ピクチャ位置判定部１１１から出力された入力画像とに基づいて、動きベクトルなどの動き情報を取得する。例えば、動き探索部１１２は、入力画像を符号化対象画像とし、復号画像と参照画像として、図７に示す参照関係を利用して、動きベクトルなどを取得する。この場合、動き探索部１１２は、予測ブロック（例えばＰＢ（Prediction Block）。以下、単に「ブロック」と称する場合がある。）サイズ単位で、符号化対象画像と参照画像とのブロックマッチング処理を行って、動きベクトルを取得する。
【００５４】
インターコスト計算部１２１は、動き探索部１１２から受け取った入力画像に対して、動き探索部１１２で取得した動きベクトル分ずらしたインター予測画像を生成する。例えば、インターコスト計算部１２１は、ＰＢサイズ単位で、インター予測画像を生成する。
【００５５】
また、インターコスト計算部１２１は、入力画像と、生成したインター予測画像とに基づいて、２つの画像の画素差分絶対値和ＩｎｔｅｒＳＡＤを計算する。例えば、インターコスト計算部１２１は、以下の式（２）を用いて、ＩｎｔｅｒＳＡＤを計算する。
【００５６】
ＩｎｔｅｒＳＡＤ＝Σ｜ＯｒｇＰｉｘｅｌ−ＰｒｅｄＰｉｘｅｌ｜  ・・・（２）
式（２）において、ＯｒｇＰｉｘｅｌは入力画像の各画素の画素値、ＰｒｅｄＰｉｘｅｌはインター予測画像の各画素の画素値をそれぞれ表す。
【００５７】
そして、インターコスト計算部１２１は、例えば、以下の式（３）を用いて、インター予測画像のコストＩｎｔｅｒＣｏｓｔを計算する。
【００５８】
ＩｎｔｅｒＣｏｓｔ＝ＩｎｔｅｒＳＡＤ＋λ×ｉｎｔｅｒ＿ｂｉｔ  ・・・（３）
式（３）において、λはスケーリングパラメータを表し、ｉｎｔｅｒ＿ｂｉｔは予測情報（動きベクトルやＰＢサイズなど）に関する符号量をそれぞれ表す。
【００５９】
例えば、インターコスト計算部１２１は、内部メモリに式（２）と式（３）、及びλを保持し、処理の際に内部メモリから式（２）と式（３）を読み出して、各画素値などを代入することで、ＩｎｔｅｒＳＡＤやＩｎｔｅｒＣｏｓｔを計算する。
【００６０】
なお、ＩｎｔｅｒＳＡＤの計算は、例えば、動き探索部１１２で行われてもよい。この場合、インターコスト計算部１２１は、生成したインター予測画像を動き探索部１１２へ出力し、動き探索部１１２は、インター予測画像と入力画像とに基づいて、内部メモリに記憶した式（２）を利用して、ＩｎｔｅｒＳＡＤを計算する。動き探索部１１２は、計算したＩｎｔｅｒＳＡＤをインターコスト計算部１２１へ出力し、インターコスト計算部１２１は、式（３）を利用してＩｎｔｅｒＣｏｓｔを計算する。
【００６１】
また、ＩｎｔｅｒＳＡＤやＩｎｔｅｒＣｏｓｔ、ＩｎｔｒａＣｏｓｔの計算は、例えば、ブロック単位で行われてよい。
【００６２】
インターコスト計算部１２１は、ＩｎｔｅｒＣｏｓｔと、生成したインター予測画像とを予測モード判定部１２３へ出力する。
【００６３】
イントラコスト計算部（又は加算部）１２２は、復号画像生成部１０８から出力された復号画像に基づいて、イントラ予測画像を生成する。例えば、イントラコスト計算部１２２は、予測対象となるブロックに隣接する既に符号化済みの復号画像の画素値に対して、平均化処理や平滑化処理などにより、空間予測を行って、イントラ予測画像を生成する。例えば、イントラコスト計算部１２２は、ＰＢサイズ単位で、イント予測画像を生成する。
【００６４】
また、イントラコスト計算部１２２は、入力画像とイントラ予測画像との画素差分絶対値和ＩｎｔｒａＳＡＤを計算する。例えば、イントラコスト計算部１２２は、以下の式（４）を用いて、ＩｎｔｒａＳＡＤを計算する。
【００６５】
ＩｎｔｒａＳＡＤ＝Σ｜ＯｒｇＰｉｘｅｌ−ＰｒｅｄＰｉｘｅｌ｜  ・・・（４）
式（４）において、ＯｒｇＰｉｘｅｌは入力画像の各画素の画素値、ＰｒｅｄＰｉｘｅｌはイントラ予測画像の各画素の画素値をそれぞれ表す。
【００６６】
そして、イントラコスト計算部１２２は、例えば、以下の式（５）を用いて、イントラ予測画像のコストＩｎｔｒａＣｏｓｔを計算する。
【００６７】
ＩｎｔｒａＣｏｓｔ＝ＩｎｔｒａＳＡＤ＋λ×ｉｎｔｒａ＿ｂｉｔ  ・・・（５）
式（５）において、ｉｎｔｒａ＿ｂｉｔは予測情報（ＰＢサイズなど）に関する符号量を表す。
【００６８】
なお、本第１の実施の形態では、ＳＯＰが静止シーンと判定されたときは、イントラコスト計算部１２２では、ＳＯＰ内の全ピクチャに対して、式（５）に示すＩｎｔｒａＣｏｓｔにＯＦＦＳＥＴ値（＞０）を加算する。これにより、符号化装置１００では、予測モードの選択の際に、ＩｎｔｅｒＣｏｓｔ＜ＩｎｔｒａＣｏｓｔ＋ＯＦＦＳＥＴ値、となり、ＳＯＰ内では、イントラ予測画像ではなくインター予測画像を選択して、符号化処理を行うことができる。詳細は動作例で説明する。そのため、イントラコスト計算部１２２は、例えば、ＩｎｔｒａＣｏｓｔにＯＦＦＳＥＴ値を加算する加算部であってもよい。
【００６９】
例えば、イントラコスト計算部１２２は、式（４）と式（５）、及びλを内部メモリに記憶し、処理の際に内部メモリから式（４）と式（５）を読み出して、各画素値などを代入することで、ＩｎｔｒａＳＡＤやＩｎｔｒａＣｏｓｔを計算する。
【００７０】
予測モード判定部１２３は、インターコスト計算部１２１から出力されたＩｎｔｅｒＣｏｓｔと、イントラコスト計算部１２２から出力されたＩｎｔｒａＣｏｓｔとを比較して、小さい方の予測モードを選択する。すなわち、予測モード判定部１２３は、ＩｎｔｅｒＣｏｓｔ＜ＩｎｔｒａＣｏｓｔの場合、インター予測モードを選択し、インターコスト計算部１２１から出力されたインター予測画像を減算部１０１へ出力する。また、予測モード判定部１２３は、ＩｎｔｅｒＣｏｓｔ＞ＩｎｔｒａＣｏｓｔの場合、イントラ予測モードを選択して、イントラコスト計算部１２２から出力されたイントラ予測画像を減算部１０１へ出力する。
【００７１】
本第１の実施の形態では、入力画像が静止シーンと判定されたとき、ＩｎｔｒａＣｏｓｔにＯＦＦＳＥＴ値が加算されるため、ＩｎｔｅｒＣｏｓｔ＜ＩｎｔｒａＣｏｓｔ＋ＯＦＦＳＥＴ値となり、予測モード判定部１２３は、インター予測モードを選択する。
【００７２】
予測モード判定部１２３は、選択した予測モードの予測画像を減算部１０１へ出力する。
【００７３】
＜イントラ及びインター判定部の構成例＞
図２は、イントラ及びインター判定部１２０の構成例を表す図である。なお、図２では、動き探索部１１２が、インターコスト計算部１２１からインター予測画像を受け取り、ＩｎｔｅｒＳＡＤを計算する場合の例を示している。
【００７４】
図２に示すように、イントラ及びインター判定部１２０は、更に、動き情報格納部１２５、静止判定部１２６、イントラコスト調整部１２７を備える。
【００７５】
動き情報格納部１２５は、例えば、メモリであって、動き探索部１１２から出力された動き情報（例えば、動きベクトルとＩｎｔｅｒＳＡＤ）を記憶する。
【００７６】
静止判定部１２６は、動き情報に基づいて、ＳＯＰが静止シーンか否かを判定する。ここで、静止判定部１２６がＳＯＰに対して静止シーンか否かを判定するのは、例えば、以下の理由による。
【００７７】
すなわち、図７に示すように、ＳＯＰにおいてＴＩＤ＝０のピクチャ（例えば、Ｐ，Ｂ０の各ピクチャ）は、表示順序で１５ピクチャ前のＩピクチャ又はＰピクチャを参照して符号化される。ＴＩＤ＝０のピクチャは、ＳＯＰ内の他のピクチャと比較して、参照距離が最も長いピクチャである。ＳＯＰ内において時間的に連続しているＳＯＰ内の各ピクチャにおいて、ＴＩＤ＝０のピクチャが静止シーンであるとき、それ以外の中間ピクチャ（Ｂ１ピクチャからＢ１５ピクチャ）が、動シーン（又は対象物が動いているようなシーン。以下、「動シーン」と称する場合がある。）の可能性は低く、静止シーンの可能性の方が高い。そのため、静止判定部１２６では、ＴＩＤ＝０のピクチャに対して静止シーンであるか否かを判定し、中間ピクチャに対して判定を行わないようにしている。
【００７８】
静止判定部１２６は、例えば、ＴＩＤ＝０のピクチャの動きベクトルに基づいて、静止シーンか否かを判定できる。具体的には、静止判定部１２６は、以下の処理を行う。
【００７９】
すなわち、静止判定部１２６は、ＴＩＤ＝０のピクチャのブロックごとの動きベクトル（ｘｉ，ｙｉ）（ｉ＝１〜ピクチャ内のＰＢ数）を動き情報格納部１２５から読み出し、その平均（ｍｖｘ，ｍｖｙ）を計算する。そして、静止判定部１２６は、動きベクトルの平均と静止判定閾値Ｓｔｉｌｌ＿Ｔｈと比較する。静止判定部１２６は、｜ｍｖｘ＋ｍｖｙ｜＜Ｓｔｉｌｌ＿Ｔｈのとき、ＳＯＰは静止シーンと判定し、そうでないとき、ＳＯＰは静止シーンではない（動シーンである）と判定する。このように、静止判定部１２６では、ＴＩＤ＝０のピクチャの動きベクトルに基づいて、ＳＯＰ全体が静止シーンであるか否かを判定している。
【００８０】
図２に戻り、静止判定部１２６は、判定結果と、動き情報格納部１２５から読み出したＩｎｔｅｒＳＡＤとをイントラコスト調整部１２７へ出力する。
【００８１】
イントラコスト調整部１２７は、ＳＯＰが静止シーンと判定された判定結果を得たとき、「０」よりも大きいＯＦＦＳＥＴ値（又はオフセット値）を計算する。イントラコスト調整部１２７は、例えば、ＩｎｔｅｒＳＡＤに基づいてＯＦＦＳＥＴ値を計算してもよいし、内部メモリに記憶した固定値をＯＦＦＳＥＴ値としてもよい。
【００８２】
固定値とする場合は、例えば、ＩｎｔｅｒＣｏｓｔ＜ＩｎｔｒａＣｏｓｔ＋ＯＦＦＳＥＴ値、となるような値である。予測モード判定部１２３で、インター予測モードが選択されるようにするためである。
【００８３】
イントラコスト調整部１２７において、ＩｎｔｅｒＳＡＤに基づいてＯＦＦＳＥＴ値を計算する場合は、例えば、以下の３つがある。
【００８４】
すなわち、１つ目は、ブロック単位で統計値を適応制御させる場合である。具体的には、動き探索部１１２では、式（２）を用いて、ブロック（例えばＰＢ）単位でＩｎｔｅｒＳＡＤを計算し、イントラコスト調整部１２７は、ブロック単位のＩｎｔｅｒＳＡＤに基づいて、ＯＦＦＳＥＴ値を計算する。すなわち、イントラコスト調整部１２７は、ＯＦＦＳＥＴ値＝ＩｎｔｅｒＳＡＤ×ｋ（ｋ＞０）として、ＩｎｔｅｒＣｏｓｔ＜ＩｎｔｒａＣｏｓｔ＋ＯＦＦＳＥＴ値を満たすＯＦＦＳＥＴ値を計算する。ｋは、例えば、調整係数である。例えば、入力映像にランダムノイズが含まれる場合、上述したようにＩｎｔｅｒＳＡＤは、ＩｎｔｒａＳＡＤと比較して、高い値となる。従って、ＩｎｔｅｒＣｏｓｔ＜ＩｎｔｒａＣｏｓｔ＋ＩｎｔｅｒＳＡＤ×ｋとなる可能性が高くなる。
【００８５】
２つ目は、ピクチャ単位で統計値を適応制御させる場合である。具体的には、イントラコスト調整部１２７は、符号化済の同種の（例えば、図７に示すＳＯＰにおいて、同じＴＩＤ又は符号化順が同じ）ピクチャのＩｎｔｅｒＳＡＤの平均値に基づいてＯＦＦＳＥＴ値を算出する。
【００８６】
例えば、動き探索部１１２は、ブロック単位のＩｎｔｅｒＳＡＤを、１画像分、計算し、イントラコスト調整部１２７は、計算結果を１ピクチャ内のブロック数で平均化した平均ＩｎｔｅｒＳＡＤに基づいて、ＯＦＦＳＥＴ値を計算してもよい。
【００８７】
また、例えば、符号化対象がＴＩＤ＝２の２つのＢピクチャ（Ｂ４とＢ１２）に対応する画像のとき、イントラコスト調整部１２７は、動き探索部１１２において計算された１〜数ＳＯＰ前の２つのＢピクチャ（Ｂ４とＢ１２）のＩｎｔｅｒＳＡＤに対して、それらを平均化した平均ＩｎｔｅｒＳＡＤに基づいて、ＯＦＦＳＥＴ値を計算してもよい。
【００８８】
さらに、例えば、イントラコスト調整部１２７は、符号化対象がＴＩＤ＝２のＢ４ピクチャのとき、動き探索部１１２において計算された数ＳＯＰ前の複数のＢ４ピクチャのＩｎｔｅｒＳＡＤに対して、それらを平均化した平均値ＩｎｔｅｒＳＡＤに基づいて、計算してもよい。
【００８９】
いずれの場合も、イントラコスト調整部１２７は、ＯＦＦＳＥＴ値＝平均ＩｎｔｅｒＳＡＤ×ｋとして、ＩｎｔｅｒＣｏｓｔ＜ＩｎｔｒａＣｏｓｔ＋ＯＦＦＳＥＴ値を満たすＯＦＦＳＥＴ値を計算する。
【００９０】
３つ目は、ＳＯＰ単位で統計値を適応制御させる場合である。例えば、イントラコスト調整部１２７は、ＴＩＤ＝０の平均ＩｎｔｅｒＳＡＤを用いて、ＳＯＰの中間ピクチャにおけるＯＦＦＳＥＴ値を計算する。すなわち、イントラコスト調整部１２７は、ＯＦＦＳＥＴ値＝（ＴＩＤ＝０の平均ＩｎｔｅｒＳＡＤ）×ｋとし、ＩｎｔｅｒＣｏｓｔ＜ＩｎｔｒａＣｏｓｔ＋ＯＦＦＳＥＴ値を満たす、ＯＦＦＳＥＴ値を計算する。ＴＩＤ＝０の平均ＩｎｔｅｒＳＡＤは、ＳＯＰ内において最も距離が遠いことから、ＳＯＰ内の中間ピクチャにおいて、上限となり得る。また、ＴＩＤ＝０でインター予測モードとなったピクチャは、ＳＯＰ内のどのピクチャでもインター予測モードとなり、ムラがない。以上の観点から、ＴＩＤ＝０の平均ＩｎｔｅｒＳＡＤを用いて、ＯＦＦＳＥＴ値を計算する例である。
【００９１】
イントラコスト調整部１２７は、計算したＯＦＦＳＥＴ値をイントラコスト計算部１２２へ出力する。なお、イントラコスト調整部１２７は、ＳＯＰが静止シーンではないという判定結果を得たときは、ＯＦＦＳＥＴ値を「０」にする。
【００９２】
イントラコスト計算部１２２は、上述したように、イントラ予測画像のコストＩｎｔｒａＣｏｓｔを計算するが、静止判定部１２６において、ＳＯＰが静止シーンと判定されたとき、ＯＦＦＳＥＴ値を加算したＩｎｔｒａＣｏｓｔを計算する。すなわち、イントラコスト計算部１２２は、
ＩｎｔｒａＣｏｓｔ＝ＩｎｔｒａＳＡＤ＋λ×ｉｎｔｒａ＿ｂｉｔ＋ＯＦＦＳＥＴ値  ・・・（６）
を計算する。例えば、イントラコスト計算部１２２は、イントラコスト調整部１２７からＯＦＦＳＥＴ値を入力したとき、内部メモリから式（６）を読み出して、式（６）にＯＦＦＳＥＴ値とＩｎｔｒａＳＡＤとを代入することで、ＩｎｔｒａＣｏｓｔを計算する。或いは、イントラコスト計算部１２２は、例えば、式（４）と式（５）を計算して、式（５）の結果にＯＦＦＳＥＴ値を加算してもよい。イントラコスト計算部１２２は、イントラ予測画像と、加算後のＩｎｔｒａＣｏｓｔを予測モード判定部１２３へ出力する。
【００９３】
予測モード判定部１２３は、上述したように、イントラコスト計算部１２２から出力されたＩｎｔｒａＣｏｓｔと、インターコスト計算部１２１から出力されたＩｎｔｅｒＣｏｓｔとを比較して、低いコストの予測モードを選択する。ＳＯＰが静止シーンと判定されたとき、イントラコスト調整部１２７において、ＯＦＦＳＥＴ値が加算されたＩｎｔｒａＣｏｓｔが計算されるため、予測モード判定部１２３では、ＩｎｔｅｒＣｏｓｔ＜ＩｎｔｒａＣｏｓｔ（＋ＯＦＦＳＥＴ値）、と判定する。従って、静止シーンの場合、予測モード判定部１２３は、インター予測を選択し、その予測画像を減算部１０１へ出力する。
【００９４】
＜動作例＞
図３は動作例を表すフローチャートである。
【００９５】
符号化装置１００は、処理を開始すると（Ｓ１０）、ＳＯＰ内の各ピクチャに対して、Ｓ１２からＳ２５までの処理を繰り返す（Ｓ１１）。
【００９６】
すなわち、符号化装置１００は、入力画像について、ＳＯＰ内のピクチャ位置を取得する（Ｓ１２）。例えば、ピクチャ位置判定部１１１は、入力画像の画像データを入力すると、入力画像の画像数（又はピクチャ数）をカウントし、そのカウント値を取得することで、ＳＯＰ内のピクチャ位置を取得する。例えば、ピクチャ位置判定部１１１は、カウント値が「１」のとき、入力画像はＴＩＤ＝０のピクチャ（例えばＢ０）と判定し、カウント値が「２」から「１５」のときはＴＩＤ＝１〜３，６のピクチャと判定する。この場合、ピクチャ位置判定部１１１は、例えば、ＳＯＰ内のピクチャ数が「１６」となっているため、カウント値が「１６」になると、「１」にリセットされる。
【００９７】
次に、符号化装置１００は、入力画像が最も浅い階層位置のピクチャか否かを判定する（Ｓ１３）。例えば、ピクチャ位置判定部１１１は、カウント値が「１」のピクチャを、ＳＯＰ内において最も浅い階層位置（ＴＩＤ＝０）のピクチャと判定し（Ｓ１３でＹＥＳ）、それ以外のカウント値であったピクチャを最も浅い階層位置のピクチャではないと判定する（Ｓ１３でＮＯ）。
【００９８】
符号化装置１００は、入力画像が最も浅い階層位置のピクチャであると判定したとき（Ｓ１３でＹＥＳ）、ブロック（例えばＰＢ）ごとに、Ｓ１５からＳ１６を繰り返す。
【００９９】
すなわち、符号化装置１００は、復号画像記録部１１０から読み出した復号画像に対して、所定のブロック単位で、動き探索を行い、動き情報を取得する（Ｓ１５）。例えば、符号化装置１００では、以下の処理を行う。
【０１００】
すなわち、動き探索部１１２は、入力画像と復号画像とに基づいて動き情報を取得し、動きベクトルをインターコスト計算部１２１へ出力する。インターコスト計算部１２１は、動きベクトルと復号画像とに基づいてインター予測モードによる予測画像を生成し、動き探索部１１２へ出力する。動き探索部１１２は、入力画像と予測画像とに基づいて、式（２）を利用して、ＩｎｔｅｒＳＡＤを計算する。
【０１０１】
次に、符号化装置１００は、動き情報を動き情報格納部１２５へ格納する（Ｓ１６）。例えば、動き探索部１１２は、ＩｎｔｅｒＳＡＤと動きベクトルとを動き情報として、動き情報格納部１２５へ格納する。符号化装置１００では、ＴＩＤ＝０と判定した入力画像に対して、動き探索を実行して（Ｓ１５）、動き情報を動き情報格納部１１２へ格納する（Ｓ１６）ようにしている。
【０１０２】
符号化装置１００は、動き探索（Ｓ１５）と動き情報の格納（Ｓ１６）をブロック単位で行い、ピクチャ内の全ブロックについて、Ｓ１５とＳ１６の処理を終了すると（Ｓ１７）、Ｓ１８の処理へ移行する。
【０１０３】
Ｓ１８において、符号化装置１００は、動き情報に基づいて、入力画像（又はＳＯＰ）が静止領域（又は静止シーン）か否かを判定する（Ｓ１８）。例えば、符号化装置１００は、以下の処理を行う。
【０１０４】
すなわち、静止判定部１２６は、動き情報格納部１２５から、ＴＩＤ＝０のピクチャの動きベクトルを読み出し、その平均値（ｍｖｘ，ｍｖｙ）を計算する。そして、静止判定部１２６は、｜ｍｖｘ＋ｍｖｙ｜＜Ｓｔｉｌｌ＿Ｔｈを満たすとき、ＳＯＰは静止シーンと判定し（Ｓ１８でＹＥＳ）、そうでないときＳＯＰは静止シーンではないと判定する（Ｓ１８でＮＯ）。
【０１０５】
符号化装置１００は、静止領域と判定したとき（Ｓ１８でＹＥＳ）、イントラコストのＯＦＦＳＥＴ値（＞０）を計算する（Ｓ１９）。例えば、イントラコスト調整部１２７は、内部メモリから固定値を読み出して、ＯＦＦＳＥＴ値としたり、既に符号化済のピクチャのうちＳＯＰにおいて同じＴＩＤレベルのピクチャのＩｎｔｅｒＳＡＤとの平均値をＯＦＦＳＥＴ値としたりしてもよい。
【０１０６】
そして、符号化装置１００は、Ｓ２０の処理へ移行する。
【０１０７】
一方、符号化装置１００は、入力画像（又はＳＯＰ）が静止領域ではないと判定したとき（Ｓ１８でＮＯ）、イントラコストのＯＦＦＳＥＴ値＝０にする（Ｓ２１）。
【０１０８】
一方、符号化装置１００は、入力画像が最も浅い階層位置のピクチャではないとき（Ｓ１３でＮＯ）、Ｓ１４からＳ１９，図４のＳ２１の処理を行うことなく、Ｓ２０の処理へ移行する。
【０１０９】
Ｓ２０では、符号化装置１００は、入力画像の予測ブロック（例えばＰＢ）ごとに、Ｓ２１からＳ２４までの処理を繰り返す。
【０１１０】
すなわち、符号化装置１００は、イントラコスト（ＩｎｔｒａＣｏｓｔ）を計算する（Ｓ２１）。例えば、イントラコスト計算部１２２は、式（６）を用いて、ＩｎｔｒａＣｏｓｔを計算する。上述したように、ＯＦＦＳＥＴ値の計算は、固定値を用いたり、平均ＩｎｔｅｒＳＡＤを用いたりしてもよい。
【０１１１】
次に、符号化装置１００は、イントラ予測モード又はインター予測モードの判定を行う（Ｓ２２）。例えば、静止シーンの場合、予測モード判定部１２３では、ＩｎｔｒａＣｏｓｔにＯＦＦＳＥＴ値が加算されているため、ＩｎｔｅｒＣｏｓｔ＜ＩｎｔｒａＣｏｓｔ、と判定して、インター予測モードを選択する。
【０１１２】
次に、符号化装置１００は、判定した予測モードで符号化処理を行う（Ｓ２３）。例えば、静止シーンの場合、予測モード判定部１２３は、インター予測による予測画像を減算部１０１へ出力し、減算部１０１以降で符号化処理が行われ、エントロピー符号化部１０５からは符号化された画像データが出力される。
【０１１３】
符号化装置１００は、入力画像の全ブロックに対してＳ２１からＳ２３までの処理を繰り返す（Ｓ２０からＳ２４までのループ）と、次の入力画像を入力させて、Ｓ１１からＳ２４までの処理を行う。符号化装置１００は、これを、ＳＯＰ内の全ピクチャ分の入力画像に対して行う（Ｓ１１からＳ２４までのループ）。
【０１１４】
そして、符号化装置１００は、一連の処理を終了する（Ｓ２８）。
【０１１５】
本第１の実施の形態では、ＴＩＤ＝０のピクチャについて、例えば、ＳＯＰ内でＩピクチャとして符号化処理される入力画像であっても、静止シーンと判定されたときは、インター予測モードで予測画像が生成され、符号化される。或いは、ＴＩＤ＝０の全ピクチャは、静止シーンと判定されたときは、インター予測モードで予測画像が生成され、符号化される。
【０１１６】
上述したように、符号化装置１００では、インター予測の場合、参照画像をそのまま用いて予測画像を生成するのに対して、イントラ予測の場合、符号化済の画素の画素値に対して平均化処理などを行って予測画像を生成している。従って、インター予測画像の方がイントラ予測画像よりも、入力画像のランダムノイズが補正されず、そのまま残った状態の予測画像を得ることができる。
【０１１７】
したがって、符号化装置１００では、入力画像にランダムノイズが含まれる場合でも、インター予測モードで予測画像を生成しているため、イントラ予測画像と比較して、ランダムノイズが残った符号化データを得ることが可能となる。このような符号化データを、復号装置で復号したとき、イントラ予測モードと比較して、入力画像のランダムノイズが残った復号画像を得ることが可能となる。このような符号化処理は、入力画像に忠実な符号化処理と言える。
【０１１８】
或いは、本第１の実施の形態では、符号化装置１００は、ＴＩＤ＝０、かつ、Ｉｎｔｅｒピクチャ（ＢピクチャやＰピクチャ）のときだけ、一連の処理を行うようにしてもよい。この場合、符号化装置１００では、Ｉピクチャを原画レベルの画質になるまで情報量を大きくすることで、ランダムノイズが残った状態のＩピクチャを生成することができる。この場合、符号化装置１００では、Ｂピクチャに対する情報量の割り当てが削られることになるが、インター予測モードで符号化を行うことで、Ｉピクチャのランダムノイズをコピーすることが可能となり、ランダムノイズが残った状態のＢピクチャを生成することが可能となる。
【０１１９】
また、符号化装置１００では、ＳＯＰ内の中間ピクチャ（ＴＩＤ＝１〜３，６）に対して、このように符号化されたＴＩＤ＝０のピクチャを参照して、インター予測により予測画像を生成する。そのため、中間ピクチャであっても、イントラ予測モードと比較して、入力画像のランダムノイズが残った復号画像を得ることが可能となる。
【０１２０】
さらに、入力画像が８Ｋ画像などの超高精細画像の場合、画像のエッジ部分も鮮明である。このような入力画像に対して、本符号化装置１００では、ＳＯＰ内の全ピクチャに対して、インター予測モードにより符号化を行うため、イントラ予測モードの場合と比較して、エッジ部分の鮮明さも残った復号画像を得ることができる。
【０１２１】
他方、入力画像にランダムノイズが含まれ、動シーンの場合、ピクチャ前後での動きベクトルの大きさは、静止シーンと比較して大きくなる。このような状況で、２つのコスト計算部１２１，１２２でＩｎｔｅｒＣｏｓｔとＩｎｔｒａＣｏｓｔを計算すると、ＳＡＤも動きベクトル符号量もインター予測画像の方が、イントラ予測画像よりも大きくなる場合がある。よって、ＩｎｔｅｒＣｏｓｔ＞ＩｎｔｒａＣｏｓｔとなって、予測モード判定部１２３は、イントラ予測モードを選択する可能性が高い。インター予測モードでは、ブロック単位で動きベクトルを探索するが、動シーンの場合、入力画像と復号画像との違いが大きいことから、動きベクトルが精度よく見つからない場合もある。このような状況で、インター予測モードが選択されると、画質が劣化する場合もある。本符号化装置１００では、動シーンの場合、コスト計算により、イントラ予測モードを選択するため、このような画質劣化を防止することができる。
【０１２２】
以上から、本第１の実施の形態の符号化装置１００は、画質の劣化を防止することが可能となる。
【０１２３】
なお、本符号化装置１００では、ＴＩＤ＝０のピクチャをインター予測モードで予測画像を生成するようにしても、中間ピクチャにおける参照関係は、例えば、図７に示す関係が維持される。
【０１２４】
［その他の実施の形態］
図５は、符号化装置１００のハードウェア構成例を表す図である。
【０１２５】
符号化装置１００は、ＣＰＵ（Central Processing Unit）１５０、メモリ１５１、モニタ１５２、ＲＯＭ（Read Only Memory）１５３、ＲＡＭ（Random Access Memory）１５４、及びＩＦ（Interface）１５５を備える。
【０１２６】
ＣＰＵ１５０は、ＲＯＭ１５３に記憶されたプログラムを読み出して、ＲＡＭ１５４にロードし、ロードしたプログラムを実行する。この実行により、ＣＰＵ１５０は、減算部１０１、直交変換部１０２、レート制御部１０３、量子化部１０４、エントロピー符号化部１０５、逆量子化部１０６、逆直交変換部１０７、復号画像生成部１０８、ループフィルタ１０９の機能を実現する。また、この実行により、ＣＰＵ１５０は、ピクチャ位置判定部１１１、動き探索部１１２、イントラ及びインター判定部１２０の機能を実現する。したがって、ＣＰＵ１５０は、例えば、減算部１０１、直交変換部１０２、レート制御部１０３、量子化部１０４、エントロピー符号化部１０５、逆量子化部１０６、逆直交変換部１０７、復号画像生成部１０８、ループフィルタ１０９に対応する。また、ＣＰＵ１５０は、例えば、ピクチャ位置判定部１１１、動き探索部１１２、イントラ及びインター判定部１２０に対応する。
【０１２７】
モニタ１５２は、ＣＰＵ１５０の制御により、入力画像を表示したりする。
【０１２８】
メモリ１５１は、例えば、復号画像記録部１１０と動き情報格納部１２５に対応し、また、式（２）から式（６）、及びλを記憶する。
【０１２９】
ＩＦ１５５は、ＣＰＵ１５０から受け取った符号化データを、復号装置へ送信可能なフォーマットに変換し、変換後のビットストリームを復号装置へ送信する。
【０１３０】
なお、ＣＰＵ１５０に代えて、ＭＰＵ（Micro Processing Unit）やＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）などのコントローラやプロセッサであってもよい。
【０１３１】
図６は情報処理装置１００の構成例を表す図である。
【０１３２】
情報処理装置１００は、画像データに対して、時間方向階層符号化を行う。情報処理装置１００は、動き探索部１１２、静止判定部１２６、加算部１２２、予測モード判定部１２３、及び符号化処理部１６０を備える。
【０１３３】
動き探索部１１２は、時間方向階層符号化対象の画像の画像データに基づいて、画像に対する動きベクトルを取得する。
【０１３４】
静止判定部１２６は、動きベクトルに基づいて、時間方向階層符号化対象の画像群が静止シーンであるか否かを判定する。
【０１３５】
加算部１２２は、画像群が静止シーンであると判定されたとき、画像群に含まれる画像のイントラ予測の符号化コストにオフセット値を加算する。
【０１３６】
予測モード判定部１２３は、オフセット値が加算されたイントラ予測の符号化コストに基づいて、画像群に含まれる画像の予測画像をインター予測により生成するインター予測モードを選択する。
【０１３７】
符号化処理部１６０は、予測画像の画像データを利用して、画像群に含まれる画像の画像データに対して符号化処理を行う。
【０１３８】
このように、情報処理装置１００においては、画像群が静止シーンと判定すると、イントラ予測の符号化コストにオフセット値が加算されるため、予測モードとしてインター予測モードが選択される。そして、情報処理装置１００では、画像群に含まれる画像に対してインター予測により予測画像を生成して、符号化処理を行う。
【０１３９】
符号化装置１００において、イントラ予測モードが選択されると、符号化済の画素の画素値を平均化するなどして予測画像の画素の画素値を得る。そのため、符号化装置１００では、入力画像にランダムノイズが含まれても、ランダムノイズが少ない又は消失した符号化データを得る。この場合、符号化データを復号しても、復号画像は、入力画像とは異なりランダムノイズが少ない又は消失した画像となる。
【０１４０】
これに対して、本情報処理装置１００では、インター予測モードで予測画像を生成する。インター予測モードでは、情報処理装置１００は、ランダムノイズを含む復号画像をそのまま用いて予測画像を生成するため、ランダムノイズが残った符号化データを得ることが可能となる。このような符号化データを復号装置で復号しても、ランダムノイズが残った、入力画像に忠実な復号画像を得ることができる。
【０１４１】
このように、情報処理装置１００では、静止シーンの場合、イントラ予測モードではなく、インター予測モードを選択するため、入力画像に忠実な符号化データを得ることができる。従って、情報処理装置１００では、画質の劣化を防止することが可能となる。
【０１４２】
以上まとめると付記のようになる。
【０１４３】
（付記１）
画像データに対して時間方向階層符号化を行う情報処理装置において、
時間方向階層符号化対象の画像の前記画像データに基づいて、前記画像に対する動きベクトルを取得する動き探索部と、
前記動きベクトルに基づいて、時間方向階層符号化対象の画像群が静止シーンであるか否かを判定する静止判定部と、
前記画像群が静止シーンであると判定されたとき、前記画像群に含まれる前記画像のイントラ予測の符号化コストにオフセット値を加算する加算部と、
前記オフセット値が加算されたイントラ予測の符号化コストに基づいて、前記画像群に含まれる前記画像の予測画像をインター予測により生成するインター予測モードを選択する予測モード判定部と、
前記予測画像の画像データを利用して、前記画像群に含まれる前記画像の前記画像データに対して符号化処理を行う符号化処理部と
を備える情報処理装置。
【０１４４】
（付記２）
更に、前記画像が、時間方向階層符号化におけるピクチャの符号化順及び参照関係を表す単位において最も浅い階層のピクチャに対応する画像であるか否かを判定するピクチャ位置判定部を備え、
前記動き探索部は、前記画像が前記最も浅い階層のピクチャに対応する画像であるときに、前記画像に対する動きベクトルを取得し、前記静止判定部は、該動きベクトルに基づいて前記画像群が静止シーンであるか否かを判定することを特徴とする付記１記載の情報処理装置。
【０１４５】
（付記３）
前記最も浅い階層のピクチャは、時間方向階層符号化におけるＳＯＰ（Structure Of Pictures）において、ＴＩＤ（Temporally Identification）が「０」のピクチャであることを特徴とする付記２記載の情報処理装置。
【０１４６】
（付記４）
更に、前記画像群が静止シーンと判定されたとき、「０」より大きい前記オフセット値を計算し、前記画像群が静止シーンでないと判定されたとき、前記オフセット値を「０」にするイントラコスト調整部を備えることを特徴とする付記１記載の情報処理装置。
【０１４７】
（付記５）
前記動き探索部は、インター予測により前記予測画像を生成し、時間方向階層符号化対象の前記画像と前記予測画像とに基づいて、前記画像の前記予測画像に対する差分絶対値和を計算し、
前記イントラコスト調整部は、前記差分絶対値和に基づいて前記オフセット値を計算することを特徴とする付記４記載の情報処理装置。
【０１４８】
（付記６）
前記動き探索部は、前記画像内の予測ブロック単位で、前記差分絶対値和を計算し、
前記イントラコスト調整部は、前記差分絶対値和に基づいて、前記オフセット値を計算することを特徴とする付記５記載の情報処理装置。
【０１４９】
（付記７）
前記動き探索部は、前記画像内の予測ブロック単位で１画像分、前記差分絶対値和を計算し、
前記イントラコスト調整部は、前記差分絶対値和を、１画像分の予測ブロック数で平均化した平均差分絶対値和に基づいて、前記オフセット値を計算することを特徴とする付記５記載の情報処理装置。
【０１５０】
（付記８）
前記画像群は、時間方向階層符号化におけるＳＯＰ（Structure Of Pictures）に含まれる複数の画像であり、
前記動き探索部は、前記ＳＯＰにおいて、ＴＩＤ（Temporally Identification）が時間方向階層符号化対象の前記画像と同じ階層となっている１又は複数ＳＯＰ前の複数画像と時間方向階層符号化対象の前記画像との前記差分絶対値和、又は符号化順が前記時間方向階層符号化対象と同じ複数ＳＯＰ前の複数画像と時間方向階層符号化対象の前記画像との前記差分絶対値和を計算し、
前記イントラコスト調整部は、前記差分絶対値和の平均値に基づいて、前記オフセット値を計算することを特徴とする付記５記載の情報処理装置。
【０１５１】
（付記９）
前記画像群は、時間方向階層符号化におけるＳＯＰ（Structure Of Pictures）に含まれる複数の画像であり、
前記動き探索部は、前記ＳＯＰにおいて、ＴＩＤ（Temporally Identification）が「０」の複数画像と、時間方向階層符号化対象の前記画像との前記差分絶対値和を計算し、
前記イントラコスト調整部は、前記差分絶対値和の平均値に基づいて、前記オフセット値を計算することを特徴とする付記５記載の情報処理装置。
【０１５２】
（付記１０）
前記イントラコスト調整部は、前記画像群が静止シーンと判定されたとき、前記画像群に含まれる全画像に対して、「０」より大きい前記オフセット値を計算し
前記加算部は、前記画像群に含まれる前記全画像のイントラ予測の符号化コストにオフセット値を加算することを特徴とする付記４記載の情報処理装置。
【０１５３】
（付記１１）
前記動き探索部は、インター予測モードで生成された予測画像に基づいて、インター予測の符号化コストを計算し、
前記予測モード判定部は、前記オフセット値が加算された前記イントラ予測の符号化コストと、前記インター予測の符号化コストとに基づいて、前記画像群に含まれる前記画像の予測画像をインター予測により生成するインター予測モードか、前記画像群に含まれる前記画像の予測画像をイントラ予測により生成するイントラ予測モードかを選択することを特徴とする付記１記載の情報処理装置。
【０１５４】
（付記１２）
動き探索部と、静止判定部と、加算部と、予測モード判定部と、符号化処理部とを有し、画像データに対して時間方向階層符号化を行う情報処理装置における情報処理方法であって、
前記動き探索部により、時間方向階層符号化対象の画像の前記画像データに基づいて、前記画像に対する動きベクトルを取得し、
前記静止判定部により、前記動きベクトルに基づいて、時間方向階層符号化対象の画像群が静止シーンであるか否かを判定し、
前記加算部により、前記画像群が静止シーンであると判定されたとき、前記画像群に含まれる前記画像のイントラ予測の符号化コストにオフセット値を加算し、
前記予測モード判定部により、前記オフセット値が加算されたイントラ予測の符号化コストに基づいて、前記画像群に含まれる前記画像の予測画像をインター予測により生成するインター予測モードを選択し、
前記符号化処理部により、前記予測画像の画像データを利用して、前記画像群に含まれる前記画像の前記画像データに対して符号化処理を行う
ことを特徴とする情報処理方法。
【０１５５】
（付記１３）
画像データに対して時間方向階層符号化を行う情報処理装置のコンピュータで実行されるプログラムであって、
時間方向階層符号化対象の画像の前記画像データに基づいて、前記画像に対する動きベクトルを取得し、
前記動きベクトルに基づいて、時間方向階層符号化対象の画像群が静止シーンであるか否かを判定し、
前記画像群が静止シーンであると判定されたとき、前記画像群に含まれる前記画像のイントラ予測の符号化コストにオフセット値を加算し、
前記オフセット値が加算されたイントラ予測の符号化コストに基づいて、前記画像群に含まれる前記画像の予測画像をインター予測により生成するインター予測モードを選択し、
前記予測画像の画像データを利用して、前記画像群に含まれる前記画像の前記画像データに対して符号化処理を行う
処理をコンピュータに実行させるプログラム。
【符号の説明】
【０１５６】
１００：情報処理装置（符号化装置）  １０１：減算部
１０２：直交変換部                  １０４：量子化部
１０５：エントロピー符号化部        １０６：逆量子化部
１０７；逆直交変換部                １０８：復号画像生成部
１１０：復号画像記録部              １１１：ピクチャ位置判定部
１２０：イントラ及びインター判定部  １２１：インターコスト計算部
１２２：イントラコスト計算部        １２３：予測モード判定部
１２５：動き情報格納部              １２６：静止判定部
１２７：イントラコスト調整部        １５０：ＣＰＵ
【図１】
2019201388.tif 000003
【図２】
2019201388.tif 000004
【図３】
2019201388.tif 000005
【図４】
2019201388.tif 000006
【図５】
2019201388.tif 000007
【図６】
2019201388.tif 000008
【図７】
2019201388.tif 000009