(57)【要約】【課題】符号化効率の低減を抑制することができるようにする。【解決手段】本開示の画像処理装置は、動き補償を行うインター予測モードの候補を、動きベクトルの精度に基づいて制御する制御部と、前記制御部により前記候補とすることを許可されたインター予測モードでのみ動き探索を行い、動きベクトルを生成する動き探索部と、前記動き探索部により動きベクトルが生成された各候補の中から選択されたインター予測モードで前記動き補償を行い、予測画像を生成する動き補償部とを備える。本開示は画像処理装置に適用することができる。【選択図】図６
2013098933.tif 000002
【特許請求の範囲】
【請求項１】
動き補償を行うインター予測モードの候補を、動きベクトルの精度に基づいて制御する制御部と、
前記制御部により前記候補とすることを許可されたインター予測モードでのみ動き探索を行い、動きベクトルを生成する動き探索部と、
前記動き探索部により動きベクトルが生成された各候補の中から選択されたインター予測モードで前記動き補償を行い、予測画像を生成する動き補償部と
を備える画像処理装置。
【請求項２】
前記制御部は、前記動きベクトルの精度が整数精度であるか分数精度であるかによって、インター予測モードを前記候補とするか否かを制御する
請求項１に記載の画像処理装置。
【請求項３】
前記制御部は、前記動きベクトルの縦と横の各方向の精度が整数精度であるか分数精度であるかによって、インター予測モードを前記候補とするか否かを制御する
請求項２に記載の画像処理装置。
【請求項４】
前記制御部は、さらに、予測モードが単予測であるか双予測であるかによって、インター予測モードを前記候補とするか否かを制御する
請求項３に記載の画像処理装置。
【請求項５】
前記制御部は、さらに、予測処理単位とする領域の大きさによって、インター予測モードを前記候補とするか否かを制御する
請求項４に記載の画像処理装置。
【請求項６】
前記制御部は、前記動きベクトルの精度に応じて決定されるメモリからのデータ読み出し量の大きさに関する情報が、リソースやユーザ指示等による上限を超えるか否かによって、インター予測モードを前記候補とするか否かを制御する
請求項１に記載の画像処理装置。
【請求項７】
前記制御部による制御の内容を示す伝送情報を生成し、伝送させる伝送部をさらに備える
請求項１に記載の画像処理装置。
【請求項８】
前記伝送部は、前記伝送情報として、プロファイルとレベルを定義し、前記プロファイルおよび前記レベルを示す情報をシーケンスパラメータセットに含めて伝送させる
請求項７に記載の画像処理装置。
【請求項９】
前記動き探索部により動きベクトルが生成された各候補について、コスト関数値を算出するコスト関数算出部と、
前記コスト関す算出部により算出された前記コスト関数値に基づいて、前記動き補償を行うインター予測モードを前記候補の中から選択するモード選択部と
をさらに備え、
前記動き補償部は、前記モード選択部により選択されたインター予測モードで前記動き補償を行う
請求項１に記載の画像処理装置。
【請求項１０】
画像処理装置の画像処理方法であって、
制御部が、動き補償を行うインター予測モードの候補を、動きベクトルの精度に基づいて制御し、
動き探索部が、前記候補とすることを許可されたインター予測モードでのみ動き探索を行い、動きベクトルを生成し、
動き補償部が、動きベクトルが生成された各候補の中から選択されたインター予測モードで前記動き補償を行い、予測画像を生成する
画像処理方法。
【請求項１１】
画像データを符号化する際のインター予測において用いられた、動き補償を行うインター予測モードの候補を動きベクトルの精度に基づいて制御する制御情報を取得する取得部と、
前記取得部により取得された前記制御情報に基づいて、前記画像データが符号化されて生成された符号化データの復号の可否判定を行う判定部と、
前記判定部による判定結果に基づいて、前記符号化データの復号を制御する制御部と
を備える画像処理装置。
【請求項１２】
前記判定部は、前記取得部により取得された前記制御情報において指定されるメモリからのデータ読み出し量の大きさに関する情報が、リソースやユーザ指示等による上限を超えるか否かによって、前記可否判定を行う
請求項１１に記載の画像処理装置。
【請求項１３】
前記判定部は、プロファイルとレベルによって定義されるメモリからのデータ読み出し量の大きさに関する情報が、リソースやユーザ指示等による上限を超えるか否かによって、前記可否判定を行う
請求項１２に記載の画像処理装置。
【請求項１４】
前記制御部は、前記判定部により復号可能と判定された場合のみ、前記符号化データの復号を実行させる
請求項１１に記載の画像処理装置。
【請求項１５】
前記判定部により復号不可能と判定された場合、前記制御部に制御されて、エラー処理を行うエラー処理部をさらに備える
請求項１１に記載の画像処理装置。
【請求項１６】
画像処理装置の画像処理方法であって、
取得部が、画像データを符号化する際のインター予測において用いられた、動き補償を行うインター予測モードの候補を動きベクトルの精度に基づいて制御する制御情報を取得し、
判定部が、取得された前記制御情報に基づいて、前記画像データが符号化されて生成された符号化データの復号の可否判定を行い、
制御部が、その判定結果に基づいて、前記符号化データの復号を制御する
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置および方法に関し、符号化効率の低減を抑制する画像処理装置および方法に関する。
【背景技術】
【０００２】
近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するMPEG（Moving Picture Experts Group）などの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及した。
【０００３】
特に、MPEG2（ISO（International Organization for Standardization）/IEC（International Electrotechnical Commission） 13818-2）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。MPEG2圧縮方式を用いることにより、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４〜８Ｍｂｐｓ、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【０００４】
MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にISO/IEC 14496-2としてその規格が国際標準に承認された。
【０００５】
更に、近年、当初テレビ会議用の画像符号化を目的として、H.26L （ITU-T（International Telecommunication Union Telecommunication Standardization Sector） Q6/16 VCEG（Video Coding Expert Group））という標準の規格化が進んでいる。H.26LはMPEG2やMPEG4といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、MPEG4の活動の一環として、このH.26Lをベースに、H.26Lではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われた。
【０００６】
標準化のスケジュールとしては、２００３年３月にはH.264及びMPEG-4 Part10 （Advanced Video Coding、以下AVCと記す）という名の元に国際標準となった。
【０００７】
更に、その拡張として、RGBや4:2:2、4:4:4といった、業務用に必要な符号化ツールや、MPEG-2で規定されていた8x8DCTや量子化マトリクスをも含んだFRExt（Fidelity Range Extension）の標準化が２００５年２月に完了し、これにより、AVCを用いて、映画に含まれるフィルムノイズをも良好に表現することが可能な符号化方式となって、Blu-Ray Disc等の幅広いアプリケーションに用いられる運びとなった。
【０００８】
しかしながら、昨今、ハイビジョン画像の４倍の、UHD（Ultra High Definition；４０００画素×２０００画素）の画像を圧縮したい、或いは、インターネットのような、限られた伝送容量の環境において、ハイビジョン画像を配信したいといった、更なる高圧縮率符号化に対するニーズが高まっている。このため、先述の、ITU-T傘下のVCEG（Video Coding Expert Group）において、符号化効率の改善に関する検討が継続され行なわれている。
【０００９】
そして、AVCより更なる符号化効率の向上を目的として、ITU-Tと、ISO/IECの共同の標準化団体であるJCTVC（Joint Collaboration Team - Video Coding）により、HEVC（High Efficiency Video Coding）と呼ばれる符号化方式の標準化が進められている（例えば、特許文献１参照）。
【００１０】
このようなAVCやHEVCにおいては、インター予測（フレーム間予測）の際に、分数精度の動き補償が行えるように動き補償フィルタ（MC（Motion Compensated）フィルタ）が用いられる。MCフィルタとして、例えばHEVCの場合、輝度成分に対して８タップのFIR（Finite Impulse Response）フィルタが用いられ、色差成分に対しては、４タップのFIRフィルタが用いられる。
【００１１】
インター予測においては、ブロックサイズ、予測モード、および動きベクトル（MV）等に基づいて、フレームメモリから符号化済み画像が参照画像として取り出され、MVの少数部に基づいてMCフィルタが適用されてインター予測画像が生成される。なお、MVは、エンコーダにおいては動き推定により、デコーダにおいてはストリーム情報から得られる。
【００１２】
分数精度のMVの場合、予測画像生成のためのMCフィルタのタップ数が大きくなる。つまり、MVが整数の場合よりも、予測画像生成に必要な参照画像の画素数は多くなる。したがって、フレームメモリからより多くの画素データを読み出さなければならない。
【００１３】
また、予測画像のある画素を生成するために読み出した参照画像の画素値は、その画素周辺の他の画素の生成にも利用できるので、一般的には、生成する予測画像のサイズが大きいほど参照画像の利用効率は高くなる。つまり、予測画像の生成に必要な参照画像の画素数は、予測画像の１画素当たりに換算すると、予測画像のサイズが大きいほど少なくなる。換言するに、予測画像のサイズが小さいほど、参照画像の利用効率は低くなり、予測画像１画素生成するために必要な参照画像の画素数が多くなる。
【００１４】
さらに、双方向予測の場合、単方向予測に比べて参照画像の数が増大する。
【００１５】
このように、読み出す参照画像のサイズが大きくなると、符号化の処理速度を維持するためには、フレームメモリとインター予測部との間のメモリ帯域もより大きく確保する必要があり、負荷が大きくなる。
【００１６】
そのため、AVCでは、レベルによってデコーダが使用するリソースに制限がかけられるようになっている。具体的には、連続する２つのマクロブロックで用いることができる動きベクトルの本数に上限が設けられている。この制限により、小さいブロックサイズのインター予測が連続して発生しないようになされている。また、８×８ブロックサイズのマクロブロックの双方向予測も禁止されている。
【先行技術文献】
【非特許文献】
【００１７】
【非特許文献１】Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Thomas Wiegand," Working Draft 4 of High-Efficiency Video Coding ", JCTVC-F803_d2, Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting: Torino, IT, 14-22 July, 2011
【発明の概要】
【発明が解決しようとする課題】
【００１８】
以上のような制限は、メモリ帯域への負荷の過剰な増大は抑制するためのものであるが、この制限により、使用できる予測モードとブロックサイズが少なくなってしまうことから、符号化効率を低減させてしまう。
【００１９】
しかしながら、従来の場合、このような制限において、動きベクトルの精度による負荷への影響は考慮されていなかった。そのため、使用できる予測モードやブロックサイズが不要に制限されてしまい、符号化効率を不要に低減させてしまう恐れがあった。
【００２０】
本開示は、このような状況に鑑みてなされたものであり、ブロックサイズや予測モードだけでなく、動きベクトルの精度も考慮して動き予測を制限することにより、符号化効率の不要な低減を抑制することを目的とする。
【課題を解決するための手段】
【００２１】
本開示の一側面は、動き補償を行うインター予測モードの候補を、動きベクトルの精度に基づいて制御する制御部と、前記制御部により前記候補とすることを許可されたインター予測モードでのみ動き探索を行い、動きベクトルを生成する動き探索部と、前記動き探索部により動きベクトルが生成された各候補の中から選択されたインター予測モードで前記動き補償を行い、予測画像を生成する動き補償部とを備える画像処理装置である。
【００２２】
前記制御部は、前記動きベクトルの精度が整数精度であるか分数精度であるかによって、インター予測モードを前記候補とするか否かを制御することができる。
【００２３】
前記制御部は、前記動きベクトルの縦と横の各方向の精度が整数精度であるか分数精度であるかによって、インター予測モードを前記候補とするか否かを制御することができる。
【００２４】
前記制御部は、さらに、予測モードが単予測であるか双予測であるかによって、インター予測モードを前記候補とするか否かを制御することができる。
【００２５】
前記制御部は、さらに、予測処理単位とする領域の大きさによって、インター予測モードを前記候補とするか否かを制御することができる。
【００２６】
前記制御部は、前記動きベクトルの精度に応じて決定されるメモリからのデータ読み出し量の大きさに関する情報が、リソースやユーザ指示等による上限を超えるか否かによって、インター予測モードを前記候補とするか否かを制御することができる。
【００２７】
前記制御部による制御の内容を示す伝送情報を生成し、伝送させる伝送部をさらに備えることができる。
【００２８】
前記伝送部は、前記伝送情報として、プロファイルとレベルを定義し、前記プロファイルおよび前記レベルを示す情報をシーケンスパラメータセットに含めて伝送させることができる。
【００２９】
前記動き探索部により動きベクトルが生成された各候補について、コスト関数値を算出するコスト関数算出部と、前記コスト関す算出部により算出された前記コスト関数値に基づいて、前記動き補償を行うインター予測モードを前記候補の中から選択するモード選択部とをさらに備え、前記動き補償部は、前記モード選択部により選択されたインター予測モードで前記動き補償を行うことができる。
【００３０】
本開示の一側面は、また、画像処理装置の画像処理方法であって、制御部が、動き補償を行うインター予測モードの候補を、動きベクトルの精度に基づいて制御し、動き探索部が、前記候補とすることを許可されたインター予測モードでのみ動き探索を行い、動きベクトルを生成し、動き補償部が、動きベクトルが生成された各候補の中から選択されたインター予測モードで前記動き補償を行い、予測画像を生成する画像処理方法である。
【００３１】
本開示の他の側面は、画像データを符号化する際のインター予測において用いられた、動き補償を行うインター予測モードの候補を動きベクトルの精度に基づいて制御する制御情報を取得する取得部と、前記取得部により取得された前記制御情報に基づいて、前記画像データが符号化されて生成された符号化データの復号の可否判定を行う判定部と、前記判定部による判定結果に基づいて、前記符号化データの復号を制御する制御部とを備える画像処理装置である。
【００３２】
前記判定部は、前記取得部により取得された前記制御情報において指定されるメモリからのデータ読み出し量の大きさに関する情報が、リソースやユーザ指示等による上限を超えるか否かによって、前記可否判定を行うことができる。
【００３３】
前記判定部は、プロファイルとレベルによって定義されるメモリからのデータ読み出し量の大きさに関する情報が、リソースやユーザ指示等による上限を超えるか否かによって、前記可否判定を行うことができる。
【００３４】
前記制御部は、前記判定部により復号可能と判定された場合のみ、前記符号化データの復号を実行させることができる。
【００３５】
前記判定部により復号不可能と判定された場合、前記制御部に制御されて、エラー処理を行うエラー処理部をさらに備えることができる。
【００３６】
本開示の他の側面は、また、画像処理装置の画像処理方法であって、取得部が、画像データを符号化する際のインター予測において用いられた、動き補償を行うインター予測モードの候補を動きベクトルの精度に基づいて制御する制御情報を取得し、判定部が、取得された前記制御情報に基づいて、前記画像データが符号化されて生成された符号化データの復号の可否判定を行い、制御部が、その判定結果に基づいて、前記符号化データの復号を制御する画像処理方法である。
【００３７】
本開示の一側面においては、動き補償を行うインター予測モードの候補が、動きベクトルの精度に基づいて制御され、その候補とすることを許可されたインター予測モードでのみ動き探索が行われて、動きベクトルが生成され、動きベクトルが生成された各候補の中から選択されたインター予測モードで動き補償が行われ、予測画像が生成される。
【００３８】
本開示の他の側面においては、画像データを符号化する際のインター予測において用いられた、動き補償を行うインター予測モードの候補を動きベクトルの精度に基づいて制御する制御情報が取得され、その取得された制御情報に基づいて、画像データが符号化されて生成された符号化データの復号の可否判定が行われ、その判定結果に基づいて、符号化データの復号が制御される。
【発明の効果】
【００３９】
本開示によれば、画像を処理することができる。特に、符号化効率の低減を抑制することができる。
【図面の簡単な説明】
【００４０】
【図１】画像符号化装置の主な構成例を示すブロック図である。
【図２】分数精度の動き予測・補償処理の例を示す図である。
【図３】コーディングユニットの構成例を説明する図である。
【図４】予測モード、ブロックサイズ、および予測精度と、参照画像の画素数との関係を示す図である。
【図５】予測モード、ブロックサイズ、および予測精度と、参照画像の画素数との関係を示す図である。
【図６】動き予測・補償部と動きベクトル制御部の主な構成例を示すブロック図である。
【図７】符号化処理の流れの例を説明するフローチャートである。
【図８】動きベクトル制御処理の流れの例を説明するフローチャートである。
【図９】インター動き予測処理の流れの例を説明するフローチャートである。
【図１０】動き予測・補償部と動きベクトル制御部の他の構成例を示すブロック図である。
【図１１】制限情報の例を示す図である。
【図１２】制限情報の他の例を示す図である。
【図１３】動きベクトル制御処理の流れの、他の例を説明するフローチャートである。
【図１４】画像復号装置の主な構成例を示すブロック図である。
【図１５】復号制御部の主な構成例を示すブロック図である。
【図１６】復号処理の流れの例を説明するフローチャートである。
【図１７】復号制御処理の流れの例を説明するフローチャートである。
【図１８】復号制御部の他の構成例を示すブロック図である。
【図１９】復号制御処理の流れの、他の例を説明するフローチャートである。
【図２０】コンピュータの主な構成例を示すブロック図である。
【図２１】テレビジョン装置の主な構成例を示すブロック図である。
【図２２】モバイル端末器の主な構成例を示すブロック図である。
【図２３】記録再生機の主な構成例を示すブロック図である。
【図２４】撮像装置の主な構成例を示すブロック図である。
【発明を実施するための形態】
【００４１】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像符号化装置）
２．第２の実施の形態（画像復号装置）
３．第３の実施の形態（コンピュータ）
４．第４の実施の形態（テレビジョン受像機）
５．第５の実施の形態（携帯電話機）
６．第６の実施の形態（記録再生装置）
７．第７の実施の形態（撮像装置）
【００４２】
＜１．第１の実施の形態＞
［画像符号化装置］
図１は、本技術を適用した画像処理装置である画像符号化装置の主な構成例を示すブロック図である。
【００４３】
図１に示される画像符号化装置１００は、例えばHEVC（High Efficiency Video Coding）符号化方式や、H．264及びMPEG（Moving Picture Experts Group）4 Part10（AVC（Advanced Video Coding））符号化方式のように、動画像の画像データを符号化する。
【００４４】
図１に示されるように画像符号化装置１００は、A/D変換部１０１、画面並べ替えバッファ１０２、演算部１０３、直交変換部１０４、量子化部１０５、可逆符号化部１０６、および蓄積バッファ１０７を有する。また、画像符号化装置１００は、逆量子化部１０８、逆直交変換部１０９、演算部１１０、ループフィルタ１１１、フレームメモリ１１２、選択部１１３、イントラ予測部１１４、動き予測・補償部１１５、予測画像選択部１１６、およびレート制御部１１７を有する。
【００４５】
さらに、画像符号化装置１００は、動きベクトル制御部１２１を有する。
【００４６】
A/D変換部１０１は、入力された画像データをA/D変換し、変換後の画像データ（デジタルデータ）を画面並べ替えバッファ１０２に供給し、記憶させる。
【００４７】
画面並べ替えバッファ１０２は、記憶した表示の順番のフレームの画像を、GOP（Group Of Picture）に応じて、符号化のためのフレームの順番に並べ替え、フレームの順番を並び替えた画像を、演算部１０３に供給する。画面並べ替えバッファ１０２は、各フレーム画像を、符号化処理の処理単位（符号化単位）となる所定の部分領域毎に演算部１０３に供給する。また、画面並べ替えバッファ１０２は、フレームの順番を並び替えた画像を、同様に部分領域毎に、イントラ予測部１１４および動き予測・補償部１１５にも供給する。
【００４８】
演算部１０３は、画面並べ替えバッファ１０２から読み出された画像から、予測画像選択部１１６を介してイントラ予測部１１４若しくは動き予測・補償部１１５から供給される予測画像を減算し、その差分情報を直交変換部１０４に出力する。例えば、イントラ符号化が行われる画像の場合、演算部１０３は、画面並べ替えバッファ１０２から読み出された画像から、イントラ予測部１１４から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部１０３は、画面並べ替えバッファ１０２から読み出された画像から、動き予測・補償部１１５から供給される予測画像を減算する。
【００４９】
直交変換部１０４は、演算部１０３から供給される差分情報に対して、離散コサイン変換やカルーネン・レーベ変換等の直交変換を施す。なお、この直交変換の方法は任意である。直交変換部１０４は、その直交変換により得られた変換係数を量子化部１０５に供給する。
【００５０】
量子化部１０５は、直交変換部１０４から供給される変換係数を量子化する。量子化部１０５は、量子化された変換係数を可逆符号化部１０６に供給する。
【００５１】
可逆符号化部１０６は、量子化部１０５において量子化された変換係数を、任意の符号化方式で符号化し、符号化データ（ビットストリーム）を生成する。係数データは、レート制御部１１７の制御の下で量子化されているので、この符号化データの符号量は、レート制御部１１７が設定した目標値となる（若しくは目標値に近似する）。
【００５２】
また、可逆符号化部１０６は、イントラ予測のモードを示す情報等を含むイントラ予測情報をイントラ予測部１１４から取得し、インター予測のモードを示す情報や動きベクトル情報などを含むインター予測情報を動き予測・補償部１１５から取得する。
【００５３】
さらに、可逆符号化部１０６は、動きベクトル制御部１２１から供給される動き予測の制限に関する情報（伝送情報）を取得する。
【００５４】
可逆符号化部１０６は、これらの各種情報を任意の符号化方式で符号化し、符号化データ（ビットストリーム）に含める（多重化する）。
【００５５】
可逆符号化部１０６は、このように生成された符号化データを蓄積バッファ１０７に供給して蓄積させる。可逆符号化部１０６の符号化方式としては、例えば、可変長符号化または算術符号化等が挙げられる。可変長符号化としては、例えば、H．264/AVC方式で定められているCAVLC（Context-Adaptive Variable Length Coding）などが挙げられる。算術符号化としては、例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）などが挙げられる。
【００５６】
蓄積バッファ１０７は、可逆符号化部１０６から供給された符号化データを、一時的に保持する。蓄積バッファ１０７は、所定のタイミングにおいて、保持している符号化データを、ビットストリームとして、例えば、後段の図示せぬ記録装置（記録媒体）や伝送路などに出力する。つまり、符号化された各種情報が、画像符号化装置１００によって画像データが符号化されて得られた符号化データを復号する装置（以下、復号側の装置とも称する）に供給される。
【００５７】
また、量子化部１０５において量子化された変換係数は、逆量子化部１０８にも供給される。逆量子化部１０８は、その量子化された変換係数を、量子化部１０５による量子化に対応する方法で逆量子化する。逆量子化部１０８は、得られた変換係数を、逆直交変換部１０９に供給する。
【００５８】
逆直交変換部１０９は、逆量子化部１０８から供給された変換係数を、直交変換部１０４による直交変換に対応する方法で逆直交変換する。逆直交変換された出力（局所的に復元された差分情報）は、演算部１１０に供給される。
【００５９】
演算部１１０は、逆直交変換部１０９から供給された逆直交変換結果、すなわち、局所的に復元された差分情報に、予測画像選択部１１６を介してイントラ予測部１１４若しくは動き予測・補償部１１５から供給される予測画像を加算し、局所的に再構成された画像（以下、再構成画像と称する）を得る。その再構成画像は、ループフィルタ１１１またはフレームメモリ１１２に供給される。
【００６０】
ループフィルタ１１１は、デブロックフィルタや適応ループフィルタ等を含み、演算部１１０から供給される復号画像に対して適宜フィルタ処理を行う。例えば、ループフィルタ１１１は、復号画像に対してデブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。また、例えば、ループフィルタ１１１は、そのデブロックフィルタ処理結果（ブロック歪みの除去が行われた復号画像）に対して、ウィナーフィルタ（Wiener Filter）を用いてループフィルタ処理を行うことにより画質改善を行う。
【００６１】
なお、ループフィルタ１１１が、復号画像に対して任意のフィルタ処理を行うようにしてもよい。また、ループフィルタ１１１は、必要に応じて、フィルタ処理に用いたフィルタ係数等の情報を可逆符号化部１０６に供給し、それを符号化させるようにすることもできる。ループフィルタ１１１は、フィルタ処理結果（以下、復号画像と称する）をフレームメモリ１１２に供給する。
【００６２】
フレームメモリ１１２は、演算部１１０から供給される再構成画像と、ループフィルタ１１１から供給される復号画像とをそれぞれ記憶する。フレームメモリ１１２は、所定のタイミングにおいて、若しくは、イントラ予測部１１４等の外部からの要求に基づいて、記憶している再構成画像を、選択部１１３を介してイントラ予測部１１４に供給する。また、フレームメモリ１１２は、所定のタイミングにおいて、若しくは、動き予測・補償部１１５等の外部からの要求に基づいて、記憶している復号画像を、選択部１１３を介して、動き予測・補償部１１５に供給する。
【００６３】
選択部１１３は、フレームメモリ１１２から出力される画像の供給先を示す。例えば、イントラ予測の場合、選択部１１３は、フレームメモリ１１２からフィルタ処理されていない画像（再構成画像）を読み出し、周辺画素として、イントラ予測部１１４に供給する。
【００６４】
また、例えば、インター予測の場合、選択部１１３は、フレームメモリ１１２からフィルタ処理された画像（復号画像）を読み出し、参照画像として、それを動き予測・補償部１１５に供給する。
【００６５】
イントラ予測部１１４は、フレームメモリ１１２から、処理対象領域の周辺に位置する周辺領域の画像（周辺画像）を取得すると、その周辺画像の画素値を用いて、基本的にプレディクションユニット（PU（Prediction Unit））を処理単位として予測画像を生成するイントラ予測（画面内予測）を行う。イントラ予測部１１４は、予め用意された複数のモード（イントラ予測モード）でこのイントラ予測を行う。
【００６６】
イントラ予測部１１４は、候補となる全てのイントラ予測モードで予測画像を生成し、画面並べ替えバッファ１０２から供給される入力画像を用いて各予測画像のコスト関数値を評価し、最適なモードを選択する。イントラ予測部１１４は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部１１６に供給する。
【００６７】
また、イントラ予測部１１４は、最適なイントラ予測モード等、イントラ予測に関する情報を含むイントラ予測情報を、適宜可逆符号化部１０６に供給し、符号化させる。
【００６８】
動き予測・補償部１１５は、画面並べ替えバッファ１０２から供給される入力画像と、フレームメモリ１１２から供給される参照画像とを用いて、基本的にPUを処理単位として、動き予測（インター予測）を行い、検出された動きベクトルに応じて動き補償処理を行い、予測画像（インター予測画像情報）を生成する。動き予測・補償部１１５は、予め用意された複数のモード（インター予測モード）でこのようなインター予測を行う。
【００６９】
なお、動き予測・補償部１１５は、動きベクトル制御部１２１の制御に従って、許可されたモードでのみ動き予測を行う。つまり、動きベクトル制御部１２１により、候補となるインター予測モードが制限される場合がある。
【００７０】
動き予測・補償部１１５は、候補となる全てのインター予測モードで予測画像を生成し、各予測画像のコスト関数値を評価し、最適なモードを選択する。動き予測・補償部１１５は、最適なインター予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部１１６に供給する。
【００７１】
また、動き予測・補償部１１５は、最適なインター予測モード等、インター予測に関する情報を含むインター予測情報を、適宜可逆符号化部１０６に供給し、符号化させる。
【００７２】
予測画像選択部１１６は、演算部１０３や演算部１１０に供給する予測画像の供給元を選択する。例えば、イントラ符号化の場合、予測画像選択部１１６は、予測画像の供給元としてイントラ予測部１１４を選択し、そのイントラ予測部１１４から供給される予測画像を演算部１０３や演算部１１０に供給する。また、例えば、インター符号化の場合、予測画像選択部１１６は、予測画像の供給元として動き予測・補償部１１５を選択し、その動き予測・補償部１１５から供給される予測画像を演算部１０３や演算部１１０に供給する。
【００７３】
レート制御部１１７は、蓄積バッファ１０７に蓄積された符号化データの符号量に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１０５の量子化動作のレートを制御する。
【００７４】
動きベクトル制御部１２１は、動き予測・補償部１１５による参照画像の読み出しについてのリソースの確保のために、動き予測・補償部１１５による動き予測のモードを制御する。つまり、動きベクトル制御部１２１は、参照画像読み出しのためにフレームメモリ１１２のメモリ帯域が不要に占有されないように、動きベクトルの生成を適宜制限する。その際、動きベクトル制御部１２１は、ブロックサイズや予測モード（予測方向）だけでなく、生成する動きベクトルの精度も考慮して制限を行う。
【００７５】
動きベクトル制御部１２１は、そのような制限内容を示す制御情報を動き予測・補償部１１５に供給する。動き予測・補償部１１５は、供給された制御情報に従って動き予測を行う。これにより、動き予測・補償部１１５は、動きベクトルの精度も考慮された制限に従って動き予測を行うことになる。
【００７６】
なお、動きベクトル制御部１２１は、この制限に関する情報を、伝送情報として可逆符号化部１０６に供給し、伝送させる。
【００７７】
［１／４画素精度動き予測］
図２は、AVC符号化方式において規定されている、１／４画素精度の動き予測・補償処理の様子の例を説明する図である。図２において、各四角は、画素を示している。その内、Ａはフレームメモリに格納されている整数精度画素の位置を示し、b,c,dは、１／２画素精度の位置を示し、e1,e2,e3は１／４画素精度の位置を示している。
【００７８】
以下においては、関数Clip1()を以下の式（１）のように定義する。
【００７９】
Clip1（a）＝
0;if(a<0)
a;otherwise
max_pix;if(a>max_pix)
・・・（１）
【００８０】
例えば、入力画像が８ビット精度である場合、式（１）のmax_pixの値は２５５となる。
【００８１】
b及びdの位置における画素値は、６tapのFIRフィルタを用いて、以下の式（２）および式（３）のように生成される。
【００８２】
F = A-2-5・A-1+20・A0+20・A1-5・A2+A3  ・・・（２）
b,d = Clip1((F+16)>>5)  ・・・（３）
【００８３】
cの位置における画素値は、水平方向及び垂直方向に６tapのFIRフィルタを適用し、以下の式（４）乃至式（６）のように生成される。
【００８４】
F = b-2-5・b-1+20・b0+20・b1-5・b2+b3  ・・・（４）
もしくは、
F = d-2-5・d-1+20・d0+20・d1-5・d2+d3  ・・・（５）
c = Clip1((F+512)>>10)  ・・・（６）
【００８５】
なお、Clip処理は、水平方向及び垂直方向の積和処理の両方を行った後、最後に１度のみ行われる。
【００８６】
e1乃至e3は、以下の式（７）乃至式（９）のように、線形内挿により生成される。
【００８７】
e1 = (A+b+1)>>1  ・・・（７）
e2 = (b+d+1)>>1  ・・・（８）
e3 = (b+c+1)>>1  ・・・（９）
【００８８】
このように動きベクトルが分数精度の場合、予測画像生成に、動きベクトルが整数精度の場合よりも多くの画素の参照画像が必要になる。
【００８９】
［コーディングユニット］
ここで、HEVC符号化方式において定められている、コーディングユニット（CU（Coding Unit））について説明する。
【００９０】
コーディングユニット（CU）は、コーディングツリーブロック（CTB（Coding Tree Block））とも呼ばれ、AVCにおけるマクロブロックと同様の役割を果たす、ピクチャ単位の画像の多層構造の部分領域である。つまり、CUは、符号化処理の単位（符号化単位）である。マクロブロックの大きさが１６×１６画素に固定されているのに対し、CUの大きさは固定されておらず、それぞれのシーケンスにおいて画像圧縮情報中に指定されることになる。
【００９１】
特に、最大の大きさを持つCUを、ラージストコーディングユニット（LCU（Largest Coding Unit）と呼び、また、最小の大きさを持つCUをスモーレストコーディングユニット（SCU（Smallest Coding Unit））と称する。すなわち、LCUは、最大符号化単位であり、SCUは、最小符号化単位である。例えば画像圧縮情報に含まれるシーケンスパラメータセットにおいて、これらの領域のサイズが指定されることになるが、それぞれ、正方形で、２の冪乗で表される大きさに限定される。つまり、ある階層の（正方形の）CUが2x2に４分割された各領域が１階層下の（正方形の）CUとなる。
【００９２】
図３に、HEVCで定義されているコーディングユニット（Coding Unit）の例を示す。図３の例では、LCUの大きさが128（2N（N=64））であり、最大階層深度が５（Depth=4）となる。2Nx2Nの大きさのCUは、split_flagの値が「１」である場合、１つ下の階層となる、NxNの大きさのCUに分割される。
【００９３】
更に、CUは、イントラ若しくはインター予測の処理単位となる領域（ピクチャ単位の画像の部分領域）であるプレディクションユニット（Prediction Unit（PU））に分割され、また、直交変換の処理単位となる領域（ピクチャ単位の画像の部分領域）である、トランスフォームユニット（Transform Unit（TU））に分割される。
【００９４】
インター予測のPU（Inter Prediction Unit）の場合、大きさ2Nx2NのCUに対して、2Nx2N、2NxN、Nx2N、NxNの４種類のサイズが設定可能である。つまり、１つのCUに対して、そのCUと同サイズの１つPU、そのCUを縦若しくは横に２分割した２つのPU、若しくは、そのCUを縦および横にそれぞれ２分割した４つのPUを定義することができる。
【００９５】
画像符号化装置１００は、このようなピクチャ単位の画像の部分領域を処理単位として符号化に関する各処理を行う。以下においては、画像符号化装置１００が、HEVCで定義されるCUを符号化単位とする場合について説明する。つまり、LCUが最大符号化単位となり、SCUが最小符号化単位となる。ただし、画像符号化装置１００による符号化の各処理の処理単位は、これに限らず、任意である。例えば、AVCで定義されるマクロブロックやサブマクロブロックを処理単位とするようにしてもよい。
【００９６】
なお、以下において、「（部分）領域」には、上述した各種領域（例えば、マクロブロック、サブマクロブロック、LCU、CU、SCU、PU、およびTU等）が全て含まれる（それらのいずれかであってもよい）。もちろん、上述した以外の単位が含まれてもよいし、説明の内容に応じて不可能な単位は、適宜、除外するものとする。
【００９７】
［参照画像の画素数制限］
以上のように動き予測（動きベクトル生成）の処理単位となるPUは様々な大きさに設定することができる。一般的には、PUのサイズが小さいほど、参照画像の利用効率は低くなり、予測画像１画素生成するために必要な参照画像の画素数が多くなる。また、双方向予測の場合、単方向予測に比べて参照画像の数が増大する。
【００９８】
そのため、AVCでは、レベルによってデコーダが使用するリソースに制限がかけられるようになっている。具体的には、連続する２つのマクロブロックで用いることができる動きベクトルの本数に上限が設けられている。この制限により、小さいブロックサイズのインター予測が連続して発生しないようになされている。また、８×８より小さいブロックサイズのマクロブロックの双方向予測も禁止されている。
【００９９】
このような制限は、利用できる予測モードとブロックサイズが少なくなってしまうことから、符号化効率を低減させてしまうが、メモリ帯域への負荷の過剰な増大は抑制するために必要なものであった。
【０１００】
［必要な参照画像画素数］
ここで、予測画像の生成に必要な参照画像画素数についてより具体的に説明する。MCフィルタはｎ画素を出力するために、（ｎ＋タップ数−１）画素を入力する必要がある。つまり、PUの縦方向のサイズをBVとし、横方向のサイズをBHとすると、予測画像生成のために必要な参照画像の画素数Nは、以下の式（１０）のように表すことができる。
【０１０１】
N＝(BH＋タップ数−1)×(BV＋タップ数−1)  ・・・（１０）
【０１０２】
動きベクトルが整数（少数部が０）の場合、FIRフィルタは１タップのフィルタが用いられることに相当する。つまり、式（１０）において、タップ数＝１となる。また、双予測（Bi-prediction）の場合、L0およびL1予測の両方が必要になるため、予測画像生成のために必要な参照画像の画素数Nは、以下の式（１１）のように表すことができる。
【０１０３】
N＝(L0の式（１０）に相当する画素)＋(L1の式（１０）に相当する画素)
・・・（１１）
【０１０４】
さらに、実際のメモリには１画素単位のアクセスはできず、メモリアラインメント単位で読み込みが必要になる。横と縦のメモリアライメントの画素数がAHおよびAVだとすると、予測画像生成のために必要な参照画像の画素数Nは、以下の式（１２）のように表すことができる。
N＝AH×(1＋ROUNDUP(((BH＋タップ数−1)−1)/AH)))
×AV×(1＋ROUNDUP(((BV＋タップ数−1)−1)/AV)))
・・・（１２）
【０１０５】
なお、式（１２）において、ROUNDUP(x)はxより大きい最小の整数を示す。双予測の場合、予測画像生成のために必要な参照画像の画素数Nは、以下の式（１３）のように表すことができる。
【０１０６】
N＝(L0の式（１２）に相当する画素)＋(L1の式（１２）に相当する画素)
・・・（１３）
【０１０７】
したがって、単予測の場合、予測画像生成に必要な参照画像の画素数を、予測画像１画素当たりに換算すると、その画素数Nは、以下の式（１４）のように表すことができ、双予測の場合、その画素数Nは、以下の式（１５）のように表すことができる。
【０１０８】
N＝（式（１２）に相当する画素数）／（BH×BV）  ・・・（１４）
N＝（式（１３）に相当する画素数）／（BH×BV）  ・・・（１５）
【０１０９】
以上のように、予測画像生成のために必要な参照画像の、予測画像１画素当たりの画素数は、ブロックサイズと予測モード（単予測か双予測か）に依存するだけでなく、タップ数、すなわち、生成する動きベクトルの精度が整数精度であるか分数精度であるかにも依存する。
【０１１０】
横方向のメモリアライメントの画素数AHを８とし、縦方向のメモリアライメントの画素数AVを２とした場合の、予測モード、PUサイズ、動きベクトル精度、および、予測画像生成に必要な参照画像の予測画像１画素当たりの画素数の関係は、図４および図５に示される表のようにになる。図４は、予測モードが単予測（Uni）の場合の、PUサイズ、動きベクトル精度、および、予測画像生成に必要な参照画像の予測画像１画素当たりの画素数の関係を示しており、図５は、予測モードが双予測（Bi）の場合の、PUサイズ、動きベクトル精度、および、予測画像生成に必要な参照画像の予測画像１画素当たりの画素数の関係を示している。
【０１１１】
図４および図５に示される表において、「Bi/Uni」の列の値は、予測モード（単予測（Uni）であるか双予測（Bi）であるか）を示している。
【０１１２】
「BH」の列の数字は、PUの横方向のサイズを示し、「BV」の列の数字は、PUの縦方向のサイズを示している。
【０１１３】
「Sub pel」の列の値は、動きベクトルの精度を示している。「integer」は、動きベクトルが、縦方向と横方向の両方とも整数精度であることを示している。「abc」は、動きベクトルが、縦方向が整数精度で横方向が分数精度であることを示している。「dhn」は、動きベクトルが、縦方向が分数精度で横方向が整数精度であることを示している。「efgijkpqr」は、動きベクトルが、縦方向と横方向の両方とも分数精度であることを示している。
【０１１４】
「入力画素数」の列の数字は、予測画像生成に必要な参照画像の予測画像１画素当たりの画素数を示している。つまり、フレームメモリから読み出されるデータ量の大きさを表している。なお、AVCの場合、この入力画素数の最大値は、「１３．５」である（「１３．５」で制限される）。図４および図５の斜線部分は、この「入力画素数」の値が、「１３．５」より大きい（AVCの制限より大きい）例を示している。
【０１１５】
AVCのような従来の場合、予測モードとブロックサイズのみで制限されるため、８×８より小さいブロックサイズと、８×８ブロックサイズの双予測は、全て禁止とされてしまっていた。
【０１１６】
しかしながら、図４や図５に示されるように、８×８より小さいブロックサイズであっても、予測画像生成に必要な参照画像の予測画像１画素当たりの画素数がAVCの上限を下回る場合があった。つまり、動きベクトルの精度による負荷への影響は考慮されていないため、インター予測モードの選択肢が不要に制限されており、結果として符号化効率が低減する恐れがあった。
【０１１７】
そこで動きベクトル制御部１２１は、符号化効率の不要な低減をできるだけ抑制するために、ブロックサイズや予測モードだけでなく、動きベクトルの精度も考慮して動き予測を制限する。
【０１１８】
［動き予測・補償部、動きベクトル制御部］
図６は、図１の動き予測・補償部１１５および動きベクトル制御部１２１の主な構成例を示すブロック図である。
【０１１９】
図６に示されるように、動き予測・補償部１１５は、動き探索部１５１、コスト関数算出部１５２、モード判定部１５３、動き補償部１５４、および動き情報バッファ１５５を有する。
【０１２０】
また、動きベクトル制御部１２１は、制限情報記憶部１６１、制限制御部１６２、および伝送情報提供部１６３を有する。
【０１２１】
動き予測・補償部１１５の動き探索部１５１は、画面並べ替えバッファ１０２から取得した入力画像画素値と、フレームメモリ１１２から取得した参照画像画素値とを用いて、候補とする全てのインター予測モードで予測処理単位の領域毎に動き探索を行い、動きベクトルを求め、さらに、入力画像と参照画像との差分画像（差分画素値）を求める。
【０１２２】
その際、動き探索部１５１は、動きベクトル制御部１２１の制限制御部１６２から供給される動きベクトル制御情報を取得し、その動きベクトル制御情報により示される制限に従って、動き探索を行う。つまり、動き探索部１５１は、制限制御部１６２に許可されたモードのみを候補のインター予測モードとし、そのモードについてのみ動き探索を行う。換言するに、動き探索部１５１は、制限制御部１６２により禁止されたモードの動き探索を行わない。
【０１２３】
また、動き探索部１５１は、処理対象のPUである注目PUの周辺に位置する周辺PUの動きベクトルに関する情報である周辺動き情報を、動き情報バッファ１５５から適宜取得し、メディアン予測やマージモード等の処理を行う。
【０１２４】
動き探索部１５１は、以上のように求めた各インター予測モードの動きに関する情報（動き情報）をコスト関数算出部１５２に供給する。なお、動き探索部１５１は、必要に応じて、動き情報に対応する差分画素値もコスト関数算出部１５２に供給する。
【０１２５】
コスト関数算出部１５２は、動き探索部１５１から供給される情報に基づいて、全てのインター予測モードについてコスト関数値を算出する。コスト関数算出部１５２は、算出した各インター予測モードのコスト関数値を動き情報とともにモード判定部１５３に供給する。
【０１２６】
モード判定部１５３は、コスト関数値が最小のインター予測モードを最適なインター予測モードとして判定する。モード判定部１５３は、この最適なインター予測モードを示す最適予測モード情報を、その最適なインター予測モードの動き情報とともに、動き補償部１５４に供給する。
【０１２７】
動き補償部１５４は、最適なインター予測モードで動き補償を行い、予測画像を生成する。動き補償部１５４は、モード判定部１５３から取得した動き情報と最適予測モード情報に従って、最適なインター予測モードで、動き情報に対応する参照画像画素値をフレームメモリ１１２から取得する。なお、最適なインター予測モードが、MVコンペティションモードやマージモードのように、モード判定部１５３から動きベクトルが供給されないモードの場合、動き補償部１５４は、動き情報バッファ１５５から、周辺PUの動き情報（周辺動き情報）を取得する。
【０１２８】
上述したように、動き探索部１５１においては、制限制御部１６２により許可された予測モードのみが候補のインター予測モードとされ、そのモードについてのみ動き探索が行われる。したがって、最適インター予測モードとされるモードも、制限制御部１６２により許可されたモードの中の１つである。つまり、動き補償部１５４は、制限制御部１６２により許可されたインター予測モードで動き補償を行う。
【０１２９】
動き補償部１５４は、生成した予測画像画素値を予測画像選択部１１６に供給し、演算部１０３において入力画像から減算させたり、演算部１１０において差分画像に加算させたりする。
【０１３０】
また、動き補償部１５４は、最適予測モード情報および動き情報を可逆符号化部１０６に供給し、符号化させる。さらに、動き補償部１５４は、動き情報を動き情報バッファ１５５に供給し、記憶させる。
【０１３１】
動き情報バッファ１５５は、動き補償部１５４から供給される動き情報を取得し、記憶する。動き情報バッファ１５５は、記憶している動き情報を、周辺動き情報として、動き探索部１５１や動き補償部１５４に供給する。
【０１３２】
動きベクトル制御部１２１の制限情報記憶部１６１は、インター予測モードの制限に関する情報である制限情報を予め記憶し、所定のタイミングにおいて、若しくは、例えば制限制御部１６２等の他の処理部からの要求に従って、その制限情報を制限制御部１６２に供給する。
【０１３３】
この制限情報は、例えば、「L0予測若しくはL1予測では、４×４ブロックサイズを禁止する。双予測では、４×４，８×４，４×８および８×８の「efgijkpqr」を禁止する」といったように、動きベクトル制御情報において、少なくとも、動きベクトルの精度による制限（図４および図５における「Sub pel」の列による制限）を含むようにすることができる情報である。換言するに、そのような制限を提供することができる限り制限情報はどのような情報であっても良い。また、具体的にどのモード（予測モード（単予測、双予測）、ブロックサイズ、動きベクトルの精度の組み合わせ）を制限するかは、任意である。つまり、図４や図５の例の場合、テーブルのどの行が禁止されるようにしてもよい。
【０１３４】
制限制御部１６２は、制限情報記憶部１６１から制限情報を取得すると、その制限情報に従って、動き探索部１５１に制限内容を通知する動きベクトル制御情報を生成し、生成した動きベクトル制御情報を動き探索部１５１に供給する。動き探索部１５１は、この動きベクトル制御情報の制限に従って動き探索を行うことにより、制限情報により許可されたモードでのみ動き探索を行うことができる。
【０１３５】
このようにすることにより、動き補償部１５４も、制限情報により許可されたモードで動き補償を行うことができる。つまり、動きベクトル制御部１２１（制限制御部１６２）は、動きベクトルの精度によって動き予測を制限することができる。したがって、動きベクトル制御部１２１（制限制御部１６２）は、符号化効率の低減を抑制しながら負荷の増大を抑制し、画像を符号化させることができる。したがって、画像符号化装置１００は、符号化効率の抑制を低減させることができる。
【０１３６】
また、制限制御部１６２は、制限内容を示す情報を伝送させるように指示する制御情報を伝送情報提供部１６３に供給する。この制御情報には、制限情報による制限内容も含まれる。伝送情報提供部１６３は、供給された制御情報に従って、制限情報による制限の内容を示す伝送情報を生成し、その伝送情報を可逆符号化部１０６に供給し、伝送させる。
【０１３７】
この伝送情報は、制限情報の制限内容を示す情報であればどのようなものであってもよい。例えば、制限情報を伝送情報に含めるようにしてもよいし、制限の内容を伝送情報に含めるようにしてもよいし、制限内容と等価の情報を伝送情報に含めるようにしてもよい。
【０１３８】
以上に説明したように、動きベクトルの精度による制限が含まれていれば、動きベクトル制御情報による制限はどのような制限であっても良い。例えば、図４や図５のテーブルにおいて「入力画素数」の上限をAVC並み（１３．５）とした場合、単予測において、４×４ブロックサイズの「abc」、「dhn」、および「efgijkpqr」と、８×８ブロックサイズの「efgijkpqr」を禁止し、それ以外を許可し、双予測において、ブロックサイズ４×４、８×４、および４×８の全てのSub pelと、８×８ブロックサイズの「dhn」および「efgijkpqr」を禁止し、それ以外を許可するようにしてもよい。
【０１３９】
このように制限することにより、従来のようにブロックサイズと予測モードのみによって制限する方法において禁止されていたモード（例えば、単予測の、４×４ブロックサイズの「integer」、８×４ブロックサイズ、４×８ブロックサイズの「integer」、「abc」、および「dhn」、並びに、双予測の８×８ブロックサイズの「integer」および「abc」）が許可されるようになる。したがって、画像符号化装置１００は、予測モードの候補数を不要に低減させることを抑制することができるので、符号化効率の抑制を低減させることができる。
【０１４０】
なお、動きベクトルの精度による制限以外の制限は任意であるので、動きベクトル制御情報による制限において、予測モードやブロックサイズ以外の制限が含まれていても良いし、予測モードやブロックサイズによる制限が省略されても良い。また、伝送情報は、動きベクトル制御情報による制限の内容が含まれていればよい。さらに、動きベクトル制御情報や伝送情報に、動きベクトルの精度による制限が含まれている限り、制限情報は、どのような情報であっても良い。
【０１４１】
［符号化処理の流れ］
次に、以上のような画像符号化装置１００により実行される各処理の流れについて説明する。最初に、図７のフローチャートを参照して、符号化処理の流れの例を説明する。
【０１４２】
ステップＳ１０１において、A/D変換部１０１は入力された画像をA/D変換する。ステップＳ１０２において、画面並べ替えバッファ１０２は、A/D変換された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
【０１４３】
ステップＳ１０３において、イントラ予測部１１４は、イントラ予測モードのイントラ予測処理を行う。
【０１４４】
ステップＳ１０４において、動きベクトル制御部１２１は、動き予測・補償処理の動きベクトル生成を制限する動きベクトル制御処理を行う。
【０１４５】
ステップＳ１０５において、動き予測・補償部１１５は、ステップＳ１０４による動きベクトルの制限に従って、インター予測モードでの動き予測や動き補償を行うインター動き予測処理を行う。
【０１４６】
ステップＳ１０６において、予測画像選択部１１６は、イントラ予測部１１４および動き予測・補償部１１５から出力された各コスト関数値に基づいて、最適予測モードを決定する。つまり、予測画像選択部１１６は、イントラ予測部１１４により生成された予測画像と、動き予測・補償部１１５により生成された予測画像のいずれか一方を選択する。
【０１４７】
ステップＳ１０７において、演算部１０３は、ステップＳ１０２の処理により並び替えられた画像と、ステップＳ１０６の処理により選択された予測画像との差分を演算する。差分データは元の画像データに較べてデータ量が低減される。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。
【０１４８】
ステップＳ１０８において、直交変換部１０４は、ステップＳ１０７の処理により生成された差分情報を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数が出力される。
【０１４９】
ステップＳ１０９において、量子化部１０５は、ステップＳ１０８の処理により得られた直交変換係数を量子化する。
【０１５０】
ステップＳ１０８の処理により量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ１１０において、逆量子化部１０８はステップＳ１０９の処理により量子化された直交変換係数を、ステップＳ１０９の量子化に対応する方法で逆量子化する。ステップＳ１１１において、逆直交変換部１０９は、ステップＳ１１０の処理により得られた直交変換係数を、ステップＳ１０８の処理に対応する方法で逆直交変換する。
【０１５１】
ステップＳ１１２において、演算部１１０は、予測画像を局部的に復号された差分情報に加算し、局部的に復号された画像（演算部１０３への入力に対応する画像）を生成する。ステップＳ１１３において、ループフィルタ１１１は、ステップＳ１１２の処理により生成された画像に対してループフィルタ処理を行う。これによりブロック歪み等が除去されたり画質改善が行われたりする。
【０１５２】
ステップＳ１１４において、フレームメモリ１１２は、ステップＳ１１３の処理によりブロック歪みの除去等が行われた画像を記憶する。なお、フレームメモリ１１２にはフィルタ処理されていない画像も記憶される。このフレームメモリ１１２に記憶された画像は、ステップＳ１０３の処理やステップＳ１０５の処理に利用される。
【０１５３】
ステップＳ１１５おいて、可逆符号化部１０６は、ステップＳ１０９の処理により量子化された変換係数を符号化し、符号化データを生成する。すなわち、差分画像（インターの場合、２次差分画像）に対して、可変長符号化や算術符号化等の可逆符号化が行われる。
【０１５４】
なお、可逆符号化部１０６は、ステップＳ１０６の処理により選択された予測画像の予測モードに関する情報を符号化し、差分画像を符号化して得られる符号化データに付加する。例えば、イントラ予測モードが選択された場合、可逆符号化部１０６は、イントラ予測モード情報を符号化する。また、例えば、インター予測モードが選択された場合、可逆符号化部１０６は、インター予測モード情報を符号化する。これらの情報は、例えばヘッダ情報等として符号化データに付加（多重化）される。
【０１５５】
ステップＳ１１６において蓄積バッファ１０７は、ステップＳ１１５の処理により生成された符号化データを蓄積する。蓄積バッファ１０７に蓄積された符号化データは、適宜読み出され、任意の伝送路（通信路だけでなく記憶媒体等も含む）を介して復号側の装置に伝送される。
【０１５６】
ステップＳ１１７においてレート制御部１１７は、ステップＳ１１６の処理により蓄積バッファ１０７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１０５の量子化動作のレートを制御する。
【０１５７】
ステップＳ１１７の処理が終了すると、符号化処理が終了される。
【０１５８】
［動きベクトル制御処理の流れ］
次に、図８のフローチャートを参照して、図７のステップＳ１０４において実行される動きベクトル制御処理の流れの例を説明する。
【０１５９】
動きベクトル制御処理が開始されると、動きベクトル制御部１２１の制限制御部１６２は、ステップＳ１３１において、制限情報記憶部１６１から読み出した制限情報に基づいて、使用を禁止する動きベクトルを決定する。
【０１６０】
ステップＳ１３２において、制限制御部１６２は、ステップＳ１３１において決定した動きベクトルの使用制限の内容を示す動きベクトル制御情報を生成し、動き探索部１５１に供給する。
【０１６１】
ステップＳ１３３において、伝送情報提供部１６３は、ステップＳ１３１において決定した動きベクトルの使用制限の内容を示す、伝送用の伝送情報を生成し、可逆符号化部１０６に供給して、伝送させる。
【０１６２】
ステップＳ１３３の処理が終了すると、伝送情報提供部１６３は、動きベクトル制御処理を終了し、処理を図７に戻す。
【０１６３】
［インター動き予測処理の流れ］
次に、図９のフローチャートを参照して、図７のステップＳ１０５において実行されるインター動き予測処理の流れの例を説明する。
【０１６４】
インター動き予測処理が開始されると、ステップＳ１５１において、動き探索部１５１は、ステップＳ１３２の処理により生成された動きベクトル制御情報に示される制限内容に従って、許可された候補のインター予測モードのそれぞれについて動き探索を行い、動き情報と差分画素値を生成する。
【０１６５】
ステップＳ１５２において、コスト関数算出部１５２は、ステップＳ１５１の処理により得られた動き情報および差分画素値に基づいて、許可された候補のインター予測モードのそれぞれについてのコスト関数値を算出する。
【０１６６】
ステップＳ１５３において、モード判定部１５３は、ステップＳ１５２において算出されたコスト関数値が最も小さいモードを最適インター予測モードに決定する。
【０１６７】
ステップＳ１５４において、動き補償部１５４は、ステップＳ１５３の処理により決定された最適インター予測モードで動き補償を行い、予測画像を生成する。この最適インター予測モードは、ステップＳ１３２の処理により生成された動きベクトル制御情報により使用が許可されたモードである。
【０１６８】
ステップＳ１５５において、動き補償部１５４は、ステップＳ１５４の処理により生成した予測画像を、予測画像選択部１１６に供給し、差分画像情報および復号画像情報を生成させる。また、動き補償部１５４は、ステップＳ１５６において、最適インター予測モードに関する情報（最適予測モード情報や動き情報）を可逆符号化部１０６に供給し、符号化させる。
【０１６９】
ステップＳ１５７において、動き情報バッファ１５５は、最適インター予測モードの動き情報を記憶する。
【０１７０】
ステップＳ１５７の処理が終了すると、動き情報バッファ１５５は、最適インター予測モードを終了し、処理を図７に戻す。
【０１７１】
以上のように各処理を実行することにより、画像符号化装置１００は、符号化効率の抑制を低減させることができる。
【０１７２】
［プロファイルとレベル］
画像符号化装置１００は、ストリームを生成する際、プロファイル（profile）とレベル（level）に応じた制限を設けるようにしてもよい。これは、デコーダの利用可能な資源をエンコーダで考慮するためである。ここで、資源とは処理量やメモリ帯域などを指している。プロファイルは利用可能なエンコード・ツールを決める。レベルはプロファイルで利用可能なツールの中で、更に制限を加えるために決められる。
【０１７３】
このプロファイルやレベルの具体的な制限内容が標準化規格で決められていれば、その規格に基づいて生成されたストリームが、規格に準拠するデコーダで再生できることを保証することができるようになる。
【０１７４】
例えば、動き補償（ＭＣ）処理に関するメモリ帯域の上限が、このプロファイルやレベルにより定義されている場合、エンコーダは、その上限を超えないようにビットストリームを生成することにより、デコーダによる復号を保証することができる。
【０１７５】
［プロファイルとレベルの転送］
その場合、伝送情報提供部１６３は、画像符号化装置１００が、ビットストリームをいずれのプロファイルやレベルに基づいて生成したかを示す情報を伝送情報に含める。通常、プロファイルやレベルに関する情報はシーケンスパラメータセット（SPS（Sequence Parameter Set）と呼ばれるビットストリームのヘッダ情報に付加（多重化）される。
【０１７６】
デコーダは、ビットストリームに含められたプロファイルやレベルに関する情報を読みだして、そのストリームをデコードするために必要な資源を把握することができる。
【０１７７】
［具体例］
より具体的に説明する。画像符号化装置１００は生成するストリームに制限を加える。この時、想定する画像復号装置の利用可能な資源から、画像符号化装置１００は制限を加えることになる。Ｐスライスが使用可能なプロファイルをBP（Baseline profile）と称し、ＰスライスおよびＢスライスが使用可能なプロファイルをHP（High profile）と称するとする。
【０１７８】
画像符号化装置１００は、画像復号装置がＢスライスを処理することができるか否かを考慮し、できないのであれば、BPの制限に基づいてストリームを生成し、ストリームにこのストリームがBPの制限で生成されていることを示す情報を含める。これに対して、画像復号装置がＢスライスを処理することができる場合、若しくは画像復号装置の能力を考慮しない場合、画像符号化装置１００は、HPの制限に基づいてストリームを生成し、ストリームにHPで生成されていることを示す情報を含める。
【０１７９】
画像符号化装置１００は、さらに、レベルによって制限を加える。例えば、メモリ帯域で図４や図５の表で入力画素数１８以上を制限するレベル（level）をlevel=1とし、１４以上を制限するレベル（level）をlevel=2とするとする。
【０１８０】
画像符号化装置１００は、画像復号装置のメモリ帯域の最大が図４や図５の表で１８以上か１４以上かを考慮してレベルを決める。画像符号化装置１００はストリームを生成する際にこのストリームがどのレベルで生成されたかを示す情報をストリームに含める。
【０１８１】
画像符号化装置１００は、画像をエンコードする際、自身が決定したプロファイルやレベルで許される範囲でストリームを生成する。メモリ帯域に関して言えば、当該ブロックの予測モード、縦と横のブロックサイズ、MVに基づいて、図４や図５の表で１画素を生成するために読み込む入力画素数がレベルの規定を超えないものを用いてエンコードする。
【０１８２】
［動きベクトル制御部の他の例］
なお、制限情報は、任意であり、上述した例に限らない。例えば、複数の制限の候補を含み、各種条件に従ってその中から採用する制限が選択されるようにしてもよい。
【０１８３】
図１０は、そのような場合の、動きベクトル制御部１２１の主な構成例を示すブロック図である。図１０に示される例の場合、動きベクトル制御部１２１は、図６の制限制御部１６２の代わりに、制限制御部１７２を有する。また、図１０の動きベクトル制御部１２１は、さらに、条件取得部１７１を有する。
【０１８４】
条件取得部１７１は、動きベクトル生成に関する各種条件を取得し、それを条件情報として制限制御部１７２に通知する。この条件は任意であり、どのような情報であってもよい。例えば、ユーザ等による許可する動きベクトルや制限の指定であってもよいし、利用可能なメモリ帯域等のリソースに関する情報であってもよいし、符号化規格により規定される制限に関する情報であってもよい。
【０１８５】
制限制御部１７２は、このような条件情報と、制限情報記憶部１６１から読み出した制限情報に基づいて、動きベクトルの制限内容を決定する。
【０１８６】
この場合、制限情報において、制限内容が複数パターン用意されており、制限制御部１７２が、条件情報に応じていずれかを選択することができるようになされている。例えば、制限情報が、上述したような、「L0予測若しくはL1予測では、４×４ブロックサイズを禁止する。双予測では、４×４，８×４，４×８および８×８の「efgijkpqr」を禁止する」といったように、少なくとも、動きベクトルの精度に関する条件を複数含むようにしてもよい。この場合、制限制御部１７２は、条件情報に従っていずれかの制限内容を選択することにより、条件情報に応じた制限内容を決定することができる。
【０１８７】
また、制限情報が、条件によって複数通りの演算結果が得られる所定の演算式を含むようにしてもよい。この場合、制限制御部１７２は、条件情報に従って演算式の係数の値を決定し、その値を用いて演算を行うことにより、条件情報に応じた制限内容を決定することができる。
【０１８８】
さらに、制限情報が、図４や図５に示されるテーブル情報を含むようにしてもよい。この場合、制限制御部１７２は、条件情報に従って、上限とする「入力画素数」を決定することにより、条件情報に応じた制限内容を決定することができる。
【０１８９】
なお、図４および図５の例は、メモリアラインメントを固定した例であるが、制限情報が、各メモリアラインメントのパターンについての、このようなテーブル情報を含むようにしてもよい。その場合、制限制御部１７２は、条件情報に従って、メモリアラインメントを特定（決定）することにより、適用するテーブルを選択し、さらに、条件情報に従って、上限とする「入力画素数」を決定することにより、条件情報に応じた制限内容を決定することができる。
【０１９０】
また、図１１や図１２に示される例のように、図４および図５のテーブルの各行について「許可」するか「禁止」するかを予め決定したテーブルを制限情報に含めるようにしてもよい。つまり、この例の場合、予測モード、ブロックサイズ、および動きベクトルの精度の組み合わせについて、どれを許可し、どれを禁止するかが予め定められている。したがって、制限制御部１７２は、条件情報に従ってメモリアラインメントを特定（決定）するだけで、条件情報に応じた制限内容を決定することができる。
【０１９１】
この場合も、動きベクトルの精度による制限以外の制限は任意である。動きベクトル制御情報による制限において、予測モードやブロックサイズ以外の制限が含まれていても良いし、予測モードやブロックサイズによる制限が省略されても良い。また、伝送情報は、動きベクトル制御情報による制限の内容が含まれていればよい。さらに、動きベクトル制御情報や伝送情報に、動きベクトルの精度による制限が含まれている限り、制限情報や条件は、どのような情報であっても良い。
【０１９２】
［動きベクトル制御処理の流れ］
図１３のフローチャートを参照して、この場合の動きｂ稀有撮る制御処理の流れの他の例を説明する。
【０１９３】
動きベクトル制御処理が開始されると、動きベクトル制御部１２１の条件取得部１７１は、ステップＳ１７１において、動きベクトルの制限に関する条件を取得する。
【０１９４】
ステップＳ１７２において、制限制御部１７２は、ステップＳ１７１において取得した条件と、制限情報記憶部１６１から読み出した制限情報とに基づいて、使用を禁止する動きベクトルを決定する。
【０１９５】
ステップＳ１７３において、制限制御部１７２は、ステップＳ１７２において決定した動きベクトルの使用制限の内容を示す動きベクトル制御情報を生成し、動き探索部１５１に供給する。
【０１９６】
ステップＳ１７４において、伝送情報提供部１６３は、ステップＳ１７２において決定した動きベクトルの使用制限の内容を示す、伝送用の伝送情報を生成し、可逆符号化部１０６に供給して、伝送させる。
【０１９７】
ステップＳ１７４の処理が終了すると、伝送情報提供部１６３は、動きベクトル制御処理を終了し、処理を図７に戻す。
【０１９８】
以上のように処理を行うことにより、画像符号化装置１００は、符号化効率の抑制を低減させることができる。
【０１９９】
＜２．第２の実施の形態＞
［画像復号装置］
以上のようにして画像符号化装置１００により生成された符号化データ（ビットストリーム）は、使用される動きベクトルが制限されているのみであるので、画像符号化装置１００と同様の符号化規格に準拠する従来の画像復号装置により、従来の方法で復号することができる。
【０２００】
ただし、画像復号装置が、例えばプロファイルやレベル等として、画像符号化装置１００により符号化データに付加（多重化）された伝送情報を解析することにより、自身がその符号化データを安全に正しく復号する事ができるか否かを判定するようにしてもよい。また、復号する事ができないと判定された場合、画像復号装置が、その復号処理を中止するようにしてもよい。このようにすることにより、オーバーフローやアンダーフロー等による不要な遅延を生じさせずに、より確実に、安全に正しく符号化データを復号することができる。
【０２０１】
このような画像復号装置について以下に説明する。
【０２０２】
図１４は、本技術を適用した画像処理装置である画像復号装置の主な構成例を示すブロック図である。図１４に示される画像復号装置２００は、上述した画像符号化装置１００に対応し、画像符号化装置１００が画像データを符号化して生成したビットストリーム（符号化データ）を正しく復号し、復号画像を生成する。
【０２０３】
図１４に示されるように画像復号装置２００は、蓄積バッファ２０１、可逆復号部２０２、逆量子化部２０３、逆直交変換部２０４、演算部２０５、ループフィルタ２０６、画面並べ替えバッファ２０７、およびD/A変換部２０８を有する。また、画像復号装置２００は、フレームメモリ２０９、選択部２１０、イントラ予測部２１１、動き予測・補償部２１２、および選択部２１３を有する。
【０２０４】
さらに、画像復号装置２００は、復号制御部２２１を有する。
【０２０５】
蓄積バッファ２０１は、伝送されてきた符号化データを蓄積し、所定のタイミングにおいてその符号化データを可逆復号部２０２に供給する。
【０２０６】
可逆復号部２０２は、蓄積バッファ２０１より供給された、図１の可逆符号化部１０６により符号化された情報を、可逆符号化部１０６の符号化方式に対応する方式で復号する。可逆復号部２０２は、復号して得られた差分画像の量子化された係数データを、逆量子化部２０３に供給する。
【０２０７】
また、可逆復号部２０２は、符号化データを復号して得られた最適な予測モードに関する情報を参照し、最適な予測モードにイントラ予測モードが選択されたかインター予測モードが選択されたかを判定する。つまり、可逆復号部２０２は、伝送されてきた符号化データにおいて採用された予測モードが、イントラ予測であるか、インター予測であるかを判定する。
【０２０８】
可逆復号部２０２は、その判定結果に基づいて、その予測モードに関する情報を、イントラ予測部２１１若しくは動き予測・補償部２１２に供給する。例えば、画像符号化装置１００において最適な予測モードとしてイントラ予測モードが選択された場合、可逆復号部２０２は、符号化側から供給された、その選択されたイントラ予測モードに関する情報であるイントラ予測情報をイントラ予測部２１１に供給する。また、例えば、画像符号化装置１００において最適な予測モードとしてインター予測モードが選択された場合、可逆復号部２０２は、符号化側から供給された、その選択されたインター予測モードに関する情報であるインター予測情報を動き予測・補償部２１２に供給する。
【０２０９】
さらに、可逆復号部２０２は、符号化データに付加（多重化）された伝送情報、すなわち、動きベクトルの制限内容に関する情報を復号制御部２２１に供給する。例えば、可逆復号部２０２は、シーケンスパラメータセット等に記述されるプロファイルやレベル等の情報を復号制御部２２１に供給する。
【０２１０】
なお、この伝送情報に基づいて復号制御部２２１により復号処理の中止を指示された場合、可逆復号部２０２は、自身の処理を中止し、その他の処理部の処理も中止させ、復号処理を強制終了させる。
【０２１１】
逆量子化部２０３は、可逆復号部２０２により復号されて得られた量子化された係数データを、図１の量子化部１０５の量子化方式に対応する方式（逆量子化部１０８と同様の方式）で逆量子化を行う。逆量子化部２０３は、逆量子化された係数データを逆直交変換部２０４に供給する。
【０２１２】
逆直交変換部２０４は、図１の直交変換部１０４の直交変換方式に対応する方式で逆量子化部２０３から供給される係数データを逆直交変換する。逆直交変換部２０４は、この逆直交変換処理により、画像符号化装置１００において直交変換される前の差分画像に対応する差分画像を得る。
【０２１３】
逆直交変換されて得られた差分画像は、演算部２０５に供給される。また、演算部２０５には、選択部２１３を介して、イントラ予測部２１１若しくは動き予測・補償部２１２から予測画像が供給される。
【０２１４】
演算部２０５は、差分画像と予測画像とを加算し、画像符号化装置１００の演算部１０３により予測画像が減算される前の画像に対応する再構成画像を得る。演算部２０５は、その再構成画像をループフィルタ２０６に供給する。
【０２１５】
ループフィルタ２０６は、供給された再構成画像に対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むループフィルタ処理を適宜施して復号画像を生成する。例えば、ループフィルタ２０６は、再構成画像に対してデブロックフィルタ処理を行うことにより、ブロック歪を除去する。また、例えば、ループフィルタ２０６は、そのデブロックフィルタ処理結果（ブロック歪みの除去が行われた再構成画像）に対して、ウィナーフィルタ（Wiener Filter）を用いてループフィルタ処理を行うことにより画質改善を行う。
【０２１６】
なお、ループフィルタ２０６が行うフィルタ処理の種類は任意であり、上述した以外のフィルタ処理を行ってもよい。また、ループフィルタ２０６が、図１の画像符号化装置１００から供給されたフィルタ係数を用いてフィルタ処理を行うようにしてもよい。
【０２１７】
ループフィルタ２０６は、フィルタ処理結果である復号画像を画面並べ替えバッファ２０７およびフレームメモリ２０９に供給する。なお、このループフィルタ２０６によるフィルタ処理は省略することもできる。つまり、演算部２０５の出力が、フィルタ処理されずに、フレームメモリ２０９に格納されるようにすることもできる。例えば、イントラ予測部２１１は、この画像に含まれる画素の画素値を周辺画素の画素値として利用する。
【０２１８】
画面並べ替えバッファ２０７は、供給された復号画像の並べ替えを行う。すなわち、図１の画面並べ替えバッファ１０２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。D/A変換部２０８は、画面並べ替えバッファ２０７から供給された復号画像をD/A変換し、図示せぬディスプレイに出力し、表示させる。
【０２１９】
フレームメモリ２０９は、供給される再構成画像や復号画像を記憶する。また、フレームメモリ２０９は、所定のタイミングにおいて、若しくは、イントラ予測部２１１や動き予測・補償部２１２等の外部の要求に基づいて、記憶している再構成画像や復号画像を、選択部２１０を介してイントラ予測部２１１や動き予測・補償部２１２に供給する。
【０２２０】
なお、画像符号化装置１００の符号化処理において、上述したように動きベクトルの使用が制限されているので、このフレームメモリ２０９からの参照画像の呼び出しによる負荷の増大（すなわち、使用するメモリ帯域の増大）も、従来の場合より抑制される。
【０２２１】
イントラ予測部２１１は、可逆復号部２０２から供給されるイントラ予測情報に基づいてイントラ予測を行い、予測画像を生成する。なお、イントラ予測部２１１は、可逆復号部２０２から供給されるイントラ予測情報に基づいて、符号化の際にイントラ予測により予測画像が生成された領域に対してのみ、図１のイントラ予測部１１４が行った処理のモードと同様のモードでイントラ予測を行う。
【０２２２】
動き予測・補償部２１２は、可逆復号部２０２から供給されるインター予測情報に基づいてインター予測を行い、予測画像を生成する。なお、動き予測・補償部２１２は、可逆復号部２０２から供給されるインター予測情報に基づいて、符号化の際にインター予測が行われた領域に対してのみ、図１の動き予測・補償部１１５が行った処理のモードと同様のモードでインター予測を行う。
【０２２３】
イントラ予測部２１１若しくは動き予測・補償部２１２は、予測処理単位の領域毎に、生成した予測画像を、選択部２１３を介して演算部２０５に供給する。選択部２１３は、イントラ予測部２１１から供給される予測画像、若しくは、動き予測・補償部２１２から供給される予測画像を演算部２０５に供給する。
【０２２４】
復号制御部２２１は、可逆復号部２０２から供給される伝送情報に基づいて、その符号化データを復号するか否かを制御する。
【０２２５】
このようにすることにより、画像復号装置２００は、より確実に符号化効率の低減が抑制された符号化データを復号することができ、より確実に、符号化効率の低減の抑制を実現することができる。
【０２２６】
［復号制御部］
図１５は、図１４の復号制御部２２１の主な構成例を示すブロック図である。
【０２２７】
図１５に示されるように、復号制御部２２１は、伝送情報取得部２５１、制限情報記憶部２５２、可否判定部２５３、制御部２５４、およびエラー処理部２５５を有する。
【０２２８】
伝送情報取得部２５１は、可逆復号部２０２から供給される伝送情報を取得する。この伝送情報は、どのような情報であっても良く、動きベクトルの制限内容を直接示す情報であってもよいし、プロファイルやレベルを指定する情報であってもよい。伝送情報取得部２５１は、取得した伝送情報を可否判定部２５３に供給する。
【０２２９】
制限情報記憶部２５２は、利用可能な動きベクトルを制限する制限情報を記憶する。この制限情報は、フレームメモリ２０９からの参照画像の読み出しによるメモリ帯域の占有度を抑制するためのものである。この制限情報には、少なくとも、可否判定部２５３において、実質的に、動きベクトルの精度による制限を行うことができる情報が含まれていればよい。
【０２３０】
可否判定部２５３は、制限情報記憶部２５２から読み出した制限情報と、伝送情報取得部２５１から供給された伝送情報とに基づいて、画像復号装置２００が符号化データを安全に正しく復号することができるか否かを判定する。
【０２３１】
伝送情報には、符号化データにおける動きベクトルの精度に基づいた制限についての情報が含まれる。したがって、可否判定部２５３は、この伝送情報から、この符号化データを復号するのに必要なメモリ帯域を把握することができる。また、可否判定部２５３は、制限情報に含まれる動きベクトルの精度に基づいた制限から、利用可能なメモリ帯域の上限を把握することができる。つまり、可否判定部２５３は、それらを比較することにより、符号化データを復号可能か否かを判定する。
【０２３２】
すなわち、可否判定部２５３は、符号化データを復号するのに必要なメモリ帯域が、利用可能なメモリ帯域の上限以下の場合、この符号化データを復号可能と判定する。逆に、可否判定部２５３は、符号化データを復号するのに必要なメモリ帯域が、利用可能なメモリ帯域の上限より大きい場合、この符号化データを復号不可能と判定する。なお、可否判定部２５３は、直接メモリ帯域を比較するのではなく、実質的にメモリ帯域に相当する情報、例えば、予測モード、ブロックサイズ、および動きベクトルの精度等の情報を比較するようにしてもよい。
【０２３３】
可否判定部２５３は、このような可否判定結果を制御部２５４に供給する。制御部２５４は、供給された可否判定結果に基づいて、復号処理を制御する。例えば、符号化データが復号可能な場合、制御部２５４は、可逆復号部２０２に、復号を行うように指示する制御情報を供給する。可逆復号部２０２は、この制御情報に従って、復号を行う。また、その他の処理部も復号に関する各部の処理を実行する。
【０２３４】
また、例えば、符号化データが復号不可能な場合、制御部２５４は、エラー処理部２５５にエラー処理を実行するように指示する制御情報を供給する。エラー処理部２５５は、この制御情報に従って、復号処理を中止することをユーザに通知する等のエラー処理を行う。さらに制御部２５４は、可逆復号部２０２に対して、復号を中止するように指示する制御情報を供給する。可逆復号部２０２は、この制御情報に従って、復号処理を中止する。また、その他の処理部も復号に関する各部の処理を中止する。
【０２３５】
以上のように、復号制御部２２１は、動きベクトルの精度による制限を用いて、復号処理を制御することができる。したがって、復号制御部２２１は、復号できない符号化データの復号処理を強制終了させることができる。したがって、復号制御部２２１は、より確実に符号化効率の低減が抑制された符号化データを復号することができる。したがって、画像復号装置２００は、より確実に、符号化効率の低減の抑制を実現することができる。
【０２３６】
［復号処理の流れ］
次に、以上のような画像復号装置２００により実行される各処理の流れについて説明する。最初に、図１６のフローチャートを参照して、復号処理の流れの例を説明する。
【０２３７】
復号処理が開始されると、ステップＳ２０１において、蓄積バッファ２０１は、伝送されてきた符号化データを蓄積する。ステップＳ２０２において、可逆復号部２０２は、蓄積バッファ２０１から供給される符号化データを復号する。すなわち、図１の可逆符号化部１０６により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャが復号される。
【０２３８】
このとき、参照フレーム情報、予測モード情報（イントラ予測モード、またはインター予測モード）、並びに伝送情報等の情報も復号される。
【０２３９】
ステップＳ２０３において、復号制御部２２１は、ステップＳ２０２の処理により復号された伝送情報に基づいて復号制御処理を行う。この復号制御処理において、復号処理を強制終了すると判定された場合、このステップＳ２０３において復号処理が終了される。また、復号制御処理において、復号処理を実行すると判定された場合、ステップＳ２０４以降の処理が実行される。
【０２４０】
ステップＳ２０４において、逆量子化部２０３は、ステップＳ２０２の処理により得られた、量子化された直交変換係数を逆量子化する。
【０２４１】
ステップＳ２０５において逆直交変換部２０４は、ステップＳ２０３において逆量子化されて得られた直交変換係数を、図１の直交変換部１０４に対応する方法で逆直交変換する。これにより図１の直交変換部１０４の入力（演算部１０３の出力）に対応する差分情報が復号されたことになる。
【０２４２】
ステップＳ２０６において、イントラ予測部２１１または動き予測・補償部２１２は、可逆復号部２０２から供給される予測モード情報に対応して、それぞれ画像の予測処理を行う。すなわち、可逆復号部２０２からイントラ予測モード情報が供給された場合、イントラ予測部２１１は、イントラ予測モードのイントラ予測処理を行う。また、可逆復号部２０２からインター予測モード情報が供給された場合、動き予測・補償部２１２は、ステップＳ２０３の処理により得られたユニットサイズに関する各種情報を用いて、インター予測処理（動き予測および動き補償を含む）を行う。
【０２４３】
その際、符号化データは、動きベクトルの精度によって、使用される動きベクトルが制限されているので、フレームメモリ２０９からの参照画像の読み出しの負荷は、結果として制限される。
【０２４４】
ステップＳ２０７において、演算部２０５は、ステップＳ２０５の処理により得られた差分情報に、ステップＳ２０６の処理により得られた予測画像を加算する。これにより元の画像データが復号される（再構成画像が得られる）。
【０２４５】
ステップＳ２０８において、ループフィルタ２０６は、ループフィルタ処理を行う。この処理により、ステップＳ２０７の処理により得られた再構成画像に対して、ループフィルタ処理が適宜行われる。なお、このループフィルタ処理は、図７のフローチャートを参照して説明したループフィルタ処理と基本的に同様に行われる。
【０２４６】
ステップＳ２０９において、画面並べ替えバッファ２０７は、ステップＳ２０８の処理によりループフィルタ処理が施された復号画像のフレームの並べ替えを行う。すなわち、復号画像データの、画像符号化装置１００の画面並べ替えバッファ１０２（図１）により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
【０２４７】
ステップＳ２１０において、D/A変換部２０８は、ステップＳ２０９の処理によりフレームが並べ替えられた復号画像データをD/A変換する。この復号画像データが図示せぬディスプレイに出力され、その画像が表示される。
【０２４８】
ステップＳ２１１において、フレームメモリ２０９は、ステップＳ２０８の処理によりループフィルタ処理された復号画像データを記憶する。
【０２４９】
［復号制御処理の流れ］
次に、図１７のフローチャートを参照して、図１６のステップＳ２０３において実行される復号制御処理の流れの例を説明する。
【０２５０】
復号制御処理が開始されると、伝送情報取得部２５１は、ステップＳ２３１において、可逆復号部２０２から供給される伝送情報を取得する。
【０２５１】
ステップＳ２３２において、可否判定部２５３は、制御情報と伝送情報とに基づいて、可逆復号部２０２に供給される符号化データが復号可能であるか否かを判定する。ステップＳ２３３において、制御部２５４は、その判定結果に基づいて処理を選択する。すなわち、復号可能であると判定された場合、制御部２５４は、復号制御処理を終了し、処理を図１６に戻し、ステップＳ２０４以降の処理を実行させる。
【０２５２】
また、復号不可能であると判定された場合、ステップＳ２３３において、制御部２５４は、処理をステップＳ２３４に進める。ステップＳ２３４において、エラー処理部２５５は、所定のエラー処理を行う。ステップＳ２３５において、制御部２５４は、可逆復号部２０２等を制御し、復号処理を強制終了させる。ステップＳ２３５の処理が終了すると、制御部２５４は、復号制御処理を終了する。
【０２５３】
以上のように各処理を行うことにより、画像復号装置２００は、より確実に符号化効率の低減が抑制された符号化データを復号することができる。したがって、画像復号装置２００は、より確実に、符号化効率の低減の抑制を実現することができる。
【０２５４】
［復号制御部の他の例］
なお、制限情報は、任意であり、上述した例に限らない。例えば、複数の制限の候補を含み、各種条件に従ってその中から採用する制限が選択されるようにしてもよい。
【０２５５】
図１８は、そのような場合の、復号制御部２２１の主な構成例を示すブロック図である。図１８に示される例の場合、復号制御部２２１は、図１５の可否判定部２５３の代わりに、可否判定部２７３を有する。また、図１８の復号制御部２２１は、さらに、条件取得部２７１を有する。
【０２５６】
条件取得部２７１は、動きベクトル生成に関する各種条件を取得し、それを条件情報として可否判定部２７３に通知する。この条件は任意であり、どのような情報であってもよい。例えば、ユーザ等による許可する動きベクトルや制限の指定であってもよいし、利用可能なメモリ帯域等のリソースに関する情報であってもよいし、符号化規格により規定される制限に関する情報であってもよい。
【０２５７】
可否判定部２７３は、このような条件情報と、制限情報記憶部２５２から読み出した制限情報に基づいて、動きベクトルの制限内容を決定する。
【０２５８】
この場合、制限情報において、制限内容が複数パターン用意されており、可否判定部２７３が、条件情報に応じていずれかを選択することができるようになされている。例えば、制限情報が、上述したような、「L0予測若しくはL1予測では、４×４ブロックサイズを禁止する。双予測では、４×４，８×４，４×８および８×８の「efgijkpqr」を禁止する」といったように、少なくとも、動きベクトルの精度に関する条件を複数含むようにしてもよい。この場合、可否判定部２７３は、条件情報に従っていずれかの制限内容を選択することにより、条件情報に応じた制限内容を決定することができる。
【０２５９】
また、制限情報が、条件によって複数通りの演算結果が得られる所定の演算式を含むようにしてもよい。この場合、可否判定部２７３は、条件情報に従って演算式の係数の値を決定し、その値を用いて演算を行うことにより、条件情報に応じた制限内容を決定することができる。
【０２６０】
さらに、制限情報が、図４や図５に示されるテーブル情報を含むようにしてもよい。この場合、可否判定部２７３は、条件情報に従って、上限とする「入力画素数」を決定することにより、条件情報に応じた制限内容を決定することができる。
【０２６１】
なお、図４および図５の例は、メモリアラインメントを固定した例であるが、制限情報が、各メモリアラインメントのパターンについての、このようなテーブル情報を含むようにしてもよい。その場合、可否判定部２７３は、条件情報に従って、メモリアラインメントを特定（決定）することにより、適用するテーブルを選択し、さらに、条件情報に従って、上限とする「入力画素数」を決定することにより、条件情報に応じた制限内容を決定することができる。
【０２６２】
また、図１１や図１２に示される例のように、図４および図５のテーブルの各行について「許可」するか「禁止」するかを予め決定したテーブルを制限情報に含めるようにしてもよい。つまり、この例の場合、予測モード、ブロックサイズ、および動きベクトルの精度の組み合わせについて、どれを許可し、どれを禁止するかが予め定められている。したがって、可否判定部２７３は、条件情報に従ってメモリアラインメントを特定（決定）するだけで、条件情報に応じた制限内容を決定することができる。
【０２６３】
この場合も、動きベクトルの精度による制限以外の制限は任意である。動きベクトル制御情報による制限において、予測モードやブロックサイズ以外の制限が含まれていても良いし、予測モードやブロックサイズによる制限が省略されても良い。また、動きベクトル制御情報や伝送情報に、動きベクトルの精度による制限が含まれている限り、制限情報や条件は、どのような情報であっても良い。
【０２６４】
可否判定部２７３は、このように求めた制限を、図１５の場合と同様に伝送情報と比較する（例えば、予測モード、ブロックサイズ、動きベクトルの精度のような各種情報を比較しても良いし、それらをメモリ帯域に換算して比較しても良い）ことにより、復号処理の可否判定を行う。可否判定部２７３は、その判定結果を制御部２５４に供給する。制御部２５４は、この判定結果に基づいて、図１５の場合と同様に復号処理を制御する。
【０２６５】
この場合も、復号制御部２２１は、動きベクトルの精度による制限を用いて、復号処理を制御することができる。したがって、復号制御部２２１は、復号できない符号化データの復号処理を強制終了させることができる。したがって、復号制御部２２１は、より確実に符号化効率の低減が抑制された符号化データを復号することができる。したがって、画像復号装置２００は、より確実に、符号化効率の低減の抑制を実現することができる。
【０２６６】
［復号制御処理の流れ］
次に、図１９のフローチャートを参照して、この場合の復号制御処理の流れの例を説明する。
【０２６７】
復号制御処理が開始されると、条件取得部２７１は、ステップＳ２５１において、条件を取得する。ステップＳ２５２において、伝送情報取得部２５１は、可逆復号部２０２から供給される伝送情報を取得する。
【０２６８】
ステップＳ２５３において、可否判定部２７３は、ステップＳ２５１において取得された条件、制限情報記憶部２５２から読み出した制御情報、並びに、ステップＳ２５２において取得された伝送情報とに基づいて、可逆復号部２０２に供給される符号化データが復号可能であるか否かを判定する。ステップＳ２５４において、制御部２５４は、その判定結果に基づいて処理を選択する。すなわち、復号可能であると判定された場合、制御部２５４は、復号制御処理を終了し、処理を図１６に戻し、ステップＳ２０４以降の処理を実行させる。
【０２６９】
また、復号不可能であると判定された場合、ステップＳ２５５において、制御部２５４は、処理をステップＳ２５５に進める。ステップＳ２５５において、エラー処理部２５５は、所定のエラー処理を行う。ステップＳ２５６において、制御部２５４は、可逆復号部２０２等を制御し、復号処理を強制終了させる。ステップＳ２３５の処理が終了すると、制御部２５４は、復号制御処理を終了する。
【０２７０】
以上のように各処理を行うことにより、画像復号装置２００は、より確実に符号化効率の低減が抑制された符号化データを復号することができる。したがって、画像復号装置２００は、より確実に、符号化効率の低減の抑制を実現することができる。
【０２７１】
＜３．第３の実施の形態＞
［コンピュータ］
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図２９に示されるようなコンピュータとして構成されるようにしてもよい。
【０２７２】
図２０において、コンピュータ７００のCPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７１３からRAM（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２７３】
CPU７０１、ROM７０２、およびRAM７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７１０も接続されている。
【０２７４】
入出力インタフェース７１０には、キーボード、マウス、タッチパネル、および入力端子などよりなる入力部７１１、CRT（Cathode Ray Tube）、LCD（Liquid Crystal Display）、およびOELD（Organic ElectroLuminescence Display）などよりなるディスプレイ、並びにスピーカ等の任意の出力デバイスや出力端子等よりなる出力部７１２、ハードディスクやフラッシュメモリ等の任意の記憶媒体やその記憶媒体の入出力を制御する制御部等により構成される記憶部７１３、モデム、LANインタフェース、USB（Universal Serial Bus）、並びにBluetooth（登録商標）等、有線や無線の任意の通信デバイスよりなる通信部７１４が接続されている。通信部７１４は、例えばインターネットを含むネットワークを介して他の通信デバイスとの通信処理を行う。
【０２７５】
入出力インタフェース７１０にはまた、必要に応じてドライブ７１５が接続される。そのドライブ７１５には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７２１が適宜装着される。ドライブ７１５は、例えばCPU７０１の制御に従って、自身に装着されたリムーバブルメディア７２１からコンピュータプログラムやデータ等を読み出す。その読み出されたデータやコンピュータプログラムは、例えば、RAM７０３に供給される。また、リムーバブルメディア７２１から読み出されたコンピュータプログラムは、必要に応じて記憶部７１３にインストールされる。
【０２７６】
上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【０２７７】
この記録媒体は、例えば、図２０に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア７２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７１３に含まれるハードディスクなどで構成される。
【０２７８】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２７９】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２８０】
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
【０２８１】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２８２】
上述した実施形態に係る画像符号化装置１００（図１）および画像復号装置２００（図１４）は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
【０２８３】
＜４．第４の実施の形態＞
［テレビジョン装置］
図２１は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
【０２８４】
チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送部としての役割を有する。
【０２８５】
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。
また、デマルチプレクサ９０３は、符号化ビットストリームからEPG（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
【０２８６】
デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
【０２８７】
映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのGUI（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
【０２８８】
表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はOELD（Organic ElectroLuminescence Display）（有機ELディスプレイ）など）の映像面上に映像又は画像を表示する。
【０２８９】
音声信号処理部９０７は、デコーダ９０４から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
【０２９０】
外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送部としての役割を有する。
【０２９１】
制御部９１０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
【０２９２】
ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
【０２９３】
バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
【０２９４】
このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置２００（図１４）の機能を有する。従って、デコーダ９０４は、動き予測の制限において動きベクトルの精度が考慮された符号化により生成された符号化データのみ復号するようにすることができる。したがってデコーダ９０４は、より確実に符号化効率の低減が抑制された符号化データを復号することができる。したがって、テレビジョン装置９００は、より確実に、符号化効率の低減の抑制を実現することができる。
【０２９５】
＜５．第５の実施の形態＞
［携帯電話機］
図２２は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
【０２９６】
アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
【０２９７】
携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
【０２９８】
音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０２９９】
また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
【０３００】
記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
【０３０１】
また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９の記憶媒体に記憶させる。
【０３０２】
また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０３０３】
このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置１００（図１）の機能を有する。したがって、画像処理部９２７は、動きベクトルの精度を考慮して動き予測を制限することができる。したがって、画像処理部９２７は、符号化効率の低減を抑制しながら負荷の増大を抑制し、画像を符号化することができる。したがって、携帯電話機９２０は、符号化効率の抑制を低減させることができる。
【０３０４】
なお、画像処理部９２７は、上述した実施形態に係る画像復号装置２００（図１４）の機能も有する。従って、画像処理部９２７は、動き予測の制限において動きベクトルの精度が考慮された符号化により生成された符号化データのみ復号するようにすることができる。したがって、画像処理部９２７は、より確実に符号化効率の低減が抑制された符号化データを復号することができる。したがって、携帯電話機９２０は、より確実に、符号化効率の低減の抑制を実現することができる。
【０３０５】
また、以上においては携帯電話機９２０として説明したが、例えば、PDA（Personal Digital Assistants）、スマートフォン、UMPC（Ultra Mobile Personal Computer）、ネットブック、ノート型パーソナルコンピュータ等、この携帯電話機９２０と同様の撮像機能や通信機能を有する装置であれば、どのような装置であっても携帯電話機９２０の場合と同様に、本技術を適用した画像符号化装置および画像復号装置を適用することができる。
【０３０６】
＜６．第６の実施の形態＞
［記録再生装置］
図２３は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
【０３０７】
記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、HDD（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、OSD（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。
【０３０８】
チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送部としての役割を有する。
【０３０９】
外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、IEEE1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送部としての役割を有する。
【０３１０】
エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
【０３１１】
HDD９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラムおよびその他のデータを内部のハードディスクに記録する。また、HDD９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
【０３１２】
ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばDVDディスク（DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等）又はBlu-ray（登録商標）ディスクなどであってよい。
【０３１３】
セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをＨＤＤ９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、HDD９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
【０３１４】
デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをOSD９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。
【０３１５】
OSD９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、OSD９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのGUIの画像を重畳してもよい。
【０３１６】
制御部９４９は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
【０３１７】
ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
【０３１８】
このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置１００（図１）の機能を有する。したがって、エンコーダ９４３は、動きベクトルの精度を考慮して動き予測を制限することができる。したがって、エンコーダ９４３は、符号化効率の低減を抑制しながら負荷の増大を抑制し、画像を符号化することができる。したがって、記録再生装置９４０は、符号化効率の抑制を低減させることができる。
【０３１９】
また、このように構成された記録再生装置９４０において、デコーダ９４７は、上述した実施形態に係る画像復号装置２００（図１４）の機能を有する。したがって、デコーダ９４７は、動き予測の制限において動きベクトルの精度が考慮された符号化により生成された符号化データのみ復号するようにすることができる。したがって、デコーダ９４７は、より確実に符号化効率の低減が抑制された符号化データを復号することができる。したがって、記録再生装置９４０は、より確実に、符号化効率の低減の抑制を実現することができる。
【０３２０】
＜７．第７の実施の形態＞
［撮像装置］
図２４は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
【０３２１】
撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
【０３２２】
光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、及び制御部９７０を相互に接続する。
【０３２３】
光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、CCD又はCMOSなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
【０３２４】
信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
【０３２５】
画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９
６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、ＯＳＤ９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
【０３２６】
OSD９６９は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部９６４へ出力する。
【０３２７】
外部インタフェース９６６は、例えばUSB入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送部としての役割を有する。
【０３２８】
メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。
【０３２９】
制御部９７０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
【０３３０】
ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
【０３３１】
このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置１００（図１）の機能を有する。したがって、画像処理部９６４は、動きベクトルの精度を考慮して動き予測を制限することができる。したがって、画像処理部９６４は、符号化効率の低減を抑制しながら負荷の増大を抑制し、画像を符号化することができる。したがって、撮像装置９６０は、符号化効率の抑制を低減させることができる。
【０３３２】
なお、画像処理部９６４は、上述した実施形態に係る画像復号装置２００（図１４）の機能も有する。したがって、画像処理部９６４は、動き予測の制限において動きベクトルの精度が考慮された符号化により生成された符号化データのみ復号するようにすることができる。したがって、画像処理部９６４は、より確実に符号化効率の低減が抑制された符号化データを復号することができる。したがって、撮像装置９６０は、より確実に、符号化効率の低減の抑制を実現することができる。
【０３３３】
もちろん、本技術を適用した画像符号化装置および画像復号装置は、上述した装置以外の装置やシステムにも適用可能である。
【０３３４】
なお、本明細書では、量子化パラメータが、符号化側から復号側へ伝送される例について説明した。量子化行列パラメータを伝送する手法は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
【０３３５】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０３３６】
なお、本技術は以下のような構成も取ることができる。
（１）  動き補償を行うインター予測モードの候補を、動きベクトルの精度に基づいて制御する制御部と、
前記制御部により前記候補とすることを許可されたインター予測モードでのみ動き探索を行い、動きベクトルを生成する動き探索部と、
前記動き探索部により動きベクトルが生成された各候補の中から選択されたインター予測モードで前記動き補償を行い、予測画像を生成する動き補償部と
を備える画像処理装置。
（２）  前記制御部は、前記動きベクトルの精度が整数精度であるか分数精度であるかによって、インター予測モードを前記候補とするか否かを制御する
前記（１）に記載の画像処理装置。
（３）  前記制御部は、前記動きベクトルの縦と横の各方向の精度が整数精度であるか分数精度であるかによって、インター予測モードを前記候補とするか否かを制御する
前記（２）に記載の画像処理装置。
（４）  前記制御部は、さらに、予測モードが単予測であるか双予測であるかによって、インター予測モードを前記候補とするか否かを制御する
前記（３）に記載の画像処理装置。
（５）  前記制御部は、さらに、予測処理単位とする領域の大きさによって、インター予測モードを前記候補とするか否かを制御する
前記（４）に記載の画像処理装置。
（６）  前記制御部は、前記動きベクトルの精度に応じて決定されるメモリからのデータ読み出し量の大きさに関する情報が、リソースやユーザ指示等による上限を超えるか否かによって、インター予測モードを前記候補とするか否かを制御する
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）  前記制御部による制御の内容を示す伝送情報を生成し、伝送させる伝送部をさらに備える
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）  前記伝送部は、前記伝送情報として、プロファイルとレベルを定義し、前記プロファイルおよび前記レベルを示す情報をシーケンスパラメータセットに含めて伝送させる
前記（７）に記載の画像処理装置。
（９）  前記動き探索部により動きベクトルが生成された各候補について、コスト関数値を算出するコスト関数算出部と、
前記コスト関す算出部により算出された前記コスト関数値に基づいて、前記動き補償を行うインター予測モードを前記候補の中から選択するモード選択部と
をさらに備え、
前記動き補償部は、前記モード選択部により選択されたインター予測モードで前記動き補償を行う
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）  画像処理装置の画像処理方法であって、
制御部が、動き補償を行うインター予測モードの候補を、動きベクトルの精度に基づいて制御し、
動き探索部が、前記候補とすることを許可されたインター予測モードでのみ動き探索を行い、動きベクトルを生成し、
動き補償部が、動きベクトルが生成された各候補の中から選択されたインター予測モードで前記動き補償を行い、予測画像を生成する
画像処理方法。
（１１）  画像データを符号化する際のインター予測において用いられた、動き補償を行うインター予測モードの候補を動きベクトルの精度に基づいて制御する制御情報を取得する取得部と、
前記取得部により取得された前記制御情報に基づいて、前記画像データが符号化されて生成された符号化データの復号の可否判定を行う判定部と、
前記判定部による判定結果に基づいて、前記符号化データの復号を制御する制御部と
を備える画像処理装置。
（１２）  前記判定部は、前記取得部により取得された前記制御情報において指定されるメモリからのデータ読み出し量の大きさに関する情報が、リソースやユーザ指示等による上限を超えるか否かによって、前記可否判定を行う
前記（１１）に記載の画像処理装置。
（１３）  前記判定部は、プロファイルとレベルによって定義されるメモリからのデータ読み出し量の大きさに関する情報が、リソースやユーザ指示等による上限を超えるか否かによって、前記可否判定を行う
前記（１２）に記載の画像処理装置。
（１４）  前記制御部は、前記判定部により復号可能と判定された場合のみ、前記符号化データの復号を実行させる
前記（１１）乃至（１３）のいずれかに記載の画像処理装置。
（１５）  前記判定部により復号不可能と判定された場合、前記制御部に制御されて、エラー処理を行うエラー処理部をさらに備える
前記（１１）乃至（１４）のいずれかに記載の画像処理装置。
（１６）  画像処理装置の画像処理方法であって、
取得部が、画像データを符号化する際のインター予測において用いられた、動き補償を行うインター予測モードの候補を動きベクトルの精度に基づいて制御する制御情報を取得し、
判定部が、取得された前記制御情報に基づいて、前記画像データが符号化されて生成された符号化データの復号の可否判定を行い、
制御部が、その判定結果に基づいて、前記符号化データの復号を制御する
画像処理方法。
【符号の説明】
【０３３７】
１００  画像符号化装置，  １１５  動き予測・補償部，  １２１  動きベクトル制御部，  １５１  動き探索部，  １５２  コスト関数算出部，  １５３  モード判定部，  １５４  動き補償部，  １５５  動き情報バッファ，  １６１  制限情報記憶部，  １６２  制限制御部，  １６３  伝送情報提供部，  １７１  条件取得部，  １７２  制限制御部，  ２００  画像復号装置，  ２１２  動き予測・補償部，  ２２１  復号制御部，  ２５１  伝送情報取得部，  ２５２  制限情報記憶部，  ２５３  可否判定部，  ２５４  制御部，  ２５５  エラー処理部，  ２７１  条件取得部，  ２７３  可否判定部
【図１】
2013098933.tif 000003
【図２】
2013098933.tif 000004
【図３】
2013098933.tif 000005
【図４】
2013098933.tif 000006
【図５】
2013098933.tif 000007
【図６】
2013098933.tif 000008
【図７】
2013098933.tif 000009
【図８】
2013098933.tif 000010
【図９】
2013098933.tif 000011
【図１０】
2013098933.tif 000012
【図１１】
2013098933.tif 000013
【図１２】
2013098933.tif 000014
【図１３】
2013098933.tif 000015
【図１４】
2013098933.tif 000016
【図１５】
2013098933.tif 000017
【図１６】
2013098933.tif 000018
【図１７】
2013098933.tif 000019
【図１８】
2013098933.tif 000020
【図１９】
2013098933.tif 000021
【図２０】
2013098933.tif 000022
【図２１】
2013098933.tif 000023
【図２２】
2013098933.tif 000024
【図２３】
2013098933.tif 000025
【図２４】
2013098933.tif 000026