(57)【要約】画像符号化方法は、画像を入力とし、第１処理手順に従って、画像の符号化に適した第１モードを決定する第１モード決定ステップ（Ｓ１１）と、画像を入力とし、第２処理手順に従って、画像の符号化に適した第２モードを決定する第２モード決定ステップ（Ｓ１２）と、第１モード及び第２モードから、いずれか一方を最終モードとして選択するモード選択ステップ（Ｓ１４）と、最終モードを用いて、画像を符号化する符号化ステップ（Ｓ１５）と、第２モードを用いて画像を符号化した場合のコストを計算するコスト計算ステップ（Ｓ１３）とを含み、第２処理手順は、再構成可能な回路によって実現され、モード選択ステップ（Ｓ１４）では、コスト計算ステップ（Ｓ１３）で計算されたコストが第１所定値よりも大きい場合に第１モードを選択し、コストが第１所定値以下である場合に第２モードを選択する。
2020079827.tif 000002
【特許請求の範囲】
【請求項１】
画像を符号化する画像符号化方法であって、
前記画像を入力とし、第１処理手順に従って、前記画像の符号化に適した第１モードを決定する第１モード決定ステップと、
前記画像を入力とし、第２処理手順に従って、前記画像の符号化に適した第２モードを決定する第２モード決定ステップと、
前記第１モード及び前記第２モードから、いずれか一方を最終モードとして選択するモード選択ステップと、
前記最終モードを用いて、前記画像を符号化する符号化ステップと、
前記第２モードを用いて前記画像を符号化した場合のコストを計算するコスト計算ステップとを含み、
前記第２処理手順は、再構成可能な回路によって実現され、
前記モード選択ステップでは、前記コストが第１所定値よりも大きい場合に前記第１モードを選択し、前記コストが前記第１所定値以下である場合に前記第２モードを選択する
画像符号化方法。
【請求項２】
前記第１処理手順は、所定の複数のモードのそれぞれを用いて前記画像を符号化した場合のコストを計算し、計算した前記コストが最小であるモードを、前記第１モードとして決定する処理手順であり、
前記第２処理手順は、コスト計算を用いることなく、所定の複数のモードから前記第２モードを決定する処理手順である
請求項１記載の画像符号化方法。
【請求項３】
前記回路は、機械学習によって再構成される
請求項１又は２記載の画像符号化方法。
【請求項４】
前記第１モード決定ステップは、前記コストが前記第１所定値よりも大きい場合、及び、前記コストが前記第１所定値以下である場合のうち、前記コストが前記第１所定値よりも大きい場合にだけ実行される
請求項１〜３のいずれか１項に記載の画像符号化方法。
【請求項５】
前記第２モード決定ステップでは、さらに、前記第２モードが前記画像の符号化に適している蓋然性を示す蓋然性情報を生成し、
前記モード選択ステップでは、さらに、前記蓋然性情報が示す蓋然性が第２所定値よりも小さい場合に前記第１モードを選択し、前記蓋然性情報が示す蓋然性が第３所定値以上である場合に前記第２モードを選択する
請求項１〜４のいずれか１項に記載の画像符号化方法。
【請求項６】
前記第１モード決定ステップは、前記蓋然性情報が示す蓋然性が第２所定値よりも小さい場合、及び、前記蓋然性情報が示す蓋然性が第３所定値以上である場合のうち、前記蓋然性情報が示す蓋然性が第２所定値よりも小さい場合にだけ実行される
請求項５記載の画像符号化方法。
【請求項７】
さらに、前記モード選択ステップにおいて前記第２モードが選択されなかった場合に、前記画像又は前記画像を特定する情報と前記第１モードとを記憶部に格納する格納ステップを含む
請求項１〜６のいずれか１項に記載の画像符号化方法。
【請求項８】
さらに、前記回路を機械学習させることで前記回路を再構成する学習制御ステップを含む
請求項１〜７のいずれか１項に記載の画像符号化方法。
【請求項９】
前記学習制御ステップでは、前記第１モード決定ステップで決定された前記第１モードを教師データとして用いることで、前記回路に対して、教師あり学習をさせる
請求項８記載の画像符号化方法。
【請求項１０】
前記学習制御ステップでは、前記コスト計算ステップで計算された前記コストに対応する報酬を用いることで、前記回路に対して、強化学習をさせる
請求項８記載の画像符号化方法。
【請求項１１】
画像を符号化する画像符号化装置であって、
前記画像を入力とし、第１処理手順に従って、前記画像の符号化に適した第１モードを決定する第１モード決定エンジンと、
前記画像を入力とし、第２処理手順に従って、前記画像の符号化に適した第２モードを決定する第２モード決定エンジンと、
前記第１モード及び前記第２モードから、いずれか一方を最終モードとして選択するモード選択部と、
前記最終モードを用いて、前記画像を符号化する符号化部と、
前記第２モードを用いて前記画像を符号化した場合のコストを計算するコスト計算部とを含み、
前記第２処理手順は、再構成可能な回路によって実現され、
前記モード選択部は、前記コストが第１所定値よりも大きい場合に前記第１モードを選択し、前記コストが前記第１所定値以下である場合に前記第２モードを選択する
画像符号化装置。
【請求項１２】
さらに、前記回路を機械学習させることで前記回路を再構成する学習制御部を含む
請求項１１記載の画像符号化装置。
【請求項１３】
前記学習制御部は、前記第１モード決定エンジンで決定された前記第１モードを教師データとして用いることで、前記回路に対して、教師あり学習をさせる
請求項１２記載の画像符号化装置。
【請求項１４】
前記学習制御部は、前記コスト計算部で計算された前記コストに対応する報酬を用いることで、前記回路に対して、強化学習をさせる
請求項１２記載の画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化方法及び画像符号化装置に関し、特に、符号化に適したモードを選択して画像を符号化する方法及び装置に関する。
【背景技術】
【０００２】
動画像の符号化では、大きく分けて、前段の「実装者依存」処理と、後段の「定型」処理に分けられる。前者は、各種のモード決定に相当し、例えば、符号化ブロックのサイズの決定、面内予測、動き検出等がある。一方、後者は、前者で決められたモードに従った定型的な処理であり、例えば、直交変換、量子化、エントロピー符号化、動き補償等である。【０００３】
前者のモード決定は、膨大な組み合わせの中から最適な、あるいは、準最適な組み合わせを求めることに相当し、理論的なアルゴリズムに従った処理である。よって、このようなモード決定を行うモード決定エンジンの設計が可能である。なお、エンジンとは、データ処理を実行する装置であり、例えば、電子回路等のハードウェア、あるいは、プログラム及びプログラムを実行するＣＰＵを含むソフトウェア及びハードウェアの統合システム等である。【０００４】
一方で、近年、アルゴリズムを経ずに、その処理内容をブラックボックスとして、膨大な量の入力と期待される出力の組み合わせとを与え、機械学習により、所望のハードウェア及びソフトウェアを設計することが可能になってきている（非特許文献１参照）。よって、機械学習を利用することで、従来手法（つまり、理論的なアルゴリズムに従った処理）によるものよりも効率のいいモード決定エンジンを実現できる可能性がある。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Tianyi Li et al,“ A DEEP CONVOLUTIONAL NEURAL NETWORK APPROACH FOR COMPLEXITY REDUCTION ON INTRA-MODE HEVC” published 10-14 July 2017 in 2017 IEEE International Conference
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、機械学習によるモード決定エンジンの設計は完全ではない。機械学習されたモード決定エンジンは、意図しない適切でない結果を出してしまうリスクを有する（非特許文献１参照）。機械学習されたモード決定エンジンで不適切な結果が出た場合には、後段での符号化効率が悪化することが考えられ、符号化データの伝送量の制限があるときには、結果として、画質が極端に劣化する等の問題を生じる可能性がある。【０００７】
そこで、本発明は、上記問題に鑑みてなされたものであり、機械学習されたモード決定エンジンのリスクを最小限に抑えたうえで、機械学習されたモード決定エンジンのメリットを享受することが可能なアーキテクチャを有する画像符号化方法及び画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の一形態に係る画像符号化方法は、画像を符号化する画像符号化方法であって、前記画像を入力とし、第１処理手順に従って、前記画像の符号化に適した第１モードを決定する第１モード決定ステップと、前記画像を入力とし、第２処理手順に従って、前記画像の符号化に適した第２モードを決定する第２モード決定ステップと、前記第１モード及び前記第２モードから、いずれか一方を最終モードとして選択するモード選択ステップと、前記最終モードを用いて、前記画像を符号化する符号化ステップと、前記第２モードを用いて前記画像を符号化した場合のコストを計算するコスト計算ステップとを含み、前記第２処理手順は、再構成可能な回路によって実現され、前記モード選択ステップでは、前記コストが第１所定値よりも大きい場合に前記第１モードを選択し、前記コストが前記第１所定値以下である場合に前記第２モードを選択する。【０００９】
上記目的を達成するために、本発明の一形態に係る画像符号化装置は、画像を符号化する画像符号化装置であって、前記画像を入力とし、第１処理手順に従って、前記画像の符号化に適した第１モードを決定する第１モード決定エンジンと、前記画像を入力とし、第２処理手順に従って、前記画像の符号化に適した第２モードを決定する第２モード決定エンジンと、前記第１モード及び前記第２モードから、いずれか一方を最終モードとして選択するモード選択部と、前記最終モードを用いて、前記画像を符号化する符号化部と、前記第２モードを用いて前記画像を符号化した場合のコストを計算するコスト計算部とを含み、前記第２処理手順は、再構成可能な回路によって実現され、前記モード選択部は、前記コストが第１所定値よりも大きい場合に前記第１モードを選択し、前記コストが前記第１所定値以下である場合に前記第２モードを選択する。
【発明の効果】
【００１０】
本発明により、機械学習されたモード決定エンジンのリスクを最小限に抑えたうえで、機械学習されたモード決定エンジンのメリットを享受することが可能なアーキテクチャを有する画像符号化方法及び画像符号化装置を提供される。
【図面の簡単な説明】
【００１１】
【図１】図１は、実施の形態１に係る画像符号化装置の構成を示すブロック図である。
【図２Ａ】図２Ａは、動画像の符号化におけるモードの一例（面内予測のモード）を説明する図である。
【図２Ｂ】図２Ｂは、Ｈ．２６５規格における面内予測のモードの種類を示す図である。
【図３Ａ】図３Ａは、動画像の符号化におけるモードの他の一例（動き検出に用いられる参照画像）を説明する図である。
【図３Ｂ】図３Ｂは、動画像の符号化での動き検出における動きベクトルの精度の一例（１／４精度）を説明する図である。
【図４】図４は、動画像の符号化におけるモードの他の一例（符号化ブロックのサイズ）を説明する図である。
【図５】図５は、実施の形態１に係る画像符号化装置の動作を示すフローチャートである。
【図６】図６は、実施の形態１の変形例１に係る画像符号化装置の動作を示すフローチャートである。
【図７】図７は、実施の形態１の変形例２に係る画像符号化装置の動作を示すフローチャートである。
【図８】図８は、実施の形態２に係る画像符号化装置の構成を示すブロック図である。
【図９Ａ】図９Ａは、実施の形態２に係る画像符号化装置の符号化モードにおける動作を示すフローチャートである。
【図９Ｂ】図９Ｂは、実施の形態２に係る画像符号化装置の学習モードにおける動作を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は、必ずしも厳密に図示したものではない。各図において、実質的に同一の構成については同一の符号を付し、重複する説明は省略又は簡略化する。
【００１３】
（実施の形態１）
まず、実施の形態１に係る画像符号化装置及び画像符号化方法について説明する。
【００１４】
図１は、実施の形態１に係る画像符号化装置１０の構成を示すブロック図である。画像符号化装置１０は、動画像又は静止画等の画像を符号化する装置であって、第１モード決定エンジン１１、第２モード決定エンジン１２、コスト計算部１３、モード選択部１４、及び、符号化部１５を備える。
【００１５】
第１モード決定エンジン１１は、符号化対象の画像（以下、「対象画像」ともいう）を入力とし、第１処理手順に従って、対象画像の符号化に適した第１モードを決定する処理部であり、例えば、電子回路、あるいは、プログラム及びプログラムを実行するＣＰＵを含む回路システムで実現される。第１処理手順は、例えば、所定の複数のモードのそれぞれを用いて対象画像を符号化した場合のコストを計算し、計算したコストが最小であるモードを、第１モードとして決定する処理手順である。
【００１６】
つまり、第１モード決定エンジン１１は、典型的には、従来手法（つまり、理論的なアルゴリズムに従った処理）によるモード決定エンジンであり、具体的には、動画像の符号化では、前段の「実装者依存」処理、例えば、符号化ブロックのサイズ決定、面内予測、動き検出等を行う。
【００１７】
第２モード決定エンジン１２は、符号化対象の画像（つまり、第１モード決定エンジン１１の処理対象と同じ対象画像）を入力とし、第２処理手順に従って、対象画像の符号化に適した第２モードを決定する処理部であり、再構成可能な回路で実現される。第２処理手順は、例えば、コスト計算を用いることなく、所定の複数のモードから第２モードを決定する処理手順である。ここで、再構成可能な回路とは、論理回路及びその接続関係をプログラミングで書き換えることが可能な回路デバイスであり、例えば、ＦＰＧＡ（Field-Programmable Gate Array）、あるいは、プログラムが格納された書き換え可能なメモリ及びプログラムを実行するＣＰＵを含む回路システムである。本実施の形態では、第２モード決定エンジン１２は、機械学習によって再構成される回路、例えば、ニューラルネットワークで構成される。
【００１８】
つまり、第２モード決定エンジン１２は、典型的には、機械学習されたモード決定エンジンであり、コスト計算を用いることなく、機械学習によって得られた頭脳（つまり、第２処理手順）に従って、対象画像の符号化に適した第２モードを決定する処理部であり、具体的な処理として、第１モード決定エンジン１１と同様の処理、つまり、動画像の符号化では、前段の「実装者依存」処理、例えば、符号化ブロックのサイズ決定、面内予測、動き検出等を行う。
【００１９】
コスト計算部１３は、第２モード決定エンジン１２が決定した第２モードを用いて対象画像を符号化した場合のコスト（以下、このコストを「第２モードに対するコスト」ともいう）を計算する処理部であり、例えば、電子回路、あるいは、プログラム及びプログラムを実行するＣＰＵを含む回路システムで実現される。
【００２０】
モード選択部１４は、第１モード決定エンジン１１が決定した第１モード、及び、第２モード決定エンジン１２が決定した第２モードから、いずれか一方を最終モードとして選択する処理部であり、より具体的には、コスト計算部１３で計算された第２モードに対するコストが第１所定値よりも大きい場合に第１モードを選択し、第２モードに対するコストが第１所定値以下である場合に第２モードを選択する処理部であり、例えば、電子回路、あるいは、プログラム及びプログラムを実行するＣＰＵを含む回路システムで実現される。第１所定値として、例えば、第１モード決定エンジン１１が第１モードの決定過程で得られる最小のコストに設定にしたり、そのような最小のコストと予測される値に設定したりする。
【００２１】
符号化部１５は、モード選択部１４が選択した最終モードを用いて、対象画像を符号化し、ビットストリームとして出力する処理部であり、例えば、電子回路、あるいは、プログラム及びプログラムを実行するＣＰＵを含む回路システムで実現される。符号化部１５は、具体的には、動画像の符号化では、後段の「定型」処理、つまり、対象画像に対して、最終モードを用いて、直交変換及び量子化をした後に、エントロピー符号化をし、ビットストリームとして、出力する。さらに、符号化部１５は、直交変換及び量子化後の画像に対して、逆量子化及び逆直交変換をした後に、デブロッキング等のループフィルタの処理を施して得られる参照画像を内部のフレームメモリに格納する。フレームメモリに格納した参照画像に対しては、最終モードを用いて動き補償の処理を施すことで得られた予測画像を、対象画像から、直交変換及び量子化に先立って差し引くために用いたり、逆量子化及び逆直交変換を終えた対象画像に対して、ループフィルタの処理に先立って加算するために用いたりする。
【００２２】
次に、第１モード決定エンジン１１及び第２モード決定エンジン１２が決定するモードの具体例を説明する。
【００２３】
図２Ａは、動画像の符号化におけるモードの一例（ここで、面内予測のモード）を説明する図である。本図に示されるように、面内予測のモードは、いろいろあり、対象画素から４５°、９０°といった方向にある隣接画素をもとに予測画像を生成するような方向を持つ面内予測のモードと、隣接する画素の平均値を予測画像とするような方向を持たない面内予測のモードとがある。
【００２４】
図２Ｂは、Ｈ．２６５規格における面内予測のモードの種類を示す図である。図２Ｂの（ａ）は、Ｈ．２６５規格における面内予測のモード番号０〜３４の予測方向等を示し、図２Ｂの（ｂ）は、Ｈ．２６５規格における面内予測の各モードの予測方向についての角度の定義を示し、図２Ｂの（ｃ）は、Ｈ．２６５規格における面内予測の各モード番号と角度の定義との対応を示す。図２Ｂに示されるように、Ｈ．２６５規格では、方向を持つ面内予測のモードが３３モード（モード番号２〜３４）、方向を持たない面内予測のモードが２モード（モード番号０（Ｐｌａｎａｒ）、モード番号１（ＤＣ））ある。
【００２５】
本実施の形態では、第１モード決定エンジン１１及び第２モード決定エンジン１２は、Ｈ．２６５規格に従って動画像を符号化する場合には、図２Ｂに示された複数の面内予測のモードから、それぞれ、第１処理手順及び第２処理手順に従って、符号化に適した面内予測のモードを選択し、選択したモードを第１モード及び第２モードとして決定する。
【００２６】
なお、第１モード決定エンジン１１は、Ｈ．２６５規格に従って面内予測のモードを決定する際には、例えば、Ｒ−Ｄ最適化（レート歪み最適化）のための一般的なコスト関数（つまり、Ｃｏｓｔ＝Ｄｉｓｔｏｒｔｉｏｎ＋λ＊Ｒａｔｅ）を用いる。ここで、Ｄｉｓｔｏｒｔｉｏｎは、符号化歪を指し、例えば、符号化ブロックにおける原画像と予測画像との差分値の絶対値和（ＳＡＤ）を用いる。Ｒａｔｅは、例えば、符号化時の発生ビット量を使用する。λは、ラグランジュ乗数と呼ばれ、符号化歪とビット量の最適化のためのパラメータである。第１モード決定エンジン１１は、３３方向の各面内予測のモードにおいて、隣接画素を用いてＨ．２６５規格の処理内容に従って予測処理を行ったときの符号化ブロックのコストをそれぞれ算出し、最もコストが小さくなる面内予測のモードを第１モードとして決定する。
【００２７】
また、コスト計算部１３についても、第２モード決定エンジン１２が決定した第２モードのコストを計算する際に、上述したＲ−Ｄ最適化のためのコスト関数（Ｃｏｓｔ＝Ｄｉｓｔｏｒｔｉｏｎ＋λ＊Ｒａｔｅ）を用いる。
【００２８】
図３Ａは、動画像の符号化におけるモードの他の一例（ここで、動き検出に用いられる参照画像）を説明する図である。本図に示されるように、Ｈ．２６５規格では、面間予測として、時間的に前方向（過去）及び後ろ方向（未来）の両方から動き（つまり、動きベクトル）を予測することが可能であり、前後合わせて１６面の参照画像が定義されている。また前方向及び後ろ方向いずれも、連続した画像でなくてもよく、任意の画像を参照画像として選ぶことができる。なお、動きベクトルは、参照画像番号が示す画像のどの画素から予測するかを示す座標である。
【００２９】
図３Ｂは、動画像の符号化での動き検出における動きベクトルの精度の一例（ここでは、１／４精度）を説明する図である。図３Ｂに示されるように、動きベクトルは、小数点位置を指し示すことができる。その場合、動きベクトルが指した位置の周辺画素をもとにフィルタ処理を行って画素を生成する。この小数精度は、Ｈ．２６５規格では１／４精度となっている。
【００３０】
本実施の形態では、第１モード決定エンジン１１及び第２モード決定エンジン１２は、Ｈ．２６５規格に従って動画像を符号化する場合には、第１処理手順及び第２処理手順に従って、図３Ａに示された複数の参照画像から符号化に適した参照画像を選択し、図３Ｂに示される１／４精度で動きベクトルを決定することで、動き検出におけるモード（つまり、参照画像と動きベクトルとの組み合わせ）を選択し、選択したモードを第１モード及び第２モードとして決定する。
【００３１】
なお、第１モード決定エンジン１１は、Ｈ．２６５規格に従って面内予測のモードを決定する際には、例えば、Ｒ−Ｄ最適化のためのコスト関数（Ｃｏｓｔ＝Ｄｉｓｔｏｒｔｉｏｎ＋λ＊Ｒａｔｅ）を用いる。いま、前方向のみの参照関係で、かつ、直前の３枚を参照可能とすると、第１モード決定エンジン１１は、３つの参照画像及び各動きベクトルにおいて予測処理を行ったときのコストをそれぞれ算出し、最もコストが小さくなる動き検出のモード（参照画像＋動きベクトル）を第１モードとして決定する。
【００３２】
図４は、動画像の符号化におけるモードの他の一例（ここで、符号化ブロックのサイズ）を説明する図である。ここでは、Ｈ．２６５規格における符号化ブロックのサイズが示されている。本図に示されるように、Ｈ．２６５規格では、符号化ブロックは、正方形のみであり、小さい符号化ブロックを作ることができる。最小の符号化ブロックのサイズは、８ｘ８である。面内か面間かの選択では、最小のサイズが８ｘ８であり、さらに最小４ｘ４までサイズを分割して、面内予測のモードや面間予測のモードを個別に指定できる。
【００３３】
本実施の形態では、第１モード決定エンジン１１及び第２モード決定エンジン１２は、Ｈ．２６５規格に従って動画像を符号化する場合には、図４に示された複数の符号化ブロックのサイズ（つまり、モード）から、それぞれ、第１処理手順及び第２処理手順に従って、符号化に適した符号化ブロックのサイズ（つまり、モード）を選択し、選択したモードを第１モード及び第２モードとして決定する。
【００３４】
なお、第１モード決定エンジン１１は、Ｈ．２６５規格に従って符号化ブロックのサイズについてのモードを決定する際には、例えば、各面内予測のモードにおけるＲ−Ｄ最適化のためのコスト関数（Ｃｏｓｔ＝Ｄｉｓｔｏｒｔｉｏｎ＋λ＊Ｒａｔｅ）を用いて行う。具体的には、第１モード決定エンジン１１は、各面内予測のモード（３５モード）において隣接画素を用いてＨ．２６５規格の処理内容に従って予測処理を行ったときの符号化ブロックのコストをそれぞれ算出し、最もコストが小さくなる面内予測のモードを選択して、当該符号化ブロックのサイズにおけるコストとする。この処理を６４ｘ６４〜８ｘ８までの符号化ブロックサイズのすべてについて行う。
【００３５】
そして、各符号化ブロックサイズのコストを比べて符号化ブロックのサイズ（つまり、第１モード）を決定する。つまり、第１モード決定エンジン１１は、８ｘ８の符号化ブロックサイズを４つ選択した場合と１６ｘ１６の符号化ブロックサイズを選択した場合の各コストを比較し、続いて、より小さなコストの方を選択した場合と３２ｘ３２の符号化ブロックサイズを選択した場合の各コストを比較し、続いて、より小さなコストを選択した場合と６４ｘ６４の符号化ブロックサイズを選択した場合の各コストを比較し、より小さなコストの方を選択することで、最適な符号化ブロックのサイズを決定する。決定した符号化ブロックのサイズが、符号化ブロックのサイズについての第１モードとなる。
【００３６】
次に、以上のように構成された実施の形態１に係る画像符号化装置１０の動作（つまり、画像符号化方法）について説明する。
【００３７】
図５は、実施の形態１に係る画像符号化装置１０の動作を示すフローチャートである。
【００３８】
まず、第１モード決定エンジン１１は、対象画像に対して、第１処理手順に従って、画像の符号化に適した第１モードを決定する（第１モード決定ステップＳ１１）。具体的には、第１モード決定エンジン１１は、動画像の符号化における符号化ブロックのサイズ決定、面内予測、動き検出等において、所定の複数のモードのそれぞれを用いて画像を符号化した場合のコストを計算し、計算したコストが最小であるモードを、第１モードとして決定する。
【００３９】
一方、第２モード決定エンジン１２は、第１モード決定エンジン１１の処理対象と同じ対象画像に対して、第２処理手順に従って、対象画像の符号化に適した第２モードを決定する（第２モード決定ステップＳ１２）。具体的には、第２モード決定エンジン１２は、動画像の符号化における符号化ブロックのサイズ決定、面内予測、動き検出等において、コスト計算を用いることなく、機械学習によって得られた頭脳（つまり、第２処理手順）に従って、対象画像の符号化に適した第２モードを決定する。
【００４０】
なお、第１モード決定エンジン１１による第１モードの決定（第１モード決定ステップＳ１１）と、第２モード決定エンジン１２による第２モードの決定（第２モード決定ステップＳ１２）とは、いずれが先であってもよいし、同時並行に行われてもよい。
【００４１】
次に、コスト計算部１３は、第２モード決定エンジン１２が決定した第２モードを用いて対象画像を符号化した場合のコストを計算する（コスト計算ステップＳ１３）。
【００４２】
そして、モード選択部１４は、コスト計算部１３が計算したコストに基づいて、第１モード決定エンジン１１が決定した第１モード及び第２モード決定エンジン１２が決定した第２モードから、いずれか一方を最終モードとして選択する（モード選択ステップＳ１４）。
【００４３】
具体的には、本図の右側に図示されたサブフローのように、モード選択部１４は、コスト計算部１３で計算された第２モードに対するコストが第１所定値よりも大きいか否かを判断し（Ｓ２０）、第２モードに対するコストが第１所定値よりも大きいと判断した場合には（Ｓ２０でＹｅｓ）、第１モードを最終モードとして選択し（Ｓ２１）、一方、第２モードに対するコストが第１所定値以下であると判断した場合には（Ｓ２０でＮｏ）、第２モードを最終モードとして選択する（Ｓ２２）。
【００４４】
最後に、符号化部１５は、モード選択部１４が選択した最終モードを用いて、対象画像を符号化し、ビットストリームとして出力する（符号化ステップＳ１５）。具体的には、符号化部１５は、対象画像に対して、最終モードを用いて、直交変換及び量子化をした後に、エントロピー符号化をし、ビットストリームとして、出力する。このとき、符号化部１５は、直交変換及び量子化後の画像に対して、逆量子化及び逆直交変換をした後に、デブロッキング等のループフィルタの処理を施して得られる参照画像を内部のフレームメモリに格納したり、フレームメモリに格納した参照画像に対しては、最終モードを用いて動き補償の処理を施すことで得られた予測画像を、対象画像から、直交変換及び量子化に先立って差し引くために用いたり、逆量子化及び逆直交変換を終えた画像に対して、ループフィルタの処理に先立って加算するために用いたりする。
【００４５】
以上のように、本実施の形態に係る画像符号化装置１０は、画像を符号化する装置であって、画像を入力とし、第１処理手順に従って、画像の符号化に適した第１モードを決定する第１モード決定エンジン１１と、画像を入力とし、第２処理手順に従って、画像の符号化に適した第２モードを決定する第２モード決定エンジン１２と、第１モード及び第２モードから、いずれか一方を最終モードとして選択するモード選択部１４と、最終モードを用いて、画像を符号化する符号化部１５と、第２モードを用いて画像を符号化した場合のコストを計算するコスト計算部１３とを含み、第２処理手順は、再構成可能な回路によって実現され、モード選択部１４は、コスト計算部１３で計算されたコストが第１所定値よりも大きい場合に第１モードを選択し、コスト計算部１３で計算されたコストが第１所定値以下である場合に第２モードを選択する。
【００４６】
また、本実施の形態に係る画像符号化方法は、画像を符号化する画像符号化方法であって、画像を入力とし、第１処理手順に従って、画像の符号化に適した第１モードを決定する第１モード決定ステップＳ１１と、画像を入力とし、第２処理手順に従って、画像の符号化に適した第２モードを決定する第２モード決定ステップＳ１２と、第１モード及び第２モードから、いずれか一方を最終モードとして選択するモード選択ステップＳ１４と、最終モードを用いて、画像を符号化する符号化ステップＳ１５と、第２モードを用いて画像を符号化した場合のコストを計算するコスト計算ステップＳ１３とを含み、第２処理手順は、再構成可能な回路によって実現され、モード選択ステップＳ１４では、コスト計算ステップＳ１３で計算されたコストが第１所定値よりも大きい場合に第１モードを選択し、コスト計算ステップ（Ｓ１３）で計算されたコストが第１所定値以下である場合に第２モードを選択する。
【００４７】
これにより、対象画像に対して、２種類の処理手順に従って符号化に適した第１モード及び第２モードが決定される。そして、第２モードを用いて符号化した場合のコストが計算され、そのコストが第１所定値よりも大きい場合に第１モードが選択され、そうでない場合に第２モードが選択される。第２モードは、再構成可能な回路によって実現される処理手順が用いられる。
【００４８】
よって、例えば、第１モードを決定する第１モード決定エンジン１１を従来手法（つまり、理論的なアルゴリズムに従った処理）によるモード決定エンジンとし、第２モードを決定する第２モード決定エンジン１２をニューラルネットワーク等の機械学習による再構成可能な回路によって実現されるモード決定エンジンとすることで、機械学習された第２モード決定エンジン１２が決定した第２モードがコスト的に適切である場合にはその第２モードを最終モードとして採用し、一方、第２モードがコスト的に適切でない場合にはフェイルセーフとして第１モードを最終モードとして採用したうえで、対象画像が符号化される。
【００４９】
よって、フェイルセーフ機能により、機械学習されたモード決定エンジンのリスクを最小限に抑えたうえで、機械学習されたモード決定エンジンのメリットを享受することが可能なアーキテクチャを有する画像符号化装置１０及びその方法が実現される。
【００５０】
また、第１処理手順は、所定の複数のモードのそれぞれを用いて画像を符号化した場合のコストを計算し、計算したコストが最小であるモードを、第１モードとして決定する処理手順であり、第２処理手順は、コスト計算を用いることなく、所定の複数のモードから第２モードを決定する処理手順である。
【００５１】
これにより、第１モードは、符号化におけるコストの観点から決定され、一方、第２モードは、符号化におけるコスト以外の観点から決定される。よって、第１モードを決定する第１モード決定エンジン１１を従来手法（つまり、理論的なアルゴリズムに従った処理）によるモード決定エンジンで実現し、第２モードを決定する第２モード決定エンジン１２をニューラルネットワーク等の機械学習による再構成可能な回路で構成されるモード決定エンジンで実現することができる。
【００５２】
また、第２モード決定エンジン１２を実現する再構成可能な回路は、機械学習によって再構成される。これにより、第２モードは、機械学習によって再構成可能な回路で決定されるので、第２モードを決定する第２モード決定エンジン１２に対する機械学習を繰り返すことで、より適切なモードを第２モードとして決定することができる。
【００５３】
なお、実施の形態１では、第１モードの決定（第１モード決定ステップＳ１１）は、第２モードに対するコスト計算（コスト計算ステップＳ１３）及びそのコスト計算の結果と第１所定値との比較（モード選択ステップＳ１４）に先立って常に実行されたが、この手順に限られず、第２モードに対するコストと第１所定値との比較結果に依存して実行するか否かを決定してもよい。
【００５４】
図６は、第２モードに対するコストと第１所定値との比較結果に依存して第１モードの決定（第１モード決定ステップＳ１１）を実行するか否かを制御する、実施の形態１の変形例１に係る画像符号化装置の動作（つまり、画像符号化方法）を示すフローチャートである。実施の形態１に係る図５と同じ処理については、同じ符号を付している。
【００５５】
本変形例では、第１モードの決定（第１モード決定ステップＳ１１）は、モード選択の処理（Ｓ１４ａ）において、第２モードに対するコストが第１所定値よりも大きいと判断された（Ｓ２０でＹｅｓ）後に実行される。つまり、モード選択部１４により、コスト計算部１３が計算した第２モードに対するコストが第１所定値よりも大きいと判断された場合に（Ｓ２０でＹｅｓ）、第１モード決定エンジン１１は、対象画像に対して、第１処理手順に従って、画像の符号化に適した第１モードを決定する（第１モード決定ステップＳ１１）。その他の手順は、図５に示される実施の形態１での手順と同じである。
【００５６】
このように、本変形例では、第１モード決定ステップＳ１１は、第２モードに対するコストが第１所定値よりも大きい場合（Ｓ２０でＹｅｓ）、及び、第１所定値以下である場合（Ｓ２０でＮｏ）のうち、第１所定値よりも大きい場合（Ｓ２０でＹｅｓ）にだけ実行される。
【００５７】
これにより、第１モードが最終モードとして用いられることが確定した場合にだけ、第１モードが決定されるので、常に第１モードを決定する場合に比べ、処理負荷が軽減され、第１モードを決定する第１モード決定エンジン１１の消費電力が削減される。
【００５８】
また、実施の形態１では、最終モード（つまり、第１モードか第２モードか）の選択は、第２モードに対するコストだけに基づいて行われたが（モード選択ステップＳ１４）、コストに加えて、第２モードが画像の符号化に適している蓋然性も考慮したうえで、行われてもよい。
【００５９】
図７は、第２モードに対するコストに加えて第２モードが画像の符号化に適している蓋然性も考慮したうえ最終モードを選択する、実施の形態１の変形例２に係る画像符号化装置の動作（つまり、画像符号化方法）を示すフローチャートである。なお、本フローチャートには、実施の形態１の変形例１に係る特徴（第１モードの決定がモード選択部１４での判断結果に依存して実行されるか否かが決定されること）も含まれている。実施の形態１に係る図５と同じ処理については、同じ符号を付している。
【００６０】
本変形例では、第２モードの決定においては、第２モード決定エンジン１２は、処理対象と同じ対象画像に対して第２処理手順に従って対象画像の符号化に適した第２モードを決定することに加えて、第２モードが対象画像の符号化に適している蓋然性を示す蓋然性情報を生成する（第２モード決定ステップＳ１２ａ）。蓋然性情報としては、例えば、第２モード決定エンジン１２を構成するニューラルネットワークの出力層から得られる第２モードの確からしさ（確率）を用いる。つまり、第２モード決定エンジン１２として、ニューラルネットワークの出力層を、第２モードの候補となり得る複数のモードのそれぞれに対応させた複数の出力ノードで構成しておく。そして、第２モード決定エンジン１２は、対象画像が入力されたときに複数の出力ノードで得られる値のうちの最大値を示す出力ノードに対応するモードを第２モードとして決定し、その出力ノードで得られた値の、全出力ノードで得られた値の合計に対する割合を、蓋然性情報として生成する。
【００６１】
また、モード選択の処理（Ｓ１４ｂ）において、モード選択部１４は、コスト計算部１３が計算した第２モードに対するコストと第１所定値との比較（Ｓ２０）に先立ち、まず、第２モード決定エンジン１２が生成した蓋然性情報が示す蓋然性が第２所定値よりも小さいか否かを判断する（Ｓ３０）。その結果、蓋然性情報が示す蓋然性が第２所定値よりも小さい場合には（Ｓ３０でＹｅｓ）、第１モード決定エンジン１１は、第１モードを決定し（第１モード決定ステップＳ１１）、そして、モード選択部１４は、第１モード決定エンジン１１によって決定された第１モードを最終モードとして選択する（Ｓ２１ａ）。
【００６２】
一方、蓋然性情報が示す蓋然性が第２所定値よりも小さくない場合には（Ｓ３０でＮｏ）、モード選択部１４は、続いて、蓋然性情報が示す蓋然性が第３所定値以上であるか否かを判断し（Ｓ３１）、蓋然性情報が示す蓋然性が第３所定値以上である場合には（Ｓ３１でＹｅｓ）、第２モードを最終モードとして選択する（Ｓ２２ａ）。ここで、第３所定値は、第２所定値よりも大きい（つまり、より高い蓋然性を示す）値である。
【００６３】
一方、蓋然性情報が示す蓋然性が第３所定値以上でない場合には（Ｓ３１でＮｏ）、上記変形例１のモード選択（Ｓ１４ａ（Ｓ２０、Ｓ１１、Ｓ２１、Ｓ２２））と同様の処理が行われる。つまり、モード選択部１４は、コスト計算部１３が計算した第２モードに対するコストが第１所定値よりも大きいか否かを判断する（Ｓ２０）。その結果、第２モードに対するコストが第１所定値よりも大きいと判断された場合には（Ｓ２０でＹｅｓ）、第１モード決定エンジン１１によって第１モードが決定されるので（第１モード決定ステップＳ１１）、モード選択部１４は、第１モード決定エンジン１１によって決定された第１モードを最終モードとして選択する（Ｓ２１）。一方、第２モードに対するコストが第１所定値以下であると判断された場合には（Ｓ２０でＮｏ）、モード選択部１４は、第２モードを最終モードとして選択する（Ｓ２２）。
【００６４】
このように、本変形例では、第２モード決定ステップＳ１２ａでは、第２モードの決定に加えて、第２モードが画像の符号化に適している蓋然性を示す蓋然性情報を生成し、モード選択ステップＳ１４では、さらに、蓋然性情報が示す蓋然性が第２所定値よりも小さい場合（Ｓ３０でＹｅｓ）に第１モードを選択し（Ｓ２１ａ）、蓋然性情報が示す蓋然性が第３所定値以上である場合（Ｓ３１でＹｅｓ）に第２モードを選択する（Ｓ２２ａ）。
【００６５】
これにより、第２モードに対するコストだけでなく、第２モードが画像の符号化に適している蓋然性も含めたうえで、第１モード及び第２モードの選択が行われるので、より信頼性のあるモード選択が可能になる。
【００６６】
また、第１モード決定ステップＳ１１は、蓋然性情報が示す蓋然性が第２所定値よりも小さい場合（Ｓ３０でＹｅｓ）、及び、蓋然性情報が示す蓋然性が第３所定値以上である場合（Ｓ３１でＹｅｓ）のうち、蓋然性情報が示す蓋然性が第２所定値よりも小さい場合（Ｓ３０でＹｅｓ）にだけ実行される。
【００６７】
これにより、蓋然性情報を用いた判定によって第１モードが最終モードとして用いられることが確定した場合にだけ第１モードが決定されるので、常に第１モードを決定する場合に比べ、処理負荷が軽減され、第１モードを決定する第１モード決定エンジン１１の消費電力が削減される。
【００６８】
（実施の形態２）
次に、実施の形態２に係る画像符号化装置及び画像符号化方法について説明する。
【００６９】
図８は、実施の形態２に係る画像符号化装置１０ａの構成を示すブロック図である。画像符号化装置１０ａは、実施の形態１と同様に、動画像又は静止画等の画像を符号化する装置であるが、実施の形態１と異なり、第２モード決定エンジン１２に対して学習を実行させるための機能をさらに有する点に特徴を有する。そのために、画像符号化装置１０ａは、実施の形態１に係る画像符号化装置１０の構成（第１モード決定エンジン１１、第２モード決定エンジン１２、コスト計算部１３、モード選択部１４、及び、符号化部１５）に加えて、格納部１６、及び、学習制御部１７を備える。以下、実施の形態１と異なる点を中心に説明する。
【００７０】
格納部１６は、不揮発性メモリ等で実現される記憶部１６ａを有し、モード選択部１４において第２モードが選択されなかった（つまり、第１モードが選択された）場合に、対象画像又は対象画像を特定する情報と、第１モード決定エンジン１１が決定した第１モードとを記憶部１６ａに格納する処理部である。なお、対象画像を特定する情報とは、対象画像の識別情報であり、学習制御部１７が対象画像を取得するために参照する情報である。
【００７１】
学習制御部１７は、第２モード決定エンジン１２に対して機械学習をさせる処理部であり、より詳しくは、第２モード決定エンジン１２を実現する再構成可能な回路に対して、記憶部１６ａに格納された情報又はコスト計算部１３で計算されたコストを用いて機械学習をさせることで、再構成可能な回路を再構成する処理部である。
【００７２】
具体的には、学習制御部１７は、学習制御部１７に対する事前の設定に応じて、第２モード決定エンジン１２に対して、教師あり学習、又は、強化学習を行う。教師あり学習では、学習制御部１７は、記憶部１６ａから、対象画像又は対象画像を特定する情報と、第１モード決定エンジン１１が決定した第１モードとを読み出す。そして、学習制御部１７は、記憶部１６ａから読み出した対象画像又は記憶部１６ａから読み出した対象画像を特定する情報が示す対象画像を入力データとし、記憶部１６ａから読み出した第１モードを教師データとして用いることで、第２モード決定エンジン１２を実現する再構成可能な回路に対して、教師あり学習をさせる。一方、強化学習では、学習制御部１７は、第２モード決定エンジン１２で決定された第２モードに対して計算されたコスト及びそのときの対象画像をコスト計算部１３から取得する。そして、学習制御部１７は、取得した対象画像を入力データとし、取得したコストに対応する値（例えば、コストの逆数）を報酬として用いることで、エージェントである第２モード決定エンジン１２を実現する再構成可能な回路に対して、強化学習をさせる。
【００７３】
なお、格納部１６及び学習制御部１７は、電子回路、あるいは、プログラム及びプログラムを実行するＣＰＵを含む回路システムで実現される。
【００７４】
次に、以上のように構成された実施の形態２に係る画像符号化装置１０ａの動作（つまり、画像符号化方法）について説明する。
【００７５】
本実施の形態に係る画像符号化装置１０ａは、動作モードとして、符号化モードと学習モードとを有する。符号化モードでは、画像符号化装置１０ａを構成する全構成要素のうち、学習制御部１７を除く全ての構成要素が動作することで、入力された画像に対する符号化、及び、記憶部１６ａへの格納が行われる。一方、学習モードでは、画像符号化装置１０ａを構成する全構成要素のうち、少なくとも第２モード決定エンジン１２及び学習制御部１７が動作することで、第２モード決定エンジン１２に対する機械学習が行われる。なお、学習モードは、符号化モードと並行して行われてもよい。これらの動作モードの制御については、画像符号化装置１０ａを構成する全構成要素を制御する、プログラム及びプログラムを実行するＣＰＵを含む回路システムで実現される制御部（図示せず）等によって行われる。
【００７６】
図９Ａは、実施の形態２に係る画像符号化装置１０ａの符号化モードにおける動作を示すフローチャートである。実施の形態１に係る図５のフローチャートと異なる点は、モード選択（Ｓ１４ｃ）において、第１モードが選択された（Ｓ２１）後に、格納部１６が、対象画像又は対象画像を特定する情報と第１モード決定エンジン１１が決定した第１モードとを記憶部１６ａに格納するステップ（格納ステップＳ４０）が追加されていることである。
【００７７】
このように、本変形例の符号化モードでは、画像符号化方法として、モード選択ステップＳ１４において第２モードが選択されなかった場合に（Ｓ２０でＹｅｓ）、画像又は画像を特定する情報と第１モードとを記憶部１６ａに格納する格納ステップＳ４０が含まれる。
【００７８】
これにより、第２モードが選択されなかった場合に、画像又は画像を特定する情報と第１モードとが記憶部１６ａに格納されるので、例えば、第２モードを決定する第２モード決定エンジン１２として機械学習されたモード決定エンジンとすることで、第２モード決定エンジン１２が不適切な第２モードを決定したときの入力データ（画像又は画像を特定する情報）及び正しい出力データ（つまり、第１モード）が記憶部１６ａに格納されるので、これらのデータを用いて第２モード決定エンジン１２を機械学習（つまり、教師あり学習）させることが可能になる。
【００７９】
図９Ｂは、実施の形態２に係る画像符号化装置１０ａの学習モードにおける動作（つまり、画像符号化方法）を示すフローチャートである。ここでは、学習制御部１７による動作を中心とするフローチャートが示されている。
【００８０】
まず、学習制御部１７は、事前の設定に応じて、第２モード決定エンジン１２に対して教師あり学習を行うか、又は、強化学習を行うかを判断する（Ｓ５０）。
【００８１】
その結果、教師あり学習を行うと判断した場合には（Ｓ５０で「教師あり学習」）、学習制御部１７は、記憶部１６ａから、対象画像又は対象画像を特定する情報と第１モード決定エンジン１１が決定した第１モードとを読み出すことで、対象画像と第１モードとを取得する（Ｓ５１）。なお、学習制御部１７は、記憶部１６ａから対象画像を特定する情報を読み出した場合には、対象画像を特定する情報と対象画像とを対応付けて記憶するデータベース（例えば、記憶部１６ａに格納されているデータベース）を参照することで、対象画像を取得する。そして、学習制御部１７は、記憶部１６ａから読み出した対象画像又は記憶部１６ａから読み出した対象画像を特定する情報が示す対象画像を入力データとし、記憶部１６ａから読み出した第１モードを教師データとして用いることで、第２モード決定エンジン１２を実現する再構成可能な回路に対して、教師あり学習をさせる（Ｓ５２）。
【００８２】
一方、強化学習を行うと判断した場合には（Ｓ５０で「強化学習」）、学習制御部１７は、第２モード決定エンジン１２で決定された第２モードに対して計算されたコスト及びそのときの対象画像をコスト計算部１３から取得する（Ｓ５３）。そして、学習制御部１７は、対象画像を入力データとし、その対象画像に対して第２モード決定エンジン１２で決定された第２モードに対するコストに対応する値（例えば、コストの逆数）を報酬として用いることで、エージェントである第２モード決定エンジン１２を実現する再構成可能な回路に対して、強化学習をさせる（Ｓ５４）。
【００８３】
このように、本変形例の学習モードでは、画像符号化方法として、第２モード決定エンジン１２を実現する再構成可能な回路に対して学習制御部１７が機械学習させることで再構成する学習制御ステップＳ５０〜Ｓ５４が含まれる。これにより、第２モードを決定する第２モード決定エンジン１２を機械学習させることが可能となり、より適切なモードが第２モードとして決定され得る。
【００８４】
また、学習制御部１７は、機械学習の一つとして、第１モード決定ステップＳ１１で決定された第１モードを教師データとして用いることで、第２モード決定エンジン１２を実現する再構成可能な回路に対して、教師あり学習をさせる。これにより、第１モードを教師データとして、第２モードを決定する第２モード決定エンジン１２に対する教師あり学習が可能になる。
【００８５】
また、学習制御部１７は、機械学習の他の一つとして、コスト計算ステップＳ１３で計算されたコストに対応する報酬を用いることで、第２モード決定エンジン１２を実現する再構成可能な回路に対して、強化学習をさせる。これにより、コスト計算ステップＳ１３で計算されたコストに応じて報酬を定めることで、第２モードを決定する第２モード決定エンジン１２に対する強化学習が可能になる。
【００８６】
以上、本発明に係る画像符号化装置及び画像符号化方法について、実施の形態及び変形例に基づいて説明したが、本発明は、これらの実施の形態及び変形例に限定されるものではない。本発明の主旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態又は変形例に施したものや、実施の形態及び変形例における一部の構成要素を組み合わせて構築される別の形態も、本発明の範囲内に含まれる。
【００８７】
例えば、上記実施の形態及び変形例では、第１モード決定エンジン１１として、従来手法（つまり、理論的なアルゴリズムに従った処理）によるモード決定エンジンで実現し、第２モード決定エンジン１２として、ニューラルネットワークで構成されるモード決定エンジンで実現する例が示されたが、第１モード決定エンジン１１及び第２モード決定エンジン１２の具体例は、これらに限定されない。第１モード決定エンジン１１として、任意の探索アルゴリズムに従って複数の選択可能なモードから画像の符号化に適した第１モードを選択できるものであれば、再構成可能な回路及び再構成不可能な回路のいずれで実現されてもよい。また、第２モード決定エンジン１２として、再構成可能な回路によって実現されるモード決定エンジンであればよく、ニューラルネットワークに限られず、例えば、サポートベクタマシン等の任意の機械学習によって第２処理手順が学習され得るモード決定エンジンであればよい。
【００８８】
また、上記実施の形態及び変形例に係る画像符号化装置は、２種類のモード決定エンジンを備えたが、３種類以上のモード決定エンジンを備えてもよい。例えば、第１モード決定エンジンとして、異なる理論的なアルゴリズムに従った処理で第１モードを決定する複数の第１モード決定エンジンを備え、コスト計算部１３で計算された第２モードに対するコストに応じて、複数の第１モード決定エンジンの中から実行させる一つを選択してもよい。
【００８９】
また、上記実施の形態１の変形例２では、モード選択（Ｓ１４ｂ）において、蓋然性を用いた判断（Ｓ３０、Ｓ３１）をした後に、第２モードに対するコストを用いた判断（Ｓ２０）をしたが、これらの順序は、逆であってもよい。つまり、まず第２モードに対するコストを用いた判断（Ｓ２０）をし、その後に蓋然性を用いた判断（Ｓ３０、Ｓ３１）をしてもよい。
【００９０】
また、上記実施の形態１の変形例２では、第１モードの決定（第１モード決定ステップＳ１１）は、第１モードを選択することが確定した（Ｓ３０でＹｅｓ、Ｓ２０でＹｅｓ）後に実行されたが、このような処理手順に限定されない。実施の形態１のように、第１モードの決定（第１モード決定ステップＳ１１）は、モード選択（Ｓ１４ｂ）の前に実行されてもよい。
【００９１】
また、上記実施の形態２では、第１モードの決定（第１モード決定ステップＳ１１）は、第２モードに対するコスト計算（コスト計算ステップＳ１３）及びそのコスト計算の結果と第１所定値との比較（モード選択ステップＳ１４ｃ）に先立って常に実行されたが、この手順に限られず、実施の形態１の変形例１及び変形例２のように、第２モードに対するコストと第１所定値との比較結果、あるいは、蓋然性情報が示す蓋然性と第２所定値との比較結果に依存して実行するか否かを決定してもよい。
【００９２】
また、上記実施の形態及び変形例では、モード選択部１４は、第１所定値とコストとの比較、第２所定値及び第３所定値と蓋然性との比較において、第１所定値とコストとが同一である場合、並びに、第２所定値及び第３所定値と蓋然性とが同一である場合に、比較後の選択的な２つの処理の一方を実行したが、これに代えて、比較後の選択的な２つの処理の他方を実行してもよい。つまり、「第１所定値よりも大きい」及び「第１所定値以下」は、それぞれ、「第１所定値以上」及び「第１所定値よりも小さい」に置き換えてもよい。同様に、「第２所定値よりも小さい」及び「第２所定値以上」は、それぞれ、「第２所定値以下」及び「第２所定値よりも大きい」に置き換えてもよい。「第３所定値以上」及び「第３所定値よりも小さい」は、それぞれ、「第３所定値よりも大きい」及び「第３所定値以下」に置き換えてもよい。これらの表現は、第１所定値、第２所定値及び第３所定値の値をどのような値に設定するかによって、実質的に差異がないことを意味し得る。
【００９３】
また、上記実施の形態及び変形例では、コスト関数として、Ｃｏｓｔ＝Ｄｉｓｔｏｒｔｉｏｎ＋λ＊Ｒａｔｅが用いられたが、このような関数に限られない。例えば、符号化歪が増えても、発生ビット量が増えても、どちらの場合でもコストが大きくなるような関数であれば、他の関数であってもよい。
【産業上の利用可能性】
【００９４】
本発明は、符号化に適したモードを選択して画像を符号化する画像符号化装置として、例えば、機械学習されるモード決定エンジンを備える一以上の半導体集積回路で構成される動画像符号化装置として、利用できる。
【符号の説明】
【００９５】
１０、１０ａ  画像符号化装置
１１  第１モード決定エンジン
１２  第２モード決定エンジン
１３  コスト計算部
１４  モード選択部
１５  符号化部
１６  格納部
１６ａ  記憶部
１７  学習制御部
【図１】
2020079827.tif 000003
【図２Ａ】
2020079827.tif 000004
【図２Ｂ】
2020079827.tif 000005
【図３Ａ】
2020079827.tif 000006
【図３Ｂ】
2020079827.tif 000007
【図４】
2020079827.tif 000008
【図５】
2020079827.tif 000009
【図６】
2020079827.tif 000010
【図７】
2020079827.tif 000011
【図８】
2020079827.tif 000012
【図９Ａ】
2020079827.tif 000013
【図９Ｂ】
2020079827.tif 000014
【国際調査報告】
2020079827.tif 000015
2020079827.tif 000016
2020079827.tif 000017
2020079827.tif 000018