(57)【要約】【課題】ビデオ符号化の効率と処理速度を向上させるとともに、ビデオ符号化のハードウェア実装のコストを低減することができる、画面内予測の予測モードを選択する方法、ビデオ符号化デバイス及び画像処理装置を提供する。【解決手段】画面内予測の予測モードを選択する方法は、変換ユニットが予め設定された変換インデックスに基づいて動作を行う場合、ブロックに基づいて画面内予測における複数の予測モードが対応する複数の予測コストを計算するステップ、測コストに基づいて予測モードから複数の候補予測モードを選択するステップ、ブロック及び候補予測モードが対応する予測コストに基づいて、複数の変換インデックスにおいて候補予測モードが対応する複数の歪みコストを計算するステップ、及び歪みコストに基づいて候補予測モードからそのうちの１つを選択してブロックに対応する画面内予測の使用する予測モードとするステップを含む。【選択図】図４
2018078545.tif 000002
【特許請求の範囲】
【請求項１】
変換ユニットが予め設定された変換インデックスに基づいて動作を行う場合、入力画像のブロックに基づいて画面内予測における複数の予測モードが対応する複数の予測コストを計算するステップと、
前記複数の予測コストに基づいて前記複数の予測モードから複数の候補予測モードを選択するステップと、
前記ブロック及び前記複数の候補予測モードが対応する前記予測コストに基づいて、複数の変換インデックスにおいて前記複数の候補予測モードが対応する複数の歪みコストを計算し、前記予め設定された変換インデックスが前記複数の変換インデックスのうちの１つであるステップと、
前記歪みコストに基づいて前記複数の候補予測モードからそのうちの１つを選択して前記ブロックに対応する画面内予測の使用する予測モードとするステップと
を含む、画面内予測の予測モードを選択する方法。
【請求項２】
前記変換ユニットが第１の変換ユニットと第2の変換ユニットとを含み、前記第2の変換ユニットが非分離型二次変換（ＮＳＳＴ）を使用する、請求項１に記載の画面内予測の予測モードを選択する方法。
【請求項３】
前記第2の変換ユニットが少なくとも１つの変換コアを含み、
前記予め設定された変換インデックスが、前記変換ユニットが前記第2の変換ユニットを使用せずに前記ブロックの残差を変換する動作モードを表すことに用いられ、前記予め設定された変換インデックス以外の前記変換インデックスが、前記変換ユニットが前記第2の変換ユニットにおける少なくとも１つの変換コアのうちの１つを使用して前記ブロックの残差を変換する動作モードを表すことに用いられる、請求項２に記載の画面内予測の予測モードを選択する方法。
【請求項４】
絶対変換差の和（ＳＡＴＤ）の方法によって、前記入力画像の前記ブロックに基づいて前記画面内予測における前記複数の予測モードが対応する前記複数の予測コストを計算する、請求項１に記載の画面内予測の予測モードを選択する方法。
【請求項５】
レート歪み最適化（ＲＤＯ）を用いて検査し、かつ前記ブロック及び前記複数の候補予測モードが対応する前記予測コストに基づいて、前記複数の変換インデックスにおいて前記複数の候補予測モードが対応する前記複数の歪みコストを計算する、請求項１に記載の画面内予測の予測モードを選択する方法。
【請求項６】
前記複数の候補予測モードを選択した後に、前記候補予測モードが対応する前記予測コストを一時的に保存するステップをさらに含む、請求項１に記載の画面内予測の予測モードを選択する方法。
【請求項７】
前記画面内予測に使用されるビデオ符号化が共同探索テストモデル（ＪＥＭ）であり、前記複数の予測モードの数が前記複数の候補予測モードの数よりも多い、請求項１に記載の画面内予測の予測モードを選択する方法。
【請求項８】
複数の変換インデックスに基づいて入力画像のブロックが対応する残差を変換することに用いられる、変換ユニットと、
前記変換ユニットに結合され、前記変換ユニットが予め設定された変換インデックスに基づいて動作を行う場合、入力画像のブロックを取得し、かつ前記ブロックに基づいて画面内予測における複数の予測モードが対応する複数の予測コストを計算し、前記予め設定された変換インデックスが前記複数の変換インデックスのうちの１つである、画面内予測ユニットと、を含み、
前記画面内予測ユニットが前記複数の予測コストに基づいて前記複数の予測モードから複数の候補予測モードを選択し、前記ブロック及び前記複数の候補予測モードが対応する前記予測コストに基づいて、前記変換ユニットの前記複数の変換インデックスにおいて前記複数の候補予測モードが対応する複数の歪みコストを計算し、前記歪みコストに基づいて前記複数の候補予測モードからそのうちの１つを選択して前記ブロックに対応する画面内予測の使用する予測モードとする、ビデオ符号化デバイス。
【請求項９】
前記変換ユニットが、
前記残差に対して第１の変換を行う、第１の変換ユニットと、
第2の変換として、前記第１の変換が行われた前記残差に対して選択的に非分離型二次変換を使用して変換された残差を生成する、第2の変換ユニットと
を含む、請求項８に記載のビデオ符号化デバイス。
【請求項１０】
前記変換ユニットが少なくとも１つの変換コアを含み、
前記予め設定された変換インデックスが、前記変換ユニットが前記第2の変換ユニットを使用せず、前記第１の変換ユニットを使用して前記残差を変換する動作モードを表すことに用いられ、前記予め設定された変換インデックス以外の前記変換インデックスが、前記変換ユニットが前記第１の変換ユニットと前記第2の変換ユニットにおける少なくとも１つの変換コアのうちの１つを使用して前記残差を変換する動作モードを表すことに用いられる、請求項９に記載のビデオ符号化デバイス。
【請求項１１】
前記画面内予測ユニットが絶対変換差の和の方法によって、前記ブロックに基づいて前記画面内予測における前記複数の予測モードが対応する前記複数の予測コストを計算する、請求項８に記載のビデオ符号化デバイス。
【請求項１２】
前記画面内予測ユニットがレート歪み最適化を用いて検査し、前記ブロック及び前記複数の候補予測モードが対応する前記予測コストに基づいて、前記複数の変換インデックスにおける前記複数の候補予測モードが対応する前記複数の歪みコストを計算する、請求項８に記載のビデオ符号化デバイス。
【請求項１３】
前記画面内予測ユニットが前記複数の候補予測モードを選択した後に、前記候補予測モードが対応する前記予測コストを一時的に保存する、請求項８に記載のビデオ符号化デバイス。
【請求項１４】
前記ビデオ符号化デバイスに使用されるビデオ符号化が共同探索テストモデル（ＪＥＭ）であり、前記複数の予測モードの数が前記複数の候補予測モードの数よりも多い、請求項８に記載のビデオ符号化デバイス。
【請求項１５】
プロセッサと、
前記プロセッサに結合される、メモリと、を含み、
前記プロセッサが予め設定された変換インデックスに基づいて残差を変換する場合、入力画像のブロックに基づいて画面内予測における複数の予測モードが対応する複数の予測コストを計算し、前記残差が前記ブロックに対応し、前記プロセッサが前記複数の予測コストに基づいて前記複数の予測モードから複数の候補予測モードを選択し、前記ブロック及び前記複数の候補予測モードが対応する前記予測コストに基づいて、複数の変換インデックスにおいて前記複数の候補予測モードが対応する複数の歪みコストを計算し、前記予め設定された変換インデックスが前記複数の変換インデックスのうちの１つであり、
前記プロセッサが前記歪みコストに基づいて前記複数の候補予測モードからそのうちの１つを選択して、前記ブロックに対応する画面内予測の使用する予測モードとする、画像処理装置。
【請求項１６】
前記プロセッサが前記残差に対して第１の変換を行い、第2の変換として、前記第１の変換が行われた前記残差に対して非分離型二次変換を使用して変換された残差を生成する、請求項１５に記載の画像処理装置。
【請求項１７】
前記第２の変換が少なくとも１つの変換コアを含み、
前記予め設定された変換インデックスが、前記プロセッサが前記第2の変換を使用せず、前記第１の変換を使用して前記残差を変換する動作モードを表すことに用いられ、前記予め設定された変換インデックス以外の前記変換インデックスが、前記プロセッサが前記第１の変換と前記第2の変換における少なくとも１つの変換コアのうちの１つを使用して前記残差を変換する動作モードを表すことに用いられる、請求項１６に記載の画像処理装置。
【請求項１８】
前記プロセッサが絶対変換差の和の方法によって、前記ブロックに基づいて前記画面内予測における前記複数の予測モードが対応する前記複数の予測コストを計算する、請求項１５に記載の画像処理装置。
【請求項１９】
前記プロセッサがレート歪み最適化を用いて検査し、前記ブロック及び前記複数の候補予測モードが対応する前記予測コストに基づいて、前記複数の変換インデックスにおいて前記複数の候補予測モードが対応する前記複数の歪みコストを計算する、請求項１５に記載の画像処理装置。
【請求項２０】
前記プロセッサが前記複数の候補予測モードを選択した後に、前記候補予測モードが対応する前記予測コストを一時的に保存し、
使用するビデオ符号化が共同探索テストモデル（ＪＥＭ）であり、前記複数の予測モードの数が前記複数の候補予測モードの数よりも多い、請求項１５に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画面内予測の予測モードを選択する方法、ビデオ符号化デバイス及び画像処理装置に関する。
【背景技術】
【０００２】
ネットワーク、通信システム、ディスプレイ及びコンピュータなどのアプリケーションの新技術の近頃の発展に従って、多くのアプリケーションは、いずれも例えば高いビデオ圧縮率、バーチャルリアリティ（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ；ＶＲ）及び３６０度のビデオコンテンツのような効率的なビデオ符号化の解決方案を必要としている。その場に立ち臨むような視覚効果を提供するために、ビデオにおいてより詳細を見えるようにビデオ解像度を向上させるのが一般的なやり方である。ＶＲ技術は、通常、ヘッドマウントデバイス（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  ｄｅｖｉｃｅ；ＨＭＤ）により実現され、ヘッドマウントデバイスと目との距離は十分に接近しているため、必要なビデオコンテンツの解像度としては４Ｋ〜８Ｋ、さらには３２Ｋ以上まで向上できることが好ましい。また、画面のリフレッシュレートもＶＲの使用感覚に影響するため、リフレッシュレートを毎秒３０枚、毎秒９０枚、さらに毎秒１２０枚まで増加させることが好ましい。上記の要求に基づき、従来の高効率ビデオ符号化（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ；ＨＥＶＣ）（Ｈ．２６５とも称する）は、ユーザにより良好な視覚効果及び体験を提供することができない。
【０００３】
デジタルビデオに対する符号化効率及び画像品質を更に高めるために、共同ビデオ探索チーム（Ｊｏｉｎｔ  Ｖｉｄｅｏ  Ｅｘｐｌｏｒａｔｉｏｎ  Ｔｅａｍ；ＪＶＥＴ）は、潜在的要求を解決する数種の強化型ビデオ符号化技術を共同探索テストモデル（Ｊｏｉｎｔ  Ｅｘｐｌｏｒａｔｉｏｎ  Ｔｅｓｔ  Ｍｏｄｅｌ；ＪＥＭ）に応用し、ビデオ符号化技術の進歩を試行的に推進している。ＪＥＭが採用する画面内予測（ｉｎｔｒａ  ｐｒｅｄｉｃｔｉｏｎ）技術は、従来のＨＥＶＣが具備する３５種類の予測モードから６７種類の予測モードまで拡張され、より正確な角度予測に用いられる。
【０００４】
また、ＪＥＭは、さらに変換ユニット（Ｔｒａｎｓｆｏｒｍ  Ｕｎｉｔ；ＴＵ）にモード依存（ｍｏｄｅ−ｄｅｐｅｎｄｅｎｔ）非分離型二次変換（ｎｏｎ−ｓｅｐａｒａｂｌｅ  ｓｅｃｏｎｄａｒｙ  ｔｒａｎｓｆｏｒｍ；ＮＳＳＴ）技術を導入している。ＮＳＳＴは、ビデオエンコーダの一次変換（ｐｒｉｍａｒｙ  ｔｒａｎｓｆｏｒｍ）（コア変換（ｃｏｒｅ  ｔｒａｎｓｆｏｒｍ）又は第１変換（ｆｉｒｓｔ  ｔｒａｎｓｆｏｒｍ）とも言う）と量子化（ｑｕａｎｔｉｚａｔｉｏｎ）との間で実現されることができ、また、ビデオエンコーダの逆量子化（ｄｅ−ｑｕａｎｔｉｚａｔｉｏｎ）と逆一次変換において実現されることもできる。ＮＳＳＴは、指向性テクスチャパターン（ｄｉｒｅｃｔｉｏｎａｌ  ｔｅｘｔｕｒｅ  ｐａｔｔｅｒｎ）においてよりよい圧縮率に達することができ、但し、比較的に複雑な演算を必要とする。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、ビデオ符号化の効率と処理速度を向上させるとともに、ビデオ符号化のハードウェア実装のコストを低減することができる、画面内予測の予測モードを選択する方法、ビデオ符号化デバイス及び画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画面内予測の予測モードを選択する方法は以下のステップを含む。変換ユニットが予め設定された変換インデックスに基づいて動作を行う場合、入力画像のブロックに基づいて画面内予測における複数の予測モードが対応する複数の予測コストを計算するステップ、前記複数の予測コストに基づいて前記複数の予測モードから複数の候補予測モードを選択するステップ、前記ブロック及び前記複数の候補予測モードが対応する前記予測コストに基づいて、複数の変換インデックスにおいて前記複数の候補予測モードが対応する複数の歪みコストを計算するステップ、及び前記歪みコストに基づいて前記複数の候補予測モードからそのうちの１つを選択して前記ブロックに対応する画面内予測の使用する予測モードとするステップ。
【０００７】
本発明のビデオ符号化デバイスは少なくとも変換ユニットと画面内予測ユニットとを含む。変換ユニットは、複数の変換インデックスに基づいて入力画像のブロックが対応する残差を変換することに用いられる。画面内予測ユニットは前記変換ユニットに結合される。前記変換ユニットが予め設定された変換インデックスに基づいて動作を行う場合、画面内予測ユニットは入力画像のブロックを取得し、かつ前記ブロックに基づいて画面内予測における複数の予測モードが対応する複数の予測コストを計算する。前記予め設定された変換インデックスは前記複数の変換インデックスのうちの１つである。画面内予測ユニットは、前記予測コストに基づいて前記予測モードから複数の候補予測モードを選択し、前記ブロック及び前記複数の候補予測モードが対応する前記予測コストに基づいて前記変換ユニットの前記複数の変換インデックスにおいて前記複数の候補予測モードが対応する複数の歪みコストを計算し、前記歪みコストに基づいて前記複数の候補予測モードからそのうちの１つを選択して前記ブロックに対応する画面内予測の使用する予測モードとする。
【０００８】
本発明の画像処理装置はプロセッサとメモリとを含む。前記プロセッサが予め設定された変換インデックスに基づいて残差を変換する場合、入力画像のブロックに基づいて画面内予測における複数の予測モードが対応する複数の予測コストを計算する。前記残差は前記ブロックに対応する。プロセッサは前記予測コストに基づいて前記複数の予測モードから複数の候補予測モードを選択し、前記ブロック及び前記候補予測モードが対応する前記予測コストに基づいて、複数の変換インデックスにおいて前記候補予測モードが対応する複数の歪みコストを計算する。前記予め設定された変換インデックスは前記複数の変換インデックスのうちの１つである。プロセッサは前記歪みコストに基づいて前記複数の候補予測モードからそのうちの１つを選択して、前記ブロックに対応する画面内予測の使用する予測モードとする。
【０００９】
上記に基づき、本発明の実施例に記載の画面内予測のモードの選択方法、ビデオ符号化デバイス及び画像処理装置が画面内予測の予測モードの選択を行うとき、まず、変換ユニットを予め設定された変換インデックスに設定してから（例えば、変換ユニットを、第2の変換ユニットを無効にし、かつ第１の変換ユニットのみで残差を変換する動作モードに設定する）、入力画像のブロックに基づいて画面内予測における各予測モードが対応する予測コストを計算し、これらの予測モードから複数の候補予測モードを選択する。次に、候補予測モードが対応する予測コスト及び前記ブロックによってこれらの候補予測モードから最適な（例えば、最も低い）歪みコストを具備する候補予測モードを、使用する予測モードとする。言い換えると、本発明の実施例は、変換ユニットにおける異なる動作モード（即ち、異なる変換インデックスに基づいて残差を変換する場合）に対して各予測モードが対応する予測コストの計算をそれぞれ行わず、変換ユニットにおける予測動作モード（即ち、予め設定された変換インデックスに基づいて残差を変換する場合）に対して画面内予測における各予測モードが対応する予測コストの計算を1回行う。そして、上記予測コストと変換ユニットが異なる変換インデックスにおいて残差を変換する場合を結合して歪みコストの計算を実現し、後続の候補予測モードの選択を行う。これにより、本発明の実施例は、予測コストの計算量を大幅に減少させ、ビデオ符号化の効率及び処理速度を向上させるとともに、ビデオ符号化のハードウェア実装のコストを低減することができる。
【発明の効果】
【００１０】
本発明の画面内予測のモードの選択方法、ビデオ符号化デバイス及び画像処理装置は、予測コストの計算量を大幅に減少させ、ビデオ符号化の効率及び処理速度を向上させるとともに、ビデオ符号化のハードウェア実装のコストを低減することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施例に基づくビデオ符号化デバイスの構造ブロック図である。
【図２】本発明の実施例に符合する画像処理装置のブロック図である。
【図３】共同探索テストモデル（ＪＥＭ）における画面内予測の２つの段階を示す図である。
【図４】本発明の実施例に符合する画面内予測の予測モードを選択する方法のフローチャートである。
【発明を実施するための形態】
【００１２】
本発明の上記特徴および長所をより分かりやすくするために、以下では、実施例と図面を合わせて詳しく説明を行う。
【００１３】
図１は、本発明の実施例に基づくビデオ符号化デバイス１００の構造ブロック図である。ビデオ符号化デバイス１００は、得られた入力映像における複数枚の入力画像ＩＭに基づいてビデオ符号化を行うことによって、入力映像のデータ量を減少させ、入力映像の伝送及び記憶を容易にしている。ビデオ符号化デバイス１００が使用するビデオ符号化は共同探索テストモデル（ＪＥＭ）であってもよく、本発明の実施例に符合する、ビデオ変換において第１の変換及び第2の変換（例えば、ＮＳＳＴ）を具備するビデオ符号化であってもよい。
【００１４】
本実施例のビデオ符号化デバイス１００は、主に変換・量子化ユニット１１０と、逆量子化・逆変換ユニット１２０と、予測ユニット１３０と、ビデオ符号化デバイス１００の入力端子Ｎ１に位置する加算器１４０と、逆量子化・逆変換ユニット１２０の出力端子Ｎ２に位置する加算器１５０と、画面バッファ１６０と、エントロピー符号化ユニット１７０とを含む。変換・量子化ユニット１１０は変換ユニット１１２と量子化ユニット１１５とを含む。予測ユニット１３０は画面内予測ユニット１３２及び画面間予測ユニット１３４とを含む。加算器１４０は、予測ユニット１３０によって提供された情報は、入力画像ＩＭから引き算して入力画像ＩＭの残差ＭＲを得る。
【００１５】
ＥＭにおいて、変換ユニット１１２は第１の変換ユニット１１３と第2の変換ユニット１１４とを含む。第１の変換ユニット１１３は入力画像ＩＭの残差ＭＲに対して第１の変換（コア変換又は一次変換とも言う）を行う。第2の変換ユニット１１４は第１の変換が行われた残差に対して第2の変換を行う。ここの第2の変換はモード依存型非分離型二次変換（ＮＳＳＴ）である。ＮＳＳＴの残差処理は予測ユニット１３０（例えば、画面内予測ユニット１３２）が選択・使用する画面内予測モードと関連してもよい。ＪＥＭにおけるＮＳＳＴは３種類の変換コアを具備することができ、画面内予測ユニットは、選択的に、これらの変換コアを使用して残差符号化の効率を強化することができる。言い換えると、ＪＥＭは、選択的に、第１の変換及びＮＳＳＴにおける３種類の変換コアのうちの１つを使用して残差符号化を行うか、又はＮＳＳＴを無効にして第１の変換のみを使用して残差符号化を行うことができる。本実施例は複数の「変換インデックス」によってＮＳＳＴの動作モードを表している。そのうちの１つの変換インデックスは、変換ユニット１１２が第2の変換ユニット１１４を使用せずに現在ブロックの残差を変換することを表し、この動作モードは「予め設定された変換インデックス」により表されることができる。予め設定された変換インデックス以外の変換インデックスは、変換ユニット１１２が第2の変換ユニット１１４における少なくとも１つの変換コア（本発明で使用されるＮＳＳＴは３種類の変換コアを具備する）のうちの１つを使用して現在ブロックの残差を変換する動作モードを表すことに用いられる。言い換えると、本発明は４種類の変換インデックスを具備し、それぞれＮＳＳＴを無効にすること（変換インデックスは「０」である）、第１の変換コアを使用してＮＳＳＴを行うこと（変換インデックスは「１」である）、第2の変換コアを使用してＮＳＳＴを行うこと（変換インデックスは「２」である）、及び第３の変換コアを使用してＮＳＳＴを行うこと（変換インデックスは「３」である）を表す。
【００１６】
変換ユニット１１２により残差変換されたデータＴＤは、量子化ユニット１１５によって処理された後にデータＤＡとなり、エントロピー符号化ユニット１７０の処理によって圧縮された映像データＶＤとなる。映像データＶＤはデータＤＡのほか、さらに予測ユニット１３０が生成する各種の画面内予測モード及び画面間予測モードを含んでもよい。
【００１７】
ビデオエンコーダされたデータをシミュレーションするために、ビデオ符号化デバイス１００は、逆量子化・逆変換ユニット１２０における逆量子化ユニット１２２と逆変換ユニット１２４によってデータＤＡをビデオエンコーダされた画像データに還元する。この画像データは、加算器１５０と入力画像ＩＭの処理を経て画面バッファ１６０に一時的に保存される。ビデオエンコーダされた画像データは現在ブロックのモード予測として、画面内予測ユニット１３２及び画面間予測ユニット１３４に使用させることができる。
【００１８】
画面内予測ユニット１３２は、同じ画面における解析されたブロックによって、処理中のブロックに対してピクセル値の予測及び残差の変換を行う。画面間予測ユニット１３４は、連続する複数の入力映像の間のブロックに対してピクセルの予測及び残差の変換を行う。
【００１９】
図１における各機能ブロックは、ハードウェアの方法により実現されてもよく、ソフトウェアプログラム又はファームウェアモジュールの方法により実現されてもよい。図２は、本発明の実施例に符合する画像処理装置２００のブロック図である。図１におけるビデオ符号化デバイス１００がソフトウェアプログラム又はファームウェアモジュールにより実現される場合、本発明の実施例を実現するために、画像処理装置２００におけるプロセッサ２１０及びメモリ２２０により実行されてもよい。メモリ２２０は、コマンドで表されるビデオ符号化デバイス１００における各ソフトウェアプログラム又はファームウェアモジュールを記憶することができる。これらのソフトウェアプログラム又はファームウェアモジュールを実行するために、プロセッサ２１０はメモリ２２０にアクセスすることができる。プロセッサ２１０は、中央処理ユニット、描画処理ユニット、マイクロプロセッサ、フィールドプログラマブル論理ゲートアレイ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｇａｔｅ  Ａｒｒａｙ）…などであってもよい。
【００２０】
ＪＥＭの画面内予測技術において、２つの段階によって、どの画面内符号化の予測モードを符号化を行う現在ブロックに用いるかを決定する。図３は、ＪＥＭにおける画面内予測の２つの段階を示す図である。第１の段階ＳＴ１はラフモード検出（ｒｏｕｇｈ  ｍｏｄｅ  ｄｅｔｅｃｔｉｏｎ；ＲＭＤ）段階である。詳しくいうと、ＲＭＤ段階は、２つのサブ段階ＳＴ１１及びＳＴ１２を含む。この２つのサブ段階ＳＴ１１及びＳＴ１２は、図１における画面内予測モード１３２により実現されることができる。サブ段階ＳＴ１１は、絶対変換差の和（Ｓｕｍ  Ｏｆ  Ａｂｓｏｌｕｔｅ  Ｔｒａｎｓｆｏｒｍｅｄ  Ｄｉｆｆｅｒｅｎｃｅ；ＳＡＴＤ）方法を使用して現在ブロックが対応する複数の画面内予測モード（ＪＥＭにおいて３５〜６７種類の画面内予測モードを具備する）の予測コスト（ＳＡＴＤコストとも言える）を計算し、ここでは「画面内予測のＳＡＴＤコストを計算する」という。サブ段階ＳＴ１２は、これらの予測コストに基づいて上記複数の画面内予測モードから複数の候補予測モードを選択し、ここでは「候補予測モードを選択する」という。本実施例を応用するものは、その必要に応じて選択される候補予測モードの数を調整してもよく、例えば、候補予測モードとして低いＳＡＴＤコストを具備する３〜５つの画面内予測モードを選択してもよい。本実施例は「候補予測モードとして３つの予測モードを選択する」ことによって本発明の実施例を実現する。
【００２１】
第2の段階ＳＴ２はレート歪み最適化（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ  Ｏｐｔｉｍｉｚａｔｉｏｎ；ＲＤＯ）段階である。詳しく言うと、段階ＳＴ２は４つのサブ段階ＳＴ２１〜ＳＴ２４を含む。サブ段階２１は図１の第１の変換ユニット１１３によって実現されることができる。サブ段階ＳＴ２２は図１の第2の変換ユニット１１４によって実現されることができる。サブ段階ＳＴ２３は図１の量子化ユニット１１５によって実現されることができる。サブ段階ＳＴ２４は図１の画面内予測ユニット１３２又は量子化ユニット１１５のうちの１つによって実現されることができる。本発明実施例を応用するものは、その必要に応じて上記各サブ段階を実現する機能ブロックを調整してもよく、本発明はこれに限られない。
【００２２】
サブ段階ＳＴ２１は、現在ブロック及びこれらの候補予測モードに対して第１の変換／コア変換／一次変換を行う。また、符号化効率を強化するために、本実施例はサブ段階ＳＴ２２において、第１の変換が行われた現在ブロックの残差データに対して第2の変換（例えば、ＮＳＳＴ）を行う。サブ段階ＳＴ２３は、サブ段階ＳＴ２２の現在ブロックの残差データに対して量子化符号化を行うことによって各候補予測モードが対応するレート歪みコスト（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ  Ｃｏｓｔ；ＲＤＣｏｓｔ）を計算して歪みコストとする。本発明は前記レート歪みコストを前記歪みコストとする。サブ段階ＳＴ２４は、実際の符号化ビットの数と量子化歪みとの間に最適なレート歪みコストを具備する候補予測モードを選択してこの現在ブロックに対応する画面内予測の使用する予測モードとすることに用いられ、ここで「現在ブロックの使用する予測モードを選択する」という。
【００２３】
ＪＥＭの設計において、ＮＳＳＴは３種類の変換ユニットを具備するため、４種類の動作モードを有する。これらの動作モードは、異なる変換インデックスにより表される。従って、各候補予測モードは、異なるＮＳＳＴ動作モードにおいてそれぞれ計算する必要がある。特に注意すべきこととして、ＪＥＭは６７種類の画面内予測モード及び４種類のＮＳＳＴ動作モード（ＮＳＳＴ変換インデックス（「０」〜「３」）で表す）を具備する。最適な画面内予測モードを精確に計算するため、かつ異なるＮＳＳＴ動作モードによってＲＤＯ段階の結果（候補予測モードに対する選択）に違いが生じ得るため、ＪＥＭは、各画面内予測モードが異なるＮＳＳＴの動作モードにおいてそれぞれＲＭＤ段階ＳＴ１及びＲＤＯ段階ＳＴ２を実行するようにし、このようにしてようやく選択された画面内予測モードが比較的正確であると認められる。
【００２４】
他の観点から見ると、残差のビットの数をさらに低減させるために、ＮＳＳＴは画面内の予め設定された第2の変換に適用される。上記４種類のＮＳＳＴ変換インデックスの画面内予測モードの選択のプロセスは、概ね以下の演算１〜演算８のように記載できる。
【００２５】
演算１：ＮＳＳＴ変換インデックスが「０」である場合のＲＭＤ段階（ＳＡＴＤコストに基づいて６７種類の画面内予測モードから３つの候補予測モードを選択する）。
【００２６】
演算２：ＮＳＳＴ変換インデックスが「０」である場合のＲＤＯ段階（３つの候補予測モードから最適な画面内予測モードを選択する）。
【００２７】
演算３：ＮＳＳＴ変換インデックスが「１」である場合のＲＭＤ段階（ＳＡＴＤコストに基づいて６７種類の画面内予測モードから３つの候補予測モードを選択する）。
【００２８】
演算４：ＮＳＳＴ変換インデックスが「１」である場合のＲＤＯ段階（３つの候補予測モードから最適な画面内予測モードを選択する）。
【００２９】
演算５：ＮＳＳＴ変換インデックスが「２」である場合のＲＭＤ段階（ＳＡＴＤコストに基づいて６７種類の画面内予測モードから３つの候補予測モードを選択する）。
【００３０】
演算６：ＮＳＳＴ変換インデックスが「２」である場合のＲＤＯ段階（３つの候補予測モードから最適な画面内予測モードを選択する）。
【００３１】
演算７：ＮＳＳＴ変換インデックスが「３」である場合のＲＭＤ段階（ＳＡＴＤコストに基づいて６７種類の画面内予測モードから３つの候補予測モードを選択する）。
【００３２】
演算８：ＮＳＳＴ変換インデックスが「３」である場合のＲＤＯ段階（３つの候補予測モードから最適な画面内予測モードを選択する）。
【００３３】
上記演算１〜演算８から分かるとおり、どの画面内符号化でブロックに対して符号化を行うのが最も小さいコストを具備するかを速やかに計算することができるＳＡＴＤ方法であっても、ＲＭＤ段階において、３つの候補予測モードにおける最も小さいＳＡＴＤコストを計算するには、複数回計算する必要がある（例えば、演算１、演算３、演算５、演算７）。
【００３４】
しかしながら、本発明の実施例によると、図３のサブ段階ＳＴ１１におけるＳＡＴＤコストに対する計算とＮＳＳＴの動作モードとは直接的に関連しておらず、言い換えると、ＳＡＴＤコストの計算とＮＳＳＴの動作モードの最終的なビデオ符号化結果に対する影響は大きくない。従って、異なるＮＳＳＴ変換インデックスにおいて、各画面内予測モードのＳＡＴＤコストは、同じＳＡＴＤコストを後続のＲＤＯ段階の異なるＮＳＳＴにおける動作モードの計算に用いることができる。これにより、本発明の実施例は、ＮＳＳＴを予め設定された変換インデックス（例えば、ＮＳＳＴの変換インデックスを「０」に設定する）に設定するときのみ、これらの画面内予測モードに対してＳＡＴＤコストの計算を１回行い、これらのＳＡＴＤコストを一時的に保存し、かつ「ＮＳＳＴを他の変換インデックス（例えば、ＮＳＳＴの変換インデックスを「１」〜「３」に設定する）に設定するときのＳＡＴＤコストの計算」のステップを削除することで、計算のプロセスを大幅に節約することができる。言い換えると、本発明の実施例は、上記運算１のＳＡＴＤコストの計算結果を一時的に保存し、かつ上記運算３、５、７を省略し、運算１により得られたＳＡＴＤコストを計算して運算４、６、８を行うことで、計算量を節約することができる。
【００３５】
図４は、本発明の実施例に符合する画面内予測の予測モードを選択する方法のフローチャートである。図４に記載の方法は図１に記載のビデオ符号化デバイス１００及び図２に記載の画像処理装置２００に適用することができる。図１及び図４を参照し、ステップＳ４１０において、変換ユニット１１２における第2の変換ユニット１１４の動作モードを無効にし、即ち、第2の変換ユニット１１４の変換インデックスを「０」に設定する。ステップＳ４２０において、第2の変換ユニット１１４が前記予め設定された変換インデックスに基づいて動作を行う場合、画面内予測ユニット１３２は、絶対変換差の和（ＳＡＴＤ）の方法によって、入力画像ＩＭの現在ブロックに基づいて画面内予測における複数の予測モードが対応する複数の予測コストを計算する。前記予測コストはＳＡＴＤコストである。
【００３６】
ステップＳ４３０において、画面内予測ユニット１３２はステップＳ４２０の予測コストに基づいて複数の画面内予測モード（例えば、６７種類の画面内予測モード）から複数の候補予測モードを選択する。本実施例は６７種類の画面内予測モードが対応する予測コストから最適な予測コストを探し出すことができる。画面内予測モードの数は選択された候補予測モードの数よりも多い。例えば、これらの予測コストから最も低い３つの予測コストが対応する画面内予測モードを探し出して予め選択された予測モードとする。
【００３７】
ステップＳ４４０において、これらの候補予測モードを選択した後、後続のステップに用いられるように、画面内予測ユニット１３２はこれらの候補予測モードが対応する予測コストを一時的に保存する。一部の実施例において、画面内予測ユニット１３２は各画面内予測モードが対応する予測コストを一時的に保存することができる。
【００３８】
ステップＳ４５０において、複数の変換インデックス（本実施例は４つの変換インデックス「０」〜「３」を具備する）においてこれらの候補予測モードが対応する複数の歪みコストを計算するために、変換・量子化ユニット１１０における第１の変換ユニット１１３、第2の変換ユニット１１４及び量子化ユニット１１５によって、前記現在ブロック及びステップＳ４３０に選択された複数の候補予測モードが対応する予測コストに基づいて、レート歪み最適化（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ  Ｏｐｔｉｍｉｚａｔｉｏｎ；ＲＤＯ）検出を行ってもよい。本発明実施例の歪みコストは図３中ＲＤＯ段階ＳＴ２におけるサブ段階ＳＴ２３に記載のレート歪みコストにより実現されている。言い換えると、ステップＳ４５０の歪みコストの計算方法は図３におけるＲＤＯ段階ＳＴ２を参照することができる。
【００３９】
ステップＳ４６０において、第2の変換ユニット１１４に設定された変換インデックスが最後の変換インデックス（即ち、変換インデックス「３」であるか否か）であるか否かを判断する。第2の変換ユニット１１４で設定された変換インデックスが変換インデックス「３」ではない場合、ステップＳ４６０からステップＳ４７０に入り、第2の変換ユニット１１４で設定された変換インデックスに１を足す。また、変換インデックスに１を足した後、ステップＳ４５０に戻り、このＮＳＳＴの変換インデックスの場合の各候補予測コストが対応する歪みコストを計算する。ステップＳ４５０〜Ｓ４７０に基づいて、本発明は異なる変換インデックスの場合においてこれらの候補予測モードが対応する歪みコストを計算することができる。
【００４０】
ステップＳ４８０において、画面内予測ユニット１３４（又はステップＳ４８０を実行する他の部品）は、ステップＳ４５０が計算して得られた歪みコストに基づいて、これらの候補予測モードからそのうちの１つを選択して前記現在ブロックに対応する画面内予測の使用する予測モードとすることができる。
【００４１】
表１は、本発明実施例を採用したビデオ圧縮率と画像品質との比較である。表１における「Ｙ」、「Ｕ」、「Ｖ」はカラ符号化方法である。「Ｙ」は輝度（Ｌｕｍｉｎａｎｃｅ）を表し、「Ｕ」及び「Ｖ」はそれぞれクロミナンス（Ｃｈｒｏｍｉｎａｎｃｅ）とクロマ（Ｃｈｒｏｍａ）を表す。
【００４２】
【表１】
2018078545.tif 000003
表１は、本発明実施例を使用してビデオ符号化の後にデコードする画像と元のパターンとの比較結果である。ビデオ符号化された画像のＹ、Ｕ、Ｖ値と元のパターンとの差異は非常に小さいが、符号化時間は９％短縮され、ビデオ符号化の処理速度を大幅に向上させていることが分かる。
【００４３】
上記に基づき、本発明の実施例に記載の画面内予測のモードの選択方法、ビデオ符号化デバイス及び画像処理装置が画面内予測の予測モードの選択を行うとき、まず、変換ユニットを予め設定された変換インデックスに設定してから（例えば、変換ユニットを、第2の変換ユニットを無効にし、かつ第１の変換ユニットのみで残差を変換する動作モードに設定する）、入力画像のブロックに基づいて画面内予測における各予測モードが対応する予測コストを計算し、これらの予測モードから複数の候補予測モードを選択する。次に、候補予測モードが対応する予測コスト及び前記ブロックによってこれらの候補予測モードから最適な（例えば、最も低い）歪みコストを具備する候補予測モードを、使用する予測モードとする。言い換えると、本発明の実施例は、変換ユニットにおける異なる動作モード（即ち、異なる変換インデックスに基づいて残差を変換する場合）に対して各予測モードが対応する予測コストの計算をそれぞれ行わず、変換ユニットにおける予測動作モード（即ち、予め設定された変換インデックスに基づいて残差を変換する場合）に対して画面内予測における各予測モードが対応する予測コストの計算を１回行う。そして、上記予測コストと変換ユニットが異なる変換インデックスにおいて残差を変換する場合を結合して歪みコストの計算を実現し、後続の候補予測モードの選択を行う。これにより、本発明の実施例は、予測コストの計算量を大幅に減少させ、ビデオ符号化の効率及び処理速度を向上させるとともに、ビデオ符号化のハードウェア実装のコストを低減することができる。
【００４４】
本発明は実施例で以上のことを開示しているが、それは本発明を限定するものではなく、当業者は、本発明の主旨および範囲を遺脱しない条件において、些細な変動および修飾をしてもよいため、本発明の保護範囲は後の専利請求の範囲に限定した内容を基準とする。
【符号の説明】
【００４５】
１００  ビデオ符号化デバイス
１１０  変換・量子化ユニット
１１２  変換ユニット
１１３  第１の変換ユニット
１１４  第2の変換ユニット
１１５  量子化ユニット
１２０  逆量子化・逆変換ユニット
１２２  逆量子化ユニット
１２４  逆変換ユニット
１３０  予測ユニット
１３２  画面内予測ユニット
１３４  画面間予測ユニット
１４０、１５０  加算器
１６０  画面バッファ
１７０  エントロピー符号化ユニット
２００  画像処理装置
２１０  プロセッサ
２２０  メモリ
Ｓ４１０〜Ｓ４８０  画面内予測の予測モードを選択する方法のステップ
ＳＴ１  ラフモード検出（ＲＭＤ）段階
ＳＴ１１  画面内予測のＳＡＴＤコストを計算する
ＳＴ１２  候補予測モードを選択する
ＳＴ２  レート歪み最適化（ＲＤＯ）段階
ＳＴ２１  第１の変換を行う
ＳＴ２２  第2の変換を行う
ＳＴ２３  量子化符号化を行う
ＳＴ２４  現在ブロックの使用する予測モードを選択する
ＩＭ  入力画像
ＭＲ  入力画像の残差
ＴＤ、ＤＡ  データ
ＶＤ  映像データ
Ｎ１  ビデオ符号化デバイスの入力端子
Ｎ２  逆量子化・逆変換ユニットの出力端子
【図１】
2018078545.tif 000004
【図２】
2018078545.tif 000005
【図３】
2018078545.tif 000006
【図４】
2018078545.tif 000007
【外国語明細書】
2018078545000001.pdf