(57)【要約】      （修正有）【課題】画像符号化においてメモリ帯域を低減しつつ符号化効率の低下を防止する。【解決手段】符号化対象フレームの画像の予測符号化を行なって符号化データを生成する符号化手段１０１と、符号化データを復号した復号画像を圧縮してメモリに記憶させ、メモリから読み出した圧縮済みの復号画像を伸長して、予測符号化における参照画像として符号化手段に出力する圧縮伸長手段１０２と、圧縮前の復号画像と、圧縮済みの復号画像とから、圧縮済みの復号画像の圧縮率を計算する圧縮率計算手段１０５とを備える。メモリに記憶された圧縮済みの復号画像のうち、符号化手段がインター予測符号化処理において使用する参照画像に対応する圧縮済み復号画像の圧縮率に応じて、符号化手段による該参照画像を用いたインター予測符号化処理における双予測の実行を制御する。【選択図】図１
2018067808.tif 000002
【特許請求の範囲】
【請求項１】
符号化対象フレームの画像の予測符号化を行なって符号化データを生成する符号化手段と、
前記符号化データを復号した復号画像を圧縮してメモリに記憶させ、前記メモリから読み出した圧縮済みの復号画像を伸長して、前記予測符号化における参照画像として前記符号化手段に出力する圧縮伸長手段と、
圧縮前の前記復号画像と、前記圧縮済みの復号画像とから、前記圧縮済みの復号画像の圧縮率を計算する圧縮率計算手段と、
を備え、
前記メモリに記憶された圧縮済みの復号画像のうち、前記符号化手段がインター予測符号化処理において使用する参照画像に対応する前記圧縮済み復号画像の圧縮率に応じて、前記符号化手段による該参照画像を用いたインター予測符号化処理における双予測の実行を制御することを特徴とする画像符号化装置。
【請求項２】
複数枚の参照画像に対応する圧縮済み復号画像の圧縮率の合計が閾値を超える場合に、前記符号化手段は、前記複数枚の参照画像を用いたインター予測符号化処理における双予測の実行を抑制することを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記複数枚の参照画像に対応する圧縮済み復号画像の圧縮率の合計が前記閾値以下である場合に、前記符号化手段は、前記複数枚の参照画像を用いたインター予測符号化処理における双予測を実行することを特徴とする請求項２に記載の画像符号化装置。
【請求項４】
複数枚の参照画像に対応する圧縮済み復号画像の圧縮率の合計が閾値を超える場合に、前記符号化手段は、前記複数枚の参照画像のうち、前記符号化対象フレームと時間的により近接する参照画像を使用してインター予測符号化処理を実行することを特徴とする請求項１に記載の画像符号化装置。
【請求項５】
前記符号化手段は、前記符号化対象フレームのピクチャタイプがＢピクチャである場合に、前記圧縮率に応じて前記インター予測符号化処理における双予測の実行を制御することを特徴とする請求項１から４のいずれか１項に記載の画像符号化装置。
【請求項６】
前記圧縮率計算手段は、ピクチャタイプがＩピクチャまたはＰピクチャである符号化対象フレームについて前記圧縮率を計算することを特徴とする請求項１から５のいずれか１項に記載の画像符号化装置。
【請求項７】
前記圧縮伸長手段は、前記復号画像の隣接画素間の差分値を可変長符号化方式に従って符号化することにより前記復号画像を圧縮することを特徴とする請求項１から６のいずれか１項に記載の画像符号化装置。
【請求項８】
画像の取得手段と、
前記画像を符号化する請求項１から７のいずれか１項に記載の画像符号化装置と
を備える撮像装置。
【請求項９】
符号化対象フレームの画像の予測符号化を行なって符号化データを生成する符号化工程と、
前記符号化データを復号した復号画像を圧縮してメモリに記憶させ、前記メモリから読み出した圧縮済みの復号画像を伸長して、前記予測符号化における参照画像として前記符号化工程に供給する圧縮伸長工程と、
圧縮前の前記復号画像と、前記圧縮済みの復号画像とから、前記圧縮済みの復号画像の圧縮率を計算する圧縮率計算工程と、
を含み、
前記メモリに記憶された圧縮済みの復号画像のうち、前記符号化工程におけるインター予測符号化処理において使用される参照画像に対応する前記圧縮済み復号画像の圧縮率に応じて、前記符号化工程における該参照画像を用いたインター予測符号化処理における双予測の実行を制御することを特徴とする画像符号化方法。
【請求項１０】
コンピュータを請求項１から７のいずれか１項に記載の画像符号化装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像符号化装置、撮像装置、画像符号化方法およびプログラムに関する。
【背景技術】
【０００２】
近年、８Ｋ解像度対応、４：２：２や４：４：４色差フォーマット対応、そして１画素あたりのビット数が８ビットを超える多ビット対応した画像を、ＨＥＶＣ（Ｈｉｇｈ  Ｅｆｆｃｉｅｉｃｙ  Ｖｉｄｅｏ  Ｃｏｄｅｃ）方式やＨ．２６４方式等のハイブリッド映像符号化技術を用いて圧縮する検討が行われている。この場合、取り扱うデータ量が増大するため、ＨＥＶＣやＨ．２６４等のフレーム間の動き補償とエントロピー符号化を用いたハイブリッド画像圧縮技術をハードウェアとして実現する構成では、メモリアクセスが非常に大きな問題になる。画像圧縮ハードウェア（以下、コーデック）の処理内では、特にフレーム間予測のために１６画素１６ラインの矩形画素単位（マクロブロック）で参照画像をメモリから読み出す処理の負荷が大きく、画像サイズの数倍程度ものメモリアクセスが発生する。
【０００３】
また、Ｈ．２６４方式からは、より符号化効率を高めるために、二つ参照画像を読み出した後、該二つの画像同士の平均画像を予測画像として生成して、現符号化画像と差分比較を行う双予測という方式が新規に導入され、この方式をコーデックで採用するとさらにメモリアクセス量が増大する。
【０００４】
これに対し特許文献１では、静止画と動画同時記録モードにおいて、参照フレーム枚数の削減、符号化ピクチャタイプとして双方向予測・双予測ピクチャ（Ｂピクチャ）を使わない、マクロブロック毎の予測モードに双予測を使わずに片予測、またはイントラ符号化に限定する符号化制約を行う方法を提案している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２００６２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、先行文献１の提案方法では、コーデックのメモリ帯域を低減する効果はあるが、符号化効率を犠牲にしている。従って、絵柄によっては画質が悪くなってしまう。
【０００７】
そこで本発明は、画像符号化においてメモリ帯域を低減しつつ符号化効率の低下を防止することが可能な技術を提供する。
【課題を解決するための手段】
【０００８】
上記課題を解決するための発明は、画像符号化装置であって、
符号化対象フレームの画像の予測符号化を行なって符号化データを生成する符号化手段と、
前記符号化データを復号した復号画像を圧縮してメモリに記憶させ、前記メモリから読み出した圧縮済みの復号画像を伸長して、前記予測符号化における参照画像として前記符号化手段に出力する圧縮伸長手段と、
圧縮前の前記復号画像と、前記圧縮済みの復号画像とから、前記圧縮済みの復号画像の圧縮率を計算する圧縮率計算手段とを備え、
前記メモリに記憶された圧縮済みの復号画像のうち、前記符号化手段がインター予測符号化処理において使用する参照画像に対応する前記圧縮済み復号画像の圧縮率に応じて、前記符号化手段による該参照画像を用いたインター予測符号化処理における双予測の実行を制御することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、画像符号化においてメモリ帯域を低減しつつ符号化効率の低下を防止することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】発明の実施形態に対応するシステム構成の一例を示す図。
【図２】発明の実施形態に対応する第一の画像符号化部の構成例を示すブロック図。
【図３】発明の実施形態に対応する第二の画像符号化部の構成例を示すブロック図。
【図４】発明の実施形態に対応する符号化処理の一例を示すフローチャート。
【図５】発明の実施形態に対応する予測モード切り替え動作を説明するための図。
【発明を実施するための形態】
【００１１】
以下、発明の実施形態を、添付の図面に基づいて詳細に説明する。
【００１２】
＜システム構成＞
まず、図１を参照して、発明の実施形態に対応するシステム構成について説明する。図１（ａ）は発明の実施形態における画像処理装置の構成の一例を示す図である。画像処理装置１００は、例えば取得部１０、画像符号化部２０、出力インタフェース３０を有する。図１の画像処理装置１００において、各ブロックは、撮像素子や表示素子のような物理的デバイスを除き専用のデバイス、ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵ等のコンピュータが実行することにより、ソフトウェア的に構成されてもよい。画像処理装置１００は例えばデジタルカメラとして実施することができるが、それ以外にも、例えばパーソナルコンピュータ、携帯電話、スマートフォン、ＰＤＡ、タブレット端末、デジタルビデオカメラなどの任意の情報処理端末或いは撮像装置とすることができる。
【００１３】
図１（ａ）において、取得部１０は画像を入力する機能を有する。取得部１０は、例えば、撮像センサを備える撮像部や、外部から伝送路を介して画像を入力する構成を含む。或いは、取得部１０は、記録媒体などから画像を読み出す構成を含む。また、取得される画像は、静止画であってもよく、動画であってもよい。取得部１０が取得する画像が動画の場合、複数のフレームの動画が連続的に取得されてもよい。
【００１４】
取得部１０は、取得した画像を画像符号化部２０に供給する。画像符号化部２０は、取得部１０から供給される画像を符号化し、情報量が圧縮された符号化データを出力する。出力された符号化データは、出力インタフェース３０を介して出力される。出力インタフェース３０は、画像符号化部２０から出力された符号化データを記憶するために必要な記憶容量を有する記憶媒体と接続され、符号化データを当該記憶媒体に格納することができる。当該記憶媒体は、画像処理装置１００に着脱可能な記憶媒体であっても良い。また、出力インタフェース３０は、画像処理装置１００が外部装置と通信するための通信部と接続されてもよく、その場合に符号化データは通信部を介して当該外部装置に送信される。
【００１５】
なお、図１（ａ）では、取得部、画像符号化部２０及び出力インタフェース３０を独立した構成として示しているが、画像処理装置１００に実装するに当り、これらを一体に例えば１チップに統合してもよいし、あるいは別体として独立に構成しても良い。
【００１６】
以下、図１（ｂ）を参照して、発明の実施形態に対応する画像符号化部２０の構成を説明する。図１（ｂ）は、発明の実施形態に係る画像符号化部２０の構成例を示すブロック図である。以下、本実施形態の画像符号化部２０の各ブロックの動作について説明する。
【００１７】
第一の画像符号化部１０１は、取得部１０から入力された符号化対象フレームの画像をフレームメモリ１０３からの読み出し、Ｈ．２６４やＨＥＶＣ方式に基づき、フレーム間予測とエントロピー符号化による画像の冗長性を利用したフレーム単位（ピクチャ単位）の映像圧縮を行ない、符号化ビットストリームを出力する。
【００１８】
第二の画像符号化部１０２は、第一の画像符号化部１０１で生成されたローカルデコード画像の圧縮伸長部として動作する。具体的に、第二の画像符号化部１０２は、第一の画像符号化部１０１における符号化処理過程で出力されたループフィルタ処理後のローカルデコード画像を、ＤＰＣＭ（Differential Pulse Code Modulation：差分パルス符号変調）を適用したロスレスの可変長符号化により圧縮する。圧縮されたローカルデコード画像はフレームメモリ１０３に圧縮参照画像として格納される。また第一の画像符号化部１０１が符号化過程でインター予測のために参照画像を取得する場合、フレームメモリ１０３から該当する圧縮参照画像を読み出し、可変長復号と逆ＤＰＣＭによって元のローカルデコード画像に伸長して、参照画像として第一の画像符号化部１０１へ供給する。
【００１９】
フレームメモリ１０３は、第一の画像符号化部１０１および第二の画像符号化部１０２が画像処理の過程で使用する、原画像、参照画像、符号化ビットストリーム等の各データを格納する。双予測モード判断通知部１０４は、圧縮率取得部１０５からの情報に基づいて、双予測モードの使用可否判断を行い、第一の画像符号化部１０１に通知する。圧縮率取得部１０５は、第二の画像符号化部１０２が上述の参照画像のロスレス圧縮を行った時の圧縮前後のデータサイズに基づいて、フレーム単位に圧縮率計算を行なう。以上が発明の実施形態に対応する画像処理装置のシステム構成である。続いて第一の画像符号化部１０１内部の符号化処理について説明する。
【００２０】
＜第一の画像符号化部１０１の処理説明＞
図２は、第一の画像符号化部１０１の機能構成の一例を示すブロック図である。図２に示すように、第一の画像符号化部１０１は、イントラ予測部２００、インター予測部２０１、イントラ・インター判定部２０２、予測画像生成部２０３、整数変換部２０４、量子化部２０５、エントロピー符号化部２０６、符号量制御部２０７、ビットストリーム生成部２０８、逆量子化部２０９、逆整数変換部２１０、ループフィルタ２１１、減算器２１２、加算器２１３を含むことができる。
【００２１】
イントラ予測部２００は、フレームメモリ１０３に格納されたフレーム画像から符号化対象ブロックの画像を読み出し、符号化対象ブロック周辺の参照画像から生成される複数のイントラ予測画像との相関を計算する。そして、最も相関の高いイントラ予測方式を選択してイントラ・インター判定部２０２へ通知する。
【００２２】
インター予測部２０１は、同様にフレームメモリ１０３から符号化対象ブロックの画像を受信する。また、フレームメモリ１０３に格納されている符号化済みの画像である圧縮参照画像を第二の画像符号化部１０２により復号して得られた参照画像を第二の画像符号化部１０２から受信する。このようにして取得した符号化対象の画像と参照画像とについて、ブロック単位でパターンマッチングを行って動きベクトルを算出する。このときインター予測部２０１は、上述の双予測モード判断通知部１０４からの双予測使用可否の情報に基づき、双予測を使用可能な場合に複数枚（例えば２枚）の参照画像から予測画像の生成を行うものとする。最も相関の高くなる動きベクトルの情報をイントラ・インター判定部２０２へ通知する。
【００２３】
イントラ・インター判定部２０２は、前述のイントラ予測部２００と、インター予測部２０１からの出力の結果に基づいて、符号化する予測方式を選択決定する。具体的な選択方法としては、符号化対象ブロックについてイントラ予測部２００が計算した予測画像と、インター予測部２０１で導出した動きベクトルを用いて参照画像から生成された予測画像とについて、符号化対象ブロックの画像との予測誤差とそれぞれ導出して比較する。または、イントラ予測部２００や、インター予測部２０１で予測誤差を求めておき、イントラ・インター判定部２０２にてこれらの予測誤差を評価値として取得して比較する方法を採用しても良い。イントラ・インター判定部２０２は、上記比較の結果、予測画像との差分値が小さくなる方の予測モードを符号化予測モードに決定し、その情報を予測画像生成部２０３に出力する。
【００２４】
予測画像生成部２０３は、イントラ・インター判定部２０２で選択された予測モードに応じて予測画像を生成する。生成した予測画像は、整数変換部２０４前段の減算器２１２に出力されて、符号化対象ブロックの画像との間で差分画像が生成される。また、予測画像は逆整数変換部２１０後段の加算器２１３にも出力されて、逆整数変換部２１０から出力された、復号された差分画像と加算されて復号画像であるローカルデコード画像が生成される。
【００２５】
整数変換部２０４は、符号化対象ブロックについて生成された差分画像に対し空間解像度変換を行って空間周波数領域の係数データに変換する。量子化部２０５は、整数変換部２０４から出力された係数データを目標符号量に基づいて量子化する量子化処理を行う。量子化された係数データは、エントロピー符号化を行うためにエントロピー符号化部２０６と、参照画像や予測画像を生成するために逆量子化部２０９の両方へと出力される。
【００２６】
エントロピー符号化部２０６は、量子化部２０５にて量子化された係数データや、インター予測の場合には動き予測で用いたベクトル値を、ＣＡＢＡＣ（コンテキスト適応算術符号化）方式等のビットデータの出現確率の偏りを利用したエントロピー符号化による情報圧縮を行う。ビットストリーム生成部２０８は、上記エントロピー符号化部２０６から1画面分の符号化データに相当するピクチャデータに加え、復号処理のために必要なパラメタ（ＳＰＳやＰＰＳ等のヘッダ情報）を付加し、所定のデータフォーマットに整形して後段の出力インタフェース３０に出力する。
【００２７】
符号量制御部２０７は、エントロピー符号化部２０６が出力した符号化データの符号量を取得し、ビットレートやバッファモデルに基づいて１ピクチャ当たりの目標符号量を算出した後、量子化部２０５に設定するフィードバック制御を行う。逆量子化部２０９は、量子化部２０５にて量子化した係数データを、再度量子化係数を乗じて係数データを計算する。逆整数変換部２１０は、逆量子化部２０９から出力された係数データを差分画像に逆整数変換して、加算器２１３に出力する。
【００２８】
加算器２１３は、予測画像生成部２０３からの予測画像に逆整数変換により得られた復号差分画像を加算してローカルデコード画像を生成し、ループフィルタ２１１へ出力する。ループフィルタ２１１はローカルデコード画像に対して、ブロック境界で発生する符号化歪みを軽減するフィルタ処理（デブロッキングフィルタ処理）を施した後、第二の画像符号化部１０２へ出力する。
【００２９】
＜第二の画像符号化部１０２の処理説明＞
次に第二の画像符号化部１０２内部の処理について説明する。図３は、第二の画像符号化部１０２の機能構成の一例を示すブロック図である。図３に示すように、第二の画像符号化部１０２は、入力データサイズ記憶部３００、ＤＰＣＭ計算部３０１、可変長符号化部３０２、出力データサイズ記憶部３０３、可変長復号部３０４、及び、逆ＤＰＣＭ計算部３０５を含むことができる。
【００３０】
入力データサイズ記憶部３００は、第一の画像符号化部１０１のループフィルタ２１１が出力したローカルデコード画像を受信し、そのデータサイズをフレーム単位で記憶する。入力データサイズ記憶部３００は、フレーム単位のデータサイズの情報を圧縮率取得部１０５に出力する。但し、ローカルデコード画像のデータサイズは、符号化対象のピクチャの画面サイズと、色差フォーマット、１画素当たりのビット深度が分かれば一意に導出できるため、本実施形態のようにマクロブロック単位で逐次データサイズの加算蓄積をしなくても良く、同義の情報を取得できる方法であれば特に本発明で限定するものではない。
【００３１】
ＤＰＣＭ計算部３０１は、１画素分の遅延回路と減算器を有するように構成される。ＤＰＣＭ計算部３０１は、第一の画像符号化部１０１のループフィルタ２１１が出力したローカルデコード画像を受信すると、１画素毎に隣接する画素データの画素値を予測値として隣接画像間の差分値を算出し、後段の可変長符号化部３０２へ出力する。可変長符号化部３０２は、ＤＰＣＭ計算部３０１から取得した隣接画素間の差分値に対して、所定の可変長符号化方式による符号化を行って、所定の画素分の単位で符号化データをフレームメモリ１０３へ格納する。所定の可変長符号化方式にはハフマン符号、ゴロム符号、ワイル符号等が含まれるが、これらに限定されるものではない。可変長符号化部３０２は、入力値が０の場合（即ち、隣接する画素の画素値が一致する場合）に最も短い符号長を割り当て、入力値の絶対値が大きくなるほど長い符号長を割り当てる方法でデータを圧縮する。出力データサイズ記憶部３０３は、可変長符号化部３０２が生成した、圧縮済みの復号画像に相当する符号化データのデータサイズを１フレーム分加算して記憶し、圧縮率取得部１０５に出力する。
【００３２】
本実施形態では、自然画像では一般に隣り合う画素同士の相関が高いため、隣接画素間の差分値の分布がゼロ付近を頂点とした正規分布になるという特性を利用する。そして、第二の画像符号化部１０２は、差分値の小さい部分に短い符号を割り当てる可変長符号化を適用することで、メモリアクセスするデータ量を低減することができる。
【００３３】
可変長復号部３０４は、第一の画像符号化部１０１におけるフレーム間予測処理の参照画像取得要求のタイミングに応じて、フレームメモリ１０３から、符号化対象ブロックに対応する符号化データを読み出し、可変長復号処理を行って元の差分値を復元する。復元した差分値は逆ＤＰＣＭ計算部３０５へ出力される。逆ＤＰＣＭ計算部３０５は、１画素分の遅延回路と加算器を有するように構成される。可変長復号部３０４から受信した差分値と、復号済みの画素値とを加算し、元の復号画像の画素値を計算する。このような伸長処理により復元されたローカルデコード画像は、第一の画像符号化部１０１に参照画像として出力される。
【００３４】
＜処理フロー＞
次に、発明の実施形態に対応するシステム構成における符号化処理の流れを図４のフローチャートを参照して説明する。
【００３５】
当該処理フローは、例えば、画像処理装置１００がユーザー操作等のトリガーに応じて動画記録状態になった場合に１フレーム期間毎に実行される。
【００３６】
Ｓ４０１では、第一の画像符号化部１０１が符号化対象フレーム（符号化対象ピクチャ）のピクチャタイプが、複数枚の参照画像を用いたフレーム間予測を適用可能なＢピクチャかどうかを判定する。符号化対象ピクチャがＢピクチャの場合（Ｓ４０１で「ＹＥＳ」）、処理はＳ４０２に移行し、Ｂピクチャでない場合（Ｓ４０１で「ＮＯ」）、処理はＳ４０６に移行する。符号化対象ピクチャがＢピクチャの場合、参照すべき符号化済みピクチャはＩピクチャまたはＰピクチャとなる。そこで、Ｓ４０２では、圧縮率取得部１０５が、第二の画像符号化部１０２が当該Ｉピクチャ及びＢピクチャを符号化した際の当該ピクチャの圧縮率の合計を計算し、計算結果を双予測モード判断通知部１０４に通知する。
【００３７】
続くＳ４０３では、双予測モード判断通知部１０４が、圧縮率取得部１０５が計算した参照画像の圧縮率合計が所定の閾値より大きいか否かを判定する。当該判定により、参照画像として当該ピクチャを複数枚数分フレームメモリ１０３から読み出した場合にメモリ帯域を保証できるか否かを検証することができる。本実施形態では、説明の簡単のためにＢピクチャの参照画像の枚数を２枚、圧縮率合計の閾値を１００％とする。
【００３８】
しかし、発明の実施形態はこの例に限定されるものではない。例えばH.264方式では符号化対象ブロック単位に２枚の参照ピクチャを選択することができ、同一のＢピクチャについて３枚以上の複数枚（最大１６枚）の参照画像を使用することができる。このように３枚以上の参照画像が使用される場合であっても、圧縮率の合計値と、使用枚数に対応する閾値とを用いることで、以下に説明する本実施形態を同様に適用することができる。また、閾値の値は、参照画像の枚数以外にも、例えばフレームメモリへのデータ転送速度等に基づいて値を設定することができる。
【００３９】
ここで一例として、第一の画像符号化部１０１における処理対象ブロックについて、第一の参照画像と第二の参照画像とを参照して双予測によるインター予測符号化処理を行なう場合を考える。この場合、第二の画像符号化部１０２において、第一の参照画像のローカルデコード画像が４０％に圧縮でき、第二の参照画像のローカルデコード画像が６０％に圧縮できたとすると、合計は１００％になる。このとき２枚の参照画像が１枚分に圧縮されてフレームメモリ１０３に格納されたことになり、非圧縮の参照画像を１フレーム分メモリから読み出しする場合のデータ量に相当する。従って、参照画像を２枚とした場合であっても、フレームメモリ１０３に対するアクセス量を１枚分にまで削減することが可能となる。
【００４０】
Ｓ４０３の判定において、圧縮率が閾値より大きい場合（Ｓ４０３で「ＹＥＳ」）、処理はＳ４０４に進む。この場合、インター予測符号化処理において双予測を使うと１フレームを超えるデータアクセスが発生する可能性が出るため、当該Ｂピクチャでの双予測モードの使用を抑制すべきと判断し、その旨を第一の画像符号化部１０１に通知する。一方、圧縮率が閾値以下であった場合（Ｓ４０３で「ＮＯ」）、処理はＳ４０５に進む。この場合、メモリ帯域として１フレーム相当以下のデータアクセス内に収まるので、双予測モード判断通知部１０４は当該符号化ピクチャにおいて双予測モードを採用したインター予測符号化処理をしても良いと判断し、その旨を第一の画像符号化部１０１に通知する。
【００４１】
本実施形態では、圧縮率が閾値を超える場合は、双予測モードの使用を抑制する符号化制約を行う設定までにとどめているが、参照画像を１枚に固定して片方向予測のみに制限し、メモリ帯域を低減する方法も適用可能である。その場合、片方向予測のみの制約方法としては、符号化効率の観点から、符号化対象ピクチャから時間距離が近い（時間的により近接している）ピクチャを参照画像として選択することができる。
【００４２】
続くＳ４０６では、上述の符号化パラメータの設定に基づいて、第一の画像符号化部１０１が符号化対象ピクチャの符号化処理を実行する。当該符号化処理は、第一の画像符号化部１０１、第二の画像符号化部１０２及びフレームメモリ１０３が上述のように動作することにより実行される。Ｓ４０７では、符号化対象ピクチャの符号化処理が完了したか否かを、例えば、第一の画像符号化部１０１が判定する。当該判定は、例えば、ポーリングによる動作状態を繰り返し問い合わせる方式、或いは、ＣＰＵ等によるマイコン制御で割り込み通知によって行なっても良い。
【００４３】
フレーム単位の符号化処理が完了したと判定されると（Ｓ４０７で「ＹＥＳ」）、処理はＳ４０８に進む。Ｓ４０８では、例えば第一の画像符号化部１０１が符号化ピクチャのピクチャタイプが、参照画像として使用されうるＩピクチャまたはＰピクチャであるかを判定する。もしＩピクチャまたはＰピクチャと判定された場合（Ｓ４０８で「ＹＥＳ」）、処理はＳ４０９に進む。Ｓ４０９では、圧縮率取得部１０５が第二の画像符号化部１０２の入力データサイズ記憶部３００および出力データサイズ記憶部３０３から、各データサイズの情報を取得し符号化対象ピクチャの圧縮率を計算し、記憶する。その後、処理はＳ４０１に戻り次の符号化対象のピクチャに対して上述の符号化処理を繰り返す。他方、符号化対象ピクチャがＢピクチャであった場合、そのまま次のフレームの符号化処理を継続する。
【００４４】
また、上述の実施形態では、符号化対象ピクチャがＢピクチャの場合に参照画像とするピクチャはＩピクチャとＰピクチャとしたが、規格上はＢピクチャを参照画像とすることも可能である。よって、参照画像となりえるＢピクチャについては、Ｉ、Ｐピクチャと同様に扱って圧縮率を取得して、圧縮率に応じて双予測を実行するかを制御することができる。
【００４５】
＜動作タイミング＞
次に、図５を参照して、本実施形態における符号化処理について、時間方向の動作タイミングと適用例を説明する。図５は、１２フレーム分の符号化を行った場合の各フレームの入力順と、符号化順とを示している。各フレームには、Ｉ、Ｐ、Ｂのいずれかのピクチャタイプを示すと共に、参照画像となるＩピクチャおよびＰピクチャには、ローカルデコード画像の圧縮率を例示した。
【００４６】
図５では、Ｂピクチャについて表示順で前後のＩピクチャ、Ｐピクチャを参照する双方向の場合を記載しているが、発明の実施形態は、前方向のピクチャのみ、あるいは、後方向のピクチャのみを参照する場合にも適用できることはいうまでもない。また、他のＢピクチャを参照することも可能であり、さらには参照画像を３枚以上としてもよい。
【００４７】
発明の実施形態に従う符号化処理では、図５におけるＢ３ピクチャ、Ｂ４ピクチャをそれぞれ双予測符号化する場合、当該ピクチャが参照するピクチャは、時間方向で前後に存在するＩ２ピクチャとＰ５ピクチャとなりえる。これらのＩ２ピクチャとＰ５ピクチャは、符号化順としてＢ３ピクチャ、Ｂ４ピクチャよりも先行しており、符号化されたＩ２ピクチャとＰ５ピクチャは、どちらもローカルデコード画像の圧縮率が５０％である。本実施形態では、この圧縮率の情報は、Ｂ３ピクチャ及びＢ４ピクチャの符号化を開始する時点で取得可能であり、双予測モード判断通知部１０４は、圧縮率合計が閾値より大きいか否かを判定することができる。このときの圧縮率合計は１００％となり所定値以下となることから、Ｂ３ピクチャとＢ４ピクチャはインター予測符号化処理において双予測モードを採用することが可能となる。この場合、双予測モードを採用してもメモリ帯域を逼迫させることなく、また、２枚の参照画像を使用することができるので符号化効率を向上させることができる。
【００４８】
一方、Ｂ６ピクチャおよびＢ７ピクチャを参照すると、参照ピクチャとなるＰ５とＰ８の圧縮率合計は１１０％となり所定値より大きくなっている。よって、Ｂ６ピクチャ及びＢ７ピクチャについては双予測モードの使用を抑制して符号化を行い、メモリ帯域を保証することを優先する。このときＰ５ピクチャとＰ８ピクチャのいずれか一方のピクチャのみを参照して符号化を行なっても良い。例えば、Ｂ６ピクチャの場合は時間的距離が近いＰ５ピクチャを選択し、Ｂ７ピクチャの場合は時間的距離が近いＰ８ピクチャを選択することができる。また、Ｂ９ピクチャ及びＢ１０ピクチャについては、上記と同様にして双予測モードの採用を許可して符号化を行うことができる。
【００４９】
このように、本実施形態では、画像符号化処理でメモリアクセスが多くなる参照画像を可逆圧縮した後にフレームメモリへ格納する。これにより、フレームメモリに格納される参照画像のサイズを削減し、メモリアクセス量を低減することができる。また、当該圧縮率に基づいて動的に双予測モードを使った符号化を適用することができるので、符号化効率の向上も実現できる。
【００５０】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５１】
１０：取得部、２０：画像処理装置、３０：出力インタフェース、１００：画像処理装置、１０１：第一の画像符号化部、１０２：第二の画像符号化部、１０３：フレームメモリ、１０４：双予測モード判断通知部、１０５：圧縮率取得部
【図１】
2018067808.tif 000003
【図２】
2018067808.tif 000004
【図３】
2018067808.tif 000005
【図４】
2018067808.tif 000006
【図５】
2018067808.tif 000007