(57)【要約】  動き補償予測部が、画像フレームに対して動き補償予測処理を実施して予測フレームを出力するとともに、動き補償予測処理に用いられた予測情報（２４）を出力する。変換符号化部が、画像フレームと予測フレームとの差分を符号化し、符号化データ（２５）として出力する。可変長符号化部（１４１）が、可変長符号を用いて符号化データ（２５）を符号化することにより、符号化データ（２５）を可変長符号データ（２７）として圧縮する。そして、付加制御部（１４２）が、可変長符号データ（２７）に予測情報（２４）を付加する。
2018142596.tif 000002
【特許請求の範囲】
【請求項１】
画像フレームに対して動き補償予測処理を実施して予測フレームを出力するとともに、前記動き補償予測処理に用いられた予測情報を出力する動き補償予測部と、
前記画像フレームと前記予測フレームとの差分を符号化し、符号化した前記差分を符号化データとして出力する変換符号化部と、
可変長符号を用いて前記符号化データを符号化することにより、前記符号化データを可変長符号データとして圧縮する可変長符号化部と、
前記可変長符号データに前記予測情報を付加する付加制御部と
を備えた符号化装置。
【請求項２】
前記付加制御部は、
前記可変長符号データについてデータの区切り位置を検出し、検出した前記区切り位置に前記予測情報を付加する請求項１に記載の符号化装置。
【請求項３】
前記動き補償予測部は、
前記動き補償予測処理に用いられた探索方法を表す探索方法情報と、前記動き補償予測処理に用いられた探索範囲を表す探索範囲情報とを含む前記予測情報を出力する請求項１または２に記載の符号化装置。
【請求項４】
前記付加制御部は、
前記可変長符号データのうちのシーケンス層に前記予測情報のうちの前記探索方法情報を付加し、前記可変長符号データのうちのフレーム層に前記予測情報のうちの前記探索範囲情報を付加する請求項３に記載の符号化装置。
【請求項５】
動き補償予測部が、画像フレームに対して動き補償予測処理を実施して予測フレームを出力するとともに、前記動き補償予測処理に用いられた予測情報を出力し、
変換符号化部が、前記画像フレームと前記予測フレームとの差分を符号化し、符号化した前記差分を符号化データとして出力し、
可変長符号化部が、可変長符号を用いて前記符号化データを符号化することにより、前記符号化データを可変長符号データとして圧縮し、
付加制御部が、前記可変長符号データに前記予測情報を付加する符号化方法。
【請求項６】
画像フレームに対して動き補償予測処理を実施して予測フレームを出力するとともに、前記動き補償予測処理に用いられた予測情報を出力する動き補償予測処理と、
前記画像フレームと前記予測フレームとの差分を符号化し、符号化した前記差分を符号化データとして出力する変換符号化処理と、
可変長符号を用いて前記符号化データを符号化することにより、前記符号化データを可変長符号データとして圧縮する可変長符号化部と、
前記可変長符号データに前記予測情報を付加する付加制御部と
をコンピュータに実行させる符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化装置、符号化方法および符号化プログラムに関する。
【背景技術】
【０００２】
画像処理を行う際の基本的な情報の一つにオプティカルフローがある。オプティカルフローは画像上での見かけの動きと定義されている。オプティカルフローの検出手法としては、勾配法といった手法が存在する。画像処理の対象となる映像データは、データ量の削減の観点から圧縮して扱うことが一般的である。近年は圧縮方式としてＭＰＥＧ−２、ＭＰＥＧ−４、ＡＶＣ／Ｈ．２６４、およびＨＥＶＣ／Ｈ．２６５といったＭＰＥＧ方式の国際標準方式が幅広く利用されている。ＭＰＥＧ方式は、圧縮過程において時間方向の相関を削減するため動き補償予測を行う。この動き補償予測処理はオプティカルフローの検出手法に類似している。動き補償予測処理の結果として得られる動きベクトルは、オプティカルフローの代用として利用されることもある。動きベクトルは圧縮過程で取得可能な情報であり、画像処理のために必要な動きにかかわる情報を新たに生成する必要が無い。よって、動きベクトルの取得は、オプティカルフローの算出と比較して、演算処理が少なく、画像処理を低演算処理で実施することを可能にする。
特許文献１には、動きベクトルをオプティカルフローの代用とするだけではなく、画像処理のより具体的な例として、オブジェクト位置を特定する方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２１４８８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
動き補償予測処理は、与えられた条件内で圧縮性能を最大にすることを目的としているので、映像内の動きを正しく追従することができない場合がある。具体例としては、動きの探索範囲が映像内の動き量より小さい場合には、動き補償結果としては、動き無し、あるいは、探索範囲の最大値を示す可能性もある。また、動き補償予測には、全探索、階層探索、およびテレスコピック探索といった複数の動き探索方法が存在する。複数の動き探索方法のうち、どの動き探索方法を利用するかよって、得られる動きベクトルの特性が異なる。よって、画像処理において、動きベクトルの生成方法を知ることは、画像処理の精度を向上させるために必要である。
しかしながら、従来技術では、動き補償予測処理を用いた符号化処理により映像データを符号化した場合、動きベクトルの生成方法といった動き補償予測処理に用いられた動き探索処理に関わる予測情報が不明であるという課題がある。【０００５】
本発明は、動き補償予測処理を用いた符号化処理により映像データを符号化した場合でも、符号化したデータから動き補償予測処理に用いられた動き探索処理に関わる予測情報を抽出できることを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る符号化装置は、
画像フレームに対して動き補償予測処理を実施して予測フレームを出力するとともに、前記動き補償予測処理に用いられた予測情報を出力する動き補償予測部と、
前記画像フレームと前記予測フレームとの差分を符号化し、符号化した前記差分を符号化データとして出力する変換符号化部と、
可変長符号を用いて前記符号化データを符号化することにより、前記符号化データを可変長符号データとして圧縮する可変長符号化部と、
前記可変長符号データに前記予測情報を付加する付加制御部とを備えた。
【発明の効果】
【０００７】
本発明に係る符号化装置では、動き補償予測部が、画像フレームに対して動き補償予測処理を実施して予測フレームを出力するとともに、動き補償予測処理に用いられた予測情報を出力する。変換符号化部が、画像フレームと予測フレームとの差分を符号化し、符号化データとして出力する。可変長符号化部が、可変長符号を用いて前記符号化データを符号化することにより、符号化データを可変長符号データとして圧縮する。そして、付加制御部が、可変長符号データに予測情報を付加する。よって、本発明に係る符号化装置によれば、動き補償予測処理を用いた符号化処理により映像データを符号化した場合でも、符号化したデータから動き補償予測処理に用いられた予測情報を抽出できるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】実施の形態１に係る符号化装置１００の構成図。
【図２】実施の形態１に係るエントロピー符号化部１４０の構成図。
【図３】実施の形態１に係る符号化方法６１０および符号化プログラム６２０による符号化処理Ｓ１００を示すフロー図。
【図４】実施の形態１に係る圧縮データ２３の構成図。
【図５】実施の形態１に係る付加制御処理Ｓ４２の詳細動作を示すフロー図。
【図６】実施の形態１の変形例に係る符号化装置１００の構成図。
【図７】実施の形態２に係る予測情報２４に含まれる探索範囲情報２４２の例を示す図。
【図８】は全探索の方法を示す模式図。
【図９】はステップ探索の方法を示す模式図。
【図１０】はダイアモンド探索の方法を示す模式図。
【図１１】はヘキサゴン探索の方法を示す模式図。
【図１２】は全探索の方法を示すフロー図。
【図１３】はステップ探索の方法を示すフロー図。
【図１４】はダイアモンド探索の方法を示すフロー図。
【図１５】はヘキサゴン探索の方法を示すフロー図。
【発明を実施するための形態】
【０００９】
以下、本発明の実施の形態について、図を用いて説明する。なお、各図中、同一または相当する部分には、同一符号を付している。実施の形態の説明において、同一または相当する部分については、説明を適宜省略または簡略化する。
【００１０】
実施の形態１．
＊＊＊構成の説明＊＊＊
図１は、本実施の形態に係る符号化装置１００の構成図である。また、図２は、本実施の形態に係るエントロピー符号化部１４０の構成図である。図１および図２を用いて、本実施の形態に係る符号化装置１００の構成について説明する。
図１に示すように、符号化装置１００は、コンピュータである。符号化装置１００は、符号化器ともいう。
符号化装置１００は、プロセッサ９１０、記憶装置９２０、画像入力インタフェース９３０、出力インタフェース９４０、および通信装置９５０といったハードウェアを備える。記憶装置９２０は、メモリ９２１と補助記憶装置９２２とを含む。
【００１１】
符号化装置１００は、機能構成として、動き補償予測部１１０と、減算部１２０と、変換符号化部１３０と、エントロピー符号化部１４０と、記憶部１５０とを備える。エントロピー符号化部１４０は、可変長符号化部１４１と、付加制御部１４２とを備える。また、付加制御部１４２は、多重化部４２１と、スイッチ部４２２と、多重化制御部４２３とを備える。
動き補償予測部１１０と、減算部１２０と、変換符号化部１３０と、可変長符号化部１４１と、付加制御部１４２のそれぞれの機能は、ソフトウェアで実現される。
記憶部１５０は、メモリ９２１により実現される。また、記憶部１５０は、補助記憶装置９２２のみ、あるいは、メモリ９２１および補助記憶装置９２２で実現されてもよい。記憶部１５０の実現方法は任意である。
【００１２】
プロセッサ９１０は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。プロセッサ９１０は、演算処理を行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）である。プロセッサ９１０の具体例は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）である。
【００１３】
メモリ９２１は、データを一時的に記憶する記憶装置である。メモリ９２１の具体例は、ＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）である。
【００１４】
補助記憶装置９２２は、データを保管する記憶装置である。補助記憶装置９２２の具体例は、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）である。また、補助記憶装置９２２は、ＳＤ（登録商標）（Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ）メモリカード、ＣＦ（ＣｏｍｐａｃｔＦｌａｓｈ）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）といった可搬記憶媒体であってもよい。
【００１５】
画像入力インタフェース９３０は、映像を撮影する撮像装置といった入力装置と接続されるポートである。画像入力インタフェース９３０は、具体的には、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）端子である。なお、画像入力インタフェース９３０は、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）と接続されるポートであってもよい。映像データを構成する複数の画像フレームの各画像フレーム２１は、画像入力インタフェース９３０を介して、符号化装置１００に入力される。
【００１６】
出力インタフェース９４０は、ディスプレイといった表示機器のケーブルが接続されるポートである。出力インタフェース９４０は、具体的には、ＵＳＢ端子またはＨＤＭＩ（登録商標）（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）端子である。ディスプレイは、具体的には、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）である。なお、符号化装置１００は、出力インタフェース９４０を備えていなくても構わない。
【００１７】
通信装置９５０は、ネットワークを介して他の装置と通信を行う。
通信装置９５０は、レシーバとトランスミッタとを有する。通信装置９５０は、有線または無線で、ＬＡＮ、インターネット、あるいは電話回線といった通信網に接続している。通信装置９５０は、具体的には、通信チップまたはＮＩＣ（Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃａｒｄ）である。通信装置９５０は、データを通信する通信部である。レシーバは、データを受信する受信部である。トランスミッタは、データを送信する送信部である。符号化装置１００により生成された圧縮データ２３は、通信装置９５０を介して、ネットワークに送出される。
【００１８】
補助記憶装置９２２には、動き補償予測部１１０と、減算部１２０と、変換符号化部１３０と、可変長符号化部１４１と、付加制御部１４２のそれぞれの機能を実現するプログラムが記憶されている。動き補償予測部１１０と、減算部１２０と、変換符号化部１３０と、可変長符号化部１４１と、付加制御部１４２のそれぞれの機能を実現するプログラムを符号化プログラム６２０ともいう。このプログラムは、メモリ９２１にロードされ、プロセッサ９１０に読み込まれ、プロセッサ９１０によって実行される。また、補助記憶装置９２２はＯＳを記憶している。補助記憶装置９２２にされているＯＳの少なくとも一部がメモリ９２１にロードされる。プロセッサ９１０はＯＳを実行しながら、符号化プログラム６２０を実行する。
【００１９】
符号化装置１００は、１つのプロセッサ９１０のみを備えていてもよいし、複数のプロセッサ９１０を備えていてもよい。複数のプロセッサ９１０が、動き補償予測部１１０と、減算部１２０と、変換符号化部１３０と、可変長符号化部１４１と、付加制御部１４２のそれぞれの機能を実現するプログラムを連携して実行してもよい。
【００２０】
動き補償予測部１１０と、減算部１２０と、変換符号化部１３０と、可変長符号化部１４１と、付加制御部１４２のそれぞれの処理の結果を示す情報、データ、信号値、および変数値は、符号化装置１００の補助記憶装置９２２、メモリ９２１、または、プロセッサ９１０内のレジスタまたはキャッシュメモリに記憶される。
【００２１】
動き補償予測部１１０と、減算部１２０と、変換符号化部１３０と、可変長符号化部１４１と、付加制御部１４２のそれぞれの機能を実現するプログラムは、可搬記録媒体に記憶されてもよい。可搬記録媒体とは、具体的には、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）、あるいはＳＤカードといったメモリカードである。
なお、符号化プログラムプロダクトとは、符号化プログラム６２０が記録された記憶媒体および記憶装置である。情報提供プログラムプロダクトは、外観に関わらず、コンピュータ読み取り可能なプログラムをロードしているものを指す。
【００２２】
＊＊＊動作の説明＊＊＊
図３を用いて、本実施の形態に係る符号化方法６１０および符号化プログラム６２０による符号化処理Ｓ１００について説明する。
符号化処理Ｓ１００は、動き補償予測処理Ｓ１０と、減算処理Ｓ２０と、変換符号化処理Ｓ３０と、エントロピー符号化処理Ｓ４０とを有する。
【００２３】
まず、ステップＳ１０１において、画像入力インタフェース９３０は、映像を構成する複数の画像フレームのうちの１つの画像フレーム２１を取得する。画像入力インタフェース９３０は、画像フレーム２１を動き補償予測部１１０と減算部１２０とに出力する。
【００２４】
＜動き補償予測処理Ｓ１０＞
次に、動き補償予測部１１０は、動き補償予測処理Ｓ１０を実行する。動き補償予測部１１０は、画像フレーム２１に対して動き補償予測処理を実施して予測フレーム２２を出力するとともに、動き補償予測処理に用いられた予測情報２４を出力する。動き補償予測部１１０は、ＭＣ（Ｍｏｔｉｏｎ  Ｃｏｍｐｅｎｓａｔｉｏｎ）ともいう。
具体的には、ステップＳ１０２において、動き補償予測部１１０は、画像フレーム２１と、既に変換符号化部１３０により符号化された画像フレームとを用いて、予測フレーム２２を生成する。
また、ステップ１０３において、動き補償予測部１１０は、画像フレーム２１に対して動き補償予測処理を実施する際に使用される情報を予測情報２４として出力する。予測情報２４は、予測パラメータともいう。動き補償予測部１１０は、動き補償予測処理に用いられた探索方法を表す探索方法情報２４１と、動き補償予測処理に用いられた探索範囲を表す探索範囲情報２４２とを含む予測情報２４を出力する。探索方法は、動き補償がどのような補償方法で行われたのかを示す。また、探索範囲は、動きの探索の範囲はどの程度なのかを示す。
より具体的には、動き補償予測部１１０は、メモリ９２１に格納された過去の画像フレームと、画像入力インタフェース９３０を経由して入力された画像フレーム２１とをプロセッサ９１０に取り込む。動き補償予測部１１０は、過去の画像フレームと画像フレーム２１とを小ブロック単位で比較し、類似する画像位置を検索し、類似する位置を示す座標を含む予測情報２４を出力する。また、動き補償予測部１１０は、類似映像である予測フレーム２２をメモリ９２１に書き出す。
【００２５】
＜減算処理Ｓ２０＞
ステップＳ１０４において、減算部１２０は、画像フレーム２１と予測フレーム２２との差分をとる。減算部１２０は、差分器ともいう。具体的には、減算部１２０は、動き補償予測部１１０により生成された予測フレーム２２と画像フレーム２１との差分をとり、その差分２６を変換符号化部１３０に出力する。より具体的には、減算部１２０は、メモリ９２１に格納された予測フレーム２２をプロセッサ９１０に取り込み、画像入力インタフェース９３０を経由して入力された画像フレーム２１と予測フレーム２２とをプロセッサ９１０により減算処理し、減算処理の結果である差分２６をメモリ９２１に格納する。
【００２６】
＜変換符号化処理Ｓ３０＞
次に、変換符号化部１３０は、画像フレーム２１と予測フレーム２２との差分２６を符号化し、符号化した差分２６を符号化データ２５として出力する。
具体的には、ステップＳ１０５において、変換符号化部１３０は、減算部１２０から出力された差分２６を取得し、差分２６に対して離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）を行う。変換符号化部１３０は、直交変換および量子化といったＤＣＴを実施する。変換符号化部１３０は、ＤＣＴが施された差分２６を符号化データ２５として出力する。より具体的には、変換符号化部１３０は、メモリ９２１に格納された差分２６をプロセッサ９１０に取り込み、ＤＣＴを実施した結果を符号化データ２５としてメモリ９２１に書き出す。
【００２７】
＜エントロピー符号化処理Ｓ４０＞
エントロピー符号化部１４０は、可変長符号化処理Ｓ４１と、付加制御処理Ｓ４２とを有する。エントロピー符号化部１４０は、ＶＬＣ（Ｖａｒｉａｂｌｅ−Ｌｅｎｇｔｈ  Ｃｏｄｉｎｇ）ともいう。
【００２８】
＜可変長符号化処理Ｓ４１＞
ステップＳ１０６において、エントロピー符号化部１４０の可変長符号化部１４１は、可変長符号化処理Ｓ４１を実行する。可変長符号化処理Ｓ４１は、可変長符号化部１４１が、可変長符号を用いて符号化データ２５を符号化することにより、符号化データ２５を可変長符号データ２７として圧縮する処理である。具体的には、可変長符号化部１４１は、変換符号化部１３０によりメモリ９２１に書き出された符号化データ２５をプロセッサ９１０に取り込み、可変長符号を用いて符号化する可変長符号処理を実施し、結果を可変長符号データ２７としてメモリ９２１に書き出す。
【００２９】
＜付加制御処理Ｓ４２＞
ステップＳ１０７において、エントロピー符号化部１４０の付加制御部１４２は、付加制御処理Ｓ４２を実行する。付加制御処理Ｓ４２は、付加制御部１４２が、可変長符号データ２７に予測情報２４を付加する処理である。付加制御部１４２が、予測情報２４を付加した可変長符号データ２７を圧縮データ２３として出力する。具体的には、付加制御部１４２は、可変長符号データ２７についてデータの区切り位置を検出し、検出した区切り位置に予測情報２４を付加する。付加制御部１４２は、可変長符号データ２７のうちのシーケンス層に予測情報２４のうちの探索方法情報２４１を付加し、可変長符号データ２７のうちのフレーム層に予測情報２４のうちの探索範囲情報２４２を付加する。
【００３０】
図４を用いて、本実施の形態に係る圧縮データ２３について説明する。
圧縮データ２３は、シーケンス層ＲＳ、フレーム層ＲＦ、およびマクロブロック層ＲＭＢを有する。付加制御部１４２は、圧縮データ２３となる可変長符号データ２７について、データの区切り位置Ｐを検出し、検出した区切り位置Ｐに予測情報２４を付加する。付加制御部１４２は、可変長符号データ２７のうちのシーケンス層ＲＳに予測情報２４のうちの探索方法情報２４１を付加し、可変長符号データ２７のうちのフレーム層ＲＦに予測情報２４のうちの探索範囲情報２４２を付加する。
このように、付加制御部１４２は、シーケンス層ＲＳと呼ばれる圧縮データ全体にかかわる情報を格納する層には探索方法を格納する。また、付加制御部１４２は、フレーム層ＲＦと呼ばれる各画像にかかわる情報を格納する層には探索範囲を格納する。
ＭＰＥＧ方式の圧縮データには、ユーザが自由に利用可能なデータ領域がある。このデータ領域は、ユーザエリアあるいはＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ）と呼ばれる。付加制御部１４２は、予測情報２４をこのデータ領域に格納する。これらのユーザに解放されたデータ領域は、受信側で解釈不可能な場合はデータを読み飛ばすことが規定されており、画像処理を行わない装置に、これらの情報が多重された圧縮データ２３が入力されても、正しく画像を復号することが可能である。よって、本実施の形態に係る符号化装置１００は、既存の装置との互換性を完全に確保することが可能である。
【００３１】
図２および図５を用いて、本実施の形態に係る付加制御処理Ｓ４２の詳細動作について説明する。
エントロピー符号化部１４０の付加制御部１４２は、多重化部４２１と、スイッチ部４２２と、多重化制御部４２３とを備える。スイッチ部４２２は、多重化制御部４２３の制御に従って、付加制御部１４２に対する入力を切り替える。予測情報２４の種別には、圧縮データ全体にかかわるパラメータと、映像を構成する複数の画像フレームの各画像フレームにかかわるパラメータとが存在する。多重化制御部４２３は、予測情報２４の種別に応じてスイッチ部４２２を制御し、多重化部４２１に可変長符号データ２７と予測情報２４とを送り込む。
【００３２】
図５を用いて、付加制御処理Ｓ４２の詳細動作について、さらに説明する。
ステップＳ４２１において、多重化制御部４２３は、スイッチ部４２２の入力を可変長符号化部１４１に切り替える。
ステップＳ４２２において、多重化制御部４２３は、可変長符号化部１４１からシーケンス層ＲＳの可変長符号データ２７を多重化部４２１に出力させる。
ステップＳ４２３において、多重化制御部４２３は、シーケンス層ＲＳの可変長符号データ２７の出力が終了したかを判定する。出力が終了していなければ、処理はステップＳ４２２に戻る。出力が終了していれば、処理はステップＳ４２４に進む。
ステップＳ４２４において、多重化制御部４２３は、スイッチ部４２２の入力を予測情報２４に切り替える。
ステップＳ４２５において、多重化制御部４２３は、予測情報２４のうちシーケンス層ＲＳにかかわる予測情報２４を多重化部４２１に出力させる。シーケンス層ＲＳにかかわる予測情報２４とは、探索方法情報２４１である。
ステップＳ４２６において、多重化制御部４２３は、予測情報２４のうちシーケンス層ＲＳにかかわる予測情報２４の出力が終了したかを判定する。出力が終了していなければ、処理はステップＳ４２５に戻る。出力が終了していれば、処理はステップＳ４２７に進む。
【００３３】
ステップＳ４２７において、多重化制御部４２３は、スイッチ部４２２の入力を可変長符号化部１４１に切り替える。
ステップＳ４２８において、多重化制御部４２３は、可変長符号化部１４１からフレーム層ＲＦの可変長符号データ２７を多重化部４２１に出力させる。
ステップＳ４２９において、多重化制御部４２３は、フレーム層ＲＦの可変長符号データ２７の出力が終了したかを判定する。出力が終了していなければ、処理はステップＳ４２７に戻る。出力が終了していれば、処理はステップＳ４３０に進む。
ステップＳ４３０において、多重化制御部４２３は、スイッチ部４２２の入力を予測情報２４に切り替える。
ステップＳ４３１において、多重化制御部４２３は、予測情報２４のうちフレーム層ＲＦにかかわる予測情報２４を多重化部４２１に出力させる。フレーム層ＲＦにかかわる予測情報２４とは、探索範囲情報２４２である。
ステップＳ４３２において、多重化制御部４２３は、予測情報２４のうちフレーム層ＲＦにかかわる予測情報２４の出力が終了したかを判定する。出力が終了していなければ、処理はステップＳ４３１に戻る。出力が終了していれば、処理はステップＳ４３３に進む。
ステップＳ４３３において、多重化制御部４２３は、スイッチ部４２２の入力を可変長符号化部１４１に切り替え、マクロブロック層ＲＭＢの可変長符号データ２７をすべて多重化部４３１に出力させる。
多重化部４３１は、スイッチ部４２２を介して入力される可変長符号データ２７と予測情報２４とを多重化し、圧縮データ２３として出力する。具体的には、多重化部４３１は、圧縮データ２３をメモリ９２１に書き出す。通信装置９５０は、多重化部４２１によりメモリ９２１に書き出された圧縮データ２３をネットワークに送出する。あるいは、出力インタフェース９４０が、圧縮データ２３をディスプレイといった出力装置に出力してもよい。多重化部４２１は、ＭＵＸ（ｍｕｌｔｉｐｌｅｘｅｒ）ともいう。
【００３４】
＊＊＊他の構成＊＊＊
本実施の形態では、動き補償予測部１１０と、減算部１２０と、変換符号化部１３０と、可変長符号化部１４１と、付加制御部１４２の機能がソフトウェアで実現される。しかし、変形例として、動き補償予測部１１０と、減算部１２０と、変換符号化部１３０と、可変長符号化部１４１と、付加制御部１４２の機能がハードウェアで実現されてもよい。
【００３５】
図６を用いて、本実施の形態の変形例に係る符号化装置１００の構成について説明する。
図６に示すように、符号化装置１００は、処理回路９０９、画像入力インタフェース９３０、出力インタフェース９４０、および通信装置９５０といったハードウェアを備える。
【００３６】
処理回路９０９は、上述した動き補償予測部１１０と、減算部１２０と、変換符号化部１３０と、可変長符号化部１４１と、付加制御部１４２の機能および記憶部１５０を実現する専用の電子回路である。処理回路９０９は、具体的には、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ、ＡＳＩＣ、または、ＦＰＧＡである。ＧＡは、Ｇａｔｅ  Ａｒｒａｙの略語である。ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔの略語である。ＦＰＧＡは、Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙの略語である。
【００３７】
動き補償予測部１１０と、減算部１２０と、変換符号化部１３０と、可変長符号化部１４１と、付加制御部１４２の機能は、１つの処理回路９０９で実現されてもよいし、複数の処理回路９０９に分散して実現されてもよい。
【００３８】
別の変形例として、各装置の各部の機能がソフトウェアとハードウェアの組合せで実現されてもよい。すなわち、符号化装置１００の一部の機能が専用のハードウェアで実現され、残りの機能がソフトウェアで実現されてもよい。
【００３９】
符号化装置１００のプロセッサ９１０、記憶装置９２０、および、処理回路９０９を、総称して「プロセッシングサーキットリ」という。つまり、符号化装置１００の構成が図１および図６のいずれに示した構成であっても、動き補償予測部１１０と、減算部１２０と、変換符号化部１３０と、可変長符号化部１４１と、付加制御部１４２の機能および記憶部１５０は、プロセッシングサーキットリにより実現される。
【００４０】
「部」を「工程」または「手順」または「処理」に読み替えてもよい。また、「部」の機能をファームウェアで実現してもよい。
【００４１】
＊＊＊本実施の形態の効果の説明＊＊＊
本実施の形態に係る符号化装置１００によれば、圧縮データには、動き補償にかかわるパラメータ、具体的には動き補償方法および動き探索範囲が含まれることになる。通常の符号化器には、予測情報が圧縮データには含まれておらず、圧縮データを受信する画像処理を行う装置側では、動き補償がどのような補償方法で行われたのか、また、動きの探索の範囲はどの程度なのかを知るすべがなかった。これらの予測情報を知りえないということは、オブジェクトの動きを検出する画像処理を行う際に、最大の動き量を想定することができず、画像処理の精度が規定できない。すなわち、精度の悪い画像処理になる。本実施の形態に係る符号化装置１００によれば、画像処理を行う装置側に動き補償にかかわるパラメータ、具体的には動き補償の探索方法および動き探索範囲を通知することができる。よって、本実施の形態に係る符号化装置１００によれば、探索範囲内での動き推定に限定して精度を向上させることができる。また、本実施の形態に係る符号化装置１００によれば、動きの探索方法に応じて動き情報を補正することが可能になり、画像処理の効率を向上させることが可能になる。また、本実施の形態に係る符号化装置１００によれば、メーカ間で異なる探索方法あるいは探索範囲を持つ符号化器が存在した場合でも、本パラメータをもとにした正規化を行うことで、符号化器のメーカ間差異を最小限に抑えることが可能になる。これは、マルチベンダーシステムを構築する際に極めて重要な意味を持つ。
【００４２】
通常、ＭＰＥＧ方式を使用する映像圧縮方式では、画像を細かなマクロブロックに分割し、マクロブロック毎に圧縮した際の情報量が小さくなるような制御が行われる。本制御の中で、対象マクロブロックと類似した領域を探す動き補償処理が行われる。この動き補償処理の結果、動きベクトルが生成され、動きの追従という意味でオプティカルフローに類似した情報となる。しかし、映像圧縮方式では、圧縮した後の情報量を評価尺度として、動きベクトルを使うか否かの判断が行われる。もし動きベクトルを使わないほうが情報量が小さくなると判断できれば、対象のマクロブロックには動きベクトルが付与されない。しかし、本実施の形態に係る符号化装置１００によれば、画面のすべてのエリアの動きベクトルを得ることができる。
【００４３】
本実施の形態に係る符号化装置１００によれば、動き補償予測で得られた動きベクトルを活用する画像処理の処理精度の向上および安定化を図ることができる。また、本実施の形態に係る符号化装置１００によれば、生成された圧縮データが既存の受信装置の動作に影響を与えないようにすることができる。すなわち、本実施の形態に係る符号化装置１００によって生成された圧縮データが、ＭＰＥＧ方式に完全に準拠していることを意味する。
【００４４】
なお、本実施の形態に係る符号化装置は、予測情報を除き、ＭＰＥＧ／Ｈ２６１といった符号化の国際標準方式に準ずる動作を行う。この場合、エントロピー符号化部は図２で示す構成のうち、可変長符号化部１４１と多重化部４２１の２要素のみからなる構成となり、可変長符号化部１４１と多重化部４２１とは直結される。
上述した国際標準に準ずる符号化装置は、ＩＳＯ／ＭＰＥＧあるいはＩＴＵ／Ｈ２６１で代表される映像国際符号化方式に従う動作を行う。Ｈ．２６１／ＭＰＥＧ１／ＭＰＥＧ２符号化方式のアルゴリズムは、たとえば、安田他「ＭＰＥＧ／マルチメディア符号化の国際標準」（１９９４）、藤原他「最新ＭＰＥＧ教科書）（１９９４）、電子情報通信学会「知識ベース」  １１章国際標準といった文献に記されている。
【００４５】
実施の形態２．
本実施の形態では、実施の形態１の説明に追加する事項について説明する。特に、予測情報２４の具体例について説明する。
図７は、本実施の形態に係る予測情報２４に含まれる探索範囲の例を示す図である。
図７では、カメラメーカ毎に動き補償の探索範囲が大きく異なることを示している。たとえば、カメラメーカＡのカメラは、探索範囲が水平方向±８０画素であり、垂直方向が±４０画素である。このとき、探索範囲情報２４２は、水平方向±８０画素および垂直方向±４０画素という情報である。カメラメーカＢのカメラは、水平方向±４０画素であり、垂直方向±８０画素である。このとき、探索範囲情報２４２は、水平方向±４０画素および垂直方向±８０画素という情報である。付加制御部１４２は、これらの探索範囲を表す探索範囲情報２４２を、実施の形態１で説明したフレーム層ＲＦの探索範囲情報２４２として圧縮データ２３に埋め込む。
【００４６】
図８から図１１は、それぞれが本実施の形態に係る予測情報２４に含まれる探索方法情報が表す探索方法の例を示す図である。図８から図１１に示すように、探索方法には、複数の探索方法が存在する。図８は全探索の方法を示す模式図である。図９はステップ探索の方法を示す模式図である。ステップ探索は、多段探索ともいう。図１０はダイアモンド探索の方法を示す模式図である。図１１はヘキサゴン探索の方法を示す模式図である。
また、図１２のステップＳ２０１からステップＳ２１１は全探索の方法を示すフロー図である。図１３のステップＳ３０１からステップＳ３１３はステップ探索の方法を示すフロー図である。図１４のステップＳ４０１からステップＳ４０６はダイアモンド探索の方法を示すフロー図である。図１５のステップＳ５０１からステップＳ５０６はヘキサゴン探索の方法を示すフロー図である。
全探索はすべてのエリアを探索することでその探索範囲内で最適な動き情報が生成可能である。ステップ探索は間引きながら探索を行うことで処理量の削減が可能である。ダイアモンド探索は探索を開始する開始ポイントの周辺から徐々に探索範囲を広げていく方法である。ヘキサゴン探索は探索精度と探索処理削減を両立した方法である。
探索範囲方法２４１の具体例には、これらの探索方法の識別子がある。これらの探索方法に識別子を付与し、付加制御部１４２は、その識別子を実施の形態１で示したシーケンス層の探索方法情報２４１として圧縮データ２３に埋め込む。
【００４７】
なお、予測情報の探索範囲の一例として矩形の探索範囲を示したが、必ずしも矩形である必要はなく、円あるいは楕円の範囲や、矩形の組み合わせの形状をもつ探索範囲もあり得る。これらの図形を定義する情報を探索範囲の情報として埋め込むことが可能であることは言うまでもない。また、動き探索方法の一例として、特定の方法一つの例を示したが、必ずしも単一の方法である必要はなく、複数の探索方法の組み合わせの場合でも、それらの情報を埋め込むことが可能であることは言うまでもない。
【００４８】
実施の形態１および２では、符号化装置１００の各部が独立した機能ブロックとして符号化装置１００を構成している。しかし、上述した実施の形態のような構成でなくてもよく、符号化装置１００の構成は任意である。符号化装置１００の機能ブロックは、上述した実施の形態で説明した機能を実現することができれば、任意である。これらの機能ブロックを、他のどのような組み合わせ、あるいは任意のブロック構成で、符号化装置１００を構成しても構わない。
また、符号化装置１００は、１つの装置でなく、複数の装置から構成されたシステムでもよい。
【００４９】
実施の形態１および２について説明したが、これらの実施の形態のうち、複数の部分を組み合わせて実施しても構わない。あるいは、これらの実施の形態のうち、１つの部分を実施しても構わない。その他、これらの実施の形態を、全体としてあるいは部分的に、どのように組み合わせて実施しても構わない。
なお、上述した実施の形態は、本質的に好ましい例示であって、本発明、その適用物および用途の範囲を制限することを意図するものではなく、必要に応じて種々の変更が可能である。
【符号の説明】
【００５０】
２１  画像フレーム、２２  予測フレーム、２３  圧縮データ、２４  予測情報、２４１  探索方法情報、２４２  探索範囲情報、２５  符号化データ、２６  差分、２７  可変長符号データ、１００  符号化装置、１１０  動き補償予測部、１２０  減算部、１３０  変換符号化部、１４０  エントロピー符号化部、１４１  可変長符号化部、１４２  付加制御部、４２１  多重化部、４２２  スイッチ部、４２３  多重化制御部、１５０  記憶部、９０９  処理回路、９１０  プロセッサ、９２０  記憶装置、９２１  メモリ、９２２  補助記憶装置、９３０  画像入力インタフェース、９４０  出力インタフェース、９５０  通信装置、６１０  符号化方法、６２０  符号化プログラム、Ｓ１００  符号化処理、Ｓ１０  動き補償予測処理、Ｓ２０  減算処理、Ｓ３０  変換符号化処理、Ｓ４０  エントロピー符号化処理、Ｓ４１  可変長符号化処理、Ｓ４２  付加制御処理、ＲＳ  シーケンス層、ＲＦ  フレーム層、ＲＭＢ  マクロブロック層、Ｐ  区切り位置。
【図１】
2018142596.tif 000003
【図２】
2018142596.tif 000004
【図３】
2018142596.tif 000005
【図４】
2018142596.tif 000006
【図５】
2018142596.tif 000007
【図６】
2018142596.tif 000008
【図７】
2018142596.tif 000009
【図８】
2018142596.tif 000010
【図９】
2018142596.tif 000011
【図１０】
2018142596.tif 000012
【図１１】
2018142596.tif 000013
【図１２】
2018142596.tif 000014
【図１３】
2018142596.tif 000015
【図１４】
2018142596.tif 000016
【図１５】
2018142596.tif 000017
【手続補正書】
【提出日】平成29年5月18日(2017.5.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像フレームに対して動き補償予測処理を実施して予測フレームを出力するとともに、前記動き補償予測処理に用いられた動きの探索方法を表す探索方法情報、または、前記動き補償予測処理に用いられた動きの探索範囲を表す探索範囲情報を含む予測情報を出力する動き補償予測部と、
前記画像フレームと前記予測フレームとの差分を符号化し、符号化した前記差分を符号化データとして出力する変換符号化部と、
可変長符号を用いて前記符号化データを符号化することにより、前記符号化データを可変長符号データとして圧縮する可変長符号化部と、
前記可変長符号データに前記予測情報を付加する付加制御部と
を備えた符号化装置。
【請求項２】
前記付加制御部は、
前記可変長符号データについてデータの区切り位置を検出し、検出した前記区切り位置に前記予測情報を付加する請求項１に記載の符号化装置。
【請求項３】
前記付加制御部は、
前記可変長符号データのうちのシーケンス層に前記予測情報のうちの前記探索方法情報を付加し、前記可変長符号データのうちのフレーム層に前記予測情報のうちの前記探索範囲情報を付加する請求項１または２に記載の符号化装置。
【請求項４】
動き補償予測部が、画像フレームに対して動き補償予測処理を実施して予測フレームを出力するとともに、前記動き補償予測処理に用いられた動きの探索方法を表す探索方法情報、または、前記動き補償予測処理に用いられた動きの探索範囲を表す探索範囲情報を含む予測情報を出力し、
変換符号化部が、前記画像フレームと前記予測フレームとの差分を符号化し、符号化した前記差分を符号化データとして出力し、
可変長符号化部が、可変長符号を用いて前記符号化データを符号化することにより、前記符号化データを可変長符号データとして圧縮し、
付加制御部が、前記可変長符号データに前記予測情報を付加する符号化方法。
【請求項５】
画像フレームに対して動き補償予測処理を実施して予測フレームを出力するとともに、前記動き補償予測処理に用いられた動きの探索方法を表す探索方法情報、または、前記動き補償予測処理に用いられた動きの探索範囲を表す探索範囲情報を含む予測情報を出力する動き補償予測処理と、
前記画像フレームと前記予測フレームとの差分を符号化し、符号化した前記差分を符号化データとして出力する変換符号化処理と、
可変長符号を用いて前記符号化データを符号化することにより、前記符号化データを可変長符号データとして圧縮する可変長符号化処理と、
前記可変長符号データに前記予測情報を付加する付加制御処理と
をコンピュータに実行させる符号化プログラム。
【手続補正書】
【提出日】平成29年8月29日(2017.8.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像フレームに対して動き補償予測処理を実施して予測フレームを出力するとともに、前記動き補償予測処理において動きベクトルの生成に用いられた動きベクトルの生成方法を表す探索方法情報、または、前記動き補償予測処理において動きベクトルを生成する際に予め定められている動きベクトルの探索範囲を表す探索範囲情報を含む予測情報を出力する動き補償予測部と、
前記画像フレームと前記予測フレームとの差分を符号化し、符号化した前記差分を符号化データとして出力する変換符号化部と、
可変長符号を用いて前記符号化データを符号化することにより、前記符号化データを可変長符号データとして圧縮する可変長符号化部と、
前記可変長符号データに前記予測情報を付加する付加制御部と
を備えた符号化装置。
【請求項２】
前記付加制御部は、
前記可変長符号データについてデータの区切り位置を検出し、検出した前記区切り位置に前記予測情報を付加する請求項１に記載の符号化装置。
【請求項３】
前記付加制御部は、
前記可変長符号データのうちのシーケンス層に前記予測情報のうちの前記探索方法情報を付加し、前記可変長符号データのうちのフレーム層に前記予測情報のうちの前記探索範囲情報を付加する請求項１または２に記載の符号化装置。
【請求項４】
動き補償予測部が、画像フレームに対して動き補償予測処理を実施して予測フレームを出力するとともに、前記動き補償予測処理において動きベクトルの生成に用いられた動きベクトルの生成方法を表す探索方法情報、または、前記動き補償予測処理において動きベクトルを生成する際に予め定められている動きベクトルの探索範囲を表す探索範囲情報を含む予測情報を出力し、
変換符号化部が、前記画像フレームと前記予測フレームとの差分を符号化し、符号化した前記差分を符号化データとして出力し、
可変長符号化部が、可変長符号を用いて前記符号化データを符号化することにより、前記符号化データを可変長符号データとして圧縮し、
付加制御部が、前記可変長符号データに前記予測情報を付加する符号化方法。
【請求項５】
画像フレームに対して動き補償予測処理を実施して予測フレームを出力するとともに、前記動き補償予測処理において動きベクトルの生成に用いられた動きベクトルの生成方法を表す探索方法情報、または、前記動き補償予測処理において動きベクトルを生成する際に予め定められている動きベクトルの探索範囲を表す探索範囲情報を含む予測情報を出力する動き補償予測処理と、
前記画像フレームと前記予測フレームとの差分を符号化し、符号化した前記差分を符号化データとして出力する変換符号化処理と、
可変長符号を用いて前記符号化データを符号化することにより、前記符号化データを可変長符号データとして圧縮する可変長符号化処理と、
前記可変長符号データに前記予測情報を付加する付加制御処理と
をコンピュータに実行させる符号化プログラム。
【国際調査報告】
2018142596.tif 000018
2018142596.tif 000019
2018142596.tif 000020
2018142596.tif 000021