(57)【要約】【課題】  演算処理の負荷を削減することができ、かつ、符号化効率が向上する符号化装置の提供。【解決手段】  撮像装置から入力される動画像信号のフレームを構成する各々のブロックを、さらに適応的にサブブロックに分割して符号化する符号化装置であって、撮像装置に対する操作情報を入力として、前フレームから新たにフレーム内に現れる領域を特定する新規撮像領域特定手段と、前記新規撮像領域特定手段の特定結果に基づいて、フレームを構成する各々のブロックをサブブロックに分割するブロック分割手段を含むことを特徴とする符号化装置。【選択図】        図１
2006135734.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置から入力される動画像信号のフレームを構成する各々のブロックを、さらに適応的にサブブロックに分割して符号化する符号化装置であって、
撮像装置に対する操作情報を入力として、前フレームから新たにフレーム内に現れる領域を特定する新規撮像領域特定手段と、
前記新規撮像領域特定手段の特定結果に基づいて、フレームを構成する各々のブロックをサブブロックに分割するブロック分割手段を含むことを特徴とする符号化装置。
【請求項２】
前記ブロック分割手段は、前記新規撮像領域特定手段の特定結果に基づいて、フレームを構成する各々のブロックを、前フレームから新たにフレーム内に現れる領域が占める割合が所定値よりも大きいサブブロックと、そうでないサブブロックとに分割することを特徴とする請求項１に記載の符号化装置。
【請求項３】
撮像装置から入力される動画像信号のフレームを構成する各々のブロック毎に、イントラ符号化または前方向予測符号化または後方向予測符号化または両方向予測符号化のいずれかの符号化モードを適応的に選択して符号化する符号化装置であって、
撮像装置に対する操作情報を入力として、前フレームから新たにフレーム内に現れる領域を特定する新規撮像領域特定手段と、
新規撮像領域特定手段の特定結果に基づいて、前フレームから新たにフレーム内に現れる領域が占める割合が所定値よりも大きいブロックに対して後方向予測符号化を選択する符号化モード選択手段を含むことを特徴とする符号化装置。
【請求項４】
請求項３に記載の符号化装置であって、
該符号化装置はさらに動きベクトル検索手段を備え、
前記動きベクトル検索手段は、前フレームから新たにフレーム内に現れる領域が占める割合が所定値よりも大きいブロックに対する動きベクトル検索範囲を、そうでないブロックに対する動きベクトル検索範囲よりも広げることを特徴とする符号化装置。
【請求項５】
撮像装置から入力される動画像信号のフレームを構成する各々のブロックをさらに適応的にサブブロックに分割し、各々のサブブロック毎にイントラ符号化または前方向予測符号化または後方向予測符号化または両方向予測符号化のいずれかの符号化モードを適応的に選択して符号化する符号化装置であって、
撮像装置に対する操作情報を入力として、前フレームから新たにフレーム内に現れる領域を特定する新規撮像領域特定手段と、
前記新規撮像領域特定手段の特定結果に基づいて、フレームを構成する各々のブロックをサブブロックに分割するブロック分割手段と、
前フレームから新たにフレーム内に現れる領域が占める割合が所定値よりも大きいサブブロックに対して後方向予測符号化を選択する符号化モード選択手段を含むことを特徴とする符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像信号の符号化を行う符号化装置に係り、例えばデジタルカメラやデジタルビデオカメラに用いて好適な符号化装置に関するものである。
【背景技術】
【０００２】
静止画像や動画像などの画像信号の伝送や蓄積再生を行うために、画像信号の符号化技術が用いられる。そのような技術として、静止画像の符号化技術としてはＣＣＩＴＴ  Ｒｅｃ．  Ｔ．８１（ＪＰＥＧ）、動画像の符号化技術としてはＩＳＯ／ＩＥＣ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｔａｎｄａｒｄ  １４４９６−２（ＭＰＥＧ−４  Ｖｉｓｕａｌ）などの国際標準化符号化方式が知られている。
【０００３】
また、より新しい符号化方式として、ＩＴＵ−Ｔ  とＩＳＯ／ＩＥＣとの合同国際標準化による動画像符号化方式、ＩＴＵ−Ｔ  Ｒｅｃ．  Ｈ．２６４  Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  ｜  ＩＳＯ／ＩＥＣ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｔａｎｄａｒｄ  １４４９６−１０  （ＭＰＥＧ−４  ＡＶＣ）、以下Ｈ．２６４と呼ぶ、が知られている。
【０００４】
Ｈ．２６４では、１６×１６画素から成るマクロブロックを、図５に示すように１６×１６、１６×８、８×１６、８×８のいずれかに適応的に分割した各々のパーティション毎に動き補償／予測を行うことができる。さらに、８×８パーティションが選択された場合は、８×８画素から成るサブマクロブロックを図６に示すように適応的に分割した各々のパーティション毎に動き補償／予測を行うこともできる。これにより、例えば図１２に示すように、符号化対象のフレームに存在するオブジェクトの形状に応じたきめ細かい動き補償／予測が可能となる。
【０００５】
デジタルカメラやデジタルビデオカメラのように、リアルタイムに符号化処理を行う必要がある機器にＨ．２６４を適用する場合、マクロブロックやサブマクロブロックを短時間で最適に分割することが重要となる。さらに、分割された各々のパーティション毎に動きベクトルを検索して、イントラ符号化モード、前方向予測符号化モード、後方向予測符号化モード、両方向予測符号化モード、ダイレクト予測モードの中から最適な符号化モードを短時間で選択する必要がある。
【０００６】
かかる課題を解決する従来技術として、特許文献１に開示の符号化方式判定装置および符号化方式判定方法が提案されている。
【０００７】
従来技術の符号化方式判定装置では、撮像装置操作情報に基づいて動画像信号の前フレームから新たにフレーム内に現れる領域を検出し、該領域に存在するブロックの符号化モードをフレーム内符号化とすることにより、符号化モード選択にかかる演算時間を削減している。
【特許文献１】特開平９−２６１６５７号公報
【特許文献２】特開平１１−２０５６５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来の符号化装置はフレーム内符号化とフレーム間符号化のいずれかの符号化モードを短時間で選択することはできるが、マクロブロックやサブマクロブロックを短時間で最適に分割するという課題を解決することができない。また、前フレームから新たにフレーム内に現れる領域に対して常にフレーム内符号化を行うため、最適な符号化モードが選択されているとは限らない。例えば両方向予測符号化を行えるＢスライス（ＭＰＥＧ−４ではＢ−ＶＯＰ）を符号化する場合、前フレームから新たにフレーム内に現れる領域に対して後方向予測を行えば最適な動きベクトルを検出できる可能性があるが、従来の符号化装置ではフレーム内符号化モードを選択するので、符号化効率の低下を招く可能性がある。
【０００９】
本発明は、以上の点に着目して成されたもので、演算処理の負荷を削減することができ、かつ、符号化効率が向上する符号化装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
以上に説明した課題に鑑み、本発明の第一の発明の符号化装置について詳細に整理して示せば、
撮像装置から入力される動画像信号のフレームを構成する各々のブロックを、さらに適応的にサブブロックに分割して符号化する符号化装置であって、撮像装置に対する操作情報を入力として、前フレームから新たにフレーム内に現れる領域を特定する新規撮像領域特定手段と、前記新規撮像領域特定手段の特定結果に基づいて、フレームを構成する各々のブロックをサブブロックに分割するブロック分割手段を備えることにより、
撮像装置の操作情報に基づいてフレームを構成する各々のブロックがサブブロックに分割され、符号化モードが選択される。
【発明の効果】
【００１１】
本発明の符号化装置は、撮像装置に対する操作情報に基づいて、動画像信号のフレームを構成する各々のブロックがさらにサブブロックに分割されるので、サブブロックへの分割に関わる演算処理の負荷を削減することができ、且つ最適な分割を行うことができる。
【００１２】
また、撮像装置に対する操作情報に基づいて、前フレームから新たに現れる領域に存在するブロックに対して後方向予測符号化モードが選択されるので、符号化モード選択に関わる演算処理の負荷を削減することができる。
【００１３】
さらに、前フレームから新たに現れる領域の後方向動きベクトルが通常よりも広い範囲で検索されるので、より最適な動きベクトルを見つけることができ、符号化効率が向上する。
【発明を実施するための最良の形態】
【００１４】
以下本発明を実施するための最良の形態を、実施例により詳しく説明する。
【実施例】
【００１５】
本発明の一実施形態である符号化装置の構成を図１に示す。
【００１６】
本実施形態の符号化装置は、フレーム入力部１１０、撮像操作情報入力部１１１、新規撮像領域特定部１１２、ブロック分割部１１３、動きベクトル検索部１１４、動き補償部１１５、フレームメモリ１１６、直交変換・量子化部１１７、可変長符号化部１１８、符号化データ出力部１１９、逆直交変換・逆量子化部１２０、イントラ予測部１２１、デブロッキング・フィルタ１２２から構成される。
【００１７】
以下、本実施形態の符号化装置の動作を説明する。
【００１８】
符号化対象の現フレームが、図１のフレーム入力部１１０から本実施形態の符号化装置に入力される。同時に、フレーム入力部１１０から入力された現フレームを撮像したときの撮像装置の操作情報が、撮像操作情報入力部１１１から入力される。撮像装置の操作情報（以下、撮像操作情報）には、ズームイン、ズームアウト、パン、チルトなどのカメラ操作に関する情報が含まれる。
【００１９】
新規撮像領域特定部１１２は、撮像操作情報を基に、撮像装置に対する操作により前フレームから新たにフレーム内に現れる領域（図７の斜線部分）を特定する。以下、この領域を新規撮像領域と記す。なお、本発明は新規撮像領域の特定方法を規定するものではなく、実施形態の符号化装置においては例えば特許文献１や特許文献２に開示されている方法を用いて特定してもよい。
【００２０】
ブロック分割部１１３は、新規撮像領域特定部１１２から出力された新規撮像領域に関する情報を基に、フレーム入力部１１０から入力された現フレームを構成するマクロブロックの分割方法（マクロブロック・パーティション）を図５に示す４種類の中から選択する。８×８マクロブロック・パーティションを選択した場合は、さらにその分割方法（サブマクロブロック・パーティション）を図６に示す４種類の中から選択する。なお、ブロック分割部１１３の詳細な処理については後述する。
【００２１】
フレーム間予測符号化を行う場合は、動きベクトル検索部１１４が、ブロック分割部１１３から出力されたマクロブロック・パーティションまたはサブマクロブロック・パーティション毎に動きベクトルを検索する。動きベクトル検索部１１４の詳細な処理については後述する。
【００２２】
検索された動きベクトルを基に、動き補償部１１５はフレームメモリ１１６から参照マクロブロック（またはサブマクロブロック）の、所定のパーティションを読み出す。フレーム入力部１１０から入力されたマクロブロックの所定のパーティションと参照マクロブロックの所定のパーティションとの差分画像が直交変換・量子化部１１７へ入力される。
【００２３】
一方、フレーム内符号化を行う場合は、イントラ予測部１２１が符号化対象のマクロブロック（図１６）または４×４ブロック（図１７）の周辺画素を逆直交変換・逆量子化部１２０から受け取り、予測対象の画素（予測画素）を決定した後、フレーム入力部１１０から入力された現フレームのマクロブロックまたは４×４ブロックと予測画素との差分を取り、直交変換・量子化部１１７へ入力する。
【００２４】
直交変換・量子化部１１７は、入力されたデータに対し直交変換を行い、変換係数に対して外部から指定された量子化値で量子化を行う。量子化された変換係数は可変長符号化部１１８で符号化される。同時に、量子化された変換係数は逆直交変換・逆量子化部１２０へも入力され、逆量子化及び逆直交変換を施される。逆直交変換されたデータは動き補償部１１５で得られる参照画像を用いて補償され、デブロッキング・フィルタ１２２によりブロック歪が除去された後、フレームメモリ１１６へ入力される。
【００２５】
なお、本発明は図１に示す符号化装置の構成に限定されるものではない。例えば、図１５に示すように、図１のイントラ予測部１２１やデブロッキング・フィルタ１２２が無い形態の符号化装置にも適用可能である。
【００２６】
以下、ブロック分割部１１３の処理フローを、図２を用いて説明する。
【００２７】
まず、図２のＳ２０１で、図１０の（１）に示すマクロブロック内の各領域ａ，ｂ，ｃ，ｄのそれぞれにおいて新規撮像領域が含まれる割合を算出する。各領域において、新規撮像領域がＮ％以上を占める場合は、当該領域は新規撮像領域に含まれると判定する。なお本実施形態の符号化装置では、Ｎ＝５０として判定を行うが、本発明はこれに限定されるものではない。
【００２８】
次にＳ２０２で、マクロブロック内の各領域ａ，ｂ，ｃ，ｄの全てにおいて新規撮像領域が含まれるか否かを判定する。図１１のマクロブロックＥは、当該条件が成立するマクロブロックの一例である。当該条件が成立すると判定した場合（Ｓ２０２でＹＥＳ）、Ｓ２０３で１６×１６マクロブロック・パーティションを選択する。当該条件が成立しないと判定した場合（Ｓ２０２でＮＯ）、すなわち領域ａ，ｂ，ｃ，ｄのうち一つでも新規撮像領域が含まれていない領域が存在する場合は、Ｓ２０４へ進む。
【００２９】
次にＳ２０４で、マクロブロック内の各領域ａ，ｂ，ｃ，ｄのいずれか一つの領域において新規撮像領域が含まれず、且つその他の領域において新規撮像領域が含まれているか否かを判定する。図１１のマクロブロックＡは、当該条件が成立するマクロブロックの一例である。当該条件が成立すると判定した場合（Ｓ２０４でＹＥＳ）、Ｓ２０５で８×８マクロブロック・パーティションを選択し、さらに該マクロブロックを構成する各々のサブマクロブロックのパーティションを適応的に選択する（Ｓ２０５）。サブマクロブロック・パーティションの選択方法については後述する。当該条件が成立しないと判定した場合（Ｓ２０４でＮＯ）はＳ２０７へ進む。
【００３０】
次にＳ２０７で、マクロブロック内の領域ａ及びｂ、またはｃ及びｄに新規撮像領域が含まれるか否かを判定する。図１１のマクロブロックＢは、当該条件が成立するマクロブロックの一例である。当該条件が成立すると判定した場合（Ｓ２０７でＹＥＳ）、Ｓ２０８で１６×８マクロブロック・パーティションを選択する。当該条件が成立しないと判定した場合（Ｓ２０７でＮＯ）、Ｓ２０９へ進む。
【００３１】
次にＳ２０９で、マクロブロック内の領域ａ及びｃ、またはｂ及びｄに新規撮像領域が含まれるか否かを判定する。図１１のマクロブロックＣは、当該条件が成立するマクロブロックの一例である。当該条件が成立すると判定した場合（Ｓ２０９でＹＥＳ）、Ｓ２１０で８×１６マクロブロック・パーティションを選択する。当該条件が成立しないと判定した場合（Ｓ２０９でＮＯ）、１６×１６マクロブロック・パーティションを選択する。
【００３２】
Ｓ２０５のサブマクロブロック・パーティションを選択する処理フローを図３に示す。マクロブロック・パーティションを選択する際と同様に、図１０の（２）に示すようにサブマクロブロックを構成する各領域ａ，ｂ，ｃ，ｄ毎に、新規撮像領域が含まれる割合を判定することにより、サブマクロブロック・パーティションを選択する。
【００３３】
なお、本実施形態の符号化装置のサブブロック分割部１１３は、図２のＳ２０３及びＳ２１１において１６×１６マクロブロック・パーティションを選択するが、本発明の符号化装置はこれに限定されるものではない。例えば、現フレームに対してオブジェクト抽出を行い、オブジェクト抽出処理の結果に応じて、適応的にパーティションを選択することも可能である。
【００３４】
ブロック分割部１１３は以上に説明した処理を行うことにより、撮像操作情報入力部１１０から入力される撮像操作情報に応じて、最適なマクロブロック・パーティションを短い演算時間で選択することができる。例えば、図７に示すように左方向にパン操作が行われた場合、現フレームの左端（図７の斜線部分）は前フレームから新たに現れる領域（新規撮像領域）であるので、ブロック分割部１１３は、新規撮像領域とそれ以外の領域とにまたがるマクロブロックに対して８×１６マクロブロック・パーティションを選択する。図９に示すように、ズームアウト操作が行われた場合、サブブロック分割部１１３は、画面の隅に位置するマクロブロックに対しては８×８マクロブロック・パーティションを選択する。さらに、新規撮像領域が各サブマクロブロックに含まれる割合を基に、８×８、８×４、４×８、４×４サブマクロブロック・パーティションを適応的に選択する。
【００３５】
ブロック分割部１１３は、マクロブロック・パーティション及びサブマクロブロック・パーティションの種類と、各々のパーティションに新規撮像領域が含まれているか否かを表す情報を、動きベクトル検索部１１４に出力する。
【００３６】
次に、動きベクトル検索部１１４（図１）の処理を説明する。動きベクトル検索部１１４は、ブロック分割部１１３によって分割された各々のパーティション毎に動きベクトルを検索し、前方向予測符号化モード、後方向予測符号化モード、両方向予測符号化モード、ダイレクト予測符号化モードの中から最適な符号化モードを選択する。なお、Ｈ．２６４においては、後方向予測符号化モード、両方向予測符号化モード及びダイレクト予測符号化モードは、Ｂスライスでのみ選択可能である。
【００３７】
図４は、動きベクトル検索部１１４の処理のフローを表す。
【００３８】
まずＳ４０１において、処理対象のマクロブロック・パーティションまたはサブマクロブロック・パーティションに新規撮像領域が含まれるか否かを判定する。
【００３９】
新規撮像領域が含まれない場合（Ｓ４０１でＮＯ）、Ｓ４０２で前方向、後方向、両方向の動きベクトル検索を行う。動きベクトルの検索方法は本発明では規定されないが、例えば３ステップ・サーチにより検索する。次にＳ４０３で、符号化モード判定指標値としてＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）を算出し、ＳＡＤに基づいてＳ４０４で前方向予測符号化モード、後方向予測符号化モード、両方向予測符号化モードのいずれか一つを選択する。
【００４０】
一方、Ｓ４０１において処理対象のマクロブロック・パーティションまたはサブマクロブロック・パーティションに新規撮像領域が含まれると判定した場合（ＹＥＳ）、Ｓ４０５で後方向予測符号化モードを選択し、Ｓ４０６で後方向動きベクトルを検索する。なお、Ｓ４０６での動きベクトル検索範囲は、Ｓ４０２での動きベクトル検索範囲よりも広く設定される。
【００４１】
動きベクトル検索部１１４は以上に説明した処理を行うことにより、例えば図１３に示すように符号化モードを選択する。図１３において、Ｌ０は前方向予測符号化モードが選択されたパーティションを、Ｌ１は後方向予測符号化モードが選択されたパーティションを、Ｂｉは両方向予測符号化モードが選択されたパーティションを夫々表す。
【００４２】
動きベクトル検索部１１４は、新規撮像領域が含まれるパーティションに対しては予め後方向予測符号化モードを選択し、後方向動きベクトルのみを検索するので、符号化モード選択に関わる演算処理の負荷を削減することができる。また、動きベクトル検索部１１４は、当該パーティションに対しては予測方向を限定することにより検索範囲を広げることができるので、より最適な動きベクトルを見つけることができ、符号化効率が向上する。
【００４３】
以上に説明したように、本実施形態の符号化装置は、撮像装置に対する操作情報を基に前フレームから新たに現れる領域を特定し、その結果に基づいてマクロブロックやサブマクロブロックをパーティションに分割するので、短い演算時間で最適な分割を行うことができる。さらに、前フレームから新たに現れる領域に存在するブロックの符号化モードとして後方向予測符号化モードを選択するので、符号化モード選択に関わる演算処理の負荷を削減することができる。また、当該ブロックの後方向動きベクトルを通常よりも広い範囲で検索するので、より最適な動きベクトルを見つけることができ、符号化効率が向上する。
【００４４】
なお、本実施形態の符号化装置では、符号化方式としてＨ．２６４を例に説明したが、本発明は無論これに限定されるものではない。例えば符号化方式としてＭＰＥＧ−４に本発明を適用ことも可能である。例えば、動き予測の単位を１６×１６画素から成るマクロブロック（図１４のａ）と８×８画素から成るブロック（図１４のｂ）のいずれで行うかの判定に、本発明を適用することができる。
【図面の簡単な説明】
【００４５】
【図１】本発明の実施形態の符号化装置の構成図
【図２】ブロック分割部１１３のマクロブロック分割の処理フロー
【図３】ブロック分割部１１３のサブマクロブロック分割の処理フロー
【図４】動きベクトル検索部１１４の処理フロー
【図５】マクロブロック・パーティションを表す図
【図６】サブマクロブロック・パーティションを表す図
【図７】パン操作が行われたときの新規撮像領域とマクロブロック・パーティションを表す図
【図８】チルト操作が行われたときの新規撮像領域とマクロブロック・パーティションを表す図
【図９】ズーム操作が行われたときの新規撮像領域とマクロブロック・パーティション及びサブマクロブロック・パーティションを表す図
【図１０】ブロック分割部１１３の判定対象の領域を表す図
【図１１】ブロック分割部１１３の判定例を表す図
【図１２】パーティション単位で動き予測を行った場合の動きベクトルを表す図
【図１３】動きベクトル検索部１１４によって選択された符号化モードの一例を表す図
【図１４】本発明をＭＰＥＧ−４に適用した場合の動きベクトル検出単位を表図
【図１５】本発明の別の実施形態の符号化装置の構成を表す図
【図１６】イントラ１６×１６予測における周辺画素を表す図
【図１７】イントラ４×４予測における周辺画素を表す図
【符号の説明】
【００４６】
１１０  フレーム入力部
１１１  撮像操作情報入力部
１１２  新規撮像領域特定部
１１３  ブロック分割部
１１４  動きベクトル検索部
１１５  動き補償部
１１６  フレームメモリ
１１７  直交変換・量子化部
１１８  可変長符号化部
１１９  符号化データ出力部
１２０  逆直交変換・逆量子化部
１２１  イントラ予測部
１２２  デブロッキング・フィルタ
【図１】
2006135734.tif 000003
【図２】
2006135734.tif 000004
【図３】
2006135734.tif 000005
【図４】
2006135734.tif 000006
【図５】
2006135734.tif 000007
【図６】
2006135734.tif 000008
【図７】
2006135734.tif 000009
【図８】
2006135734.tif 000010
【図９】
2006135734.tif 000011
【図１０】
2006135734.tif 000012
【図１１】
2006135734.tif 000013
【図１２】
2006135734.tif 000014
【図１３】
2006135734.tif 000015
【図１４】
2006135734.tif 000016
【図１５】
2006135734.tif 000017
【図１６】
2006135734.tif 000018
【図１７】
2006135734.tif 000019