(57)【要約】【課題】低解像度画像データ内の注目領域の位置を特定するための情報を転送することによる転送データ量の増加を防ぐことができる画像符号化装置を提供する。【解決手段】動画像符号化装置２００であって、入力される動画像データの符号化を行い、符号化データを出力する符号化部２２０と、動画像データ中の予め定められた領域である注目領域を指定する注目領域指定部２１０とを備え、符号化部２２０は、注目領域を高解像度の動画像として符号化して動画像データを低解像度の動画像として符号化する際に、動画像データにおける注目領域の位置を特定するための情報を含む符号化データを生成する。【選択図】図１
2010212811.tif 000002
【特許請求の範囲】
【請求項１】
入力される動画像データの符号化を行い、符号化データを出力する符号化部と、
前記動画像データ中の予め定められた領域である注目領域を指定する注目領域指定部とを備え、
前記符号化部は、前記注目領域を第一の解像度の動画像として符号化して前記動画像データを第二の解像度の動画像として符号化する際に、前記動画像データにおける前記注目領域の位置を特定するための情報を含む符号化データを生成する
動画像符号化装置。
【請求項２】
前記符号化部は、前記注目領域の位置を特定するための情報として、前記注目領域の位置情報を、前記第一の解像度の動画像を符号化した際に出力する符号化データのユーザー領域、もしくは、前記第二の解像度の動画像を符号化した際に出力する符号化データのユーザー領域に保存して前記符号化データを生成する
請求項１に記載の動画像符号化装置。
【請求項３】
前記符号化部は、前記動画像データを前記第二の解像度の動画像として符号化する場合には、前記動画像データのうち、前記注目領域以外の領域を、前記第二の解像度の動画像として符号化する
請求項１又は２に記載の動画像符号化装置。
【請求項４】
前記符号化部は、前記動画像データを前記第二の解像度の動画像として符号化する場合には、前記動画像データのうち、前記注目領域の全部もしくは一部を、単一色の画像として符号化する
請求項１又は２に記載の動画像符号化装置。
【請求項５】
前記符号化部は、前記動画像データを前記第二の解像度の動画像として符号化する場合には、前記動画像データが画面間参照を使用するピクチャであった場合、前記注目領域の全部もしくは一部を、スキップマクロブロックとして符号化する
請求項１又は２に記載の動画像符号化装置。
【請求項６】
前記符号化部は、前記注目領域の上下左右端のそれぞれからマクロブロック１つ分小さくした領域を、単一色の画像として符号化する
請求項４に記載の動画像符号化装置。
【請求項７】
前記符号化部は、前記注目領域の上下左右端のそれぞれからマクロブロック１つ分小さくした領域を、スキップマクロブロックとして符号化する
請求項５に記載の動画像符号化装置。
【請求項８】
前記符号化部は、前記動画像データを前記第二の解像度の動画像として符号化する際に、前記注目領域の位置を特定するための情報として、前記注目領域の全部もしくは一部を、ある特定の符号化条件で符号化したデータを含む符号化データを生成する
請求項１に記載の動画像符号化装置。
【請求項９】
前記符号化部は、前記注目領域の上下左右端のそれぞれからマクロブロック１つ分小さくした領域を、ある特定の符号化条件で符号化する
請求項８に記載の動画像符号化装置。
【請求項１０】
被写体像を撮像し、動画像データを出力する撮像部と、
前記撮像部から入力される前記動画像データの符号化を行い、符号化データを出力する符号化部と、
前記動画像データ中の予め定められた領域である注目領域を指定する注目領域指定部とを備え、
前記符号化部は、前記注目領域を第一の解像度の動画像として符号化して前記動画像データを第二の解像度の動画像として符号化する際に、前記動画像データにおける前記注目領域の位置を特定するための情報を含む符号化データを生成する
撮像装置。
【請求項１１】
動画像データ中の予め定められた領域である注目領域の前記動画像データにおける位置を特定するための情報を含む符号化データが入力され、前記符号化データを第一の解像度の動画像データと第二の解像度の動画像データとに復号化する復号化部と、
前記符号化データに含まれる前記注目領域の位置を特定するための情報を抽出する注目領域抽出部と、
抽出された前記注目領域の位置を特定するための情報に基づき、前記第二の解像度の動画像データ中の前記注目領域に前記第一の解像度の動画像データが位置するように、前記第一の解像度の動画像データと前記第二の解像度の動画像データとを合成する画像合成部と
を備える動画像復号化装置。
【請求項１２】
入力される動画像データの符号化を行い、符号化データを出力する符号化ステップと、
前記動画像データ中の予め定められた領域である注目領域を指定する注目領域指定ステップとを含み、
前記符号化ステップでは、前記注目領域を第一の解像度の動画像として符号化して前記動画像データを第二の解像度の動画像として符号化する際に、前記動画像データにおける前記注目領域の位置を特定するための情報を含む符号化データを生成する
動画像符号化方法。
【請求項１３】
動画像データ中の予め定められた領域である注目領域の前記動画像データにおける位置を特定するための情報を含む符号化データが入力され、前記符号化データを第一の解像度の動画像データと第二の解像度の動画像データとに復号化する復号化ステップと、
前記符号化データに含まれる前記注目領域の位置を特定するための情報を抽出する注目領域抽出ステップと、
抽出された前記注目領域の位置を特定するための情報に基づき、前記第二の解像度の動画像データ中の前記注目領域に前記第一の解像度の動画像データが位置するように、前記第一の解像度の動画像データと前記第二の解像度の動画像データとを合成する画像合成ステップと
を含む動画像復号化方法。
【請求項１４】
入力される動画像データの符号化を行い、符号化データを出力する符号化部と、
前記動画像データ中の予め定められた領域である注目領域を指定する注目領域指定部とを備え、
前記符号化部は、前記注目領域を第一の解像度の動画像として符号化して前記動画像データを第二の解像度の動画像として符号化する際に、前記動画像データにおける前記注目領域の位置を特定するための情報を含む符号化データを生成する
集積回路。
【請求項１５】
動画像データ中の予め定められた領域である注目領域の前記動画像データにおける位置を特定するための情報を含む符号化データが入力され、前記符号化データを第一の解像度の動画像データと第二の解像度の動画像データとに復号化する復号化部と、
前記符号化データに含まれる前記注目領域の位置を特定するための情報を抽出する注目領域抽出部と、
抽出された前記注目領域の位置を特定するための情報に基づき、前記第二の解像度の動画像データ中の前記注目領域に前記第一の解像度の動画像データが位置するように、前記第一の解像度の動画像データと前記第二の解像度の動画像データとを合成する画像合成部と
を備える集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の符号化装置及び復号化装置に関する。
【背景技術】
【０００２】
近年、地デジに代表されるデジタル放送が開始され、ハイビジョン放送が一般的となってきている。同時に、動画像を撮影するビデオカメラにおいても、ハイビジョン撮影が当たり前となってきている。
【０００３】
ハイビジョン動画の撮影は、今までのＳＤ（Standard Definition）画角の動画の撮影と比較して、撮影される画素数が、大幅に増加している。フルハイビジョン動画は、１フレームの画素数が、１９２０×１０８０であるのに対し、ＳＤ画角では、６４０×４８０であり、画素数は、６倍になっている。そのため、動画像の処理や符号化の処理にかかる演算についても、６倍の演算が必要となる。つまり、画素数が増加すると、その分処理速度も向上しなければならない。
【０００４】
近年、撮像素子の進化は目覚しく、ハイビジョン動画以上の画素数を持った動画像の撮影も可能となってきている。例えば、４Ｋ２Ｋと呼ばれる、フルハイビジョンの４倍の画素数（４０９６×２０４８画素）の規格や、スーパーハイビジョンと呼ばれるフルハイビジョンの１６倍（７６８０×４３２０画素）の規格も存在する。
【０００５】
このような画像の高精細化は、きれいな動画像を残すことが可能となるが、その画像を処理、保存する際に、非常に演算量が大きくなったり、データレートが大きくなったりするため、課題となっている。
【０００６】
この課題に対応する技術として、特許文献１では、静止画の画像データを転送する際に指定領域を設定し、指定領域は高解像度画像データを転送し、指定領域以外の領域については、低解像度の画像データを転送することにより、画像データの転送量を削減している。また、特許文献１では、低解像度画像データ内の指定領域情報を転送することで、低解像度画像データ内の指定領域の位置を伝達している。
【特許文献１】特開２００７−０８１４６５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記の特許文献１では、具体的なコーデックへの適用事例が、静止画であるＪＰＥＧ  ２０００のみに限定されており、動画像のような他のコーデックへの適用については開示されていない。特に、近年、圧縮率の高いコーデックとして普及しているＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４に適用する方法については、言及されていない。
【０００８】
また、特許文献１では、低解像度画像データ内の指定領域（以下、注目領域という）の情報を転送することで、低解像度画像データ内の注目領域の位置を伝達しているが、この方式では、注目領域の位置情報にかかる情報を転送する分だけ、転送データ量が増加するという課題がある。特に、動画像に適用すると、転送データ量が累積され増加する。
【０００９】
そこで、本発明は、このような課題に鑑みてなされたものであり、低解像度画像データ内の注目領域の位置を特定するための情報を転送することによる転送データ量の増加を防ぐことができる画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明に係る画像符号化装置は、入力される動画像データの符号化を行い、符号化データを出力する符号化部と、前記動画像データ中の予め定められた領域である注目領域を指定する注目領域指定部とを備え、前記符号化部は、前記注目領域を第一の解像度の動画像として符号化して前記動画像データを第二の解像度の動画像として符号化する際に、前記動画像データにおける前記注目領域の位置を特定するための情報を含む符号化データを生成する。
【００１１】
これによれば、第一の解像度及び第二の解像度の動画像を符号化した際に生成される２つの符号化データに、注目領域の位置を特定するための情報が含まれる。このため、当該２つの符号化データから、注目領域の位置を特定するための情報を取得することが可能となる。したがって、当該注目領域の位置を特定するための情報を転送する必要がないため、転送データ量の増加を防ぐことができる。
【００１２】
また、好ましくは、前記符号化部は、前記注目領域の位置を特定するための情報として、前記注目領域の位置情報を、前記第一の解像度の動画像を符号化した際に出力する符号化データのユーザー領域、もしくは、前記第二の解像度の動画像を符号化した際に出力する符号化データのユーザー領域に保存して前記符号化データを生成する。
【００１３】
これによれば、注目領域の位置情報が、符号化データのユーザー領域に保存される。これにより、第一の解像度及び第二の解像度の動画像を符号化した際に生成される２つの符号化データに、注目領域の位置情報が含まれる。つまり、当該２つの符号化データから、注目領域の位置情報を取得することが可能となり、注目領域の位置情報を示すデータを管理する必要がなくなる。このため、当該２つの符号化データだけあれば、第一の解像度の動画像データと第二の解像度の動画像データとを重ね合わせることが可能となる。したがって、当該注目領域の位置を特定するための情報を転送する必要がないため、転送データ量の増加を防ぐことができる。
【００１４】
また、好ましくは、前記符号化部は、前記動画像データを前記第二の解像度の動画像として符号化する場合には、前記動画像データのうち、前記注目領域以外の領域を、前記第二の解像度の動画像として符号化する。又は、前記符号化部は、前記動画像データを前記第二の解像度の動画像として符号化する場合には、前記動画像データのうち、前記注目領域の全部もしくは一部を、単一色の画像として符号化することにしてもよい。又は、前記符号化部は、前記動画像データを前記第二の解像度の動画像として符号化する場合には、前記動画像データが画面間参照を使用するピクチャであった場合、前記注目領域の全部もしくは一部を、スキップマクロブロックとして符号化することにしてもよい。
【００１５】
これによれば、第二の解像度の動画像において、注目領域を符号化しないことにしたり、注目領域を単一色の画像として符号化したり、注目領域をスキップマクロブロックとして符号化することで、その符号化データのサイズを小さくすることが可能となる。
【００１６】
また、前記符号化部は、前記注目領域の上下左右端のそれぞれからマクロブロック１つ分小さくした領域を、単一色の画像として符号化することにしてもよい。又は、前記符号化部は、前記注目領域の上下左右端のそれぞれからマクロブロック１つ分小さくした領域を、スキップマクロブロックとして符号化することにしてもよい。
【００１７】
これによれば、第二の解像度の動画像において、注目領域の上下左右端のそれぞれから、マクロブロック１つ分小さくした領域を、単一色の画像に変更して符号化するか、もしくは、スキップマクロブロックとして符号化することで、注目領域の境界付近での画質劣化を防ぐことが可能となる。
【００１８】
また、前記符号化部は、前記動画像データを前記第二の解像度の動画像として符号化する際に、前記注目領域の位置を特定するための情報として、前記注目領域の全部もしくは一部を、ある特定の符号化条件で符号化したデータを含む符号化データを生成することにしてもよい。
【００１９】
これによれば、第二の解像度の動画像において、注目領域をある特定の符号化条件で符号化することで、注目領域の位置情報を保存しなくても、注目領域が判別可能となり、注目領域保存にかかる処理を削減することが可能となる。したがって、当該注目領域の位置を特定するための情報を転送する必要がないため、転送データ量の増加を防ぐことができる。
【００２０】
なお、本発明は、このような動画像符号化装置として実現することができるだけでなく、被写体像を撮像し動画像データを出力する撮像部をも備えた撮像装置として実現することができ、また、当該動画像符号化装置が符号化した符号化データを復号化する動画像復号化装置として実現することもできる。
【００２１】
また、本発明は、このような動画像符号化装置や撮像装置、動画像復号化装置として実現することができるだけでなく、その装置を構成する各処理部を備え当該装置を制御する集積回路として実現したり、当該各処理部の処理をステップとする方法として実現したりすることができる。さらに、本発明は、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現したり、そのプログラムを示す情報、データ又は信号として実現したりすることもできる。そして、それらプログラム、情報、データ及び信号は、インターネット等の通信ネットワークを介して配信してもよい。
【発明の効果】
【００２２】
本発明により、動画像の符号化装置において、符号化データに注目領域の位置を特定するための情報を含めることで、注目領域の位置を特定するための情報を転送することによる転送データ量の増加を防ぐことができる。
【発明を実施するための最良の形態】
【００２３】
（実施の形態１）
図１は、本発明の実施の形態１における撮像装置１０の機能構成を示すブロック図である。
【００２４】
同図に示すように、撮像装置１０は、撮像部１００及び動画像符号化装置２００を備えている。また、動画像符号化装置２００は、注目領域指定部２１０及び符号化部２２０を備えている。
【００２５】
撮像部１００は、被写体像を撮像し、動画像データを出力する。動画像データは、符号化部２２０に入力される。
【００２６】
注目領域指定部２１０は、動画像データを構成する画像の注目領域を指定する。ここで、注目領域は、動画像データ中の予め定められた領域であり、例えば、ユーザーによって指定される。
【００２７】
符号化部２２０は、入力される動画像データの符号化を行い、符号化データを出力する。具体的には、符号化部２２０は、注目領域を第一の解像度の動画像として符号化して動画像データを第二の解像度の動画像として符号化する際に、動画像データにおける注目領域の位置を特定するための情報を含む符号化データを生成する。
【００２８】
ここで、以下では、第一の解像度は高解像度であり、第二の解像度は低解像度であることとする。つまり、符号化部２２０は、動画像データと注目領域とから、注目領域を切り出し、高解像度の動画像として符号化する。また、符号化部２２０は、動画像データを縮小して低解像度の動画像として符号化する。
【００２９】
図２は、高解像度の動画像データと低解像度の動画像データの具体的な例を示す図である。
【００３０】
撮像部１００が画像を撮影し、注目領域指定部２１０が注目領域を指定する。ここでは、同図に示すように、撮像部１００により、横３８４０画素×縦２１６０画素の時間的に連続する画像が撮影されて、動画像として出力される。そして、注目領域指定部２１０によって、注目領域が、左上の画素の座標（１４４０，６４０）、注目領域の大きさ横１９２０画素×縦１０８０画素として指定される。なお、撮像部１００によって出力された画像は、左上の画素の座標が（０，０）、右下の画素の座標が（３８３９，２１５９）となっている。
【００３１】
注目領域は、動画像データから切り出されて、横１９２０画素×縦１０８０画素の画像となり、高解像度の動画像データとして、符号化部２２０で符号化される。
【００３２】
また、動画像データとして入力された画像は、縦・横、それぞれ１／２に縮小されて、横１９２０画素×縦１０８０画素の画像となり、低解像度の動画像データとして、符号化部２２０で符号化される。
【００３３】
図３は、本発明で示される動画像符号化装置２００が出力する符号化データのストリームの構造の一例を示す図である。
【００３４】
一般に、Ｈ．２６４／ＡＶＣのデータストリームは、複数の「ＮＡＬ  ｕｎｉｔ」で構成される（図３では図示を省略している）。「ＮＡＬ  ｕｎｉｔ」は、「ＮＡＬ  ｕｎｉｔ」内の先頭で符号化されているパラメータ、即ち「ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ」により、その種類が決定されている。「ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ＝９」のとき、「ＮＡＬ  ｕｎｉｔ」は、「ａｃｃｅｓｓ  ｕｎｉｔ  ｄｅｌｉｍｉｔｅｒ」である。なお、「ＮＡＬ  ｕｎｉｔ  ｔｙｐｅ」の一覧を図４に示す。
【００３５】
図３に示す符号化画像データは、先頭が「ａｃｃｅｓｓ  ｕｎｉｔ  ｄｅｌｉｍｉｔｅｒ」であり、そのすぐ後に、「ＳＥＩ」が置かれる。
【００３６】
この「ＳＥＩ（Ｓｕｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ）」は、ＶＣＬ（Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  Ｌａｙｅｒ）を復号化する際に使用される補足的な付加情報を格納するＮＡＬ  ｕｎｉｔである。ＳＥＩ内のｐａｙｌｏａｄＴｙｐｅが５のとき、そのＳＥＩは、「ｕｓｅｒ＿ｄａｔａ＿ｕｎｓｉｇｎｅｄ＿ＳＥＩ」となる。「ｕｓｅｒ＿ｄａｔａ＿ｕｎｓｉｇｎｅｄ＿ＳＥＩ」は、ユーザーが独自に定義する情報を格納することが可能である。
【００３７】
符号化部２２０は、符号化データを作成する際に、注目領域の位置情報を、この「ｕｓｅｒ＿ｄａｔａ＿ｕｎｓｉｇｎｅｄ＿ＳＥＩ」に格納する。具体的には、例えば、図２の場合は、注目領域の左上の画素の座標（１４４０，６４０）と、注目領域の大きさ  横１９２０画素×縦１０８０画素を、この「ｕｓｅｒ＿ｄａｔａ＿ｕｎｓｉｇｎｅｄ＿ＳＥＩ」に格納する。なお、注目領域の位置情報は、全ての「ｕｓｅｒ＿ｄａｔａ＿ｕｎｓｉｇｎｅｄ＿ＳＥＩ」に格納される必要はなく、注目領域の位置情報の変更があった場合にのみ格納されることにしてもよい。
【００３８】
また、この注目領域の位置情報は、高解像度の動画像データを符号化した結果出力される符号化データに付加されてもよいし、低解像度の動画像データを符号化した結果出力される符号化データに付加されてもよい。また、その両方に付加されてもよい。
【００３９】
このように、符号化部２２０は、注目領域の位置を特定するための情報として、注目領域の位置情報を、高解像度の動画像を符号化した際に出力する符号化データのユーザー領域、もしくは、低解像度の動画像を符号化した際に出力する符号化データのユーザー領域に保存して符号化データを生成する。
【００４０】
図５は、低解像度の動画像データを符号化する際に、注目領域以外を符号化する場合の例を示した図である。
【００４１】
低解像度の動画像データは、縦・横それぞれ１／２に縮小され、横１９２０×縦１０８０の大きさの画像である。注目領域は、縮小前の画像において、左上の座標（１４４０，６４０）、大きさ  横１９２０×縦１０８０と指定されている。縮小後の低解像度の画像における注目領域は、左上の座標（７２０，３２０）、大きさ  横９６０×縦５４０の領域となる。符号化部２２０は、この領域以外の領域をスライス分割して符号化を行う。図５の例では、４つのスライスに分割されている。
【００４２】
つまり、符号化部２２０は、
スライス１は、左上の座標（０，０）、大きさ  横１９２０×縦３２０、
スライス２は、左上の座標（０，３２０）、大きさ  横７２０×縦５４０、
スライス３は、左上の座標（１６８０，３２０）、大きさ  横２４０×縦５４０、
スライス４は、左上の座標（０，８６０）、大きさ  横１９２０×縦２２０、
の領域として、符号化を行う。
【００４３】
このように、符号化部２２０は、動画像データを低解像度の動画像として符号化する場合には、動画像データのうち、注目領域以外の領域を、低解像度の動画像として符号化する。
【００４４】
図６は、撮像装置１０の動作の一例を示すフローチャートである。
まず、撮像部１００は、被写体像を撮像する（Ｓ１０２）。そして、撮像部１００は、動画像データを符号化部２２０に出力する（Ｓ１０４）。
【００４５】
そして、注目領域指定部２１０は、動画像データ中の注目領域を指定する（Ｓ１０６）。
【００４６】
次に、符号化部２２０は、入力される動画像データの符号化を行い、符号化データを生成する（Ｓ１０８）。具体的には、符号化部２２０は、注目領域を高解像度の動画像として符号化して動画像データを低解像度の動画像として符号化する際に、動画像データにおける注目領域の位置を特定するための情報を含む符号化データを生成する。さらに具体的には、符号化部２２０は、注目領域の位置を特定するための情報として、注目領域の位置情報を、高解像度の動画像を符号化した際に出力する符号化データのユーザー領域、もしくは、低解像度の動画像を符号化した際に出力する符号化データのユーザー領域に保存して符号化データを生成する。
【００４７】
そして、符号化部２２０は、符号化データを出力する（Ｓ１１０）。
このように、注目領域の位置情報が、符号化データのユーザー領域に保存される。これにより、高解像度及び低解像度の動画像を符号化した際に生成される２つの符号化データに、注目領域の位置情報が含まれる。つまり、当該２つの符号化データから、注目領域の位置情報を取得することが可能となり、注目領域の位置情報を示すデータを管理する必要がなくなる。
【００４８】
このため、当該２つの符号化データだけあれば、高解像度の動画像データと低解像度の動画像データとを重ね合わせることが可能となる。したがって、当該注目領域の位置を特定するための情報を転送する必要がないため、転送データ量の増加を防ぐことができる。
【００４９】
また、低解像度の動画像において、注目領域を符号化しないことで、符号化データのサイズを小さくすることが可能となる。
【００５０】
（実施の形態２）
図７は、本発明の実施の形態２における撮像装置１０の機能構成を示すブロック図である。
【００５１】
同図に示すように、撮像装置１０は、撮像部１００及び動画像符号化装置２００を備えており、動画像符号化装置２００は、注目領域指定部２１０、符号化部２２０及び画像変換部２３０を備えている。
【００５２】
撮像部１００は、被写体像を撮像し、動画像データを出力する。注目領域指定部２１０は、注目領域を指定する。詳細については、図１での説明と同様であるため、省略する。
【００５３】
画像変換部２３０は、注目領域をもとに、撮像部１００が出力した動画像データを、高解像度の動画像データと、低解像度の動画像データとに変換する。また、画像変換部２３０は、低解像度の動画像データを作成する際に、動画像データを、注目領域が単一色の画像に変更された動画像データに変換する。
【００５４】
符号化部２２０は、動画像データを符号化して符号化データを出力する。具体的には、符号化部２２０は、動画像データを低解像度の動画像として符号化する場合に、変換された動画像データを符号化する。つまり、符号化部２２０は、動画像データを低解像度の動画像として符号化する場合に、動画像データのうち、注目領域を単一色の画像として符号化する。
【００５５】
図８は、低解像度の動画像データにおける注目領域を単一色に変換した場合の例を示す図である。
【００５６】
まず、撮像部１００により、横３８４０画素×縦２１６０画素の時間的に連続する画像が撮像されて、動画像データとして出力される。そして、注目領域指定部２１０によって、注目領域が、左上の画素の座標（１４４０，６４０）、注目領域の大きさ横１９２０画素×縦１０８０画素として指定される。
【００５７】
この場合、同図に示すように、画像変換部２３０によって、低解像度の動画像データは、縦・横それぞれ１／２に縮小されて、横１９２０画素×縦１０８０画素の画像となる。そして、注目領域は、左上の画素の座標（７２０，３２０）、大きさ横９６０画素×縦５４０画素として指定される。
【００５８】
画像変換部２３０は、この指定された領域を、元の画像がどんな画像であっても、単一色の画像に変換する。具体的には、輝度値Ｙ＝一定、色差値Ｃｂ＝一定、Ｃｒ＝一定とする。
【００５９】
そして、符号化部２２０は、動画像データを低解像度の動画像として符号化する場合に、動画像データのうち、注目領域を単一色の画像として符号化する。
【００６０】
また、符号化部２２０は、動画像データを低解像度の動画像として符号化する場合に、動画像データのうち、注目領域の一部を単一色の画像として符号化してもよい。
【００６１】
図９は、低解像度の動画像データにおける注目領域からマクロブロック（１６画素×１６画素）一つ分小さい領域を、単一色に変換した場合の例を示す図である。
【００６２】
同図に示すように、低解像度の動画像データが、横１９２０画素×縦１０８０画素の画像であり、注目領域が、左上の画素の座標（７２０，３２０）、大きさ横９６０画素×縦５４０画素である。この場合、画像変換部２３０は、当該注目領域の上下左右端のそれぞれからマクロブロック（１６画素×１６画素）一つ分小さい領域を、単一色に変換してもよい。
【００６３】
つまり、符号化部２２０は、注目領域の上下左右端のそれぞれからマクロブロック１つ分小さくした領域を、単一色の画像として符号化する。
【００６４】
また、上記で示された単一色に変換する領域の２つの方式について、画像が、画面間参照を使用するピクチャであった場合、それぞれ、単一色に変換せずに、スキップマクロブロックとして、符号化部２２０が符号化するとしてもよい。なお、スキップマクロブロックとは、全画面の画像がコピーされたマクロブロックである。
【００６５】
つまり、符号化部２２０は、動画像データを低解像度の動画像として符号化する場合には、動画像データが画面間参照を使用するピクチャであった場合、注目領域の全部もしくは一部を、スキップマクロブロックとして符号化する。具体的には、符号化部２２０は、注目領域の全部を符号化してもよく、また、注目領域の上下左右端のそれぞれからマクロブロック１つ分小さくした領域を符号化してもよい。
【００６６】
これによれば、低解像度の動画像において、注目領域を単一色の画像として符号化したり、注目領域をスキップマクロブロックとして符号化することで、その符号化データのサイズを小さくすることが可能となる。また、低解像度の動画像において、注目領域の上下左右端のそれぞれから、マクロブロック１つ分小さくした領域を符号化することで、注目領域の境界付近での画質劣化を防ぐことが可能となる。
【００６７】
（実施の形態３）
上記実施の形態１及び２では、注目領域の位置情報を符号化データのユーザー領域に保存することにした。しかし、本実施の形態３では、低解像度の動画像データの注目領域を、ある特定の条件の符号化形式で符号化する。
【００６８】
ここで、本実施の形態における撮像装置１０は、図１と同様の機能構成を有している。そして、同図に示される符号化部２２０は、動画像データを低解像度の動画像として符号化する際に、注目領域の位置を特定するための情報として、注目領域をある特定の符号化条件で符号化したデータを含む符号化データを生成する。
【００６９】
具体的には、ＡＶＣ／Ｈ．２６４で符号化する場合、画像の状態に関わらず、Ｃｏｄｅｄ  Ｂｌｏｃｋ  Ｐａｔｔｅｒｎ＝０として符号化したり、ｍｂ＿ｔｙｐｅ＝Ｉｎｔｒａ４ｘ４かつｐｒｅｖ＿ｉｎｔｒａ４ｘ４＿ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇを全て１として符号化したり、ｍｂ＿ｔｙｐｅ＝Ｉ＿１６ｘ１６＿０＿０＿０として符号化したりする。つまり、符号化部２２０がある特定の符号化条件で符号化するように、図３に示された符号化データのうち、いずれかの領域に注目領域の位置を特定するための情報が含まれる。例えば、ｍｂ＿ｔｙｐｅ＝Ｉ＿１６ｘ１６＿０＿０＿０は、Ｉスライスに対するマクロブロックのタイプであり、図３に示される符号化画像データに保存される。
【００７０】
これにより、低解像度の動画像データを符号化して得られる符号化データを、復号化したときに、注目領域の位置情報を見なくても、注目領域を判別することが可能となる。
【００７１】
次に、本実施の形態３における撮像装置１０の動作の一例について説明する。ここで、本実施の形態３における撮像装置１０は、符号化処理（Ｓ１０８）以外は図６に示された処理と同様の処理を行う。このため、以下では、符号化処理についての説明を詳細に行う。
【００７２】
図１０は、実施の形態３における、高解像度の動画像データ及び、低解像度の動画像データを符号化する際の動作の一例を示すフローチャートである。以下では、注目領域を、ｍｂ＿ｔｙｐｅ＝Ｉ＿１６ｘ１６＿０＿０＿０として符号化する。また、符号化は、マクロブロック単位で行われる。
【００７３】
まず、動画像データ内の全てのマクロブロックについての処理が、マクロブロックごとに開始される（ループ１：Ｓ２０２〜Ｓ２１２）。
【００７４】
符号化部２２０は、符号化対象のマクロブロックが高解像度の動画像データか、低解像度の動画像データかを判定する（Ｓ２０４）。符号化部２２０は、高解像度の動画像データであると判定した場合（Ｓ２０４でＹＥＳ）、そのマクロブロックを通常符号化する（Ｓ２０８）する。
【００７５】
符号化部２２０は、符号化対象のマクロブロックが低解像度の動画像データであると判定した場合（Ｓ２０４でＮＯ）、そのマクロブロックが注目領域のマクロブロックかどうかの判定を行う（Ｓ２０６）。
【００７６】
符号化部２２０は、符号化対象のマクロブロックが、注目領域のマクロブロックでないと判定した場合（Ｓ２０６でＮＯ）、当該マクロブロックを通常符号化する（Ｓ２０８）。このとき、符号化部２２０は、当該マクロブロックをｍｂ＿ｔｙｐｅ＝Ｉ＿１６ｘ１６＿０＿０＿０で符号化することを禁止したほうがよい。
【００７７】
符号化部２２０は、符号化対象のマクロブロックが、注目領域のマクロブロックであると判定した場合は（Ｓ２０６でＹＥＳ）、当該マクロブロックをｍｂ＿ｔｙｐｅ＝Ｉ＿１６ｘ１６＿０＿０＿０として符号化する（Ｓ２１０）。このとき、このマクロブロックにおいては、符号化前の画像を再現することを考えなくてもよい。ただ、このマクロブロックの下及び右のマクロブロックや、前後のピクチャを復号化する際に、このマクロブロックが参照されるので、再構成画像はｍｂ＿ｔｙｐｅ＝Ｉ＿１６ｘ１６＿０＿０＿０として正しく作成する。つまり、このマクロブロックの再構成画像は、隣接画素の平均の輝度と色差の単一色となる。
【００７８】
そして、符号化部２２０は、動画像データ内の全てのマクロブロックについての処理が終了するまで、上記の処理（Ｓ２０４〜Ｓ２１０）を繰り返す（ループ１：Ｓ２０２〜Ｓ２１２）。このようにして、動画像データの符号化処理が終了する。
【００７９】
以上により、低解像度の動画像において、注目領域をある特定の符号化条件で符号化することで、注目領域の位置情報を保存しなくても、注目領域が判別可能となり、注目領域保存にかかる処理を削減することが可能となる。したがって、当該注目領域の位置を特定するための情報を転送する必要がないため、転送データ量の増加を防ぐことができる。
【００８０】
なお、符号化部２２０は、注目領域の上下左右端のそれぞれからマクロブロック１つ分小さくした領域を、ある特定の符号化条件で符号化することにしてもよい。これにより、注目領域の境界付近での画質劣化を防ぐことが可能となる。
【００８１】
また、ある特定の符号化条件で符号化するとは、実施の形態２で示した注目領域の全部もしくは一部を、単一色の画像として符号化したり、スキップマクロブロックとして符号化したりすることも含まれる。
【００８２】
次に、上記実施の形態における動画像符号化装置によって符号化された符号化データを復号化する動画像復号化装置について、説明する。
【００８３】
図１１は、上記のような符号化データを復号化した際に、注目領域を判定して画像を合成する動画像復号化装置２０の機能構成を示すブロック図である。
【００８４】
同図に示す動画像復号化装置２０は、復号化部３００、注目領域抽出部４００及び画像合成部５００を備えている。
【００８５】
復号化部３００には、動画像データ中の予め定められた領域である注目領域の動画像データにおける位置を特定するための情報を含む符号化データが入力される。そして、復号化部３００は、符号化データを第一の解像度の動画像データと第二の解像度の動画像データとに復号化する。
【００８６】
注目領域抽出部４００は、符号化データに含まれる注目領域の位置を特定するための情報を抽出する。注目領域抽出部４００は、注目領域判定部４１０及び画像バッファ４２０を備えている。
【００８７】
注目領域判定部４１０は、復号化した動画像データのマクロブロックが、注目領域のマクロブロックかどうかを判定する。画像バッファ４２０は、復号化した画像を一時蓄積する。
【００８８】
画像合成部５００は、注目領域抽出部４００が抽出した注目領域の位置を特定するための情報に基づき、低解像度の動画像データ中の注目領域に高解像度の動画像データが位置するように、高解像度の動画像データと低解像度の動画像データとを合成する。そして、画像合成部５００は、合成した画像を生成し、出力する。
【００８９】
図１２は、図１１で示される動画像復号化装置２０において、符号化データを復号化して画像バッファに画像を格納するまでの動作の一例を示すフローチャートである。
【００９０】
動画像復号化装置２０に符号化データが入力され、ピクチャの復号化が開始されると、復号化部３００は、当該ピクチャが高解像度の動画像データか否かを判定する（Ｓ３０２）。
【００９１】
復号化部３００は、当該ピクチャが高解像度の動画像データであると判定した場合（Ｓ３０２でＹＥＳ）、そのピクチャについては通常の復号化を行う（Ｓ３０４）。そして、復号化部３００は、復号化した画像を、画像バッファに転送する（Ｓ３０６）。
【００９２】
そして、復号化部３００は、復号化するピクチャが低解像度の動画像データであると判定した場合は（Ｓ３０２でＮＯ）、当該ピクチャを通常復号化する他に、注目領域の判定が行われる。具体的には、当該ピクチャ内の全てのマクロブロックについて、以下の処理がマクロブロックごとに開始される（ループ２：Ｓ３０８〜Ｓ３１８）。
【００９３】
まず、復号化部３００は、マクロブロックを復号化する（Ｓ３１０）。
次に、注目領域判定部４１０は、復号化されたマクロブロックの符号化データに、注目領域の位置を特定するための情報が含まれているか否かを判定する（Ｓ３１２）。そして、注目領域判定部４１０は、注目領域の位置を特定するための情報が含まれていると判定した場合（Ｓ３１２でＹＥＳ）、当該マクロブロックを注目領域のマクロブロックと判定する（Ｓ３１４）。
【００９４】
例えば、注目領域が、ｍｂ＿ｔｙｐｅ＝Ｉ＿１６ｘ１６＿０＿０＿０として符号化されている場合、注目領域判定部４１０は、復号化されたマクロブロックのｍｂ＿ｔｙｐｅが、Ｉ＿１６ｘ１６＿０＿０＿０である場合に（Ｓ３１２でＹＥＳ）、そのマクロブロックを注目領域のマクロブロックと判定する（Ｓ３１４）。
【００９５】
なお、注目領域のマクロブロックではないのに、当該マクロブロックの符号化データに注目領域の位置を特定するための情報が含まれていることがある。このため、注目領域判定部４１０は、連続するマクロブロックが注目領域のマクロブロックと判定された場合にのみ、当該マクロブロックを注目領域のマクロブロックと判定することにしてもよい。
【００９６】
そして、注目領域判定部４１０は、復号化されたマクロブロックの画像を、画像バッファに転送する（Ｓ３１６）。
【００９７】
そして、注目領域判定部４１０は、ピクチャ内の全てのマクロブロックについての処理が終了するまで、上記の処理（Ｓ３１０〜Ｓ３１６）を繰り返す（ループ２：Ｓ３０８〜Ｓ３１８）。
【００９８】
そして、注目領域判定部４１０は、抽出した注目領域の位置を特定するための情報を画像バッファ４２０に転送（Ｓ２０９）する。このようにして、ピクチャの復号化は終了する。
【００９９】
また、画像バッファ４２０に転送された、高解像度の動画像データと、低解像度の動画像データと、注目領域の位置を特定するための情報は、画像合成部５００によって読み出される。そして、画像合成部５００は、低解像度の動画像データの、注目領域の位置を特定するための情報で指定される位置に、高解像度の動画像データを貼り付けて、出力画像として出力する。
【０１００】
このとき、画像合成部５００は、出力画像の解像度を、低解像度の動画像データに合わせるときは、高解像度の動画像データの解像度を落として貼り付けを行う。また、画像合成部５００は、出力画像の解像度を、高解像度の動画像データに合わせるときは、低解像度の動画像データの解像度をアップコンバートや超解像技術で大きくしてから、高解像度の動画像データの貼り付けを行う。
【０１０１】
以上、本発明に係る動画像符号化装置、撮像装置及び動画像復号化装置について、上記実施の形態を用いて説明したが、本発明は、これに限定されるものではない。
【０１０２】
つまり、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【０１０３】
例えば、図１、図７及び図１１に示されたブロック図の各機能ブロックは集積回路であるＬＳＩとして実現されてもよい。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０１０４】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
【０１０５】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【産業上の利用可能性】
【０１０６】
注目領域を指定した画像を、２つの画像に分割して、指定領域を高解像度で符号化し、指定領域を含む全体の画像を低解像度で符号化する装置において、転送データ量の増加を防ぎつつ、その符号量を削減したり、画質を向上したりすることが可能である。
【０１０７】
本発明は、特に、Ｈ．２６４／ＡＶＣで符号化されたデータを扱う場合に有効に作用する。
【図面の簡単な説明】
【０１０８】
【図１】本発明の実施の形態１における撮像装置１０の機能構成を示すブロック図である。
【図２】高解像度の動画像データと低解像度の動画像データの具体的な例を示す図である。
【図３】本発明で示される動画像符号化装置が出力する符号化データのストリームの構造の一例を示す図である。
【図４】ＮＡＬ  ｕｎｉｔ  ｔｙｐｅの一覧を示す図である。
【図５】低解像度の動画像データを符号化する際に、注目領域以外を符号化する場合の例を示した図である。
【図６】撮像装置の動作の一例を示すフローチャートである。
【図７】本発明の実施の形態２における撮像装置の機能構成を示すブロック図である。
【図８】低解像度の動画像データにおける注目領域を単一色に変換した場合の例を示す図である。
【図９】低解像度の動画像データにおける注目領域からマクロブロック一つ分小さい領域を、単一色に変換した場合の例を示す図である。
【図１０】本発明の実施の形態３における、高解像度の動画像データ及び、低解像度の動画像データを符号化する際の動作の一例を示すフローチャートである。
【図１１】符号化データを復号化する動画像復号化装置の機能構成を示すブロック図である。
【図１２】動画像復号化装置が符号化データを復号化する際の動作の一例を示すフローチャートである。
【符号の説明】
【０１０９】
１０    撮像装置
２０    動画像復号化装置
１００    撮像部
２００    動画像符号化装置
２１０    注目領域指定部
２２０    符号化部
２３０    画像変換部
３００    復号化部
４００    注目領域抽出部
４１０    注目領域判定部
４２０    画像バッファ
５００    画像合成部
【図１】
2010212811.tif 000003
【図２】
2010212811.tif 000004
【図３】
2010212811.tif 000005
【図４】
2010212811.tif 000006
【図５】
2010212811.tif 000007
【図６】
2010212811.tif 000008
【図７】
2010212811.tif 000009
【図８】
2010212811.tif 000010
【図９】
2010212811.tif 000011
【図１０】
2010212811.tif 000012
【図１１】
2010212811.tif 000013
【図１２】
2010212811.tif 000014