(57)【要約】  情報端末の構成が多様化した結果、データ形式への要求も多様化し、そうした要求に端末を適合させる必要が生じていた。本発明の画像符号化装置は、画像を符号化する方式としてＭＰＥＧに準拠した方式を用い、特にフレーム内符号化およびフレーム間符号化を用いる。フレーム間符号化の方式としては、双方向符号化を用いる参照モードである第１モードと、双方向符号化を用いない参照モードである第２モードとを選択的に設定できる。第１モードの場合、双方向符号化を用いないので、Ｂピクチャは生成されず、ＩピクチャおよびＰピクチャのみで画像が符号化される。【特許請求の範囲】
【請求項１】
符号化の対象となる画像信号を、フレーム内符号化およびフレーム間符号化のうち少なくともいずれかを用いた方式にて画像信号を符号化する符号化回路と、
前記フレーム間符号化の方式として、過去および未来のフレームを参照する双方向符号化を用いる参照モードおよび前記双方向符号化を用いない参照モードのうちいずれかを、当該装置における符号化の実行環境に応じて選択的に設定する参照モード選択回路と、
を備えることを特徴とする画像符号化装置。
【請求項２】
前記参照モード選択回路は、前記符号化の圧縮率の高低を基準として前記双方向符号化を用いる参照モードおよび前記双方向符号化を用いない参照モードのうちいずれが当該装置における符号化の実行環境に適合するかに応じて前記参照モードを設定することを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記参照モード選択回路は、前記符号化の処理により生ずる負荷の大小を基準として前記双方向符号化を用いる参照モードおよび前記双方向符号化を用いない参照モードのうちいずれが当該装置における符号化の実行環境に適合するかに応じて前記参照モードを設定することを特徴とする請求項１に記載の画像符号化装置。
【請求項４】
前記参照モード選択回路は、前記画像信号について双方向符号化を実行する場合における仕様上の利点の大小を基準として前記双方向符号化を用いる参照モードおよび前記双方向符号化を用いない参照モードのうちいずれが当該装置における符号化の実行環境に適合するかに応じて前記参照モードを設定することを特徴とする請求項１に記載の画像符号化装置。
【請求項５】
前記符号化回路は、前記符号化の方式としてＭＰＥＧに準拠した方式にて前記画像信号を符号化するとともに、前記双方向符号化を用いる参照モードではＩピクチャ、Ｐピクチャ、およびＢピクチャを用いて符号化し、前記双方向符号化を用いない参照モードではＩピクチャおよびＰピクチャを用いることを特徴とする請求項１から４のいずれかに記載の画像符号化装置。
【請求項６】
被写体を撮像して画像信号を取得する画像入力部と、
前記取得された画像信号をフレーム内符号化およびフレーム間符号化のうち少なくともいずれかを用いた方式にて符号化する符号化回路と、
前記符号化方式におけるフレーム間圧縮符号化として過去および未来のフレームを参照する双方向フレーム間符号化を用いるモードと用いないモードのいずれかを、当該装置における符号化の実行環境に応じて選択的に設定する参照モード選択回路と、
前記符号化により生成された符号化データを保存するデータ格納部と、
を備えることを特徴とする撮像装置。
【請求項７】
動画像を符号化する際に、前記動画像を構成するフレームを符号化するときの予測モードを示す情報を出力する予測モード選択部と、
前記予測モード選択部により出力された前記予測モードを示す情報に基づいて前記フレームを符号化する符号化部と、を備え、
前記動画像がフレーム間双方向予測モードを含んで符号化されるときには、前記予測モード選択部は、フレーム間双方向予測モードで符号化されるフレームの後方参照フレームを符号化するときの予測モードを示す情報として、グローバル動き補償を用いる旨の情報を出力することを特徴とする画像符号化装置。
【請求項８】
前記予測モード選択部は、前記動画像を符号化するときのプロファイルを取得して、前記プロファイルを参照することにより、フレーム間双方向予測モードを含むか否かを判定することを特徴とする請求項７に記載の画像符号化装置。
【請求項９】
前記符号化部は、前記予測モード選択部からグローバル動き補償を用いる旨の情報が出力されたとき、フレーム間前方向予測モードにおける動きベクトルがゼロベクトルであるものをグローバル動きベクトルとして符号化することを特徴とする請求項７又は８に記載の画像符号化装置。
【請求項１０】
前記符号化部は、前記予測モード選択部からグローバル動き補償を用いる旨の情報が出力されたとき、フレーム間前方向予測モードにおける動きベクトルがゼロベクトルであり、かつ、参照フレームとの差分データが実質的にゼロであるものを、グローバル動き補償を用いて符号化することを特徴とする請求項７又は８に記載の画像符号化装置。
【請求項１１】
前記予測モード選択部は、前記フレーム間双方向予測モードで符号化されるフレームの後方参照フレームがＰフレームであった場合に、そのフレームを符号化するときの予測モードを示す情報として、Ｐフレームに代えて、グローバル動きベクトルを含むＳフレームとして符号化する旨の情報を出力することを特徴とする請求項７から１０のいずれかに記載の画像符号化装置。
【請求項１２】
前記予測モード選択部は、Ｐフレームとして符号化されるべきであった全てのフレームについて、そのフレームを符号化するときの予測モードを示す情報として、Ｐフレームに代えて、グローバル動きベクトルを含むＳフレームとして符号化する旨の情報を出力することを特徴とする請求項７から１１のいずれかに記載の画像符号化装置。
【請求項１３】
動画像を符号化する際に、前記動画像を構成するフレームを符号化するときの予測モードを示す情報を出力するステップと、
前記予測モードを示す情報に基づいて前記フレームを符号化するステップと、を含み、
前記動画像がフレーム間双方向予測モードを含んで符号化されるときには、前記出力するステップは、フレーム間双方向予測モードで符号化されるフレームの後方参照フレームを符号化するときの予測モードを示す情報として、グローバル動き補償を用いる旨の情報を出力することを特徴とする画像符号化方法。
【請求項１４】
動画像を符号化する際に、前記動画像を構成するフレーム毎に、フレーム内符号化モード、フレーム間一方向予測符号化モード、フレーム間双方向予測符号化モードのいずれかのモードに基づいて符号化して、前記動画像の符号化データ列を生成する画像符号化装置において、
前記動画像がフレーム間一方向予測符号化モードとフレーム間双方向予測符号化モードを含んで符号化されるときに、フレーム間一方向予測符号化モードで符号化されるフレームにおいて、当該フレームを構成する或るブロックが、予測の基になる参照フレーム中に存在する前記或るブロックと同じ位置のブロックと実質的に同一であると判断された場合、その旨を示すフラグの代わりに前記参照フレームとの間の動きベクトル情報をそのブロックの符号化データ列中に付加して符号化することを特徴とする画像符号化装置。
【請求項１５】
前記フレーム間一方向予測符号化モードと前記参照フレームの間に存在するフレームをフレーム間双方向予測符号化モードにて符号化する時に、前記動きベクトル情報が付加されたブロックと同じ位置のブロックについても符号化を行い、符号化パラメータを符号化データ列中に付加することを特徴とする請求項１４に記載の画像符号化装置。
【請求項１６】
前記フレーム間一方向予測符号化モードで符号化されたフレームは、前記フレーム間双方向予測符号化モードで符号化されるフレームの参照フレームであることを特徴とする請求項１４又は１５に記載の画像符号化装置。
【請求項１７】
前記動きベクトル情報はゼロベクトルとして符号化することを特徴とする請求項１４から１６のいずれかに記載の画像符号化装置。
【請求項１８】
動画像を符号化する際に、前記動画像を構成するフレーム毎に、このフレームを符号化するときの符号化モードを示す情報を出力する符号化モード制御部と、
前記符号化モード制御部により出力された前記符号化モードを示す情報に基づいて前記フレームを符号化する符号化部と、を備え、
前記符号化部は、フレーム間双方向予測モードで符号化されるフレームの後方参照フレームを符号化するとき、このフレームを構成するブロック毎に、予測の基になる参照フレーム中に存在する前記ブロックと同じ位置のブロックと実質的に同一であるか否かを判断して、この実質的に同一であると判断されたブロックの数をカウントし、
前記符号化モード制御部は、フレーム間双方向予測モードで符号化されるフレームの後方参照フレームを符号化するときの符号化モードを示す情報として、前記実質的に同一であると判断されたブロックの数が所定の閾値以上であった場合、前記実質的に同一であると判断されたブロックをグローバル動き補償を用いて符号化する旨の情報を出力し、前記実質的に同一であると判断されたブロックの数が前記所定の閾値未満であった場合、前記実質的に同一であると判断されたブロックに対して前記参照フレームとの間の動きベクトル情報をそのブロックの符号化データ列中に付加して符号化する旨の情報を出力することを特徴とする画像符号化装置。
【請求項１９】
動画像を符号化して符号化データ列を生成する画像符号化装置であって、
前記動画像を構成するフレームを符号化する符号化部と、
前記符号化部がフレーム間双方向予測モードにより対象フレームを符号化するときに、前記対象フレームが後方参照する後方参照フレームのあるブロックが、前記後方参照フレームが前方参照する前方参照フレームの所定ブロックのコピーであることを示すフラグを用いて符号化されている場合、前記後方参照フレームのブロックに対応する前記対象フレーム中のブロックを、前記前方参照フレームの所定ブロックのコピーとするか否かを判定する符号化方法判定部と、
前記符号化方法判定部の判定結果を示すフラグ情報を符号化データ列中に付加する付加部と、
を備えることを特徴とする画像符号化装置。
【請求項２０】
前記符号化方法判定部が、前記対象フレームのブロックを前記前方参照フレームの所定ブロックのコピーとしないと判定したときに、前記符号化部は、前記前方参照フレームの所定ブロックと前記対象フレームのブロックとの差分データを符号化することを特徴とする請求項１９に記載の画像符号化装置。
【請求項２１】
前記符号化方法判定部は、前記対象フレームのブロックと前記前方参照フレームの所定ブロックとの差分データに基づいて判定を行うことを特徴とする請求項１９又は２０に記載の画像符号化装置。
【請求項２２】
前記付加部は、前記対象フレーム又は前記対象フレームのブロックの符号化データに前記フラグ情報を付加することを特徴とする請求項１９から２１のいずれかに記載の画像符号化装置。
【請求項２３】
前記付加部は、前記後方参照フレーム又は前記後方参照フレームのブロックの符号化データに前記フラグ情報を付加することを特徴とする請求項１９から２１のいずれかに記載の画像符号化装置。
【請求項２４】
前記付加部は、前記符号化データ列のシーケンスヘッダに前記フラグ情報を付加することを特徴とする請求項１９から２１のいずれかに記載の画像符号化装置。
【請求項２５】
動画像を符号化した符号化データ列を取得して復号する復号化部と、
前記符号化データ列中の所定位置に付加され、フレーム間双方向予測モードで符号化された対象フレームのブロックを、前記対象フレームが前方参照する前方参照フレームの所定ブロックのコピーとするか否かを示すフラグ情報を取得し、復号の方法を判定する復号化方法判定部と、を備え、
前記復号化部は、前記復号化方法判定部が前記対象フレームのブロックを前記前方参照フレームの所定ブロックのコピーとすると判定をしたときには、前記対象フレームのブロックに前記前方参照フレームの所定ブロックをコピーし、前記復号化方法判定部が前記対象フレームのブロックを前記前方参照フレームの所定ブロックのコピーとしないと判定したときには、前記対象フレームのブロックと前記前方参照フレームの所定ブロックとの差分データを復号することを特徴とする画像復号化装置。
【請求項２６】
動画像を符号化して符号化データ列を生成する画像符号化方法であって、
前記動画像を構成するフレームを符号化するステップと、
前記符号化するステップがフレーム間双方向予測モードにより対象フレームを符号化するときに、前記対象フレームが後方参照する後方参照フレームのあるブロックが、前記後方参照フレームが前方参照する前方参照フレームの所定ブロックのコピーであることを示すフラグを用いて符号化されている場合、前記後方参照フレームのブロックに対応する前記対象フレーム中のブロックを、前記前方参照フレームの所定ブロックのコピーとするか否かを判定するステップと、
判定結果を示すフラグ情報を符号化データ列中に付加するステップと、
を含むことを特徴とする画像符号化方法。
【請求項２７】
動画像を符号化した符号化データ列を取得して復号するステップと、
前記符号化データ列中の所定位置に付加され、フレーム間双方向予測モードで符号化された対象フレームのブロックを、前記対象フレームが前方参照する前方参照フレームの所定ブロックのコピーとするか否かを示すフラグ情報を取得し、復号の方法を判定するステップと、を含み、
前記復号するステップは、前記判定するステップにおいて前記対象フレームのブロックを前記前方参照フレームの所定ブロックのコピーとすると判定をしたときには、前記対象フレームのブロックに前記前方参照フレームの所定ブロックをコピーし、前記判定するステップにおいて前記対象フレームのブロックを前記前方参照フレームの所定ブロックのコピーとしないと判定したときには、前記対象フレームのブロックと前記前方参照フレームの所定ブロックとの差分データを復号する
ことを特徴とする画像復号化方法。
【請求項２８】
動画像を符号化した符号化データ列のデータ構造であって、
前記符号化データ列の所定位置に、フレーム間双方向予測モードで符号化された第１フレームのブロックを、前記第１フレームが前方参照する第２フレームの所定ブロックのコピーとするか、前記第１フレームのブロックと前記第２フレームの所定ブロックとの差分データを復号するかを示すフラグ情報を含む
ことを特徴とするデータ構造。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化装置および撮像装置に関し、特に符号化の方法を制御する技術に関する。また、本発明は、画像圧縮技術に関し、特に、フレーム間双方向予測モードを含む画像符号化方式により動画像を符号化する画像符号化装置及び方法に関する。
【背景技術】
【０００２】
近年、画像処理技術や回路の集積技術が向上し、また通信技術に関してはいわゆるブロードバンド通信や無線ＬＡＮ通信等の多様な通信手段が急速に普及したことから、様々な端末や機器にマルチメディアを扱う機能が標準的に搭載されるようになった。例えば、多くの携帯電話にインターネット機能や静止画・動画撮影機能が当然のように搭載されており、テレビ電話機能や各種放送受信機能が標準搭載される日も近い。デジタルカメラの場合、ビデオカメラに迫るほどの画質での動画録再機能が備わることも珍しくなく、楽曲再生機能や通信機能までもが備わるようになりつつある。このように、各情報端末がもつ本来の機能とは別に、他の端末でそれまで実現されてきた機能が搭載されるなど情報端末の多用途化は留まるところを知らない。【０００３】
ここで、各種情報端末で扱われる主要なコンテンツの一つに動画がある。動画を扱うためには符号化技術が欠かせない。その中心的な技術とされているのが、ＭＰＥＧ（Moving Picture Expert Group）方式である。ＭＰＥＧにおける符号化技術としては主にフレーム内符号化およびフレーム間符号化が用いられる。フレーム間符号化としては、ある時点のピクチャを符号化するために過去のピクチャを参照する順方向参照と、ある時点のピクチャを符号化するために過去および未来のピクチャを参照する双方向参照とがある。フレーム内符号化したピクチャはＩピクチャ（Intra-Picture）と呼ばれ、順方向参照したピクチャがＰピクチャ（Predictive-Picture）、双方向参照したピクチャがＢピクチャ（Bidirectionally predictive-Picture）と呼ばれる。
【特許文献１】特開平８−１５４２５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述の通り、情報端末が多用途化した結果、それぞれのハードウェア構成やソフトウェア構成も多様化し、動画を符号化する上でその実行環境に応じた様々な制約が情報端末ごとに生じるようになった。そうした制約の解消は情報端末の多様化をより促進するために不可欠である。【０００５】
本発明は上記背景の下でなされたものであり、本発明の目的は、符号化の実行環境に応じた適切な方式で符号化を実行できる機器を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある態様の画像符号化装置は、符号化の対象となる画像信号を、フレーム内符号化およびフレーム間符号化のうち少なくともいずれかを用いた方式にて画像信号を符号化する符号化回路と、フレーム間符号化の方式として、過去および未来のフレームを参照する双方向符号化を用いる参照モードおよび双方向符号化を用いない参照モードのうちいずれかを、当該装置における符号化の実行環境に応じて選択的に設定する参照モード選択回路と、を備える。【０００７】
ここで、「当該装置における符号化の実行環境」には、例えば撮影画像に関する解像度設定、画質設定、撮影モード、フレームレート等の各種パラメータ、記録媒体の空き容量、記録媒体の種類、画像転送先の処理能力や通信路の混雑度、特殊再生の対応の態様、消費電力や電池残量といった、符号化処理時の環境を示す情報が含まれる。フレーム間符号化の方式には、例えば上記の双方向符号化の他にも順方向符号化があるが、双方向参照は順方向参照と比べて、データ圧縮率は高いものの処理負荷が大きいという性質がある。【０００８】
この態様によると、符号化処理を実行するときの様々な環境に応じてその環境に適した性質の参照モードを選択することにより、最適な符号化処理を実行することができる。【０００９】
本発明の別の態様は、撮像装置である。この装置は、被写体を撮像して画像信号を取得する画像入力部と、取得された画像信号をフレーム内符号化およびフレーム間符号化のうち少なくともいずれかを用いた方式にて符号化する符号化回路と、符号化方式におけるフレーム間圧縮符号化として過去および未来のフレームを参照する双方向フレーム間符号化を用いるモードと用いないモードのいずれかを、当該装置における符号化の実行環境に応じて選択的に設定する参照モード選択回路と、符号化により生成された符号化データを保存するデータ格納部と、を備える。【００１０】
この態様によると、動画を撮影可能なデジタルカメラ等の撮像装置において、その装置によって撮影された画像を符号化するときの実行環境に応じて適合する参照モードを選択する。これにより、単一の参照モードを使用する場合と比べて撮影画像の圧縮率または画質を向上させることができる。【００１１】
本発明のさらに別の態様は、画像符号化装置に関する。この画像符号化装置は、動画像を符号化する際に、前記動画像を構成するフレームを符号化するときの予測モードを示す情報を出力する予測モード選択部と、前記予測モード選択部により出力された前記予測モードを示す情報に基づいて前記フレームを符号化する符号化部と、を備え、前記動画像がフレーム間双方向予測モードを含んで符号化されるときには、前記予測モード選択部は、フレーム間双方向予測モードで符号化されるフレームの後方参照フレームを符号化するときの予測モードを示す情報として、グローバル動き補償を用いる旨の情報を出力することを特徴とする。ここで、「フレーム」は、動画像を構成する個々の画像を指し、「ピクチャ」、「プレーン」などと言い換えてもよい。【００１２】
前記符号化部は、前記予測モード選択部からグローバル動き補償を用いる旨の情報が出力されたとき、フレーム間前方向予測モードにおける動きベクトルがゼロベクトルであるものをグローバル動きベクトルとして符号化してもよい。前記符号化部は、前記予測モード選択部からグローバル動き補償を用いる旨の情報が出力されたとき、フレーム間前方向予測モードにおける動きベクトルがゼロベクトルであり、かつ、参照フレームとの差分データが実質的にゼロであるものを、グローバル動き補償を用いて符号化してもよい。フレーム間双方向予測モードにより符号化されるフレームの符号化に先立って、その後方参照フレームを符号化するときに、動きベクトルがゼロベクトルであるマクロブロックが存在するとき、その動きベクトルをグローバル動きベクトルとして扱う。また、動きベクトルがゼロベクトルであって、かつ、前方参照フレームとの差分データが実質的にゼロであり、「not_coded」フラグを用いて符号化されるようなマクロブロックが存在するとき、そのマクロブロックをグローバル動き補償を用いて符号化する。これにより、フレーム間双方向予測モードによりフレームを符号化する際に、前方参照フレームのコピーではなく、参照画像との差分データを持たせることができる。これにより、画像の欠落を防止し、復号画像の画質を向上させることができる。ここで、差分データが実質的にゼロであるとは、符号化対象フレームと参照フレームとの差分が全てゼロであるか、ゼロとみなせる程度に小さい場合を指し、例えば、量子化後の差分データが全てゼロになる場合や、差分データが所定のしきい値よりも小さい場合を含んでもよい。所定のしきい値は、画像又はマクロブロックのサイズや画質などに応じて定められてもよく、例えば、マクロブロックの画素数×１（２、３、・・）をしきい値としてもよい。【００１３】
前記予測モード選択部は、前記動画像を符号化するときのプロファイルを取得して、前記プロファイルを参照することにより、フレーム間双方向予測モードを含むか否かを判定してもよい。【００１４】
前記予測モード選択部は、前記フレーム間双方向予測モードで符号化されるフレームの後方参照フレームがＰフレームであった場合に、そのフレームを符号化するときの予測モードを示す情報として、Ｐフレームに代えて、グローバル動きベクトルを含むＳフレームとして符号化する旨の情報を出力してもよい。ここで、「Ｐフレーム」は、ＭＰＥＧ−２における「Ｐピクチャ」であってもよく、ＭＰＥＧ−４における「Ｐ−ＶＯＰ」であってもよい。また、「Ｓフレーム」は、ＭＰＥＧ−４における「Ｓ−ＶＯＰ」であってもよい。予測モード選択部は、Ｐフレームを符号化する際に、プロファイルを参照して、そのＰフレームがＢ−フレームから後方参照されるか否かを判断し、後方参照される場合は、予めＰ−フレームをＳ−フレームに切り替えてもよい。これにより、演算量の増加や、処理速度の低下などの問題を生じることなく、画像欠落の問題を解消することができる。【００１５】
前記予測モード選択部は、Ｐフレームとして符号化されるべきであった全てのフレームについて、そのフレームを符号化するときの予測モードを示す情報として、Ｐフレームに代えて、グローバル動きベクトルを含むＳフレームとして符号化する旨の情報を出力してもよい。予測モード選択部は、Ｂ−フレームを含むプロファイルである場合は、予めＰ−フレームをＳ−フレームに切り替えてもよい。これにより、演算量の増加や、処理速度の低下などの問題を生じることなく、画像欠落の問題を解消することができる。【００１６】
本発明のさらに別の態様は、画像符号化方法に関する。この画像符号化方法は、動画像を符号化する際に、前記動画像を構成するフレームを符号化するときの予測モードを示す情報を出力するステップと、前記予測モードを示す情報に基づいて前記フレームを符号化するステップと、を含み、前記動画像がフレーム間双方向予測モードを含んで符号化されるときには、前記出力するステップは、フレーム間双方向予測モードで符号化されるフレームの後方参照フレームを符号化するときの予測モードを示す情報として、グローバル動き補償を用いる旨の情報を出力することを特徴とする。【００１７】
本発明のさらに別の態様は、画像符号化装置に関する。この画像符号化装置は、動画像を符号化する際に、前記動画像を構成するフレーム毎に、フレーム内符号化モード、フレーム間一方向予測符号化モード、フレーム間双方向予測符号化モードのいずれかのモードに基づいて符号化して、前記動画像の符号化データ列を生成する画像符号化装置において、前記動画像がフレーム間一方向予測符号化モードとフレーム間双方向予測符号化モードを含んで符号化されるときに、フレーム間一方向予測符号化モードで符号化されるフレームにおいて、当該フレームを構成する或るブロックが、予測の基になる参照フレーム中に存在する前記或るブロックと同じ位置のブロックと実質的に同一であると判断された場合、その旨を示すフラグの代わりに前記参照フレームとの間の動きベクトル情報をそのブロックの符号化データ列中に付加して符号化することを特徴とする。更に、前記フレーム間一方向予測符号化モードと前記参照フレームの間に在るフレームをフレーム間双方向予測符号化モードにて符号化する時に、記動きベクトル情報が付加されたブロックと同じ位置のブロックについても符号化を行い、符号化パラメータを符号化データ列中に付加してもよい。【００１８】
ここで、「フレーム」は、動画像を構成する個々の画像を指し、「ピクチャ」、「プレーン」といった概念を含む。また、「フレーム間一方向予測符号化モード」は、「フレーム間前方予測符号化モード」や「フレーム間後方予測符号化モード」のことを指す。また、実質的に同一であるとは、符号化対象フレームのブロックと参照フレームのブロックとの間で各画素毎の差分データを求めた時に、その差分データが全てゼロであるか、ゼロとみなせる程度に小さい場合を指し、例えば、差分データに量子化処理を施した場合に量子化後のデータが全てゼロとなる場合や、差分データが所定のしきい値よりも小さい場合を含んでもよい。【００１９】
この態様によれば、フレーム間一方向予測符号化モード中に参照フレームのデータに置き換えられるブロックが存在しても、フラグの代わりに動きベクトルを付加して符号化するので、フレーム間双方向予測符号化モードで符号化されたフレームの対応するブロックについても符号化パラメータを付加することができる。これにより、符号化パラメータに完全に復号することができ、画像の欠落を防止し、復号画像の画質を向上させることができる。【００２０】
前記フレーム間一方向予測符号化モードで符号化されたフレームは、前記フレーム間双方向予測符号化モードで符号化されるフレームの後方参照フレームであってもよい。参照フレームのブロックと実質的に同一である旨を示すフラグと比較して、動きベクトル情報の符号量は大きいが、これによると、フレーム間一方向予測符号化モードで符号化されるフレームのうち、少なくともフレーム間双方向予測符号化モードにて符号化されたフレームの参照フレームであるものに対しては動きベクトル情報を付加するので、フレーム間双方向予測符号化モードにて符号化されたフレームを復号する時に問題となる画像の欠落を防止しつつ、符号量の増大を抑えることができる。【００２１】
また、この態様において、前記動きベクトル情報はゼロベクトルとして符号化してもよい。【００２２】
本発明のさらに別の態様は、画像符号化装置に関する。この画像符号化装置は、動画像を符号化する際に、前記動画像を構成するフレーム毎に、このフレームを符号化するときの符号化モードを示す情報を出力する符号化モード制御部と、前記符号化モード制御部により出力された前記符号化モードを示す情報に基づいて前記フレームを符号化する符号化部と、を備え、前記符号化部は、フレーム間双方向予測モードで符号化されるフレームの後方参照フレームを符号化するとき、このフレームを構成するブロック毎に、予測の基になる参照フレーム中に存在する前記ブロックと同じ位置のブロックと実質的に同一であるか否かを判断して、この実質的に同一であると判断されたブロックの数をカウントし、前記符号化モード制御部は、フレーム間双方向予測モードで符号化されるフレームの後方参照フレームを符号化するときの符号化モードを示す情報として、前記実質的に同一であると判断されたブロックの数が所定の閾値以上であった場合、前記実質的に同一であると判断されたブロックをグローバル動き補償を用いて符号化する旨の情報を出力し、前記実質的に同一であると判断されたブロックの数が前記所定の閾値未満であった場合、前記実質的に同一であると判断されたブロックに対して前記参照フレームとの間の動きベクトル情報をそのブロックの符号化データ列中に付加して符号化する旨の情報を出力することを特徴とする。【００２３】
このような構成によれば、フレーム間双方向予測モードにより対象フレームを符号化する際に、後方参照フレームが前方参照フレームのコピーとなっている場合であっても、自動的に前方参照フレームのコピーとするのではなく、例えば参照フレームとの差分データを持たせることができる。これにより、画像の欠落を防止し、復号画像の画質を向上させることができる。【００２４】
また、実質的に同一であると判断されたブロックを、グローバル動き補償を用いて符号化する場合と、参照フレームとの間の動きベクトル情報をそのブロックの符号化データ列中に付加して符号化する場合とを比較した場合、実質的に同一であると判断されたブロックの数が多いときは、前者の場合のほうが符号量が小さく、実質的に同一であると判断されたブロックの数が少ないときは、後者の場合のほうが符号量が小さくなる。この態様によれば、実質的に同一であると判断されたブロックの数が所定の閾値以上の場合は、このブロックをグローバル動き補償を用いて符号化し、実質的に同一であると判断されたブロックの数が所定の閾値未満の場合は、参照フレームとの間の動きベクトル情報をそのブロックの符号化データ列中に付加して符号化するので、符号化効率が高くなる、という効果を有する。【００２５】
本発明のさらに別の態様は、画像符号化装置に関する。この画像符号化装置は、動画像を符号化して符号化データ列を生成する画像符号化装置であって、前記動画像を構成するフレームを符号化する符号化部と、前記符号化部がフレーム間双方向予測モードにより対象フレームを符号化するときに、前記対象フレームが後方参照する後方参照フレームのあるブロックが、前記後方参照フレームが前方参照する前方参照フレームの所定ブロックのコピーであることを示すフラグを用いて符号化されている場合、前記後方参照フレームのブロックに対応する前記対象フレーム中のブロックを、前記前方参照フレームの所定ブロックのコピーとするか否かを判定する符号化方法判定部と、前記判定部の判定結果を示すフラグ情報を符号化データ列中に付加する付加部と、を備えることを特徴とする。【００２６】
このような構成によれば、フレーム間双方向予測モードにより対象フレームを符号化する際に、後方参照フレームが前方参照フレームのコピーとなっている場合であっても、自動的に前方参照フレームのコピーとするのではなく、例えば参照フレームとの差分データを持たせることができる。これにより、画像の欠落を防止し、復号画像の画質を向上させることができる。【００２７】
前記符号化方法判定部が、前記対象フレームのブロックを前記前方参照フレームの所定ブロックのコピーとしないと判定したときに、前記符号化部は、前記前方参照フレームの所定ブロックと前記対象フレームのブロックとの差分データを符号化してもよい。これにより、復号時には差分データを復号して対象フレームの画像を得ることができるので、画像の欠落を防ぎ、画質を向上させることができる。【００２８】
前記符号化方法判定部は、前記対象フレームのブロックと前記前方参照フレームの所定ブロックとの差分データに基づいて判定を行ってもよい。例えば、差分データのデータ量が所定のしきい値よりも大きいときには、前方参照フレームの所定ブロックのコピーとせずに、差分データを符号化して符号化データ列に含ませてもよい。これにより、差分データのデータ量などに応じて、コピーとするか否かを切り替えることができるので、符号量の増大を抑えつつ、画質の向上を図ることができる。【００２９】
前記付加部は、前記対象フレーム又は前記対象フレームのブロックの符号化データに前記フラグ情報を付加してもよい。前記付加部は、前記後方参照フレーム又は前記後方参照フレームのブロックの符号化データに前記フラグ情報を付加してもよい。前記付加部は、前記符号化データ列のシーケンスヘッダに前記フラグ情報を付加してもよい。フラグ情報を付加する位置は、符号量や画質などに応じて適応的に決定してもよい。【００３０】
本発明のさらに別の態様は、画像復号化装置に関する。この画像復号化装置は、動画像を符号化した符号化データ列を取得して復号する復号化部と、前記符号化データ列中の所定位置に付加され、フレーム間双方向予測モードで符号化された対象フレームのブロックを、前記対象フレームが前方参照する前方参照フレームの所定ブロックのコピーとするか否かを示すフラグ情報を取得し、復号の方法を判定する復号化方法判定部と、を備え、前記復号化部は、前記復号化方法判定部が前記対象フレームのブロックを前記前方参照フレームの所定ブロックのコピーとすると判定をしたときには、前記対象フレームのブロックに前記前方参照フレームの所定ブロックをコピーし、前記復号化方法判定部が前記対象フレームのブロックを前記前方参照フレームの所定ブロックのコピーとしないと判定したときには、前記対象フレームのブロックと前記前方参照フレームの所定ブロックとの差分データを復号することを特徴とする。【００３１】
このような構成によれば、上述した画像符号化装置によりフレーム間双方向予測モードで符号化されたフレームを適切に復号することができるので、画質を向上させることができる。【００３２】
本発明のさらに別の態様は、画像符号化方法に関する。この画像符号化方法は、動画像を符号化して符号化データ列を生成する画像符号化方法であって、前記動画像を構成するフレームを符号化するステップと、前記符号化するステップがフレーム間双方向予測モードにより対象フレームを符号化するときに、前記対象フレームが後方参照する後方参照フレームのあるブロックが、前記後方参照フレームが前方参照する前方参照フレームの所定ブロックのコピーであることを示すフラグを用いて符号化されている場合、前記後方参照フレームのブロックに対応する前記対象フレーム中のブロックを、前記前方参照フレームの所定ブロックのコピーとするか否かを判定するステップと、判定結果を示すフラグ情報を符号化データ列中に付加するステップと、を含むことを特徴とする。【００３３】
本発明のさらに別の態様は、画像復号化方法に関する。この画像復号化方法は、動画像を符号化した符号化データ列を取得して復号するステップと、前記符号化データ列中の所定位置に付加され、フレーム間双方向予測モードで符号化された対象フレームのブロックを、前記対象フレームが前方参照する前方参照フレームの所定ブロックのコピーとするか否かを示すフラグ情報を取得し、復号の方法を判定するステップと、を含み、前記復号するステップは、前記判定するステップにおいて前記対象フレームのブロックを前記前方参照フレームの所定ブロックのコピーとすると判定をしたときには、前記対象フレームのブロックに前記前方参照フレームの所定ブロックをコピーし、前記判定するステップにおいて前記対象フレームのブロックを前記前方参照フレームの所定ブロックのコピーとしないと判定したときには、前記対象フレームのブロックと前記前方参照フレームの所定ブロックとの差分データを復号することを特徴とする。【００３４】
本発明のさらに別の態様は、符号化データ列のデータ構造に関する。このデータ構造は、動画像を符号化した符号化データ列のデータ構造であって、前記符号化データ列の所定位置に、フレーム間双方向予測モードで符号化された第１フレームのブロックを、前記第１フレームが前方参照する第２フレームの所定ブロックのコピーとするか、前記第１フレームのブロックと前記第２フレームの所定ブロックとの差分データを復号するかを示すフラグ情報を含むことを特徴とする。【００３５】
なお、以上の構成要素の任意の組合せや、本発明の構成要素や表現を方法、装置、システム、コンピュータプログラム、プログラムを格納した記録媒体、データ構造などの間で相互に置換したものもまた、本発明の態様として有効である。
【発明の効果】
【００３６】
本発明によれば、単一の参照モードしか使用しない場合と比べて、画像の圧縮率または画質を向上させることができる。
【図面の簡単な説明】
【００３７】
【図１】第１の実施の形態の実施例１の撮像装置における二種類の符号化処理を模式的に示す図である。
【図２】撮像装置の基本構造を示す機能ブロック図である。
【図３】画像符号化部の詳細な構成を示す機能ブロック図である。
【図４】解像度設定と参照モードの関係が格納されたテーブルを模式的に示す図である。
【図５】画像のフレームレート設定と参照モードの関係が格納されたテーブルを模式的に示す図である。
【図６】画像の解像度設定と参照モードの関係が格納されたテーブルを模式的に示す図である。
【図７】画像の画質および圧縮率の設定と参照モードの関係が格納されたテーブルを模式的に示す図である。
【図８】撮影モード設定と参照モードの関係が格納されたテーブルを模式的に示す図である。
【図９】記録媒体の空き容量と参照モードの関係が格納されたテーブルを模式的に示す図である。
【図１０】記録媒体の空き容量と参照モードの関係が格納されたテーブルを模式的に示す図である。
【図１１】撮影モードと参照モードの関係が格納されたテーブルを模式的に示す図である。
【図１２】動画像をＭＰＥＧ−４により符号化する例を示す図である。
【図１３】図１２に示した動画像を復号した画像の例を示す図である。
【図１４】実施の形態に係る画像符号化方法の手順を示すフローチャートである。
【図１５】実施の形態に係る画像符号化方法の手順を示すフローチャートである。
【図１６】実施の形態に係る画像符号化方法の手順を示すフローチャートである。
【図１７】実施の形態に係る画像符号化装置の全体構成を示す図である。
【図１８】実施の形態に係る符号化データ列の例を示す図である。
【図１９】実施の形態に係る符号化データ列の別の例を示す図である。
【図２０】実施の形態に係る符号化データ列の更に別の例を示す図である。
【図２１】実施の形態に係る符号化データ列の更に別の例を示す図である。
【図２２】実施の形態に係る画像復号化装置の全体構成を示す図である。
【図２３】実施の形態の画像符号化方法の手順を示すフローチャートである。
【図２４】実施の形態の画像復号化方法の手順を示すフローチャートである。
【発明を実施するための最良の形態】
【００３８】
（第１の実施の形態）
（実施例１）
本実施例における画像符号化装置および撮像装置は、符号化のための回路と、その回路を含むデジタルカメラとして実現される。この符号化のための回路は、デジタルカメラで撮影される画像の解像度設定に応じて、画像符号化の参照モードを選択する。具体的には、高解像度撮影時には、処理負荷がより小さい参照モードを選択し、高解像度撮影でないときは、処理負荷がより高い参照モードを選択する。これを単一の参照モードしか使用しない構成とした場合、参照モードの選択は高解像度撮影時に合わせて設計せざるを得ず、高解像度撮影でないときまで圧縮率や画質を優先することができない。本実施例においては、高解像度撮影時以外には高い圧縮率と画質を実現することができる。【００３９】
図１は、実施例１の撮像装置における二種類の符号化処理を模式的に示す。本実施例の撮像装置は、符号化処理における参照モードとして少なくとも第１モード１０と第２モード１２を有し、撮影時の解像度設定に応じていずれかの参照モードを選択する。第１モード１０においては、ＩピクチャまたはＩ−ＶＯＰとＰピクチャまたはＰ−ＶＯＰのみを用いて画像を符号化し、ＢピクチャまたはＢ−ＶＯＰは用いない。一方、第２モード１２においては、ＩピクチャまたはＩ−ＶＯＰと、ＰピクチャまたはＰ−ＶＯＰと、ＢピクチャまたはＢ−ＶＯＰとを用いて画像を符号化する。このように、第１モード１０と第２モード１２は、Ｂピクチャを生成するか否かの差異を有する。Ｂピクチャを生成する第２モード１２の場合、第１モード１０よりデータ圧縮率や画質が高いものの、符号化処理による負荷は大きい。高解像度撮影時には、Ｂピクチャを生成する双方向符号化の処理に必要な演算を実行しきれなくなる場合がある。そこで、本実施例においては、参照モードとして高解像度撮影時にはＢピクチャを生成しない第１モード１０が選択される。【００４０】
例えばＭＰＥＧ４方式の場合、第１モード１０では、Ｂ−ＶＯＰを生成しないＭＰＥＧ４−ＳＰ（Simple Profile）を用いてもよく、第２モード１２では、Ｂ−ＶＯＰを生成するＭＰＥＧ４−ＡＳＰ（Advanced Simple Profile）を用いてもよい。なお、以下「Ｉピクチャ」「Ｐピクチャ」「Ｂピクチャ」と記載するときは、それぞれ「Ｉ−ＶＯＰ」「Ｐ−ＶＯＰ」「Ｂ−ＶＯＰ」も含むものとする。また、「フレーム」と記載するときは２枚のフィールドでフレームが構成される場合のフィールドを示してもよい。【００４１】
図２は、撮像装置の基本構造を示す機能ブロック図である。撮像装置１４は、動画像を撮影可能なデジタルカメラである。撮像装置１４は、画像入力部１６、画像符号化装置１８、制御部２０、表示部２１、および記録部２２を備える。画像入力部１６は、被写体の画像を光学的に取得して電気的な画像信号に変換し、画像符号化装置１８へ送る。画像符号化装置１８は、画像入力部１６から受け取った画像信号を符号化して制御部２０へ送る。制御部２０は、画像符号化装置１８により符号化された画像を記録部２２へ送るとともに、ユーザの指示に基づいて表示部２１へ送る。表示部２１は、制御部２０から送られた画像を液晶画面に表示させる。記録部２２は、制御部２０から受け取った画像を、記録部２２に装着された記録媒体２３へ格納する。記録媒体２３は、例えばカードタイプの小型ハードディスクや不揮発性メモリである。【００４２】
図３は、画像符号化装置の詳細な構成を示す機能ブロック図である。画像符号化装置１８は、動きベクトル検出回路２４、動き補償回路２６、フレームメモリ２８、符号化回路３０、復号化回路３２、出力バッファ３４、符号量制御回路３６、および参照モード選択回路３８を含む。【００４３】
画像入力部１６から入力された画像（以下、「現フレーム」という）は、動きベクトル検出回路２４に送られる。動きベクトル検出回路２４は、あらかじめフレームメモリ２８に格納されて参照の対象となる画像（以下、「参照フレーム」という）と現フレームとの間で動きベクトルを検出する。動き補償回路２６は、符号量制御回路３６から量子化に用いる量子化ステップの値を取得し、その量子化の係数とマクロブロックの参照モードを決定する。動きベクトル検出回路２４により検出された動きベクトルと、動き補償回路２６により決定された量子化係数およびマクロブロック参照モードが、符号化回路３０へ送られる。また、動き補償回路２６は、マクロブロックについての参照値と実際の値との差分を参照誤差として符号化回路３０に送る。【００４４】
符号化回路３０は、参照誤差を量子化係数を用いて符号化して出力バッファ３４へ送る。符号化回路３０は、量子化した参照誤差と量子化係数を復号化回路３２へ送る。復号化回路３２は、量子化された参照誤差を量子化係数に基づいて復号し、復号した参照誤差と動き補償回路２６による参照値との和を復号画像としてフレームメモリ２８に送る。この復号画像は、後続の画像の符号化処理において参照される場合に、参照フレームとして動きベクトル検出回路２４へ送られる。符号量制御回路３６は、出力バッファ３４の蓄積量の状態を取得し、その蓄積量の状態に応じて次の量子化に用いる量子化ステップの値を生成する。【００４５】
参照モード選択回路３８は、撮像装置１４における画像符号化の実行環境、ここでは撮影画像の解像度設定に応じて、フレーム間符号化として双方向符号化を用いるか否かを決定する。すなわち、参照モード選択回路３８は、フレーム内符号化、順方向符号化、および双方向符号化の中からフレームの参照モードを選択し、画像符号化部１８を構成する各回路に対してフレーム参照モードを示す情報を送る。双方向符号化を用いない場合、参照モード選択回路３８はフレーム参照モードを示す情報として、グローバル動き補償を用いないことを内容とする情報を符号化回路３０に送る。双方向符号化を用いる場合、参照モード選択回路３８はフレーム参照モードを示す情報として、グローバル動き補償を用いることを内容とする情報を符号化回路３０に送る。符号化回路３０は、グローバル動き補償を用いることを内容とする情報を取得した場合、順方向符号化モードにおける動きベクトルで、縦方向のベクトルがゼロ、横方向のベクトルがゼロのものについてはグローバル動きベクトルとして符号化する。【００４６】
なお、参照モード選択回路３８は、符号処理化の実行環境を示すパラメータに基づいて参照モードを判定するためのＬＳＩで構成されてもよいし、そうした判定に用いられる情報が格納されたシステムレジスタとＣＰＵの組合せで構成されてもよい。【００４７】
図４は、解像度設定と参照モードの関係が格納されたテーブルを模式的に示す。モードテーブル４０は、解像度設定欄４２と参照モード欄４４を有する。本実施例における参照モード選択回路３８は、画像符号化の実行環境として解像度設定がどのモードに設定されているかに応じて参照モードを選択する。解像度設定がどのモードに設定されているかを示す情報は、制御部２０から取得する。【００４８】
画像の解像度設定としては、比較的低解像度である３２０×２４０ドットが設定されるメールモード４６と、標準的な解像度である６４０×４８０ドットが設定される標準モード４８と、比較的高解像度である１２８０×７２０ドットが設定されるＨＤモード５０とが解像度設定欄４２に定められている。参照モードとしては、メールモード４６および標準モード４８との対応で第２モード１２が定められ、ＨＤモード５０との対応で第１モード１０が定められている。すなわち、メールモード４６と標準モード４８では、圧縮率および画質の高さを優先して第２モード１２を用いる。一方、ＨＤモード５０ではドット数の多さからＢピクチャを生成するときの双方向符号化による演算処理の負荷が過大となるため、処理の負荷が比較的小さい第１モード１０を用いる。これにより、符号化処理の実行環境に応じて演算処理しきれなくなる事態が回避され、画像符号化部１８はどの解像度設定においても適切な処理時間にて符号化処理を実行することができる。【００４９】
（実施例２）
本実施例における画像符号化装置および撮像装置は、符号化処理の実行環境として、撮影画像のフレームレート設定に応じて画像符号化の参照モードを選択する点で実施例１と異なる。具体的には、高フレームレート撮影時には、圧縮率と画質の高さを優先して双方向符号化を用いる参照モードを選択する。一方、フレームレートが低すぎる場合、前後のフレームとの間隔が広すぎて動きベクトルが検出できない場合があるので、双方向参照によって却って画質の低下を招くおそれがある。そこで、低フレームレート時には、双方向符号化を用いない参照モードを選択する。ここで、単一の参照モードしか使用しない構成とした場合、参照モードの選択は低フレームレート撮影時に合わせて設計せざるを得ず、高フレームレート撮影時まで圧縮率や画質の低下を招いてしまう。本実施例においては、少なくとも高フレームレート時には高い圧縮率と画質を実現することができる。【００５０】
図５は、画像のフレームレート設定と参照モードの関係が格納されたテーブルを模式的に示す。モードテーブル６０は、フレームレート設定欄６２と参照モード欄６４を有する。本実施例における参照モード選択回路３８は、画像符号化の実行環境としてフレームレート設定がどのモードに設定されているかに応じて参照モードを選択する。フレームレート設定がどのモードに設定されているかを示す情報は、制御部２０から取得する。【００５１】
画像のフレームレート設定としては、比較的低フレームレートである１０ｆｐｓモード６６と、中程度のフレームレートである１５ｆｐｓモード６８と、標準的な高フレームレートである３０ｆｐｓモード７０とがフレームレート設定欄６２に定められている。参照モードとしては、１０ｆｐｓモード６６および１５ｆｐｓモード６８との対応で第１モード１０が定められ、３０ｆｐｓモード７０との対応で第２モード１２が定められている。すなわち、３０ｆｐｓモード７０では圧縮率および画質の高さを優先して第２モード１２を選択する。一方、１０ｆｐｓモード６６や１５ｆｐｓモード６８では、フレームレートが低すぎるので、前後のフレームとの間で動きベクトルが検出できなくなる事態を回避するために双方向符号化を用いない第１モード１０を選択する。これにより、画像符号化部１８はどのフレームレート設定においても適切な画質および圧縮率にて符号化処理を実行することができる。【００５２】
（実施例３）
本実施例における画像符号化装置および撮像装置は、符号化処理の実行環境として、撮影画像の解像度設定に応じて画像符号化の参照モードを選択する点で実施例１と共通する。ただし、高解像度撮影時には、圧縮率と画質の高さを優先して双方向符号化を用いる参照モードを選択するが、低解像度撮影時に双方向符号化を用いると圧縮率や画質が必要なレベル以上にまで高くなってしまう可能性がある。そこで、低解像度撮影時には処理速度や負荷低減を優先して双方向符号化を用いない参照モードを選択する。ここで、単一の参照モードしか使用しない構成とした場合、参照モードは高解像度撮影時または低解像度撮影時のいずれかの環境に合わせて設計せざるを得ず、環境に応じた圧縮率および画質の最適化が困難である。本実施例においては、符号化処理の実行環境に適した圧縮率と画質を実現することができる。【００５３】
図６は、画像の解像度設定と参照モードの関係が格納されたテーブルを模式的に示す。モードテーブル８０は、解像度設定欄８２と参照モード欄８４を有する。本実施例における参照モード選択回路３８は、画像符号化の実行環境として解像度設定がどのモードに設定されているかに応じて参照モードを選択する。解像度設定がどのモードに設定されているかを示す情報は、制御部２０から取得する。【００５４】
画像の解像度設定としては、実施例１と同様にメールモード８６、標準モード８８、ＨＤモード５０が解像度設定欄８２に定められている。参照モードとしては、メールモード８６との対応で第１モード１０が定められ、標準モード８８およびＨＤモード９０との対応で第２モード１２が定められている。すなわち、標準モード８８とＨＤモード９０では、圧縮率および画質の高さを優先して第２モード１２を用いる。一方、メールモード８６では、撮影画像のドット数が元々少なく、圧縮率や画質を高める要求が小さいので、処理負荷を高めてまで双方向符号化を用いることに仕様上の大きな利点は見出されない。そこで、メールモード８６では処理負荷が比較的小さい第１モード１０を用いる。これにより、画像符号化部１８はどの解像度設定においても適切な圧縮率および画質にて符号化処理を実行することができる。【００５５】
（実施例４）
本実施例における画像符号化装置および撮像装置は、符号化処理の実行環境として、撮影画像の画質または圧縮率の設定に応じて画像符号化の参照モードを選択する点で実施例１〜３と異なる。具体的には、高画質または高圧縮が設定された撮影時には、圧縮率と画質の高さを優先して双方向符号化を用いる参照モードを選択するが、低画質または低圧縮が設定された撮影時には処理速度や負荷低減を優先して双方向符号化を用いない参照モードを選択する。ここで、単一の参照モードしか使用しない構成とした場合、参照モードの選択は高画質・高圧縮撮影時または低画質・低圧縮撮影時のいずれかの環境に合わせて設計せざるを得ず、環境に応じた圧縮率や画質の最適化が困難である。本実施例においては、符号化処理の実行環境に適した圧縮率と画質を実現することができる。【００５６】
図７は、画像の画質および圧縮率の設定と参照モードの関係が格納されたテーブルを模式的に示す。モードテーブル１００は、画質モード設定欄１０２と参照モード欄１０４を有する。本実施例における参照モード選択回路３８は、画像符号化の実行環境として画質および圧縮率の設定がどのモードに設定されているかに応じて参照モードを選択する。画質および圧縮率の設定がどのモードに設定されているかを示す情報は、制御部２０から取得する。【００５７】
画像の画質および圧縮率の設定としては、画質および圧縮率が比較的低い通常モード１０６と、画質および圧縮率が比較的高いＨＱモード１０８が、画質モード設定欄１０２に定められている。参照モードとしては、通常モード１０６との対応で第１モード１０が定められ、ＨＱモード１０８との対応で第２モード１２が定められている。すなわち、ＨＱモード１０８では、圧縮率および画質の高さを優先して第２モード１２を用いるが、通常モード１０６では、処理負荷を上げてまで双方向符号化を用いることに仕様上の大きな利点は見出されないので第１モード１０を用いる。これにより、画像符号化部１８はどの画質および圧縮率の設定においても最適な符号化処理を実行することができる。【００５８】
（実施例５）
本実施例における画像符号化装置および撮像装置は、符号化処理の実行環境として、撮影画像の特性に応じて画像符号化の参照モードを選択する点で実施例１〜４と異なる。具体的には、通常モード撮影時には、圧縮率と画質の高さを優先して双方向符号化を用いる参照モードを選択するが、スポーツモード撮影時には被写体の動きが大きすぎて動きベクトルが検出されない可能性があるので、双方向符号化を用いない参照モードを選択する。ここで、単一の参照モードしか使用しない構成とした場合、参照モードの選択は通常モード撮影時またはスポーツモード撮影時のいずれかの環境に合わせて設計せざるを得ず、環境に応じた圧縮率や画質の最適化が困難である。本実施例においては、符号化処理の実行環境に適した圧縮率と画質を実現することができる。【００５９】
図８は、撮影モード設定と参照モードの関係が格納されたテーブルを模式的に示す。モードテーブル１１０は、撮影モード設定欄１１２と参照モード欄１１４を有する。本実施例における参照モード選択回路３８は、画像符号化の実行環境として撮影モード設定がどのモードに設定されているかに応じて参照モードを選択する。撮影モード設定がどのモードに設定されているかを示す情報は、制御部２０から取得する。【００６０】
撮影モードの設定としては、通常モード１１６とスポーツモード１１８が撮影モード設定欄１１２に定められている。参照モードとしては、通常モード１１６との対応で第２モード１２が定められ、スポーツモード１１８との対応で第１モード１０が定められている。すなわち、通常モード１１６では、圧縮率および画質の高さを優先して第２モード１２を選択する。一方、スポーツモード１１８では、被写体の動きが大きすぎるために動きベクトルが検出されない場合に双方向符号化を用いると却って画質の低下を招くおそれがある。そこで、スポーツモード１１８では双方向符号化を用いない第１モード１０を選択する。これにより、画像符号化部１８はどの撮影モードにおいても最適な符号化処理を実行することができる。【００６１】
（実施例６）
本実施例における画像符号化装置および撮像装置は、符号化処理の実行環境として、撮影画像を保存する記録媒体の空き容量に応じて画像符号化の参照モードを選択する点で実施例１〜５と異なる。具体的には、記録媒体の空き容量が所定量より少なければ、圧縮率が比較的高いモードである双方向符号化を用いる参照モードを選択するが、記録媒体の空き容量が所定量より多ければ比較的圧縮率の低いモードである双方向符号化を用いない参照モードを選択する。ここで、単一の参照モードしか使用しない構成とした場合、参照モードは記録媒体の空き容量が所定値より多い場合と少ない場合のいずれかの環境に合わせて設計せざるを得ず、環境に応じた圧縮率の最適化が困難である。本実施例においては、符号化処理の実行環境に適した圧縮率を実現することができる。【００６２】
図９は、記録媒体の空き容量と参照モードの関係が格納されたテーブルを模式的に示す。モードテーブル１２０は、空き容量欄１２２と参照モード欄１２４を有する。本実施例における参照モード選択回路３８は、画像符号化の実行環境として記録媒体の空き容量がどの程度かに応じて参照モードを選択する。記録媒体の空き容量を示す情報は、記録部２２から取得する。【００６３】
記録媒体の空き容量としては、空き容量が５０％以上である第１状態１２６と、空き容量が５０％未満である第２状態１２８が空き容量欄１２２に定められている。参照モードとしては、第１状態１２６との対応で第１モード１０が定められ、第２状態１２８との対応で第２モード１２が定められている。すなわち、第１状態１２６では記録媒体の空き容量が十分に残っているため、より圧縮率の低い第１モード１０を選択する。一方、第２状態１２８では記録媒体の空き容量が少ないので、圧縮率の高さを優先して第２モード１２を選択する。これにより、画像符号化部１８は記録媒体の空き容量の如何に関わらず最適な符号化処理を実行することができる。【００６４】
（実施例７）
本実施例における画像符号化装置および撮像装置は、符号化処理の実行環境として、撮影画像を保存する記録媒体の種類に応じて画像符号化の参照モードを選択する点で実施例１〜６と異なる。具体的には、記録媒体へのデータ転送速度であるビットレートの高低が記録媒体の種類によって異なるので、高ビットレートの記録媒体が装着されているときは圧縮率が比較的低いモードである双方向符号化を用いない参照モードを選択し、低ビットレートの記録媒体が装着されているときは圧縮率が比較的高いモードである双方向符号化を用いる参照モードを選択する。ここで、単一の参照モードしか使用しない構成とした場合、参照モードは高ビットレートまたは低ビットレートのいずれかの記録媒体に合わせて設計せざるを得ず、環境に応じた圧縮率の最適化が困難である。本実施例においては、符号化処理の実行環境に適した圧縮率を実現することができる。【００６５】
図１０は、記録媒体の空き容量と参照モードの関係が格納されたテーブルを模式的に示す。モードテーブル１３０は、記録媒体の種類欄１３２と参照モード欄１３４を有する。本実施例における参照モード選択回路３８は、画像符号化の実行環境として記録媒体の種類に応じて参照モードを選択する。記録媒体の種類を示す情報は、記録部２２から取得する。【００６６】
記録媒体の種類としては、高ビットレートである小型ハードディスク１３６と、低ビットレートであるメモリカード１３８と、高ビットレートである内部メモリ１４０が記録媒体の種類欄１３２に定められている。参照モードとしては、小型ハードディスク１３６および内部メモリ１４０との対応で第１モード１０が定められ、メモリカード１３８との対応で第２モード１２が定められている。すなわち、小型ハードディスク１３６および内部メモリ１４０の場合は高ビットレートであるため圧縮率が低くデータサイズが比較的大きい第１モード１０を選択する。一方、メモリカード１３８の場合は低ビットレートであるため、圧縮率が高くデータサイズが比較的小さい第２モード１２を選択する。これにより、画像符号化部１８は記録媒体の種類に関わらず最適な符号化処理を実行することができる。【００６７】
（実施例８）
本実施例における画像符号化装置および撮像装置は、符号化処理の実行環境として、特殊再生に対応した撮影モードか否かに応じて画像符号化の参照モードを選択する点で実施例１〜７と異なる。具体的には、２倍速再生のような特殊再生に対応した撮影モードで撮影する場合、各フレームをＩピクチャ、Ｂピクチャ、Ｐピクチャ、Ｂピクチャという順序で符号化し、１枚おきにＢピクチャが入る構成とすることができる。この場合、再生時にＢピクチャをスキップするだけで２倍速再生を実現できるため、Ｂピクチャを生成する双方向符号化を用いれば仕様上大きな利点となる。一方、２倍速再生等の特殊再生に対応しない撮影モードの場合、Ｂピクチャを生成することに仕様上の大きな利点は見出されないので、第１モード１０を選択する。ここで、単一の参照モードしか使用しない構成とした場合、参照モードの選択は特殊再生へ対応する撮影と対応しない撮影のいずれかに合わせて設計せざるを得ず、環境に応じた符号化方式の最適化が困難である。本実施例においては、符号化処理の実行環境に適した符号化方式を実現することができる。【００６８】
図１１は、撮影モードと参照モードの関係が格納されたテーブルを模式的に示す。モードテーブル１５０は、撮影モード欄１５２と参照モード欄１５４を有する。本実施例における参照モード選択回路３８は、画像符号化の実行環境として特殊再生へ対応した撮影モードか否かに応じて参照モードを選択する。【００６９】
撮影モードの種類としては、２倍速再生等の特殊再生に対応した撮影モード１５６と、特殊再生に対応していない撮影モード１５８が撮影モード欄１５２に定められている。参照モードとしては、特殊再生に対応した撮影モード１５６との対応で第２モード１２が定められ、特殊再生に対応していない撮影モード１５８との対応で第１モード１０が定められている。これにより、画像符号化部１８は撮影モードに応じた最適な符号化処理を実行することができる。【００７０】
各実施例においては、符号化処理の実行環境として、解像度設定、フレームレート設定、画質設定等の各パラメータに応じて参照モードを選択する構成を説明した。変形例においては、符号化処理の実行環境における他のパラメータとして、画像を通信で転送するときの回線速度、回線の混雑度、転送先の処理能力等に応じて参照モードを選択してもよい。このとき、回線速度が高い場合、回線の混雑度が小さい場合、転送先の処理能力が高い場合には、圧縮率が小さい第１モード１０を選択し、これら以外の場合に第２モード１２を選択する構成としてもよい。【００７１】
別の変形例においては、符号化処理の実行環境における他のパラメータとして、撮像装置１４の消費電力の大きさや電池の残り容量に応じて参照モードを選択してもよい。このとき、消費電力が高い場合、電池の残量が少ない場合には、より負荷の小さい第１モード１０を選択し、これら以外の場合に第２モード１２を選択する構成としてもよい。【００７２】
各実施例および各変形例において、参照モード選択回路３８が参照する符号化処理の実行環境に関するパラメータを種々例示した。さらなる変形例としては、これら種々のパラメータのうち少なくとも２つ以上に応じて参照モードを選択してもよい。この場合、各パラメータの組合せと、その組合せに最適な参照モードとが対応づけられてモードテーブルに格納されていてもよい。【００７３】
（第２〜第５の実施の形態の背景技術）
動画の圧縮符号化方式の規格であるＭＰＥＧ（Motion Picture Experts Group）−４では、符号化の対象となる対象画像のあるマクロブロックと、その対象画像を符号化するときに参照される参照画像内の、そのマクロブロックに対応するマクロブロックとの差分データが実質的にゼロであった場合、参照画像のコピーであることを示す「not_coded」フラグを用いて符号化することにより、符号量の削減を図る。また、対象画像をフレーム間双方向予測モードにより符号化する際に、その対象画像の後方参照画像であるＰ−ＶＯＰ内のあるマクロブロックが、対象画像の前方参照画像内の対応するマクロブロックのコピーであることを示す「not_coded」フラグを用いて符号化されている場合、対象画像内の対応するマクロブロックも前方参照画像内の対応するマクロブロックのコピーとする（例えば、特開平８−１５４２５０号公報参照）。これにより、大幅に符号量を削減することができる。【００７４】
上述した技術を、具体例を用いて説明する。図１２は、動画像をＭＰＥＧ−４方式で符号化する例を示す。図１に示した例では、３枚の連続画像１９０ａ、１９０ｂ、及び１９０ｃを、それぞれＰ−ＶＯＰ、Ｂ−ＶＯＰ、Ｐ−ＶＯＰとして符号化する例を示す。まず、画像１９０ａが、直前のＩ−ＶＯＰ又はＰ−ＶＯＰを参照画像としてフレーム間前方向予測モードで圧縮符号化される。次に、画像１９０ｃが、直前のＰ−ＶＯＰである画像１９０ａを参照画像として前方向予測モードで圧縮符号化される。このとき、マクロブロック１９２ｃは、前方参照画像１９０ａのマクロブロック１９２ａとほぼ同じ画像であり、差分が実質的にゼロであるので、「not_coded」フラグを用いて符号化される。復号時には、マクロブロック１９２ｃには、マクロブロック１９２ａの画像がコピーされる。つづいて、画像１９０ｂが、画像１９０ａを前方参照画像として、画像１９０ｃを後方参照画像として、双方向予測モードで圧縮符号化される。このとき、符号化の対象となっている画像１９０ｂのマクロブロック１９２ｂに対応する後方参照画像１９０ｃのマクロブロック１９２ｃは、「not_coded」フラグを用いて符号化されているため、画像１９０ｂのマクロブロック１９２ｂも同様に「not_coded」フラグを用いて符号化される。復号時には、マクロブロック１９２ｂには、マクロブロック１９２ａの画像がコピーされる。【００７５】
（第２〜第５の実施の形態が解決しようとする課題）
このように、現行のＭＰＥＧ−４規格では、Ｂ−ＶＯＰの後方参照画像であるＰ−ＶＯＰに「not_coded」フラグを用いて符号化されたマクロブロックが存在する場合、そのマクロブロックに対応するＢ−ＶＯＰのマクロブロックも、前方参照画像のコピーとして処理され、参照画像との差分データは符号化されない。【００７６】
しかしながら、画像１９０ｂが撮像された瞬間に、フラッシュが焚かれたり、物体が通過したりして、画像１９０ｂのマクロブロック１９２ｂが、マクロブロック１９２ａ及び１９２ｃとは異なる画像である場合もある。このような場合、復号時に、マクロブロック１９２ｂにマクロブロック１９２ａがコピーされる結果、図１３に示すように、画像が欠落して画質が劣化する恐れがある。【００７７】
上述した状況に鑑み、第２〜第５の実施の形態の目的は、動画像を符号化する際の画質の劣化を低減する技術を提供することにある。【００７８】
（第２の実施の形態）
本実施の形態の画像符号化装置１８の構成は、図３に示した第１の実施の形態の画像符号化装置１８の構成と同様である。本実施の形態の画像符号化装置１８は、ＭＰＥＧ−４に準拠した動画像の符号化を行う。ＭＰＥＧ−４の規格に則って符号化を行う際、Ｂ−ＶＯＰを含むプロファイルで符号化する場合に、Ｂ−ＶＯＰが後方参照するＰ−ＶＯＰにおいて、「not_coded」フラグで符号化されたマクロブロックが存在すると、Ｂ−ＶＯＰにおいても前方参照フレームのコピーとして扱われる。上述したように、これにより、画像が欠落する場合があるので、本実施の形態では、Ｂ−ＶＯＰにおいて前方参照フレームのコピーとならないように、後方参照フレームの符号化方式を変更する。具体的には、動きベクトルがゼロベクトルであっても、それをグローバル動きベクトルとして扱うことにより、Ｂ−ＶＯＰに差分データを持たせるようにする。これにより、現行のＭＰＥＧ−４の規格の範囲内で、上述した問題を回避し、圧縮画像の画質を向上させることができる。以下、主に、第１の実施の形態と異なる点について説明する。【００７９】
参照モード選択回路３８は、フレーム内符号化、フレーム間前方向予測符号化、フレーム間双方向予測符号化、の間でフレーム予測モードの切り替えを行い、他の回路に対してフレームの予測モード情報を出力する。本実施の形態では、参照モード選択回路３８は、まず、動画像を符号化するときのプロファイルを取得して、フレーム間双方向予測モードを含むか否かを判定する。ＭＰＥＧ−４におけるプロファイルには、ＳＰ（Simple Profile）、ＡＳＰ（Advanced Simple Profile）などがあり、このうち、ＳＰは、フレーム内符号化により符号化されるＩ−ＶＯＰとフレーム間前方向予測モードにより符号化されるＰ−ＶＯＰを組み合わせたプロファイルであり、フレーム間双方向予測モードにより符号化されるＢ−ＶＯＰは含まない。これに対し、ＡＳＰは、Ｉ−ＶＯＰ及びＰ−ＶＯＰに加え、Ｂ−ＶＯＰを用いることが可能なプロファイルである。参照モード選択回路３８は、プロファイルや、動画像の種別などの情報から、フレーム間双方向予測モードを含むか否かを判断する。【００８０】
参照モード選択回路３８は、符号化の対象となる動画像が、フレーム間双方向予測モードを含んで符号化されると判定したときには、フレーム間双方向予測モードで符号化されるＢ−ＶＯＰの後方参照フレームを符号化するときのフレーム予測モードを示す情報として、グローバル動き補償を用いる旨の情報を出力する。このとき、符号化回路３０は、フレーム間前方向予測モードにおける動きベクトルがゼロベクトルであるものを、グローバル動きベクトルがゼロベクトルであるとして符号化する。または、符号化回路３０は、フレーム間前方向予測モードにおける動きベクトルがゼロベクトルであり、かつ、前方参照フレームとの差分データが実質的にゼロであるマクロブロック、すなわち、「not_coded」フラグで符号化されるマクロブロックを、グローバル動き補償を用いて符号化する。より具体的には、符号化回路３０は、Ｂ−ＶＯＰの後方参照フレームを符号化するときに、そのフレームをグローバル動きベクトルを含んだＳ−ＶＯＰとして符号化する。こうすることで、Ｂ−ＶＯＰが後方参照するフレームのあるマクロブロックが、前方参照するフレームの対応するマクロブロックと実質的に同一であった場合でも、Ｂ−ＶＯＰの対応するマクロブロックに参照画像との差分データを持たせることができる。これにより、画像の欠落を防ぎ、復号画像の画質を向上させることができる。【００８１】
参照モード選択回路３８は、Ｂ−ＶＯＰが後方参照するＰ−ＶＯＰのみを、グローバル動きベクトル付きのＳ−ＶＯＰに切り替えてもよいし、Ｂ−ＶＯＰが存在するプロファイルである場合は、全てのＰ−ＶＯＰをグローバル動きベクトル付きのＳ−ＶＯＰに切り替えてもよい。また、参照モード選択回路３８は、Ｐ−ＶＯＰの符号化中に「not_coded」のマクロブロックが出現したときに、そのＰ−ＶＯＰをグローバル動きベクトル付きのＳ−ＶＯＰに切り替えてもよいし、「not_coded」のマクロブロックが所定数以上出現したときに、そのＰ−ＶＯＰをグローバル動きベクトル付きのＳ−ＶＯＰに切り替えてもよい。【００８２】
図１４は、本実施の形態の画像符号化方法の手順を示すフローチャートである。まず、参照モード選択回路３８は、動画像を符号化する際のプロファイルを取得し、Ｂ−ＶＯＰが出現するか否かを判断する（Ｓ１０）。Ｂ−ＶＯＰが出現しないプロファイルである場合は（Ｓ１０のＮ）、画像符号化装置１８は、特殊な処理を行わず、通常の方式で動画像を符号化する（Ｓ１４）。Ｂ−ＶＯＰが出現するプロファイルである場合は（Ｓ１０のＹ）、参照モード選択回路３８は、Ｐ−ＶＯＰの符号化の際に、グローバル動きベクトル（０，０）を持たせた前方向予測モードを使用して符号化する旨のフレーム予測モード情報を出力する（Ｓ１２）。符号化回路３０は、参照モード選択回路３８からの指示を受けて、符号化対象画像を、グローバル動きベクトル（０，０）を持たせたＳ−ＶＯＰとして符号化する。【００８３】
（第３の実施の形態）
本実施の形態の画像符号化装置１８は、ＭＰＥＧ−４に準拠した動画像の符号化を行う。ＭＰＥＧ−４の規格に則って符号化を行う際、Ｂ−ＶＯＰを含むプロファイルで符号化する場合に、Ｂ−ＶＯＰが後方参照するＰ−ＶＯＰにおいて、「not_coded」フラグで符号化されたマクロブロックが存在すると、Ｂ−ＶＯＰにおいても前方参照フレームのコピーとして扱われる。上述したように、これにより、画像が欠落する場合があるので、本実施の形態では、Ｂ−ＶＯＰにおいて前方参照フレームのコピーとならないように、後方参照フレームの符号化方式を変更する。具体的には、Ｐ−ＶＯＰに「not_coded」フラグで符号化できるマクロブロックが存在しても、動きベクトルがゼロベクトルとなる動きベクトル情報を付加して符号化する。そして、対応するＢ−ＶＯＰのマクロブロックに動きベクトルや予測誤差を含む符号化パラメータを持たせるようにする。これにより、現行のＭＰＥＧ−４の規格の範囲内で、上述した問題を回避し、圧縮画像の画質を向上させることができる。【００８４】
本実施の形態の画像符号化装置１８の構成は、図３に示した第１の実施の形態の画像符号化装置１８と同様である。以下、主に、第１の実施の形態と異なる点について説明する。【００８５】
本実施の形態では、参照モード選択回路３８は、まず、動画像を符号化するときのプロファイルを画像符号化装置１８全体を制御する制御回路（図示せず）などから取得して、フレーム間双方向予測モードを含むか否かを判定する。プロファイルは、外部からの指示によって制御回路で設定される他、画像符号化装置１８の使用環境に応じて制御回路が自動的に設定するような構成であってもよい。ＭＰＥＧ−４におけるプロファイルには、ＳＰ（Simple Profile）、ＡＳＰ（Advanced Simple Profile）などがあり、このうち、ＳＰは、フレーム内符号化により符号化されるＩ−ＶＯＰとフレーム間前方向予測モードにより符号化されるＰ−ＶＯＰを組み合わせたプロファイルであり、フレーム間双方向予測モードにより符号化されるＢ−ＶＯＰは含まない。これに対し、ＡＳＰは、Ｉ−ＶＯＰ及びＰ−ＶＯＰに加え、Ｂ−ＶＯＰを用いることが可能なプロファイルである。参照モード選択回路３８は、プロファイルや、動画像の種別などの情報から、フレーム間双方向予測モードを含むか否かを判断する。【００８６】
参照モード選択回路３８は、符号化の対象となる動画像が、フレーム間前方予測モードとフレーム間双方向予測モードを含んで符号化されると判定したときには、フレーム間前方予測モードで符号化されるＰ−ＶＯＰにおいて、Ｐ−ＶＯＰを構成する或るマクロブロックが、前方参照フレーム中に存在しＰ−ＶＯＰのマクロブロックと同じ位置のマクロブロックと実質的に同一であると判断された場合、「not_coded」フラグを付加する代わりに前方参照フレームとの間の動きベクトル情報を符号化データ列中に付加して符号化する旨の情報を出力する。符号化回路３０は、この情報を受けて、「not_coded」フラグで符号化できるマクロブロックを、「not_coded」フラグを用いずに、ゼロベクトルである動きベクトル情報を付加して符号化する。これにより、Ｂ−ＶＯＰが後方参照するフレームの或るマクロブロックが、前方参照するフレームの対応するマクロブロックと実質的に同一であった場合でも、Ｂ−ＶＯＰの対応するマクロブロックに参照画像との間の動きベクトル情報や予測誤差を含む符号化パラメータを持たせることができる。したがって、画像の欠落を防ぎ、復号画像の画質を向上させることができる。【００８７】
参照モード選択回路３８は、Ｂ−ＶＯＰが後方参照するＰ−ＶＯＰのみで、「not_coded」フラグを用いて符号化できるブロックを、動きベクトル情報を付加して符号化するよう切り替えてもよいし、Ｂ−ＶＯＰが存在するプロファイルである場合は、全てのＰ−ＶＯＰで、「not_coded」フラグを用いて符号化できるブロックを、動きベクトル情報を付加して符号化するよう切り替えてもよい。また、参照モード選択回路３８は、「not_coded」のマクロブロックが所定数以上出現したときに、そのＰ−ＶＯＰで、「not_coded」フラグを用いて符号化できるブロックを、動きベクトル情報を付加して符号化するように切り替えてもよい。【００８８】
図１５は、本実施の形態の画像符号化方法の手順を示すフローチャートである。まず、参照モード選択回路３８は、動画像を符号化する際のプロファイルを取得し、Ｂ−ＶＯＰが出現するか否かを判断する（Ｓ２０）。Ｂ−ＶＯＰが出現しないプロファイルである場合は（Ｓ２０のＮ）、画像符号化装置１８は、Ｐ−ＶＯＰで符号化する際、「not_coded」フラグの使用を許可する。（Ｓ２４）。Ｂ−ＶＯＰが出現するプロファイルである場合は（Ｓ２０のＹ）、参照モード選択回路３８は、Ｐ−ＶＯＰの符号化の際に、「not_coded」フラグを用いて符号化できるブロックであっても、動きベクトルを（０，０）である動きベクトル情報を付加して符号化する旨のフレーム予測モード情報を出力する（Ｓ２２）。符号化回路３０は、参照モード選択回路３８からの指示を受けて、符号化対象画像を符号化する。【００８９】
（第４の実施の形態）
Ｂ−ＶＯＰの後方参照フレームであるＰ−ＶＯＰを符号化する方式として、第２の実施の形態では、グローバル動きベクトルを用いる方式を示した。また、第３の実施の形態では、「not_coded」フラグで符号化できるマクロブロックが存在しても、ゼロベクトルを示す動きベクトル情報を付加する方式を示した。しかしながら、このどちらの方式においても、「not_coded」フラグを用いて符号化する場合と比較して、符号量が増加する。【００９０】
すなわち、グローバル動きベクトルを用いる場合は、グローバル動きベクトルを用いるか否かを示すフラグが、すべてのマクロブロックに付加されるため、その分だけ符号量が増える。また、ゼロベクトルを示す動きベクトル情報を付加する場合、「not_coded」フラグを用いて符号化できるマクロブロックすべてに対しても、動きベクトル情報を付加するので、その分符号量が増加する。【００９１】
したがって、グローバル動きベクトルを用いる場合とゼロベクトルを示す動きベクトル情報を付加する場合とを比較した場合、「not_coded」フラグを用いて符号化可能なマクロブロックの数が少ない場合は、ゼロベクトルを示す動きベクトル情報を付加する場合のほうが符号量は少なくてすむが、「not_coded」フラグを用いて符号化可能なマクロブロックの数が多い場合は、グローバル動きベクトルを用いる場合のほうが符号量は少ない。【００９２】
そこで、このような符号量の増加を最小限に抑制するために、本実施の形態の画像符号化装置１８は、第２の実施の形態のようなグローバル動きベクトルを用いて符号化するモードと、第３の実施の形態のようなゼロベクトルを示す動きベクトル情報を付加して符号化するモードとを切り替えることができる。【００９３】
本実施の形態に係る画像符号化装置１８の全体構成は、第１の実施の形態に係る画像符号化装置１８と同一であり、符号化回路３０、出力バッファ３４及び参照モード選択回路３８の動作が一部異なる。以下、本実施の形態に特徴的な点のみ説明し、それ以外の説明は割愛する。【００９４】
参照モード選択回路３８は、符号化の対象となる動画像が、フレーム間前方予測モードとフレーム間双方向予測モードを含んで符号化されると判定したときには、フレーム間前方予測モードで符号化されるＰ−ＶＯＰにおいて、Ｐ−ＶＯＰを構成する或るマクロブロックが、前方参照フレーム中に存在しＰ−ＶＯＰのマクロブロックと同じ位置のマクロブロックと実質的に同一であると判断された場合、「not_coded」フラグを付加する代わりに前方参照フレームとの間の動きベクトル情報を符号化データ列中に付加して符号化する旨の情報を出力する。符号化回路３０は、この情報を受けて、「not_coded」フラグで符号化できるマクロブロックを、「not_coded」フラグを用いずに、ゼロベクトルである動きベクトル情報を付加して符号化し、出力バッファ３４に記憶させておく。【００９５】
一方で符号化回路３０は、Ｂ−ＶＯＰの後方参照フレームであるＰ−ＶＯＰに対し、フレーム間前方向予測モードにおける動きベクトルがゼロベクトルであるものを、グローバル動きベクトルがゼロベクトルであるとして符号化し、こちらも出力バッファ３４に記憶させておく。また、符号化回路３０は、Ｂ−ＶＯＰの後方参照フレームであるＰ−ＶＯＰを符号化している時に、「not_coded」フラグで符号化可能なマクロブロックの数をカウントしておき、その数を参照モード選択回路３８に通知する。【００９６】
参照モード選択回路３８は、符号化回路３０から通知された「not_coded」フラグで符号化可能なマクロブロックの数が、予め定められた閾値以上になったときに、Ｂ−ＶＯＰの後方参照フレームであるＰ−ＶＯＰを符号化するときの符号化モードを示す情報として、グローバル動き補償を用いる旨の情報に切り替える。この閾値は、予め内部で決められた値であっても良いし、外部からユーザによって指定してもよい。【００９７】
符号化回路３０は、参照モード選択回路３８が出力する符号化モードがグローバル動き補償を用いる旨の情報に切り替えられた場合、ゼロベクトルである動きベクトル情報を付加して符号化する方法を中止する一方、フレーム間前方向予測モードにおける動きベクトルがゼロベクトルであるものを、グローバル動き補償を用いて符号化する方法を継続し、この符号化データを出力バッファ３４に引き続き記憶させる。そして、Ｐ−ＶＯＰの符号化が完了した後に、グローバル動きベクトルを用いて符号化した符号化データ列を、出力バッファ３４から出力する。【００９８】
一方、「not_coded」フラグで符号化可能なマクロブロックの数が、予め定められた閾値に達することなく、Ｂ−ＶＯＰの後方参照フレームであるＰ−ＶＯＰの符号化が完了したとき、参照モード選択回路３８が出力する符号化モードは切り替わらず、ゼロベクトルである動きベクトル情報を付加して符号化する方法が最後まで継続される。そして、Ｐ−ＶＯＰの符号化が完了した後に、ゼロベクトルである動きベクトル情報を付加して符号化した符号化データ列を、出力バッファ３４から出力する。【００９９】
なお、参照モード選択回路３８は、Ｂ−ＶＯＰが後方参照するＰ−ＶＯＰのみで、ゼロベクトルである動きベクトル情報を付加して符号化するか、若しくは、グローバル動きベクトルを用いて符号化するようにしてもよいし、Ｂ−ＶＯＰが存在するプロファイルである場合は、全てのＰ−ＶＯＰで、ゼロベクトルである動きベクトル情報を付加して符号化するか、若しくは、グローバル動きベクトルを用いて符号化するようにしてもよい。【０１００】
図１６は、本実施の形態の画像符号化方法の手順を示すフローチャートである。まず、参照モード選択回路３８は、動画像を符号化する際のプロファイルを取得し、Ｂ−ＶＯＰが出現するか否かを判断する（Ｓ３０）。Ｂ−ＶＯＰが出現しないプロファイルである場合は（Ｓ３０のＮ）、画像符号化装置１８は、Ｐ−ＶＯＰで符号化する際、「not_coded」フラグの使用を許可する。（Ｓ３８）。Ｂ−ＶＯＰが出現するプロファイルである場合は（Ｓ３０のＹ）、参照モード選択回路３８は、Ｐ−ＶＯＰの符号化の際に、「not_coded」フラグを用いて符号化できるブロックの数が所定の数以上であるか否かを判断する（Ｓ３２）。所定の数未満の場合は（Ｓ３２のＮ）、参照モード選択回路３８は、動きベクトルを（０，０）である動きベクトル情報を付加して符号化する旨のフレーム予測モード情報を出力する（Ｓ３４）。所定の数以上の場合は（Ｓ３２のＹ）、参照モード選択回路３８は、Ｐ−ＶＯＰの符号化の際にグローバル動きベクトル（０，０）を持たせた前方向予測モードを使用して符号化する旨のフレーム符号化モード情報を出力する（Ｓ３６）。画像符号化装置１８は、参照モード選択回路３８から出力されたフレーム符号化モード情報に基づいた、符号化データ列を出力する。【０１０１】
以上のように、本実施の形態に係る画像符号化装置１８は、以下のような効果を得ることができる。
１）Ｂ−ＶＯＰの後方参照フレームであるＰ−ＶＯＰを、グローバル動きベクトルを用いた符号化モード、もしくは、ゼロベクトルである動きベクトル情報を付加する符号化モードのどちらかのモードによって符号化するため、Ｂ−ＶＯＰが後方参照するフレームの或るマクロブロックが、前方参照するフレームの対応するマクロブロックと実質的に同一であった場合でも、Ｂ−ＶＯＰの対応するマクロブロックに参照画像との間の動きベクトル情報や予測誤差を含む符号化パラメータを持たせることができる。したがって、画像の欠落を防ぎ、復号画像の画質を向上させることができる。【０１０２】
２）Ｂ−ＶＯＰの後方参照フレームであるＰ−ＶＯＰを符号化する際、「not_coded」フラグを用いて符号化可能なマクロブロックの数によって、そのＰ−ＶＯＰの符号化モードを、グローバル動きベクトルを用いた符号化モード、もしくは、ゼロベクトルである動きベクトル情報を付加する符号化モードのどちらかに切り替えることができる。これにより、「not_coded」フラグを用いて符号化可能なマクロブロックの数によって、符号化効率のよい符号化モードを選択することが可能になり、符号量の増大を最小限に抑えることができる。【０１０３】
本実施の形態において、参照モード選択回路３８は、「not_coded」のマクロブロック数に対する２つの閾値ＴＨ１、ＴＨ２（ＴＨ１＜ＴＨ２）を設けてもよい。この場合、「not_coded」のマクロブロック数がＴＨ１未満のときは、Ｐ−ＶＯＰにおける「not_coded」フラグの使用を許可し、「not_coded」のマクロブロック数がＴＨ１以上ＴＨ２未満のときは、そのＰ−ＶＯＰで、「not_coded」フラグを用いて符号化できるブロックを、動きベクトル情報を付加して符号化するように切り替え、さらに「not_coded」のマクロブロック数がＴＨ２以上のときは、グローバル動きベクトルを用いて符号化するように切り替えてもよい。【０１０４】
また、本実施の形態において、Ｂ−ＶＯＰの後方参照フレームを符号化する際、「not_coded」フラグを用いて符号化できるマクロブロックを、グローバル動きベクトルを用いて符号化するモードと、ゼロベクトルを表す動きベクトルを付加して符号化するモードの選択を、「not_coded」のマクロブロックの数で判断するだけでなく、外部からも行えるようにしてもよい。すなわち、画像符号化装置１８に入力部を設け、入力部を介してユーザの指示によって選択してもよい。また、符号化データ列の送信先である復号装置の仕様に合わせて選択してもよい。例えば、送信先の復号装置がグローバル動き補償をサポートしてない場合は、ゼロベクトルを表す動きベクトルを付加して符号化するモードを選択できるようにしてもよい。【０１０５】
また、本実施の形態では、符号化回路３０は、「not_coded」フラグを用いて符号化できるマクロブロックを、グローバル動きベクトルを用いる符号する符号化とゼロベクトルを表す動きベクトルを付加する符号化を並列に行う方法を示したが、これに限らず、符号化回路３０は、「not_coded」フラグを用いて符号化できるマクロブロックを、ゼロベクトルを表す動きベクトルを付加する符号化だけを行って、出力バッファ３４に記憶させておいてもよい。この場合、符号化対象のフレームの符号化が完了した時点で、参照モード選択回路３８から出力されたフレーム符号化モード情報が、ゼロベクトルを表す動きベクトルを付加する符号化モードを表している場合は、出力バッファ３４に記憶された符号化データ列をそのまま出力する。また、参照モード選択回路３８から出力されたフレーム符号化モード情報が、グローバル動きベクトルを用いる符号化モードを表している場合は、出力バッファ３４に記憶された符号化データ列を、グローバル動きベクトルを用いた符号化データ列に変換して出力する。【０１０６】
また、本実施の形態では、符号化中のフレームに含まれる「not_coded」フラグを用いて符号化できるマクロブロックの数によって、グローバル動きベクトルを用いた符号化モードとゼロベクトルである動きベクトル情報を付加する符号化モードとを切り替えたが、これに限らず、過去に符号化したフレームに含まれる「not_coded」フラグを用いて符号化できるマクロブロックの数によって切り替えてもよい。【０１０７】
（第５の実施の形態）
本実施の形態では、「not_coded」フラグで符号化されたマクロブロックを後方参照するＢ−ＶＯＰのマクロブロックを符号化する際、前方参照フレームのマクロブロックとの差分が小さければ「not_coded」フラグを用いて符号化し、差分が大きければ、差分データを符号化する。そして、前方参照フレームのマクロブロックのコピーとするか、参照フレームとの差分データを復号するかを示すフラグ（以下、単に「判定フラグ」と呼ぶ）を符号化データ列に挿入する。画像復号装置は、Ｂ−ＶＯＰを復号する際に、判定フラグを参照して、該当するマクロブロックを前方参照フレームのコピーとするか、差分データを復号するかを判定し、判定フラグがコピーを許可することを示す値であれば前方参照フレームから画像をコピーし、判定フラグがコピーを許可せず差分データを復号すべきことを示す値であれば差分データを復号して参照フレームの画像に加える。これにより、符号量の増大を抑えつつ、上述した問題を回避し、圧縮画像の画質を向上させることができる。【０１０８】
図１７は、本実施の形態に係る画像符号化装置１８の構成を示す。本実施の形態の画像符号化装置１８の構成は、図３に示した第１の実施の形態の画像符号化装置１８の構成に加えて、符号化方法判定回路２４０及び判定フラグ付加回路２４２を備える。その他の構成及び動作は、第１の実施の形態と同様である。以下、主に、第１の実施の形態と異なる点について説明する。【０１０９】
符号化方法判定回路２４０は、「not_coded」フラグを用いて符号化されたマクロブロックを後方参照するＢ−ＶＯＰのマクロブロックを符号化する際に、該当するマクロブロックを、前方参照フレーム中の対応するマクロブロックのコピーとして処理してよいか否かを判定する。符号化方法判定回路２４０は、動き補償回路２６から出力される、現フレームと参照フレームの間の差分データを取得し、差分データの量が所定のしきい値より小さい場合は、前方参照フレームのコピーとすることを許可し、大きい場合は、符号化回路３０に差分データを符号化させる。符号化方法判定回路２４０は、判定結果を判定フラグ付加回路２４２に伝達する。【０１１０】
符号化方法判定回路２４０は、符号化データ列に要求される符号量、復号画像の画質、復号画像の用途、画像を記録する媒体の容量、画像を送受信する通信経路の状況、などに応じて、前方参照フレームのコピーとするか否かを判定してもよい。このような判定基準は、画像符号化装置１８が搭載された機器からの制御情報として符号化方法判定回路２４０に供給されてもよい。例えば、復号画像の画質を優先する場合は、差分データが小さい場合でも差分データを符号化して符号化データ列に含ませ、前方参照フレームのコピーを禁止してもよい。また、画像を携帯電話などに記録し、伝送する場合は、判定のしきい値を大きくし、できるだけ差分データを含ませないようにして、符号量を抑えてもよい。【０１１１】
判定フラグ付加回路２４２は、符号化方法判定回路２４０による判定結果を取得し、符号化データストリームの所定位置に判定フラグを付加する。判定フラグは、Ｂ−ＶＯＰのマクロブロックごとに付加されてもよいし、Ｂ−ＶＯＰごとに付加されてもよいし、Ｂ−ＶＯＰが後方参照するフレームのマクロブロックごとに付加されてもよいし、Ｂ−ＶＯＰが後方参照するフレームごとに付加されてもよい。また、判定フラグは、Ｂ−ＶＯＰが後方参照するフレームの「not_coded」フラグを用いて符号化されたマクロブロックに付加されてもよいし、Ｂ−ＶＯＰが後方参照するフレームのうち「not_coded」フラグを用いて符号化されたマクロブロックを含むフレームに付加されてもよい。また、判定フラグは、符号化データストリームのシーケンスヘッダに付加されてもよい。【０１１２】
判定フラグ付加回路２４２は、Ｂ−ＶＯＰごとに判定フラグを付加する場合、Ｂ−ＶＯＰに含まれるマクロブロックのうち、前方参照フレームのコピーとして処理されるマクロブロックの数に基づいて、付加する判定フラグを決定してもよい。例えば、コピーとして処理されるマクロブロックが半数を超える場合は、判定フラグとして、前方参照フレームのコピーを許可する値を付加し、そのＢ−ＶＯＰに含まれるマクロブロックの全てが、前方参照フレームのコピーとして処理されるようにしてもよい。同様に、判定フラグ付加回路２４２は、シーケンスヘッダに判定フラグを付加する場合、前方参照フレームのコピーとして処理されるマクロブロック又はフレームの数に応じて、判定フラグを決定してもよい。【０１１３】
判定フラグ付加回路２４２は、符号化データ列に要求される符号量、復号画像の画質、復号画像の用途、画像を記録する媒体の容量、画像を送受信する通信経路の状況、などに応じて、判定フラグを付加する位置を決定してもよい。このような判定基準は、画像符号化装置１８が搭載された機器からの制御情報として符号化方法判定回路２４０に供給されてもよい。例えば、復号画像の画質を優先する場合は、判定フラグをマクロブロックごとに付加してもよい。また、符号量を抑えたい場合は、判定フラグをフレームごとに又はシーケンスヘッダに付加してもよい。【０１１４】
図１８から図２１は、本実施の形態に係る画像符号化装置１８により生成される符号化データ列のデータ構造の例を示す。符号化データ列は、その所定位置に、フレーム間双方向予測モードで符号化された第１フレームのブロックを、第１フレームが前方参照する第２フレームの所定ブロックのコピーとするか、第１フレームのブロックと第２フレームの所定ブロックとの差分データを復号するかを示す判定フラグを含む。【０１１５】
図１８は、判定フラグをシーケンスヘッダに付加した例を示す。符号化データ列３００は、ＭＰＥＧ−４では「Video Object Layer」に対応し、シーケンスヘッダ３０２と、複数のフレーム３１０を含む。フレーム３１０は、ＭＰＥＧ−４では「Video Object Plane」に対応し、フレームヘッダ３１２と、複数のマクロブロック３２０を含む。マクロブロック３２０は、ＭＰＥＧ−４では「Macroblock」に対応し、マクロブロックヘッダ３２２と、動きベクトル及び差分データを符号化した符号データ３２４を含む。図１８の例では、シーケンスヘッダ３０２の所定位置に、符号化データ列３００のプロファイルの種別を示すデータ３０４が格納されている。そして、符号化データ列３００のプロファイルがＢ−ＶＯＰを利用可能なプロファイルであり、かつ、符号化データ列３００にＢ−ＶＯＰが含まれる場合は、判定フラグ３０６がシーケンスヘッダ３０２の所定位置に付加される。【０１１６】
図１９は、判定フラグをフレームヘッダに付加した例を示す。図１９の例では、Ｂ−ＶＯＰ又はＢ−ＶＯＰが後方参照するフレームのフレームヘッダ３１２に、ＶＯＰの種類を示すデータ３１４と、このＶＯＰが差分データを持つか否かを示すフラグ情報３１６が格納されている。そして、差分データを持つ場合は、判定フラグ３１８がフレームヘッダの所定位置に付加される。【０１１７】
図２０は、判定フラグを、Ｂ−ＶＯＰが後方参照するフレームのマクロブロックヘッダに付加した例を示す。図２０の例では、Ｂ−ＶＯＰが後方参照するフレーム、例えばＰ−ＶＯＰのマクロブロックヘッダ３２２に、「not_coded」フラグ３２６が格納されている。そして、そのマクロブロックが「not_coded」であった場合は、判定フラグ３２８がマクロブロックヘッダ３２２の所定位置、例えば「not_coded」フラグ３２６の直後に付加される。【０１１８】
図２１は、判定フラグをＢ−ＶＯＰのマクロブロックヘッダに付加した例を示す。図２１の例では、Ｂ−ＶＯＰが後方参照するフレームの対応するマクロブロックが「not_coded」であった場合に、マクロブロックヘッダ３２２の所定位置、例えば先頭に判定フラグ１３０が付加される。【０１１９】
以上のような構成により、Ｂ−ＶＯＰが後方参照するフレームのあるマクロブロックが、前方参照するフレームの対応するマクロブロックとほぼ同一であり、「not_coded」フラグで符号化された場合であっても、Ｂ−ＶＯＰの対応するマクロブロックに参照画像との差分データを持たせることができる。これにより、画像の欠落を防ぎ、復号画像の画質を向上させることができる。また、Ｂ−ＶＯＰのマクロブロックと前方参照フレームのマクロブロックとの差分が小さい場合には、「not_coded」フラグで符号化するので、符号量を抑えることができる。【０１２０】
図２２は、本発明の実施の形態に係る画像復号化装置３５０の全体構成を示す。この画像復号化装置３５０は、ＭＰＥＧ−４方式で圧縮符号化された符号化データ列を格納するバッファ３６２と、バッファ３６２からデータを受け、動きベクトル等の可変長符号を復号化する可変長復号化回路３６４と、可変長復号化回路３６４により得られた変換係数を逆量子化してＤＣＴ係数に変換する逆量子化回路３６６と、逆量子化回路３６６で生成されたＤＣＴ係数列を８×８のブロック単位のＤＣＴ係数に戻して逆ＤＣＴを行い差分データを出力する逆ＤＣＴ回路３６８と、動きベクトルに基づく参照アドレスと差分データとをもとに、参照画像データから画像を復号して内部のメモリに保存した後に、出力画像データを発生する動き補償部３７６と、を含む。【０１２１】
動き補償部３７６は、画像データを格納するフレームメモリ３７２と、動きベクトルをもとにフレームメモリ３７２から参照画像データを読み出す動き補償回路３７０と、参照画像データと差分データとを加算して復号画像データをフレームメモリ３７２に出力する加算回路３７４とを含む。フレームメモリ３７２からは、出力画像データが出力される。【０１２２】
復号化方法判定回路３８０は、符号化データストリーム中の所定位置にある判定フラグを取得して、Ｂ−ＶＯＰの復号方法を判定する。判定フラグの位置は、マクロブロックのヘッダ、フレームヘッダ、シーケンスヘッダなどであってもよいし、その他任意の位置であってもよく、画像符号化装置１８と画像復号化装置３５０の間で共通の認識があればよい。復号化方法判定回路３８０は、判定フラグが、Ｂ−ＶＯＰが後方参照するマクロブロックが「not_coded」フラグで符号化されていたときに、Ｂ−ＶＯＰのマクロブロックも前方参照フレームのコピーとして処理することを示す値であれば、動き補償回路３７０にコピーを行うよう伝達する。動き補償回路３７０は、前方参照フレームのマクロブロックをフレームメモリ３７２から読み出し、Ｂ−ＶＯＰのマクロブロックにコピーする。復号化方法判定回路３８０は、判定フラグが、コピーを許可せず差分データを復号すべきことを示す値であれば、逆量子化回路３６６及び逆ＤＣＴ回路３６８に差分データを復号化させ、復号化された差分データを前方参照フレームのマクロブロックに加算させて、Ｂ−ＶＯＰのマクロブロックを得る。これにより、本実施の形態の画像符号化装置１８により符号化された符号化データ列を適切に復号することができる。【０１２３】
図２３は、本実施の形態の画像符号化方法の手順を示すフローチャートである。図２３は、画像符号化装置１８がフレーム間双方向予測モードで対象フレームを符号化する手順を示している。まず、Ｂ−ＶＯＰを符号化する際に、符号化方法判定回路２４０が、符号化対象となるマクロブロックが、「not_coded」フラグで符号化されているマクロブロックを後方参照しているか否かを確認する（Ｓ１１０）。後方参照フレームのマクロブロックが「not_coded」でなければ（Ｓ１１０のＮ）、通常の符号化処理を行う。後方参照フレームのマクロブロックが「not_coded」であれば（Ｓ１１０のＹ）、符号化方法判定回路２４０は、符号化対象となるマクロブロックも前方参照フレームのマクロブロックのコピーとするか否かを判定する（Ｓ１１２）。符号化方法判定回路２４０が、コピーとすると判定したときは（Ｓ１１２のＹ）、判定フラグ付加回路２４２が符号化データ列の所定位置に、前方参照フレームのコピーを挿入することを示す判定フラグを付加する（Ｓ１１４）。符号化方法判定回路２４０が、コピーではなく差分データを持たせると判定したときは（Ｓ１１２のＮ）、符号化回路３０が差分データを符号化し（Ｓ１１６）、判定フラグ付加回路２４２が差分データを含むことを示す判定フラグを付加する（Ｓ１１８）。【０１２４】
図２４は、本実施の形態の画像復号化方法の手順を示すフローチャートである。図２４は、画像復号化装置３５０がフレーム間双方向予測モードで符号化されたフレームを復号化する手順を示している。まず、復号化方法判定回路３８０が、符号化データ列の所定位置に付加された判定フラグを取得し（Ｓ１３０）、判定フラグの種別を確認する（Ｓ１３２）。判定フラグが、Ｂ−ＶＯＰの後方参照フレームのマクロブロックが「not_coded」であったときにＢ−ＶＯＰのマクロブロックも前方参照フレームのマクロブロックのコピーとすることを示す値であったときは（Ｓ１３２のＹ）、復号化方法判定回路３８０は、Ｂ−ＶＯＰのマクロブロックに前方参照フレームのマクロブロックのコピーを挿入するよう他の回路に指示する（Ｓ１３４）。判定フラグが、Ｂ−ＶＯＰのマクロブロックが差分データを含むことを示す値であったときは（Ｓ１３２のＮ）、復号化判定回路３８０は、差分データを復号してＢ−ＶＯＰのマクロブロックの画像を生成するよう他の回路に指示する（Ｓ１３６）。【０１２５】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【産業上の利用可能性】
【０１２６】
本発明は、動画像を符号化する画像符号化装置に利用可能である。
【図１】
2005076629.tif 000002
【図２】
2005076629.tif 000003
【図３】
2005076629.tif 000004
【図４】
2005076629.tif 000005
【図５】
2005076629.tif 000006
【図６】
2005076629.tif 000007
【図７】
2005076629.tif 000008
【図８】
2005076629.tif 000009
【図９】
2005076629.tif 000010
【図１０】
2005076629.tif 000011
【図１１】
2005076629.tif 000012
【図１２】
2005076629.tif 000013
【図１３】
2005076629.tif 000014
【図１４】
2005076629.tif 000015
【図１５】
2005076629.tif 000016
【図１６】
2005076629.tif 000017
【図１７】
2005076629.tif 000018
【図１８】
2005076629.tif 000019
【図１９】
2005076629.tif 000020
【図２０】
2005076629.tif 000021
【図２１】
2005076629.tif 000022
【図２２】
2005076629.tif 000023
【図２３】
2005076629.tif 000024
【図２４】
2005076629.tif 000025
【手続補正書】
【提出日】平成17年7月15日(2005.7.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【書類名】請求の範囲
【請求項１】（削除）
【請求項２】符号化の対象となる画像信号を、フレーム内符号化およびフレーム間符号化のうち少なくともいずれかを用いた方式にて画像信号を符号化する符号化回路と、
前記フレーム間符号化の方式として、過去および未来のフレームを参照する双方向符号化を用いる参照モードおよび前記双方向符号化を用いない参照モードのうちいずれかを、当該装置における符号化の実行環境に応じて選択的に設定する参照モード選択回路と、を備え、
前記参照モード選択回路は、前記符号化の圧縮率の高低を基準として前記双方向符号化を用いる参照モードおよび前記双方向符号化を用いない参照モードのうちいずれが当該装置における符号化の実行環境に適合するかに応じて前記参照モードを設定することを特徴とする画像符号化装置。
【請求項３】符号化の対象となる画像信号を、フレーム内符号化およびフレーム間符号化のうち少なくともいずれかを用いた方式にて画像信号を符号化する符号化回路と、
前記フレーム間符号化の方式として、過去および未来のフレームを参照する双方向符号化を用いる参照モードおよび前記双方向符号化を用いない参照モードのうちいずれかを、当該装置における符号化の実行環境に応じて選択的に設定する参照モード選択回路と、を備え、
前記参照モード選択回路は、前記符号化の処理により生ずる負荷の大小を基準として前記双方向符号化を用いる参照モードおよび前記双方向符号化を用いない参照モードのうちいずれが当該装置における符号化の実行環境に適合するかに応じて前記参照モードを設定することを特徴とする画像符号化装置。
【請求項４】符号化の対象となる画像信号を、フレーム内符号化およびフレーム間符号化のうち少なくともいずれかを用いた方式にて画像信号を符号化する符号化回路と、
前記フレーム間符号化の方式として、過去および未来のフレームを参照する双方向符号化を用いる参照モードおよび前記双方向符号化を用いない参照モードのうちいずれかを、当該装置における符号化の実行環境に応じて選択的に設定する参照モード選択回路と、を備え、
前記参照モード選択回路は、前記画像信号について双方向符号化を実行する場合における仕様上の利点の大小を基準として前記双方向符号化を用いる参照モードおよび前記双方向符号化を用いない参照モードのうちいずれが当該装置における符号化の実行環境に適合するかに応じて前記参照モードを設定することを特徴とする画像符号化装置。
【請求項５】前記符号化回路は、前記符号化の方式としてＭＰＥＧに準拠した方式にて前記画像信号を符号化するとともに、前記双方向符号化を用いる参照モードではＩピクチャ、Ｐピクチャ、およびＢピクチャを用いて符号化し、前記双方向符号化を用いない参照モードではＩピクチャおよびＰピクチャを用いることを特徴とする請求項２から４のいずれかに記載の画像符号化装置。
【請求項６】被写体を撮像して画像信号を取得する画像入力部と、
前記画像信号を符号化する、請求項２から５のいずれかに記載の画像符号化装置と、
前記画像符号化装置により生成された符号化データを保存するデータ格納部と、
を備えることを特徴とする撮像装置。
【請求項７】動画像を符号化する際に、前記動画像を構成するフレームを符号化するときの予測モードを示す情報を出力する予測モード選択部と、
前記予測モード選択部により出力された前記予測モードを示す情報に基づいて前記フレームを符号化する符号化部と、を備え、
前記動画像がフレーム間双方向予測モードを含んで符号化されるときには、前記予測モード選択部は、フレーム間双方向予測モードで符号化されるフレームの後方参照フレームを符号化するときの予測モードを示す情報として、グローバル動き補償を用いる旨の情報を出力することを特徴とする画像符号化装置。
【請求項８】前記予測モード選択部は、前記動画像を符号化するときのプロファイルを取得して、前記プロファイルを参照することにより、フレーム間双方向予測モードを含むか否かを判定することを特徴とする請求項７に記載の画像符号化装置。
【請求項９】前記符号化部は、前記予測モード選択部からグローバル動き補償を用いる旨の情報が出力されたとき、フレーム間前方向予測モードにおける動きベクトルがゼロベクトルであるものをグローバル動きベクトルとして符号化することを特徴とする請求項７又は８に記載の画像符号化装置。
【請求項１０】前記符号化部は、前記予測モード選択部からグローバル動き補償を用いる旨の情報が出力されたとき、フレーム間前方向予測モードにおける動きベクトルがゼロベクトルであり、かつ、参照フレームとの差分データが実質的にゼロであるものを、グローバル動き補償を用いて符号化することを特徴とする請求項７又は８に記載の画像符号化装置。
【請求項１１】前記予測モード選択部は、前記フレーム間双方向予測モードで符号化されるフレームの後方参照フレームがＰフレームであった場合に、そのフレームを符号化するときの予測モードを示す情報として、Ｐフレームに代えて、グローバル動きベクトルを含むＳフレームとして符号化する旨の情報を出力することを特徴とする請求項７から１０のいずれかに記載の画像符号化装置。
【請求項１２】前記予測モード選択部は、Ｐフレームとして符号化されるべきであった全てのフレームについて、そのフレームを符号化するときの予測モードを示す情報として、Ｐフレームに代えて、グローバル動きベクトルを含むＳフレームとして符号化する旨の情報を出力することを特徴とする請求項７から１１のいずれかに記載の画像符号化装置。
【請求項１３】動画像を符号化する際に、前記動画像を構成するフレームを符号化するときの予測モードを示す情報を出力するステップと、
前記予測モードを示す情報に基づいて前記フレームを符号化するステップと、を含み、
前記動画像がフレーム間双方向予測モードを含んで符号化されるときには、前記出力するステップは、フレーム間双方向予測モードで符号化されるフレームの後方参照フレームを符号化するときの予測モードを示す情報として、グローバル動き補償を用いる旨の情報を出力することを特徴とする画像符号化方法。
【請求項１４】動画像を符号化する際に、前記動画像を構成するフレーム毎に、フレーム内符号化モード、フレーム間一方向予測符号化モード、フレーム間双方向予測符号化モードのいずれかのモードに基づいて符号化して、前記動画像の符号化データ列を生成する画像符号化装置において、
前記動画像がフレーム間一方向予測符号化モードとフレーム間双方向予測符号化モードを含んで符号化されるときに、フレーム間一方向予測符号化モードで符号化されるフレームにおいて、当該フレームを構成する或るブロックが、予測の基になる参照フレーム中に存在する前記或るブロックと同じ位置のブロックと実質的に同一であると判断された場合、その旨を示すフラグの代わりに前記参照フレームとの間の動きベクトル情報をそのブロックの符号化データ列中に付加して符号化することを特徴とする画像符号化装置。
【請求項１５】（補正後）前記フレーム間一方向予測符号化モードで符号化されたフレームと前記参照フレームの間に存在するフレームをフレーム間双方向予測符号化モードにて符号化する時に、前記動きベクトル情報が付加されたブロックと同じ位置のブロックについても符号化を行い、符号化パラメータを符号化データ列中に付加することを特徴とする請求項１４に記載の画像符号化装置。
【請求項１６】前記フレーム間一方向予測符号化モードで符号化されたフレームは、前記フレーム間双方向予測符号化モードで符号化されるフレームの参照フレームであることを特徴とする請求項１４又は１５に記載の画像符号化装置。
【請求項１７】前記動きベクトル情報はゼロベクトルとして符号化することを特徴とする請求項１４から１６のいずれかに記載の画像符号化装置。
【請求項１８】動画像を符号化する際に、前記動画像を構成するフレーム毎に、このフレームを符号化するときの符号化モードを示す情報を出力する符号化モード制御部と、
前記符号化モード制御部により出力された前記符号化モードを示す情報に基づいて前記フレームを符号化する符号化部と、を備え、
前記符号化部は、フレーム間双方向予測モードで符号化されるフレームの後方参照フレームを符号化するとき、このフレームを構成するブロック毎に、予測の基になる参照フレーム中に存在する前記ブロックと同じ位置のブロックと実質的に同一であるか否かを判断して、この実質的に同一であると判断されたブロックの数をカウントし、
前記符号化モード制御部は、フレーム間双方向予測モードで符号化されるフレームの後方参照フレームを符号化するときの符号化モードを示す情報として、前記実質的に同一であると判断されたブロックの数が所定の閾値以上であった場合、前記実質的に同一であると判断されたブロックをグローバル動き補償を用いて符号化する旨の情報を出力し、前記実質的に同一であると判断されたブロックの数が前記所定の閾値未満であった場合、前記実質的に同一であると判断されたブロックに対して前記参照フレームとの間の動きベクトル情報をそのブロックの符号化データ列中に付加して符号化する旨の情報を出力することを特徴とする画像符号化装置。
【請求項１９】動画像を符号化して符号化データ列を生成する画像符号化装置であって、
前記動画像を構成するフレームを符号化する符号化部と、
前記符号化部がフレーム間双方向予測モードにより対象フレームを符号化するときに、前記対象フレームが後方参照する後方参照フレームのあるブロックが、前記後方参照フレームが前方参照する前方参照フレームの所定ブロックのコピーであることを示すフラグを用いて符号化されている場合、前記後方参照フレームのブロックに対応する前記対象フレーム中のブロックを、前記前方参照フレームの所定ブロックのコピーとするか否かを判定する符号化方法判定部と、
前記符号化方法判定部の判定結果を示すフラグ情報を符号化データ列中に付加する付加部と、
を備えることを特徴とする画像符号化装置。
【請求項２０】前記符号化方法判定部が、前記対象フレームのブロックを前記前方参照フレームの所定ブロックのコピーとしないと判定したときに、前記符号化部は、前記前方参照フレームの所定ブロックと前記対象フレームのブロックとの差分データを符号化することを特徴とする請求項１９に記載の画像符号化装置。
【請求項２１】前記符号化方法判定部は、前記対象フレームのブロックと前記前方参照フレームの所定ブロックとの差分データに基づいて判定を行うことを特徴とする請求項１９又は２０に記載の画像符号化装置。
【請求項２２】前記付加部は、前記対象フレーム又は前記対象フレームのブロックの符号化データに前記フラグ情報を付加することを特徴とする請求項１９から２１のいずれかに記載の画像符号化装置。
【請求項２３】前記付加部は、前記後方参照フレーム又は前記後方参照フレームのブロックの符号化データに前記フラグ情報を付加することを特徴とする請求項１９から２１のいずれかに記載の画像符号化装置。
【請求項２４】前記付加部は、前記符号化データ列のシーケンスヘッダに前記フラグ情報を付加することを特徴とする請求項１９から２１のいずれかに記載の画像符号化装置。
【請求項２５】動画像を符号化した符号化データ列を取得して復号する復号化部と、
前記符号化データ列中の所定位置に付加され、フレーム間双方向予測モードで符号化された対象フレームのブロックを、前記対象フレームが前方参照する前方参照フレームの所定ブロックのコピーとするか否かを示すフラグ情報を取得し、復号の方法を判定する復号化方法判定部と、を備え、
前記復号化部は、前記復号化方法判定部が前記対象フレームのブロックを前記前方参照フレームの所定ブロックのコピーとすると判定をしたときには、前記対象フレームのブロックに前記前方参照フレームの所定ブロックをコピーし、前記復号化方法判定部が前記対象フレームのブロックを前記前方参照フレームの所定ブロックのコピーとしないと判定したときには、前記対象フレームのブロックと前記前方参照フレームの所定ブロックとの差分データを復号することを特徴とする画像復号化装置。
【請求項２６】動画像を符号化して符号化データ列を生成する画像符号化方法であって、
前記動画像を構成するフレームを符号化するステップと、
前記符号化するステップがフレーム間双方向予測モードにより対象フレームを符号化するときに、前記対象フレームが後方参照する後方参照フレームのあるブロックが、前記後方参照フレームが前方参照する前方参照フレームの所定ブロックのコピーであることを示すフラグを用いて符号化されている場合、前記後方参照フレームのブロックに対応する前記対象フレーム中のブロックを、前記前方参照フレームの所定ブロックのコピーとするか否かを判定するステップと、
判定結果を示すフラグ情報を符号化データ列中に付加するステップと、
を含むことを特徴とする画像符号化方法。
【請求項２７】動画像を符号化した符号化データ列を取得して復号するステップと、
前記符号化データ列中の所定位置に付加され、フレーム間双方向予測モードで符号化された対象フレームのブロックを、前記対象フレームが前方参照する前方参照フレームの所定ブロックのコピーとするか否かを示すフラグ情報を取得し、復号の方法を判定するステップと、を含み、
前記復号するステップは、前記判定するステップにおいて前記対象フレームのブロックを前記前方参照フレームの所定ブロックのコピーとすると判定をしたときには、前記対象フレームのブロックに前記前方参照フレームの所定ブロックをコピーし、前記判定するステップにおいて前記対象フレームのブロックを前記前方参照フレームの所定ブロックのコピーとしないと判定したときには、前記対象フレームのブロックと前記前方参照フレームの所定ブロックとの差分データを復号する
ことを特徴とする画像復号化方法。
【請求項２８】動画像を符号化した符号化データ列のデータ構造であって、
前記符号化データ列の所定位置に、フレーム間双方向予測モードで符号化された第１フレームのブロックを、前記第１フレームが前方参照する第２フレームの所定ブロックのコピーとするか、前記第１フレームのブロックと前記第２フレームの所定ブロックとの差分データを復号するかを示すフラグ情報を含む
ことを特徴とするデータ構造。
【手続補正書】
【提出日】平成19年7月10日(2007.7.10)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
符号化の対象となる画像信号を、フレーム内符号化およびフレーム間符号化のうち少なくともいずれかを用いた方式にて画像信号を符号化する符号化回路と、
前記フレーム間符号化の方式として、過去および未来のフレームを参照する双方向符号化を用いる参照モードおよび前記双方向符号化を用いない参照モードのうちいずれかを、当該装置における符号化の実行環境に応じて選択的に設定する参照モード選択回路と、を備え、
前記参照モード選択回路は、前記符号化の圧縮率の高低を基準として前記双方向符号化を用いる参照モードおよび前記双方向符号化を用いない参照モードのうちいずれが当該装置における符号化の実行環境に適合するかに応じて前記参照モードを設定することを特徴とする画像符号化装置。
【請求項２】
符号化の対象となる画像信号を、フレーム内符号化およびフレーム間符号化のうち少なくともいずれかを用いた方式にて画像信号を符号化する符号化回路と、
前記フレーム間符号化の方式として、過去および未来のフレームを参照する双方向符号化を用いる参照モードおよび前記双方向符号化を用いない参照モードのうちいずれかを、当該装置における符号化の実行環境に応じて選択的に設定する参照モード選択回路と、を備え、
前記参照モード選択回路は、前記符号化の処理により生ずる負荷の大小を基準として前記双方向符号化を用いる参照モードおよび前記双方向符号化を用いない参照モードのうちいずれが当該装置における符号化の実行環境に適合するかに応じて前記参照モードを設定することを特徴とする画像符号化装置。
【請求項３】
符号化の対象となる画像信号を、フレーム内符号化およびフレーム間符号化のうち少なくともいずれかを用いた方式にて画像信号を符号化する符号化回路と、
前記フレーム間符号化の方式として、過去および未来のフレームを参照する双方向符号化を用いる参照モードおよび前記双方向符号化を用いない参照モードのうちいずれかを、当該装置における符号化の実行環境に応じて選択的に設定する参照モード選択回路と、を備え、
前記参照モード選択回路は、前記画像信号について双方向符号化を実行する場合における仕様上の利点の大小を基準として前記双方向符号化を用いる参照モードおよび前記双方向符号化を用いない参照モードのうちいずれが当該装置における符号化の実行環境に適合するかに応じて前記参照モードを設定することを特徴とする画像符号化装置。
【請求項４】
前記符号化回路は、前記符号化の方式としてＭＰＥＧに準拠した方式にて前記画像信号を符号化するとともに、前記双方向符号化を用いる参照モードではＩピクチャ、Ｐピクチャ、およびＢピクチャを用いて符号化し、前記双方向符号化を用いない参照モードではＩピクチャおよびＰピクチャを用いることを特徴とする請求項１から３のいずれかに記載の画像符号化装置。
【請求項５】
被写体を撮像して画像信号を取得する画像入力部と、
前記画像信号を符号化する、請求項１から４のいずれかに記載の画像符号化装置と、
前記画像符号化装置により生成された符号化データを保存するデータ格納部と、
を備えることを特徴とする撮像装置。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００７４
【補正方法】変更
【補正の内容】
【００７４】
上述した技術を、具体例を用いて説明する。図１２は、動画像をＭＰＥＧ−４方式で符号化する例を示す。図１２に示した例では、３枚の連続画像１９０ａ、１９０ｂ、及び１９０ｃを、それぞれＰ−ＶＯＰ、Ｂ−ＶＯＰ、Ｐ−ＶＯＰとして符号化する例を示す。まず、画像１９０ａが、直前のＩ−ＶＯＰ又はＰ−ＶＯＰを参照画像としてフレーム間前方向予測モードで圧縮符号化される。次に、画像１９０ｃが、直前のＰ−ＶＯＰである画像１９０ａを参照画像として前方向予測モードで圧縮符号化される。このとき、マクロブロック１９２ｃは、前方参照画像１９０ａのマクロブロック１９２ａとほぼ同じ画像であり、差分が実質的にゼロであるので、「not_coded」フラグを用いて符号化される。復号時には、マクロブロック１９２ｃには、マクロブロック１９２ａの画像がコピーされる。つづいて、画像１９０ｂが、画像１９０ａを前方参照画像として、画像１９０ｃを後方参照画像として、双方向予測モードで圧縮符号化される。このとき、符号化の対象となっている画像１９０ｂのマクロブロック１９２ｂに対応する後方参照画像１９０ｃのマクロブロック１９２ｃは、「not_coded」フラグを用いて符号化されているため、画像１９０ｂのマクロブロック１９２ｂも同様に「not_coded」フラグを用いて符号化される。復号時には、マクロブロック１９２ｂには、マクロブロック１９２ａの画像がコピーされる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０１１８
【補正方法】変更
【補正の内容】
【０１１８】
図２１は、判定フラグをＢ−ＶＯＰのマクロブロックヘッダに付加した例を示す。図２１の例では、Ｂ−ＶＯＰが後方参照するフレームの対応するマクロブロックが「not_coded」であった場合に、マクロブロックヘッダ３２２の所定位置、例えば先頭に判定フラグ３３０が付加される。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０１２４
【補正方法】変更
【補正の内容】
【０１２４】
図２４は、本実施の形態の画像復号化方法の手順を示すフローチャートである。図２４は、画像復号化装置３５０がフレーム間双方向予測モードで符号化されたフレームを復号化する手順を示している。まず、復号化方法判定回路３８０が、符号化データ列の所定位置に付加された判定フラグを取得し（Ｓ１３０）、判定フラグの種別を確認する（Ｓ１３２）。判定フラグが、Ｂ−ＶＯＰの後方参照フレームのマクロブロックが「not_coded」であったときにＢ−ＶＯＰのマクロブロックも前方参照フレームのマクロブロックのコピーとすることを示す値であったときは（Ｓ１３２のＹ）、復号化方法判定回路３８０は、Ｂ−ＶＯＰのマクロブロックに前方参照フレームのマクロブロックのコピーを挿入するよう他の回路に指示する（Ｓ１３４）。判定フラグが、Ｂ−ＶＯＰのマクロブロックが差分データを含むことを示す値であったときは（Ｓ１３２のＮ）、復号化方法判定回路３８０は、差分データを復号してＢ−ＶＯＰのマクロブロックの画像を生成するよう他の回路に指示する（Ｓ１３６）。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１２５
【補正方法】変更
【補正の内容】
【０１２５】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
そうした変形例として、以下のようなものがある。
［項目１］
動画像を符号化する際に、前記動画像を構成するフレームを符号化するときの予測モードを示す情報を出力する予測モード選択部と、
前記予測モード選択部により出力された前記予測モードを示す情報に基づいて前記フレームを符号化する符号化部と、を備え、
前記動画像がフレーム間双方向予測モードを含んで符号化されるときには、前記予測モード選択部は、フレーム間双方向予測モードで符号化されるフレームの後方参照フレームを符号化するときの予測モードを示す情報として、グローバル動き補償を用いる旨の情報を出力することを特徴とする画像符号化装置。
［項目２］
前記予測モード選択部は、前記動画像を符号化するときのプロファイルを取得して、前記プロファイルを参照することにより、フレーム間双方向予測モードを含むか否かを判定することを特徴とする項目１に記載の画像符号化装置。
［項目３］
前記符号化部は、前記予測モード選択部からグローバル動き補償を用いる旨の情報が出力されたとき、フレーム間前方向予測モードにおける動きベクトルがゼロベクトルであるものをグローバル動きベクトルとして符号化することを特徴とする項目１又は２に記載の画像符号化装置。
［項目４］
前記符号化部は、前記予測モード選択部からグローバル動き補償を用いる旨の情報が出力されたとき、フレーム間前方向予測モードにおける動きベクトルがゼロベクトルであり、かつ、参照フレームとの差分データが実質的にゼロであるものを、グローバル動き補償を用いて符号化することを特徴とする項目１又は２に記載の画像符号化装置。
［項目５］
前記予測モード選択部は、前記フレーム間双方向予測モードで符号化されるフレームの後方参照フレームがＰフレームであった場合に、そのフレームを符号化するときの予測モードを示す情報として、Ｐフレームに代えて、グローバル動きベクトルを含むＳフレームとして符号化する旨の情報を出力することを特徴とする項目１から４のいずれかに記載の画像符号化装置。
［項目６］
前記予測モード選択部は、Ｐフレームとして符号化されるべきであった全てのフレームについて、そのフレームを符号化するときの予測モードを示す情報として、Ｐフレームに代えて、グローバル動きベクトルを含むＳフレームとして符号化する旨の情報を出力することを特徴とする項目１から４のいずれかに記載の画像符号化装置。
［項目７］
動画像を符号化する際に、前記動画像を構成するフレームを符号化するときの予測モードを示す情報を出力するステップと、
前記予測モードを示す情報に基づいて前記フレームを符号化するステップと、を含み、
前記動画像がフレーム間双方向予測モードを含んで符号化されるときには、前記出力するステップは、フレーム間双方向予測モードで符号化されるフレームの後方参照フレームを符号化するときの予測モードを示す情報として、グローバル動き補償を用いる旨の情報を出力することを特徴とする画像符号化方法。
［項目８］
動画像を符号化する際に、前記動画像を構成するフレーム毎に、フレーム内符号化モード、フレーム間一方向予測符号化モード、フレーム間双方向予測符号化モードのいずれかのモードに基づいて符号化して、前記動画像の符号化データ列を生成する画像符号化装置において、
前記動画像がフレーム間一方向予測符号化モードとフレーム間双方向予測符号化モードを含んで符号化されるときに、フレーム間一方向予測符号化モードで符号化されるフレームにおいて、当該フレームを構成する或るブロックが、予測の基になる参照フレーム中に存在する前記或るブロックと同じ位置のブロックと実質的に同一であると判断された場合、その旨を示すフラグの代わりに前記参照フレームとの間の動きベクトル情報をそのブロックの符号化データ列中に付加して符号化することを特徴とする画像符号化装置。
［項目９］
前記フレーム間一方向予測符号化モードで符号化されたフレームと前記参照フレームの間に存在するフレームをフレーム間双方向予測符号化モードにて符号化する時に、前記動きベクトル情報が付加されたブロックと同じ位置のブロックについても符号化を行い、符号化パラメータを符号化データ列中に付加することを特徴とする項目８に記載の画像符号化装置。
［項目１０］
前記フレーム間一方向予測符号化モードで符号化されたフレームは、前記フレーム間双方向予測符号化モードで符号化されるフレームの参照フレームであることを特徴とする項目８又は９に記載の画像符号化装置。
［項目１１］
前記動きベクトル情報はゼロベクトルとして符号化することを特徴とする項目８から１０のいずれかに記載の画像符号化装置。
［項目１２］
動画像を符号化する際に、前記動画像を構成するフレーム毎に、このフレームを符号化するときの符号化モードを示す情報を出力する符号化モード制御部と、
前記符号化モード制御部により出力された前記符号化モードを示す情報に基づいて前記フレームを符号化する符号化部と、を備え、
前記符号化部は、フレーム間双方向予測モードで符号化されるフレームの後方参照フレームを符号化するとき、このフレームを構成するブロック毎に、予測の基になる参照フレーム中に存在する前記ブロックと同じ位置のブロックと実質的に同一であるか否かを判断して、この実質的に同一であると判断されたブロックの数をカウントし、
前記符号化モード制御部は、フレーム間双方向予測モードで符号化されるフレームの後方参照フレームを符号化するときの符号化モードを示す情報として、前記実質的に同一であると判断されたブロックの数が所定の閾値以上であった場合、前記実質的に同一であると判断されたブロックをグローバル動き補償を用いて符号化する旨の情報を出力し、前記実質的に同一であると判断されたブロックの数が前記所定の閾値未満であった場合、前記実質的に同一であると判断されたブロックに対して前記参照フレームとの間の動きベクトル情報をそのブロックの符号化データ列中に付加して符号化する旨の情報を出力することを特徴とする画像符号化装置。
［項目１３］
動画像を符号化して符号化データ列を生成する画像符号化装置であって、
前記動画像を構成するフレームを符号化する符号化部と、
前記符号化部がフレーム間双方向予測モードにより対象フレームを符号化するときに、前記対象フレームが後方参照する後方参照フレームのあるブロックが、前記後方参照フレームが前方参照する前方参照フレームの所定ブロックのコピーであることを示すフラグを用いて符号化されている場合、前記後方参照フレームのブロックに対応する前記対象フレーム中のブロックを、前記前方参照フレームの所定ブロックのコピーとするか否かを判定する符号化方法判定部と、
前記符号化方法判定部の判定結果を示すフラグ情報を符号化データ列中に付加する付加部と、
を備えることを特徴とする画像符号化装置。
［項目１４］
前記符号化方法判定部が、前記対象フレームのブロックを前記前方参照フレームの所定ブロックのコピーとしないと判定したときに、前記符号化部は、前記前方参照フレームの所定ブロックと前記対象フレームのブロックとの差分データを符号化することを特徴とする項目１３に記載の画像符号化装置。
［項目１５］
前記符号化方法判定部は、前記対象フレームのブロックと前記前方参照フレームの所定ブロックとの差分データに基づいて判定を行うことを特徴とする項目１３又は１４に記載の画像符号化装置。
［項目１６］
前記付加部は、前記対象フレーム又は前記対象フレームのブロックの符号化データに前記フラグ情報を付加することを特徴とする項目１３から１５のいずれかに記載の画像符号化装置。
［項目１７］
前記付加部は、前記後方参照フレーム又は前記後方参照フレームのブロックの符号化データに前記フラグ情報を付加することを特徴とする項目１３から１５のいずれかに記載の画像符号化装置。
［項目１８］
前記付加部は、前記符号化データ列のシーケンスヘッダに前記フラグ情報を付加することを特徴とする項目１３から１５のいずれかに記載の画像符号化装置。
［項目１９］
動画像を符号化した符号化データ列を取得して復号する復号化部と、
前記符号化データ列中の所定位置に付加され、フレーム間双方向予測モードで符号化された対象フレームのブロックを、前記対象フレームが前方参照する前方参照フレームの所定ブロックのコピーとするか否かを示すフラグ情報を取得し、復号の方法を判定する復号化方法判定部と、を備え、
前記復号化部は、前記復号化方法判定部が前記対象フレームのブロックを前記前方参照フレームの所定ブロックのコピーとすると判定をしたときには、前記対象フレームのブロックに前記前方参照フレームの所定ブロックをコピーし、前記復号化方法判定部が前記対象フレームのブロックを前記前方参照フレームの所定ブロックのコピーとしないと判定したときには、前記対象フレームのブロックと前記前方参照フレームの所定ブロックとの差分データを復号することを特徴とする画像復号化装置。
［項目２０］
動画像を符号化して符号化データ列を生成する画像符号化方法であって、
前記動画像を構成するフレームを符号化するステップと、
前記符号化するステップがフレーム間双方向予測モードにより対象フレームを符号化するときに、前記対象フレームが後方参照する後方参照フレームのあるブロックが、前記後方参照フレームが前方参照する前方参照フレームの所定ブロックのコピーであることを示すフラグを用いて符号化されている場合、前記後方参照フレームのブロックに対応する前記対象フレーム中のブロックを、前記前方参照フレームの所定ブロックのコピーとするか否かを判定するステップと、
判定結果を示すフラグ情報を符号化データ列中に付加するステップと、
を含むことを特徴とする画像符号化方法。
［項目２１］
動画像を符号化した符号化データ列を取得して復号するステップと、
前記符号化データ列中の所定位置に付加され、フレーム間双方向予測モードで符号化された対象フレームのブロックを、前記対象フレームが前方参照する前方参照フレームの所定ブロックのコピーとするか否かを示すフラグ情報を取得し、復号の方法を判定するステップと、を含み、
前記復号するステップは、前記判定するステップにおいて前記対象フレームのブロックを前記前方参照フレームの所定ブロックのコピーとすると判定をしたときには、前記対象フレームのブロックに前記前方参照フレームの所定ブロックをコピーし、前記判定するステップにおいて前記対象フレームのブロックを前記前方参照フレームの所定ブロックのコピーとしないと判定したときには、前記対象フレームのブロックと前記前方参照フレームの所定ブロックとの差分データを復号する
ことを特徴とする画像復号化方法。
［項目２２］
動画像を符号化した符号化データ列のデータ構造であって、
前記符号化データ列の所定位置に、フレーム間双方向予測モードで符号化された第１フレームのブロックを、前記第１フレームが前方参照する第２フレームの所定ブロックのコピーとするか、前記第１フレームのブロックと前記第２フレームの所定ブロックとの差分データを復号するかを示すフラグ情報を含む
ことを特徴とするデータ構造。
【国際調査報告】
2005076629.tif 000026
2005076629.tif 000027
2005076629.tif 000028
2005076629.tif 000029
2005076629.tif 000030
2005076629.tif 000031
2005076629.tif 000032
2005076629.tif 000033