(57)【特許請求の範囲】
【請求項１】
入力される動画像データをイントラ符号化及びインター符号化によって符号化する符号化手段と、
上記イントラ符号化または上記インター符号化によって符号化される所定数のピクチャからなるグループを符号化制御の単位とし、上記動画像データにおいて先行する１つ以上の上記グループに含まれるピクチャを符号化するときには、上記符号化手段に予め決定された目標符号量に従った符号化レートとなるように第１の符号化を行わせる第１の符号化制御手段と、
上記第１の符号化時に使用した量子化パラメータを記憶する記憶手段と、
上記１つ以上のグループに後続する他のグループに含まれるピクチャを符号化するときには、上記記憶手段に記憶された量子化パラメータを用いて、上記符号化手段にピクチャ間の画質が均一となるように第２の符号化を行わせる第２の符号化制御手段とを設けたことを特徴とする画像符号化装置。
【請求項２】
上記記憶手段は、上記イントラ符号化、インター符号化に応じた別々の量子化パラメータを記憶することを特徴とする請求項１記載の画像符号化装置。
【請求項３】
上記第２の符号化制御手段の制御により上記符号化手段が上記第２の符号化を行っているときに、上記動画像データの輝度又は色度の変化の有無を上記動画像データのフレーム間の比較によって判定する判定手段をさらに設け、
上記判定手段によって輝度又は色度の変化が有ることが判定されたならば、上記第１の符号化制御手段は、上記符号化手段に上記第１の符号化を行わせるよう切り換えることを特徴とする請求項１記載の画像符号化装置。
【請求項４】
被写体を撮像して上記動画像データを得る撮像手段と、
上記撮像手段の振れを検出する検出手段とをさらに設け、
上記第２の符号化制御手段の制御により上記符号化手段が上記第２の符号化を行っているときに、上記検出手段によって上記撮像手段の振れが検出されたならば、上記第１の符号化制御手段は、上記符号化手段に上記第１の符号化を行わせるよう切り換えることを特徴とする請求項１記載の画像符号化装置。
【請求項５】
被写体を撮像して上記動画像データを得る撮像手段をさらに設け、
上記第２の符号化制御手段の制御により上記符号化手段が上記第２の符号化を行っているときに、上記撮像手段においてホワイトバランスの変化、アイリスの変化、ズームの変化のいずれかがあったならば、上記第１の符号化制御手段は、上記符号化手段に上記第１の符号化を行わせるよう切り換えることを特徴とする請求項１記載の画像符号化装置。
【請求項６】
イントラ符号化またはインター符号化によって符号化される所定数のピクチャからなるグループを符号化制御の単位とし、動画像データにおいて先行する１つ以上の上記グループに含まれるピクチャを符号化するときには、予め決定された目標符号量に従った所定の符号化レートとなるように第１の符号化を行う第１の符号化手順と、
上記第１の符号化時に使用した量子化パラメータを記憶手段に記憶する記憶手順と、
上記１つ以上のグループに後続する他のグループに含まれるピクチャを符号化するときには、上記記憶手段に記憶された量子化パラメータを用いて、ピクチャ間の画質が均一となるように第２の符号化を行う第２の符号化手順とを設けたことを特徴とする画像符号化方法。
【請求項７】
イントラ符号化またはインター符号化によって符号化される所定数のピクチャからなるグループを符号化制御の単位とし、動画像データにおいて先行する１つ以上の上記グループに含まれるピクチャを符号化するときには、予め決定された目標符号量に従った所定の符号化レートとなるように第１の符号化を行う処理と、
上記第１の符号化時に使用した量子化パラメータを記憶手段に記憶する処理と、
上記１つ以上のグループに後続する他のグループに含まれるピクチャを符号化するときには、上記記憶手段に記憶された量子化パラメータを用いて、ピクチャ間の画質が均一となるように第２の符号化を行う処理とをコンピュータに実行させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、カメラ等から入力されるディジタル動画像を符号化する場合に用いて好適な画像符号化装置、方法及びそれらに用いられるコンピュータ読み取り可能な記憶媒体に関するものである。
【０００２】
【従来の技術】
従来の技術では、画質が均一となる最適な符号量で動画像の符号化を行おうとする場合、まず、適切な符号量を求めるために仮符号化を行い、その仮符号化で見積もった符号量を次の符号化に用いる方法が行われていた。この方法によって、符号量を多く必要とするフレームには多くの符号量を供給でき、また、符号量をそれほど必要としないフレームには符号量を抑えることができる。
【０００３】
また従来、カメラからの映像をリアルタイムで符号化する場合、複数のフレームを単位として目標符号化量を設定し、符号化容量と目標符号化量をみながら次の目標符号化量を再設定し、単位となる複数フレーム内で符号量を一定レートにする方法しかなかった。
【０００４】
【発明が解決しようとする課題】
上記の仮符号化を行う方法では、二回の符号化を行うために、通常の一回の符号化に比べて二倍の時間が必要となるという問題があった。
【０００５】
また、上記目標符号量を設定する方法では、単位となる複数フレーム内で符号量を一定レートにするため、入力される画像の動きが速かったり、色の帯域が広い場合には、量子化が粗くなってしまい、このため、フレーム毎に均一でない画像となったり、また、入力される画像の動きが遅かったり、色の帯域が狭い場合には、符号量を余分に付けなければならないという問題があった。
【０００６】
本発明は、上記の問題を解決するために成されたもので、リアルタイムに画質が均一となる最適な符号量で動画像の符号化を行うことができるようにすることを目的としている。
【０００７】
【課題を解決するための手段】
上記の目的を達成するために、本発明による画像符号化装置においては、入力される動画像データをイントラ符号化及びインター符号化によって符号化する符号化手段と、上記イントラ符号化または上記インター符号化によって符号化される所定数のピクチャからなるグループを符号化制御の単位とし、上記動画像データにおいて先行する１つ以上の上記グループに含まれるピクチャを符号化するときには、上記符号化手段に予め決定された目標符号量に従った符号化レートとなるように第１の符号化を行わせる第１の符号化制御手段と、上記第１の符号化時に使用した量子化パラメータを記憶する記憶手段と、上記１つ以上のグループに後続する他のグループに含まれるピクチャを符号化するときには、上記記憶手段に記憶された量子化パラメータを用いて、上記符号化手段にピクチャ間の画質が均一となるように第２の符号化を行わせる第２の符号化制御手段とを設けている。
【０００８】
また、本発明による画像符号化方法においては、イントラ符号化またはインター符号化によって符号化される所定数のピクチャからなるグループを符号化制御の単位とし、動画像データにおいて先行する１つ以上の上記グループに含まれるピクチャを符号化するときには、予め決定された目標符号量に従った所定の符号化レートとなるように第１の符号化を行う第１の符号化手順と、上記第１の符号化時に使用した量子化パラメータを記憶手段に記憶する記憶手順と、上記１つ以上のグループに後続する他のグループに含まれるピクチャを符号化するときには、上記記憶手段に記憶された量子化パラメータを用いて、ピクチャ間の画質が均一となるように第２の符号化を行う第２の符号化手順とを設けている。
【０００９】
また、本発明による記憶媒体においては、イントラ符号化またはインター符号化によって符号化される所定数のピクチャからなるグループを符号化制御の単位とし、動画像データにおいて先行する１つ以上の上記グループに含まれるピクチャを符号化するときには、予め決定された目標符号量に従った所定の符号化レートとなるように第１の符号化を行う処理と、上記第１の符号化時に使用した量子化パラメータを記憶手段に記憶する処理と、上記１つ以上のグループに後続する他のグループに含まれるピクチャを符号化するときには、上記記憶手段に記憶された量子化パラメータを用いて、ピクチャ間の画質が均一となるように第２の符号化を行う処理とをコンピュータに実行させるためのプログラムを記憶している。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態を図面と共に説明する。
（第１の実施の形態）
図１は、本発明の第１の実施の形態による画像符号化装置を示すブロック図である。
図１において、１０１は入力端子、１０２はバッファ、１０３はスイッチ、１０４は減算器、１０５はＤＣＴ回路、１０６は量子化回路、１０７は可変長符号化回路、１０８は逆量子化回路、１０９はＩＤＣＴ回路、１１０は加算器、１１１は動き補償予測回路、１１２はスイッチ、１１３はバッファ、１１４はレート制御回路、１１５はスイッチ、１１６は量子化メモリ、１１７は出力端子である。
【００１１】
符号化には、イントラ符号化とインター符号化の二種類の符号化がある。イントラ符号化とは、フレーム内のデータのみで符号化するものであり、インター符号化とは、フレーム間予測も含めて符号化するものである。
【００１２】
フレーム符号化には、フレーム内の全てのデータをイントラ符号化したものをＩピクチャ、前フレーム間予測を含むＰピクチャ、及び前後フレーム間予測を含むＢピクチャ符号化がある。そして、Ｉピクチャから次のＩピクチャの手前のピクチャまでを１つのグループオブピクチャ（ＧＯＰ）という。
【００１３】
次に、図１の動作についてＩピクチャの符号化とＰ及びＢピクチャの符号化とに分けて説明する。
Ｉピクチャの符号化、Ｐ及びＢピクチャの符号化ともに、入力端子１０１から画像データが入力され、バッファ１０２に格納される。
【００１４】
Ｉピクチヤを符号化する場合は、スイッチ１０３はＡ側に接続される。バッファ１０２から出力された画像データは、スイッチ１０３を介してＤＣＴ回路１０５に入力され、直交変換される。直交変換された画像データは量子化回路１０６で量子化される。量子化された画像データは、逆量子化回路１０８と可変長符号化回路１０７に入力される。また、バッファ１０２から出力された画像データは動き補償予測回路１１１にも入力される。
【００１５】
上記量子化されたデータは逆量子化回路１０８で逆量子化され、ＩＤＣＴ回路１０９でＩＤＣＴされ、ＩＤＣＴされた画像データは、加算器１１０を通って動き補償回路１１１に入力される。このときスイッチ１１２はＯＦＦされている。また、動き補償予測回路１１１は、次のインター符号化のために予測画像を出力する。
【００１６】
上記量子化されたデータは、可変長符号化回路１０７に入力されて可変長符号化され、バッファ１１３に入力される。バッファ１１３内の画像データは、出力端子１１７から出力されて、例えば記録媒体に記録される。
【００１７】
Ｐ及びＢピクチャを符号化する場合は、スイッチ１０３はＢ側に接続される。バッファ１０２から出力された画像データは、スイッチ１０３を介して動き予測回路１１１からの予測画像と減算器１０４で減算される。この減算器１０４は、時間軸方向の冗長度を落とすために設けられている。減算器１０４で時間軸方向の冗長度を落とされた画像データは、ＤＣＴ回路１０５に入力されて直交変換され、直交変換された画像データは量子化回路１０６で量子化される。量子化された画像データは、逆量子化回路１０８と可変長符号化回路１０７に入力される。また、バッファ１０２から出力された画像データは、動き補償予測回路１１１にも入力される。
【００１８】
上記量子化されたデータは逆量子化回路１０８で逆量子化され、ＩＤＣＴ回路１０９でＩＤＣＴされ、ＩＤＣＴされた画像データは、スイッチ１１２がＯＦＦされると、加算器１１０を通って動き補償回路１１１に入力される。また、スイッチ１１２がＯＮされると、加算器１１０で動き補償予測回路１１１からの予測画像と加算されて復号画像となる。この復号画像は、次の画像符号化のために、動き補償予測回路１１１に入力される。動き補償予測回路１１１は、次のインター符号化のために予測画像を出力すると共に、動きベクトルを出力する。動きベクトルは可変長符号化回路１０７に入力される。
【００１９】
次に、本実施の形態の特徴である量子化の二つの方法について説明する。
まず、符号化を開始して最初のＮ（Ｎ≧１）ＧＯＰ分のデータについて説明する。
符号化開始時、スイッチ１１５はＡ側に接続されており、符号化を１ＧＯＰでおよそ一定のレートにするために、レート制御回路１１４を用いて符号化レートを制御する。
【００２０】
このレート制御では、ＧＯＰ開始時に予めＩピクチャ、Ｐピクチャ、Ｂピクチャ毎に目標符号量を決めておく。そして、符号化されたデータがバッファ１１３に入力されると、レート制御回路１１４は、バッファ１１３に入力された画像符号量を監視し、目標符号量と比較して目標符号量とあまり変わらない、又は目標符号量より少なければ、デフォルトの量子化特性で量子化を行う。
図２に上記デフォルトの量子化特性のマトリクスの一例を示すが、デフォルトの量子化特性のマトリクスは図示以外の何であってもよい。
【００２１】
また、目標符号化容量よりも多く符号化容量を使ってしまった場合は、量子化特性の値を大きくして量子化を行う。
【００２２】
量子化特性は値が小さいほど圧縮率は低く、画質劣化は少ない。また、量子化特性の値が大きいほど圧縮率は高く、画質劣化する。
【００２３】
そして、レート制御回路１１４を用いて、ＧＯＰ単位に一定レートで符号化を行っているときは、量子化回路１０６で使用した量子化特性を量子化メモリ１１６に記憶する。量子化メモリ１１６は、イントラ符号用とインター符号用の二つがあり、符号化に応じて切り換える。
【００２４】
上記ＮＧＯＰの符号化後、スイッチ１１５はＢ側に切り換えられる。各フレームの量子化は、イントラ符号化されるフレームであるか、インター符号化されるフレームであるかに応じて、量子化メモリ１１６から対応するほうの量子化特性を選んで量子化を行う。
【００２５】
上記方法により、画質に不均一感のない動画像をリアルタイムに符号化することができる。
【００２６】
（第２の実施の形態）
図３は、本発明の第２の実施の形態による画像符号化装置を示すブロック図であり、図１と対応する部分には同一番号を付して重複する説明は省略する。
図３においては、図１に画像比較回路１１８を追加した構成となっている。
【００２７】
次に動作について説明する。
入力端子１０１から入力された画像データは、バッファ１０２及び画像比較回路１１８に入力される。画像比較回路１１８は、前フレームの画像を保持しており、画像の輝度又は色度について現フレームと前フレームとを比較する。比較の結果、現フレームが前フレームとは著しく変化したフレームとなった場合は、スイッチ１１５をＡ側に切り換えて、レート制御回路１１４による制御を行う。
【００２８】
上記のように動作することにより、全く異なる画像に対しては、前フレームの量子化特性を用いることが無くなるため、画質の劣化を防ぐことができる。
【００２９】
また、本実施の形態では、前フレームとは著しく変化したフレームと判断された後のＩピクチャ及びＰピクチャ符号化の終了時に、ＮＧＯＰに達していなくても、スイッチ１０３をＡ側に接続すると共に、スイッチ１１２をＯＦＦすることにより、新しいＧＯＰにして符号化を行うようにすることもできる。
尚、符号化については、第１の実施の形態と同様のため説明を省略する。
【００３０】
（第３の実施の形態）
図４は、本発明の第３の実施の形態による画像符号化装置を示すブロック図であり、図１と対応する部分には同一番号を付して重複する説明は省略する。本実施の形態は、ビデオカメラに適用した場合である。
図４においては、図１にさらにレンズ１１９、撮像素子としてのＣＣＤ１２０、カメラ信号処理回路１２１、ジャイロ回路１２２及びＡ／Ｄ変換器１２３を追加した構成となっている。
【００３１】
次に動作について説明する。
Ｉピクチャの符号化、Ｐ及びＢピクチャの符号化ともに、レンズ１１９から入力された画像は、ＣＣＤ１２０でディジタル信号に変換され、カメラ信号処理回路１２１に入力される。カメラ信号処理回路１２１では、入力されたディジタル画像信号を用いた演算処理により補正値を決定し、画像データを出力する。
【００３２】
また、カメラ信号処理回路１２１では、ジャイロ回路１２２で検出された振れ信号をＡ／Ｄ変換器１２３でディジタル化した振れ信号を入力して、カメラがどの程度振れたかを算出する。
【００３３】
第１の実施の形態で説明した方法によれば、画質に不均一感のない動画像をリアルタイムに符号化することができるが、カメラによる撮像の場合は、カメラに大きな手振れがあったり、素早いパンニング等を行うと、画面全体が大きく変化してしまう。
【００３４】
本実施の形態では、カメラ信号処理回路１２１において、上記振れ信号により画面の大半が変化したと判断した場合、そのままでは全く異なる画像に対して前フレームの量子化特性を用いることになるため、スイッチ１１５をＡ側に切り換えて、符号化を１ＧＯＰでおよそ一定のレートにする符号化に切り換える。
【００３５】
また、本実施の形態では、振れ信号により画面の大半が変化したと判断された後のＩピクチャ及びＰピクチャ符号化の終了時、スイッチ１０３をＡ側に接続し、スイッチ１１２をＯＦＦすることにより、新しいＧＯＰにすることもできる。尚、符号化の動作については、第１の実施の形態と同様であるため説明を省略する。
【００３６】
図５は、本発明の第４の実施の形態による画像符号化装置を示すブロック図であり、図４と対応する部分には同一番号を付して重複する説明は省略する。
図５においては、図４のジャイロ回路１２２、Ａ／Ｄ変換器１２３に代えてマイコン１２４を設けたものである。
【００３７】
次に動作について説明する。
カメラ信号処理回路１２１では、第３の実施の形態と同様に、入力されたディジタル画像信号を用いた演算処理により補正値を決定し、画像データを出力する。
【００３８】
これと共に本実施の形態では、カメラ信号処理回路１２１において、マイコン１２４からの情報に基づいてホワイトバランスの変化、アイリスの変化又はズームの変化を演算する。ホワイトバランスの変化、アイリスの変化又はズームの変化があった場合は、そのままスイッチ１１５をＢ側に接続、即ち量子化メモリ１１６を用いて量子化を行っていると、全く異なる画像に対して前フレームの量子化特性を用いることになるため、スイッチ１１５をＡ側に切り換えて、符号化を１ＧＯＰでおよそ一定のレートにする符号化に切り換える。
【００３９】
また、本実施の形態では、ホワイトバランスの変化、アイリスの変化又はズームの変化があった後のＩピクチャ及びＰピクチャ符号化の終了時、スイッチ１０３をＡ側に切り換え、スイッチ１１２をＯＦＦすることにより、新しいＧＯＰにすることもできる。
尚、符号化の動作については、第１の実施の形態と同様であるため説明を省略する。
【００４０】
次に、本発明の他の実施の形態としての記憶媒体について説明する。
上記図１、図３、図４、図５に示す各実施の形態は、ハードウェアで構成することもできるが、ＣＰＵとメモリを有するコンピュータシステムで構成することもできる。コンピュータシステムで構成する場合、上記メモリは本発明による記憶媒体を構成する。この記憶媒体媒体には、上記各実施の形態で説明した動作を実行するためのプログラムが記憶される。
【００４１】
また、この記憶媒体としては、ＲＯＭ、ＲＡＭ等の半導体メモリ、光ディスク、光磁気ディスク、磁気記録媒体等を用いてよく、これらをＣＤ−ＲＯＭ、フロッピィディスク、磁気カード、磁気テープ、不揮発性メモリカード等に構成して用いてよい。
【００４２】
従って、この記憶媒体を図１、図３、図４、図５によるシステム以外の他のシステムあるいは装置で用い、そのシステムあるいはコンピュータがこの記憶媒体に格納されたプログラムコードを読み出し、実行することによっても、上記各実施の形態と同等の機能を実現できると共に、同等の効果を得ることができ、本発明の目的を達成することができる。
【００４３】
また、コンピュータ上で稼働しているＯＳ等が処理の一部又は全部を行う場合、あるいは記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された拡張機能ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づいて、上記拡張機能ボードや拡張機能ユニットに備わるＣＰＵ等が処理の一部又は全部を行う場合にも、上記各実施の形態と同等の機能を実現できると共に、同等の効果を得ることができ、本発明の目的を達成することができる。
【００４４】
【発明の効果】
以上説明したように、本発明によれば、リアルタイムに最適な符号量で画質が均一となる動画像の符号化を行うことができる。
また、従来の仮符号化う行う方法に比べて符号化を一回行うだけでよいので、処理時間を短縮することができる効果がある。
【００４５】
また、従来の目標符号量を設定する方法における、入力される画像の動きが速かったり、色の帯域が広い場合には、量子化が粗くなってしまうという問題を解決して、最適な符号量で画質が均一となる動画像の符号化を行うことができる効果がある。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態による画像符号化装置を示すブロック図である。
【図２】イントラ符号化及びインター符号化のデフォルト量子化マトリクスの一例を示す構成図である。
【図３】本発明の第２の実施の形態による画像符号化装置を示すブロック図である。
【図４】本発明の第３の実施の形態による画像符号化装置を示すブロック図である。
【図５】本発明の第４の実施の形態による画像符号化装置を示すブロック図である。
【符号の説明】
１０２  バッファ
１０３  スイッチ
１０４  減算器
１０６  量子化回路
１０７  可変長符号化回路
１０８  逆量子化回路
１０９  ＩＤＣＴ回路
１１０  加算器
１１１  動き補償予測回路
１１２  スイッチ
１１３  バッファ
１１４  レート制御回路
１１５  スイッチ
１１６  量子化回路
１１８  画像比較回路
１２０  ＣＣＤ
１２１  ジャイロ回路
１２２  Ａ／Ｄ変換器
１２４  マイコン
【図１】
0004289727.tif 000002
【図２】
0004289727.tif 000003
【図３】
0004289727.tif 000004
【図４】
0004289727.tif 000005
【図５】
0004289727.tif 000006