(57)【要約】【課題】カムコーダ等の動画像符号化装置においては、一種類の符号化方法のみを用いて符号化処理を行うため、符号化方式が苦手とする画像を撮像した場合には符号化効率が悪かったり、良好な結果が得られないことがある。【解決手段】複数種の符号化方法用いる符号化部２０３、２０４を設け、これらを画像の内容等の条件に応じて適応的に選択して用いる。【選択図】  図２
2004214740.tif 000002
【特許請求の範囲】
【請求項１】
入力される動画像を符号化する動画像符号化装置であって、
第１の符号化方式により動画像を符号化する第１の符号化手段と、
前記第１の符号化方式とは異なる第２の符号化方式により動画像を符号化する第２の符号化手段と、
前記動画像の所定数のフレームから構成されるフレーム群毎に、前記第１及び第２の符号化手段のいずれで符号化を行うかを決定する決定手段とを有し、
前記決定手段が、次に符号化を行うフレーム群における動きの程度に基づいて前記第１又は第２の符号化手段のいずれを用いて符号化すべきかを決定することを特徴とする動画像符号化装置。
【請求項２】
前記第１の符号化手段が、フレーム間の動き補償予測を行う動き補償予測手段を有し、前記決定手段が前記次に符号化を行うフレーム群に対して前記動き補償予測手段を用いて動きの程度を予測し、当該予測の結果に基づいて前記決定を行うことを特徴とする請求項１記載の動画像符号化装置。
【請求項３】
前記動き補償予測手段が、前記フレーム群を構成するフレーム間の動きベクトルの合計値を算出し、前記決定手段が、前記動きベクトルの合計値に基づいて前記決定を行うこと特徴とする請求項２記載の動画像符号化装置。
【請求項４】
前記決定手段が、前記予測の結果に基づいて、前記第１の符号化手段を用いて次のフレーム群を符号化すると決定した場合、前記第１の符号化手段が、前記決定手段が符号化手段を決定する際に行った動き補償予測の結果を流用して前記次のフレーム群の符号化処理を行うことを特徴とする請求項２又は請求項３記載の動画像符号化装置。
【請求項５】
前記動き補償予測手段が、前記フレーム群を構成するフレーム画像の縮小画像に対して動き補償予測を行うことを特徴とする請求項２乃至請求項４のいずれか１項に記載の動画像符号化装置。
【請求項６】
前記第２の符号化手段が、２次元離散ウェーブレット変換を行うウェーブレット変換手段を有し、前記決定手段が、前記ウェーブレット変換手段を用いて前記縮小画像を生成し、前記動き補償予測手段へ供給することを特徴とする請求項５記載の動画像符号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像を符号化する動画像符号化技術に関する。
【０００２】
【従来の技術】
昨今、デジタルカメラやカムコーダー（カメラ一体型ＶＴＲ）の低価格化に伴い、これらの撮像装置により動画像を撮像する機会が増えてきた。また、それに伴い、これらの撮像装置を使用するユーザーが要求するスペックは、ますます向上するばかりである。
【０００３】
これらのユーザーの要求にこたえるため、メーカーはより高性能な撮像装置の開発に取り組んでいる。特に、企業は、ユーザーに対して商品価値の高さをアピールできる撮像素子の高画素数化及び高画質化を最も重要な開発項目のひとつとしている傾向にある。
【０００４】
【発明が解決しようとする課題】
このような開発競争により、一般的なユーザーにとって、画素数及び画像品質に関しては十分満足される製品が揃ってきた。これに伴い、ユーザーの製品への要求は、画素数や画質以外の項目に移ってきている。
【０００５】
ここで述べた高画質化を決定づけるひとつの技術として、画像圧縮技術があり、この画像圧縮技術には、データの再生の互換性を目的として、標準方式がしばしば用いられる。
【０００６】
現在使用されている動画像の圧縮符号化に関する標準方式としては、MPEG1,2,4やMotion JPEG，DVといったものがあり、それぞれが長所と短所を持っている。例えば、MPEG系列(MPEG 1,2,4)の圧縮方式には、動きが少ない動画像に対する高効率な圧縮性能といった長所、処理の複雑さといった短所があり、Motion JPEG方式には、編集の容易性といった長所、動きが少ない動画像に対して、MPEG系列の圧縮方式より劣る圧縮性能といった短所がある。
【０００７】
現在、カムコーダーのように、動画像を符号化する装置においては、一種類の標準圧縮符号化方式のみを利用しているものが多くあり、このような動画像符号化装置には、その標準方式が抱える短所を解決する方法がないという問題がある。
【０００８】
本発明はこのような従来技術の問題点を解決することを目的とする。
【０００９】
【課題を解決するための手段】
この目的を達成するため、本発明による動画像符号化装置は、入力される動画像を符号化する動画像符号化装置であって、第１の符号化方式により動画像を符号化する第１の符号化手段と、第１の符号化方式とは異なる第２の符号化方式により動画像を符号化する第２の符号化手段と、動画像の所定数のフレームから構成されるフレーム群毎に、第１及び第２の符号化手段のいずれで符号化を行うかを決定する決定手段とを有し、決定手段が、次に符号化を行うフレーム群における動きの程度に基づいて第１又は第２の符号化手段のいずれを用いて符号化すべきかを決定することを特徴とする。
【００１０】
【発明の実施形態】
本発明による動画像符号化装置は、フレーム単位で入力される動画像を符号化する動画像符号化装置であって、第１の符号化方式により動画像を符号化する第１の符号化部と、第１の符号化方式とは異なる第２の符号化方式により動画像を符号化する第２の符号化部と、動画像の所定数のフレームから構成されるフレーム群毎に、第１及び第２の符号化部のいずれで符号化を行うかを決定する決定部とを有し、決定部が、次に符号化を行うフレーム群における動きの程度に基づいて第１又は第２の符号化部のいずれを用いて符号化すべきかを決定することを特徴とする。
【００１１】
このような本発明は、具体的に願書に添付する図面に示す構成及び処理において、以下の実施形態と対応して実現できる。
【００１２】
以下、添付図面を参照して、本発明をその好適な実施形態に基づき詳細に説明する。
■（第１の実施形態）
本発明に係る動画像符号化装置の処理対象となる動画像は、図１に示されているように、画像データと音声データから構成され、さらに画像データは瞬間瞬間の情報を表すフレームから構成されている。
【００１３】
また、本実施形態に係る動画像符号化装置においては、このような動画像を圧縮する方式として、非常に高効率な圧縮方式として知られるMPEG-4方式と、様々な機能を併せ持つMotion JPEG2000（以下MJ2Kと称す）方式の２つを利用するものとする。しかしながら、本発明に係る動画像符号化装置が用いる符号化方式はこれら特定の組み合わせに限定されるものではない。
【００１４】
MPEG-4は、フレーム間の差分をとりながら動画像の圧縮を行う方式で、被写体の動きが穏やかな場合には高い圧縮効果が得られる反面、被写体の動きが激しい場合には差分信号の情報量の増大を招いてしまい、フレーム間で符号化することが有用でなくなる場合がある。
【００１５】
このような場合、各フレームに対してMPEG-4におけるフレーム内圧縮を適用することで圧縮効率を上げ、画質を向上させることが可能である。さらに、このフレーム内圧縮にMJ2Kを利用することで、更なる画質の向上を望める。そこで本実施形態に係る動画像符号化装置においては、被写体の動きの激しさを逐次予測しながら、適応的にMPEG-4とMJ2Kを使いわけることを特徴とする。
【００１６】
（動画像符号化装置の全体構成）
図２は、本実施形態に係る動画像符号化装置の機能構成例を示すブロック図である。同図において、２０１は動画像データ入力部、２０７はバッファ、２０２は処理決定部、２０３はMotionJPEG2000符号化部、２０４はMPEG-4符号化部、２０５は動画像符号化データ生成部、２０６は動画像符号化データ出力部である。
【００１７】
この図２に示される動画像符号化装置の処理について、図４のフローチャートを参照して以下に説明する。なお、以下の説明では、画像データの処理の説明のみを行い、音声データの処理については省略する。これは、音声データの処理は、本発明による画像の符号化処理とは直接関係せず、また音声データの符号化処理の説明を行うことにより本発明の理解を妨げる虞があるからである。
【００１８】
動画像データ入力部２０１から、フレーム単位で入力された動画像データは、バッファ２０７に格納される（ステップＳ４０１）。なお、以下では、各フレームに対応するデータ列をフレームデータと称することにする。この動画像データ入力部２０１は、例えば動画撮影可能なデジタルスチルカメラ，カムコーダー等の撮像装置、或いはＣＣＤなどの撮像デバイス、或いはネットワーク回線のインターフェース等が用いられる。また、動画像データ入力部２０１はＲＡＭ、ＲＯＭ、ハードディスク、ＣＤ−ＲＯＭ等の記録媒体であっても良い。
【００１９】
処理決定部２０２は、バッファ２０７に格納されているフレームデータを、Ｎフレーム分（Ｎは１以上の自然数）取得する（ステップＳ４０２）。一般的にMPEG-4では、複数のフレームをGOP(Group of Picture)という単位にグループ化し、このGOP内においてフレーム間符号化が行われる。また、このGOPを構成するフレームの枚数は１２〜１５枚程度であることが多く、本実施形態においては、Ｎ＝１５と設定することにする。
【００２０】
続いて処理決定部２０２は、Ｎフレーム分のフレームデータ（フレームデータ群）をMJ2K，MPEG-4のどちらで符号化するかを決定する（ステップＳ４０３）。この決定方法については、後で説明する。
【００２１】
もし、MJ2Kで符号化することが決定された場合（ステップＳ４０４でＹｅｓ）、処理決定部２０２は、フレームデータ群をＭＪ２Ｋ符号化部２０３に送信する。もし、MPEG-4で符号化することが決定された場合（ステップＳ４０４でＮｏ）、処理決定部２０２は、フレームデータ群をＭＰＥＧ−４符号化部２０４に送信する。
【００２２】
ＭＪ２Ｋ符号化部２０３は、入力されたフレームデータ群をＭＪ２Ｋ符号化する（ステップＳ４０５）。なお、ＭＪ２Ｋ符号化の処理については後程説明する。
【００２３】
ＭＰＥＧ−４符号化部２０４は、入力されたフレームデータ群をＭＰＥＧ−４符号化する（ステップＳ４０６）。なお、ＭＰＥＧ−４符号化の処理については後程説明する。
【００２４】
また、図１７に示されているように、ＭＪ２Ｋ符号化部２０３とＭＰＥＧ−４符号化部２０４は、それぞれにフレームデータが入力されていない間、画素値が全て”0”の架空のフレームデータ（架空フレームデータ）を符号化するものとする。この架空フレームデータの符号化処理は、本実施形態に係る動画像符号化装置から生成される動画像符号化データの復号装置に対して、復号すべき符号化されたフレームデータ（フレーム符号化データ）、もしくは表示すべきフレーム符号化データを認識させるために行われる。
【００２５】
ＭＪ２Ｋ符号化部２０３とＭＰＥＧ−４符号化部２０４に入力されたフレームデータ群と、それに対応する架空フレームデータ群の処理が終ると、生成されたフレーム符号化データ群と架空フレーム符号化データ群は、動画像符号化データ生成部２０５に入力される（ステップＳ４０７）。この出力が終ると、処理決定部２０２はバッファ２０７に処理の対象となるフレームデータがあるかを判断する（ステップＳ４０８）。もし処理の対象となるフレームデータが存在するならば（ステップＳ４０８でＹｅｓ）、処理をステップＳ４０２に戻す。もし処理の対象となるフレームデータが存在しないならば（ステップＳ４０８でＮｏ）、処理をステップＳ４０９に移す。
【００２６】
ステップＳ４０９では、動画像符号化データ生成部２０５により、複数のフレーム符号化データ群と複数の架空フレーム符号化データ群から、動画像符号化データが生成される。この動画像符号化データの生成方法は、ＭＪ２ＫのファイルフォーマットもしくはＭＰＥＧ−４のファイルフォーマットに従うものとする。なお、ＭＪ２Ｋのファイルフォーマット並びにＭＰＥＧ−４のファイルフォーマットは、QuickTime（登録商標）フォーマットを基にして設計されたものであり、複数の異なる符号化方式により生成された動画像符号化データを格納することを許している。従って、ＭＪ２Ｋ及びＭＰＥＧ−４フォーマットのファイルに、本実施形態で説明したような、異なる符号化方法で符号化された動画像符号化データを格納することは可能である。
【００２７】
動画像符号化データ生成部２０５で生成された動画像符号化データは、動画像符号化データ出力部２０６に入力され、さらに、該動画像符号化データは動画像符号化データ出力部２０６から外部に出力される。
【００２８】
■＜符号化方式の決定方法＞
続いて、処理決定部２０２における、符号化方式の決定方法について説明する。
本実施形態においては、GOPを構成するフレーム（フレーム群）における動きの激しさに基づいて符号化方式の決定を行う。そこで、この動きの激しさを測定するため、後述するように、ＭＰＥＧ−４符号化部２０４が有する動き補償器（ＭＣ）１０６を利用する。
【００２９】
すなわち、ステップＳ４０２で取得したＮ枚分のフレームデータを、例えば処理決定部２０２内のバッファメモリを用いることにより、連続する２フレーム分ずつＭＰＥＧ−４符号化部２０４の動き補償器１０６へ順次供給し、これらＮ枚分のフレームデータについての動きベクトルの大きさの和ＭＶＳを検出し、その値に応じて符号化方法を決定する。
【００３０】
具体的には、動き補償器１０６で測定された動きベクトルの大きさの和ＭＶＳが、ある一定の閾値ＴＨより以上である場合、処理決定部２０２ＭＪ２Ｋ符号化部２０３の利用を決定する。逆に、動き補償器１０６で測定された動きベクトルの大きさの和ＭＶＳが、ある一定の閾値ＴＨより小さい場合、処理決定部２０２はＭＰＥＧ−４符号化部２０４の利用を決定する。
【００３１】
■＜ＭＪ２Ｋの符号化方法＞
次に、ＭＪ２Ｋ符号化部２０３の構成例を示すブロック図である図３と、当該処理部の処理を示す図５のフローチャートを用いて、MotionJPEG2000方式によるフレームデータの符号化処理を説明する。なお、ヘッダの作成方法等、詳細についてはＩＳＯ／ＩＥＣ勧告書を参照されたい。
【００３２】
本実施形態においては、８ビットのモノクロフレームデータを符号化する場合について説明する。しかしながら、以下に説明する方法は、各画素４ビット、１０ビット、１２ビット等、８ビット／画素以外のビット数で表されるモノクロ画像や、各画素における各色成分（ＲＧＢ／Ｌａｂ／ＹＣｒＣｂ）を８ビットで表現するカラーの多値フレームデータに適用することも可能である。また、画像を構成する各画素の状態等を表す多値情報である場合、例えば各画素の色を表す多値のインデックス値である場合にも適用できる。これらに応用する場合には、各種類の多値情報を後述するモノクロフレームデータとすればよい。
【００３３】
まず、処理決定部２０２から、フレームデータ入力部３０１へ、符号化対象となるフレームデータを構成する画素データがラスタースキャン順に入力され、タイル分割部３０２に出力される。
【００３４】
タイル分割部３０２は、フレームデータ入力部３０１から入力される１枚の画像をｊ枚のタイルに分割し（ステップＳ５０１）、各タイルを識別するためにラスタースキャン順にタイルナンバーi=0, 1, 2, ...,j-1を割り振るものとする。なお、本実施形態では、図１６に示されているように、画像を横８，縦６に分割し、４８枚のタイルを作り出すものとする（すなわち、ｊ＝４８）。
【００３５】
ここで、各タイルを表すデータをタイルデータと呼ぶことにする。これら生成されたタイルデータは、順に離散ウェーブレット変換部３０３に送られる。なお、離散ウェーブレット変換部３０３以降の処理において、タイルは独立に符号化されるものとする。また、ここで、当該フレームデータ符号化部３０１が処理しているタイルを認識するための不図示のカウンタが０に設定される（ステップＳ５０２）。
【００３６】
離散ウェーブレット変換部３０３は、タイル分割部３０２から入力される、１つの静止画像（フレーム）中の１つのタイルデータx(n)における複数の画素（参照画素）のデータ（参照画素データ）を用いて離散ウェーブレット変換を行う（ステップＳ５０３）。
【００３７】
以下に、離散ウェーブレット変換後のフレームデータ（離散ウェーブレット変換係数）を示す。
Y(2n) = X(2n)+floor{ (Y(2n-1)+Y(2n+1)+2)/4 }
Y(2n+1) = X(2n+1)-floor{ (X(2n)+X(2n+2))/2 }
【００３８】
Y(2n),Y(2n+1)は離散ウェーブレット変換係数列であり、Y(2n)は低周波サブバンド、Y(2n+1)は高周波サブバンドである。また、上式においてfloor{X}はXを超えない最大の整数値を表す。この離散ウェーブレット変換を模式的に表わしたのが図６である。
【００３９】
本変換式は一次元のデータに対するものであるが、この変換を水平方向、垂直方向の順に適用して二次元の変換を行うことにより、図７（ａ）の様なＬＬ，ＨＬ，ＬＨ，ＨＨの４つのサブバンドに分割することができる。ここで、Ｌは低周波サブバンド、Ｈは高周波サブバンドを示している。次にＬＬサブバンドを、同じ様に４つのサブバンドに分け（図７（ｂ））、その中のＬＬサブバンドをまた４サブバンドに分ける（図７（ｃ））。この操作により合計１０サブバンドが生成される。そして、１０個のサブバンドそれぞれに対して、図７（ｃ）の様にＨＨ１，ＨＬ１，…と呼ぶことにする。ここで、各サブバンドの名称における数字を、それぞれのサブバンドのレベルとする。つまり、レベル１のサブバンドは、ＨＬ１，ＨＨ１，ＬＨ１、レベル２のサブバンドは、ＨＬ２，ＨＨ２，ＬＨ２である。なおＬＬサブバンドは、レベル０のサブバンドとする。ＬＬサブバンドは１つしかないので数字を付けない。またレベル０からレベルｎまでのサブバンドを復号することで得られる復号画像を、レベルｎの復号画像と呼ぶ。復号画像は、そのレベルが高い程解像度は高い。
【００４０】
１０個のサブバンドの変換係数は、一旦バッファ３０４に格納され、ＬＬ，ＨＬ１，ＬＨ１，ＨＨ１，ＨＬ２，ＬＨ２，ＨＨ２，ＨＬ３，ＬＨ３，ＨＨ３の順に、つまり、レベルが低いサブバンドからレベルが高いサブバンドの順に、係数量子化部３０５へ出力される。
【００４１】
係数量子化部３０５では、バッファ３０４から出力される各サブバンドの変換係数を各周波数成分毎に定めた量子化ステップで量子化し、量子化後の値（係数量子化値）をエントロピー符号化部３０６へ出力する（ステップＳ５０４）。係数値をX、この係数の属する周波数成分に対する量子化ステップの値をqとするとき、量子化後の係数値Q(X)は次式によって求めるものとする。
Q(X)=floor{(X/q)+0.5}
【００４２】
本実施形態における各周波数成分と量子化ステップとの対応を図８に示す。同図に示す様に、よりレベルが高いサブバンドの方に、大きい量子化ステップを与えている。なお、図８に示すような各サブバンド毎の量子化ステップは予め不図示のＲＡＭやＲＯＭなどのメモリに格納されているものとする。そして、一つのサブバンドにおける全ての変換係数を量子化した後、それら係数量子化値をエントロピー符号化部３０６へ出力する。
【００４３】
エントロピー符号化部３０６では、入力された係数量子化値がエントロピー符号化される（ステップＳ５０５）。ここでは、まず、図９に示されているように、入力された係数量子化値の集まりである各サブバンドが、矩形（コードブロックと呼ぶ）に分割される。なお、このコードブロックの大きさには、２ｍ×２ｎ（ｍ、ｎは２以上の整数）等が設定される。さらにこのコードブロックは、図１０に示されているように、ビットプレーンに分割される。その上で、図１１に示されているように、あるビットプレーンにおける各ビットは、ある分類規則に基づいて３種類に分けられて、同じ種類のビットを集めたコーディングパスが３種類生成される。入力された係数量子化値は、ここで得られたコーディングパスを単位として、エントロピー符号化である二値算術符号化が行われ、エントロピー符号化値が生成される。
【００４４】
なお、ここでエントロピー符号化の具体的な処理順序は、１つのコードブロックに注目すると上位ビットプレーンから下位ビットプレーンの順に符号化され、その１コードブロックのあるビットプレーンに注目すると、図１１に示す３種類のパスを上から順に符号化する様になっている。
エントロピー符号化されたコーディングパスは、タイル符号化データ生成部３０７に出力される。
【００４５】
タイル符号化データ生成部３０７では、入力された複数のコーディングパスから、単一もしくは複数のレイヤが構成され、それらレイヤをデータの単位としてタイル符号化データが生成される（ステップＳ５０６）。以下にレイヤの構成に関する説明を行う。
【００４６】
当該処理部は、図１２に示されているように、複数のサブバンドにおける複数のコードブロックから、エントロピー符号化されたコーディングパスを集めた上で、レイヤを構成する。図１２では、５枚のレイヤが生成された場合を示している。なお、図１３に示されているように、あるコードブロックからコーディングパスを取得する際、常に該コードブロックにおいて最上位に存在するコーディングパスが選ばれる。
【００４７】
その後、タイル符号化データ生成部３０７は、図１４に示されているように、生成したレイヤを、上位に位置するレイヤから順に並べた上で、その先頭にタイルヘッダを付加してタイル符号化データを生成する。このヘッダには、タイルを識別する情報や、当該タイル符号化データの符号長や、圧縮に使用した様々なパラメータ等が格納される。このように生成されたタイル符号化データは、フレーム符号化データ生成部３０８に出力される。
【００４８】
ここで、符号化すべきタイルデータが残っている場合は、処理をステップＳ５０３に戻し、符号化すべきタイルデータが残っていない場合は、処理をステップＳ５０８に進める（ステップＳ５０７）。
【００４９】
フレーム符号化データ生成部３０８では、図１５に示されているように、タイル符号化データを所定の順番で並べた上で、先頭にヘッダを付加してフレーム符号化データを生成する（ステップＳ５０８）。このヘッダには、入力画像やタイルの縦横のサイズ、圧縮に使用した様々なパラメータ，フレーム符号化データの符号長等が格納される。このように生成されたフレーム符号化データは、フレーム符号化データ出力部３０９から動画像符号化データ生成部２０５に出力される。以上が本実施形態における、ＭＪ２Ｋ符号化部２０３によるフレームデータの符号化方法である。
【００５０】
■＜ＭＰＥＧ−４の符号化方法＞
図１８は、本実施形態に係る動画像符号化装置におけるＭＰＥＧ−４符号化部２０４の構成例を示すブロック図である。本実施形態では、ＭＰＥＧ−４符号化方式において、空間スケーラビリティの機能を有し、その拡張レイヤ６００１に対してＤＣＴ係数を符号化したハフマンコードの符号ビットを反転することでスクランブルを施す場合について説明する。尚、ＭＰＥＧ−４符号化方式の詳細についてはＩＳＯ／ＩＥＣ勧告書を参照されたい。
【００５１】
図１８において、１００はフレームメモリ（ＦＭ）で、１フレーム分の入力画像データを格納し、符号化単位であるマクロブロックとして出力する。ここでマクロブロックは、輝度が１６×１６画素、色差Ｃｂ、Ｃｒとも８×８画素であり、輝度は４ブロック、色差は各１ブロックとなる。１０１はＤＣＴ器（Ｔ）で、８×８画素（ブロック）単位の２次元の離散コサイン変換（ＤＣＴ、Discrete Cosign Transform）を行って、入力されたマクロブロックをブロック毎に順次変換してＤＣＴ係数を出力する。
【００５２】
１０２は量子化器（Ｑ）で、ブロック毎のＤＣＴ係数に対して順次量子化を行って、その量子化代表値を出力する。１０３は逆量子化器（ＩＱ）で、量子化された量子化代表値をＤＣＴ係数として出力する。１０４は逆ＤＣＴ器（ＩＴ）で、逆量子化されたＤＣＴ係数を元の画像データに変換する。１０５は局部復号画像を格納するフレームメモリ（ＦＭ）である。１０６は動き補償器（ＭＣ）で、フレームメモリ１００からの入力画像データと、フレームメモリ１０５、及び後述するアップサンプリング器（ＵＳ）３０１からの局部復号画像データを入力し、マクロブロック毎に動きベクトルの検出を行って予測画像を出力する。
１０７は可変長符号化器（ＶＬＣ）で、量子化代表値に対してハフマン符号化を行ってハフマンコードを出力する。
【００５３】
次に図１８におけるレイヤ間の構成について説明する。
３００はダウンサンプリング器（ＤＳ）で、入力画像をダウンサンプリングする。本実施形態では、このダウンサンプリング器３００におけるダウンサンプリングレートを“１／２”とする。アップサンプリング器３０１は、後述する基本レイヤフレームメモリ２０５の局部復号画像をアップサンプリングする。本実施形態では、このアップサンプリング器３０１におけるアップサンプリングレートを“２”とする。３０２は多重化器（ＭＵＸ）で、空間スケーラビリティにおける拡張レイヤ６００１と基本レイヤ６０００のビットストリームを多重化している。
【００５４】
次に、図１８の基本レイヤ６０００の構成について説明する。
基本レイヤ６０００では、入力をダウンサンプリング器３００の出力としている点を除けば、同名の各機能ブロックは、前述の拡張レイヤ６００１と同様である。２００はフレームメモリ（ＦＭ）で、入力画像１フレーム分を格納し、符号化単位であるマクロブロックとして出力する。２０１はＤＣＴ器（Ｔ）で、８×８画素（ブロック）単位の２次元の離散コサイン変換を行う。２０２は量子化器（Ｑ）で、ブロック毎に量子化を行って量子化代表値を出力している。
【００５５】
２０３は逆量子化器（ＩＱ）で、量子化代表値をＤＣＴ係数として出力する。２０４は逆ＤＣＴ器（ＩＴ）で、ＤＣＴ係数に対して逆ＤＣＴを実行して画像データに変換している。２０５はフレームメモリ（ＦＭ）で、局部復号画像を格納している。２０６は動き補償器（ＭＣ）で、フレームメモリ２００からの入力画像と、フレームメモリ２０５からの局部復号画像とを入力し、マクロブロック毎に動きベクトルの検出を行って予測画像を出力する。２０７は可変長符号化器（ＶＬＣ）で、量子化器２０２から出力される量子化代表値に対してハフマン符号化を行ってハフマンコードを出力する。２０８は多重化器（ＭＵＸ）で、可変長符号化器２０７からのハフマンコードを多重化してビットストリームとして出力する。
【００５６】
以下、上部拡張レイヤ６００１の動作から順に説明する。
以降、本実施形態では、フレーム内符号化をＩ−ＶＯＰ(Video Object Plane)符号化モード、１つの予測画像から予測するフレーム間予測符号化をＰ−ＶＯＰ符号化モード、２つの予測画像から予測するフレーム間予測符号化をＢ−ＶＯＰ符号化モードとする。
【００５７】
フレームメモリ１００は、処理決定部２０２からのフレームデータを符号化単位であるマクロブロックに変換して出力する。そして、フレームメモリ１００から出力されたマクロブロック画像データから、減算器１０８により動き補償器１０６からの予測画像データが減算され、予測誤差画像データとしてＤＣＴ器１０１に入力される。ＤＣＴ器１０１は、入力されたマクロブロックの予測誤差を、各ブロック毎にＤＣＴ係数に変換する。量子化器１０２は、このＤＣＴ係数をブロック毎に所望の量子化代表値として出力する。
【００５８】
この量子化代表値は、逆量子化器１０３、逆ＤＣＴ器１０４を介し予測誤差画像データとして復号される。この予測誤差画像データは、加算器１０９により、動き補償器１０６からの予測画像データと加算された後、フレームメモリ１０５へ局部復号画像データとして格納される。なお、この動き補償器１０６は、外部から指定されたフレーム毎の符号化モード１に応じて予測を行って予測画像データを出力するものとする。
また量子化代表値を入力する可変長符号化器１０７は、その量子化代表値をハフマン符号化してハフマンコードを出力する。
【００５９】
次に、基本レイヤ６０００の動作について説明する。
処理決定部２０２からのフレームデータは、ダウンサンプリング器３００によりダウンサンプルされ、フレームメモリ２００へ入力されて記憶される。ＤＣＴ器２０１、量子化器２０２、逆量子化器２０３、逆ＤＣＴ器２０４、フレームメモリ２０５、フレーム単位の符号化モード２を入力する動き補償器２０６、及び可変長符号化器２０７は、前述の拡張レイヤ６００１における対応する部分と同様に動作する。また多重化器２０８は、可変長符号化器２０７の出力を多重化する。
【００６０】
次に、これら基本レイヤ６０００と拡張レイヤ６００１との間の動作についてアップサンプリング器３０１を含めて説明する。
図１９は、本実施形態において、空間スケーラビリティによる基本レイヤ６０００と拡張レイヤ６００１との各ＶＯＰの関係を説明する図である。
【００６１】
入力画像の先頭フレームでは、まずダウンサンプリング器３００で入力画像データをダウンサンプリングした後、基本レイヤにてＩ−ＶＯＰ（フレーム内）符号化を行い、フレームメモリ２０５に局部復号画像を格納する。
【００６２】
また拡張レイヤ６００１は、フレームメモリ２０５の画像をアップサンプリング器３０１でアップサンプリングした後、このアップサンプリング器３０１の出力を参照画像として動き補償器１０６に入力し、Ｐ−ＶＯＰ（１つの予測画像から予測するフレーム間予測）符号化する。
【００６３】
次に２番目の第２フレームは、基本レイヤ６０００にて、第１フレームの符号化時にフレームメモリ２０５に格納された局部復号画像を参照してＰ−ＶＯＰ符号化される。一方、拡張レイヤ６００１では、第１フレームの符号化時にフレームメモリ１０５に格納された局部復号画像と、フレームメモリ２０５の画像データをアップサンプリング器３０１でアップサンプリングしたデータとを動き補償器１０６に入力し、Ｂ−ＶＯＰ（２つの予測画像から予測するフレーム間予測）符号化する。
【００６４】
第３フレームも第２フレームと同様に行い、これ以降はこれら３つのフレーム分の動作を繰り返す。尚、図１９において、「Ｉ」はＩ−ＶＯＰ（フレーム内）符号化を、「Ｐ」はＰ−ＶＯＰ符号化を、そして「Ｂ」はＢ−ＶＯＰ符号化をそれぞれ示す。
【００６５】
図２０は本実施形態に係るＭＰＥＧ−４符号化部２０４における画像の符号化処理を説明するフローチャートである。
まず、図２０の符号化処理を説明する。この処理は１フレームの画像データが入力されることにより開始され、まずステップＳ１で、フレーム数をカウントするカウンタｆrと、カウンタｎの値を共に“０”にセットする。尚、これらカウンタは、前述の図１８において、動き補償器１０６及び２０６へ符号化モード１，２信号が入力される場合には必要ない。
【００６６】
次にステップＳ２に進み、フレームカウンタｆrを＋１する。そしてステップＳ３で、フレームカウンタｆrの値が「３ｎ＋１」かどうか、即ち、図１９のフレーム番号が“１”、“４”、“７”…“３ｎ＋１”かどうかを調べ、そうであった場合はステップＳ４でｎを＋１し、次いでステップＳ１０で基本レイヤであるか否かを調べる。そして、基本レイヤの場合はステップＳ５に、拡張レイヤの場合はステップＳ６に進む。ステップＳ５では、フレーム内符号化(I-VOP)を実行する。ステップＳ６では、参照すべき基本レイヤについてステップＳ５で符号化された符号をもとに１つの予測画像から予測するフレーム間予測符号化(P-VOP)を実行する。
【００６７】
ステップＳ５，Ｓ６で符号化されたフレームの画像データは、ステップＳ７で多重化されて出力ビットストリームとして出力される。そして処理をステップＳ２へ戻す。
【００６８】
一方ステップＳ３で、フレームカウンタｆrの値が「３ｎ＋１」でない、即ち、基本レイヤにおいてフレーム間予測符号化されるフレームの時は、ステップＳ１１で基本レイヤであるか否かを調べる。そして、基本レイヤの場合にはステップＳ８で１つの予測画像から予測するフレーム間予測符号化(P-VOP)を実行してステップＳ７に進む。一方、拡張レイヤの場合には、ステップＳ９において、２つの予測画像から予測するフレーム間予測符号化(B-VOP)を実行する。ステップＳ７で、基本レイヤにおいて符号化されたコードと多重化して出力される。そして、処理をステップＳ２へ戻す。以上が本実施形態におけるＭＰＥＧ−４符号化部２０４によるフレームデータの符号化方法である。
【００６９】
以上、本実施形態に係る動画像符号化装置では、所定フレーム数単位で被写体の動きの激しさを予測し、この予測結果に基づいて当該フレームを適切に符号化可能な方式を選択する。これにより、画像データの内容に応じて最適な符号化方法を利用することができ、符号化の効率の向上を達成できる。
【００７０】
■（第２の実施形態）
第１の実施形態においては、ＭＰＥＧ−４符号化部２０４中の動き補償器１０６を利用し、符号化を行うＮ枚分のフレームデータ単位で動きの激しさを予測し、その結果に基づいて符号化方式の選択を行う方法を示した。
【００７１】
この動き補償器１０６の処理量は一般的に大きい。従って、符号化方法の決定のためにステップＳ４０３で行った動き予測の結果は、一時的に動き補償器１０６の内部に保管しておき、結果的に当該フレーム群についてＭＰＥＧ−４符号化方式が選択された場合には、保管しておいた予測結果を流用することで、同じフレームデータに対して再度予測処理を行うことなく、第１の実施形態における処理の軽減を達成できる。
【００７２】
■（第３の実施形態）
第２の実施形態においては、ステップＳ４０３の符号化方法決定の際に行った動き補償予測の結果を、同じフレーム群の符号化方法としてＭＰＥＧ−４符号化が選択された場合、実際の符号化時に流用する方法を示した。これにより、第１の実施形態と比較して、処理の軽減が達成された。
【００７３】
もし、ある動画像データの符号化において、ＭＪ２Ｋで符号化するフレーム群が多かった場合、動き補償予測の結果を流用する機会は少なく、第２の実施形態において得られる処理軽減効果はそれほど得られない。
【００７４】
そこで本実施形態では、符号化方法の決定時に行う動き補償予測処理自体の処理負荷を軽減することを特徴とする。具体的には、ステップＳ４０３においてフレームの縮小画像に対して動き補償予測を実施する。これにより、第１、２の実施形態と比較して、処理量の軽減を達成する。
【００７５】
図２１は、本実施形態における動画像符号化装置の機能構成例を示すブロック図である。処理決定部２０２を処理決定部２１０１に置き換えたことを除き、第１の実施形態の動画像符号化装置と同一の構成を有する。
【００７６】
また図２２は、処理決定部２１０１の構成例を示すブロック図であり、３０３はＭＪ２Ｋ符号化部２０３における離散ウェーブレット変換部であり、２２０１はバッファ、１０６はＭＰＥＧ−４符号化部２０４における動き補償器である。
【００７７】
これらの図面を用いて、本実施形態における符号化方式決定処理（図４、ステップＳ４０３に相当）を以下に説明する。なお、図４で説明した第１の実施形態の手順における他の処理は本実施形態においても同一であるため、説明を省略する。
【００７８】
まず、処理決定部２１０１に入力されたフレームデータは、離散ウェーブレット変換部２０３とバッファ２２０１に入力される。
離散ウェーブレット変換部３０３は、入力されたフレームデータを離散ウェーブレット変換し、得られたＬＬサブバンドを動き補償器１０６に入力する。
【００７９】
動き補償器１０６は、Ｎ枚のフレームデータのＬＬサブバンドに対して、第１の実施形態と同様にして動きの激しさを評価し、使用する符号化部を決定する。さらに、この決定に基づいて、動き補償器１０６は、選択された符号化方式に対応する符号化部に、Ｎ枚のフレームデータを出力する。
【００８０】
以上、本実施形態では、動きの激しさを評価するために処理するフレームデータとして、縮小画像を用いることにより、第１，２の実施形態と比較して、処理量の軽減を達成することが可能となる。
【００８１】
なお、画像を縮小する方法については、離散ウェーブレット変換に限定されず、他の任意の方法を用いることが可能であるが、符号化部が有する構成を流用して実施可能な縮小方法であることが好ましい。
【００８２】
■（第４の実施形態）
第１〜３の実施形態における動画像符号化装置においては、フレーム群毎に自動的に符号化方法を決定しており、その決定を変更することはできなかった。しかしながら、符号化効率以外の観点から符号化方法を選択すべき場合も存在する。例えば、非可逆な圧縮符号化方法を用いることにより発生する劣化がない状態で記録することが望まれる場合には、効率が悪くてもロスレス符号化を用いることが必要である。
【００８３】
例えば、上述の実施形態で説明した動画像符号化装置が利用可能な符号化方式のうち、ＭＰＥＧ−４符号化方式は非可逆な圧縮符号化方式であり、一方ＭＪ２Ｋ符号化方式はロスレス符号化が可能である。従って、動き補償予測の結果でＭＰＥＧ−４符号化方式を利用した方がよいと判断される場合であっても、符号化による劣化が望まれない場合には、ＭＪ２Ｋで符号化する必要が生じる。
そこで本実施形態では、ロスレス符号化の指示が与えられた場合、強制的にＭＪ２Ｋでフレームデータを符号化することを可能としたことを特徴とする。
【００８４】
図２３は本実施形態における動画像符号化装置の機能構成例を示すブロック図である。これは、第１の実施形態の動画像符号化装置における処理決定部２０２にロスレス符号化指示部２３０１を付加し、さらに、ＭＪ２Ｋ符号化部２０３をＭＪ２Ｋ符号化部２３０２に置き換えたものである。
【００８５】
また図２４は本実施形態におけるＭＪ２Ｋ符号化部２３０２のブロック図であり、これは、第１の実施形態におけるＭＪ２Ｋ符号化部２０３の係数量子化部３０５がバイパス可能となったものである。
【００８６】
これらの図面を用いて、以下に本実施形態における動画像符号化装置の動作を示す。
ロスレス符号化指示部２３０１は例えば動画像符号化装置に設けられた、ユーザが操作可能なキーやボタンである。そして、ロスレス符号化指示部２３０１から処理決定部２０２にロスレス符号化の指示が出されると、処理決定部２０２は動き補償予測の結果とは無関係に、次に符号化処理を行うフレームデータ群をＭＪ２Ｋ符号化部２３０２に出力する。また、同時にロスレス符号化を行うようＭＪ２Ｋ符号化部２３０２に指示する。ＭＪ２Ｋ符号化部２３０２は、ロスレス符号化の指示を受けたこれらのフレームデータ群について、係数量子化部３０５をバイパスすることでロスレス符号化を達成する。
【００８７】
このように、本実施形態に係る動画像符号化装置は、ロスレス符号化が指示された場合、強制的にロスレス符号化に対応した符号化方法を選択する。これにより、不可逆な圧縮符号化方法に起因する劣化が望ましくない映像を記録する際など、ユーザの意志によりロスレス符号化を選択することが可能になる。もちろん、ロスレス符号化指示部２３０１は、ユーザが操作可能な手段に限定されず、他の何らかの条件に従ってロスレス符号化を処理決定部２０２に指示する任意の構成を用いることができる。
【００８８】
■（第５の実施形態）
第１〜３の実施形態における動画像符号化装置での撮像中、任意のフレーム中の一部領域を高画質に撮像することが望まれることも考えられる。例えば、被撮像者が視野の中央付近でメッセージを話す場合は、画面中央部分を高画質に撮像することが望まれるであろう。
【００８９】
このような場合において、フレーム中の所定の領域（ＲＯＩ:Region of Interest）を高画質に符号化すること（ＲＯＩ符号化）が可能な符号化方式を選択可能に使用している場合には、ＲＯＩ符号化の指示に応答してその符号化方式を選択するように構成することが好ましい。
【００９０】
本実施形態に係る動画像符号化装置は、このような観点に基づき、ＲＯＩ符号化が指示された場合には動き補償予測の結果とは無関係に、該当するフレームデータ群をＭＪ２Ｋ符号化方式で符号化することを特徴とする。
【００９１】
図２５は本実施形態における動画像符号化装置の機能構成例を示すブロック図である。これは、第１の実施形態の動画像符号化装置における処理決定部２０２にＲＯＩ符号化指示部２５０１を付加し、さらに、ＭＪ２Ｋ符号化部２０３をＭＪ２Ｋ符号化部２５０２に置き換えたものである。
【００９２】
また図２６はＭＪ２Ｋ符号化部２５０２のブロック図であり、これは、第１の実施形態におけるＭＪ２Ｋ符号化部２０３にシフトアップ部２６０１を追加したものである。
【００９３】
これらの図面を用いて、以下に本実施形態における動画像符号化装置の動作を示す。
ＲＯＩ符号化指示部２５０１は例えば動画像符号化装置に設けられたタッチパネル付きＬＣＤであり、ユーザがペン等によりＲＯＩを指定する。あるいは、画面上に表示されるカーソルをキーで操作して任意の領域をＲＯＩとして指定する等、任意の領域指定方法を採用することが可能である。そして、ＲＯＩ符号化指示部２５０１から処理決定部２０２にＲＯＩ符号化の指示が出されると、処理決定部２０２は動き補償予測の結果とは無関係に、次に符号化処理を行うフレームデータ群をＭＪ２Ｋ符号化部２５０２に出力する。また、同時にＲＯＩ符号化を行うようＭＪ２Ｋ符号化部２５０２に指示する。
【００９４】
ＭＪ２Ｋ符号化部２５０２は、ＲＯＩ符号化の指示を受けたこれらのフレームデータ群について、係数量子化部３０５における処理の後、シフトアップ部２６０１に出力する。
シフトアップ部２６０１は、次式に基づき係数量子化値を変更する。
Q'' = Q * 2^B; （Q:ＲＯＩ内の画素から得られた係数量子化値の絶対値）
Q' = Q      ; （Q:上記以外の係数量子化値の絶対値）
ここで、Ｂはサブバンド毎に与えられるものであり、注目サブバンドにおいて、各Q'はいかなるQ''よりも大きくなるように設定される。つまり、Q'の元の係数量子化値を構成するビットと、Q''の元の係数量子化値を構成するビットが、同じ桁に存在することのないように、ビットのシフトアップがなされるのである。
【００９５】
以上の処理により、シフトアップ部２６０１において指定された空間領域に属する係数量子化値のみがBビット上方にシフトアップされる。
【００９６】
図２７（ａ）は各サブバンドにおけるＲＯＩと非ＲＯＩを示していて、図２７（ｂ）および（ｃ）はシフトアップによる係数量子化値の変化を示したものである。図２７（ｂ）において、３つのサブバンドに各々３個の係数量子化値が存在しており、網かけされた係数量子化値がＲＯＩを構成している係数量子化値である。シフトアップ部２６０１によるシフトアップ後、これら係数量子化値は図２７（ｃ）のようになる。
【００９７】
このようなシフトアップ処理が行われた係数量子化値は、エントロピー符号化部３０６へ出力され、その後は第１の実施形態と同様に処理される。
【００９８】
このように、本実施形態に係る動画像符号化装置は、ＲＯＩ符号化が指示された場合、強制的にＲＯＩ符号化に対応した符号化方法を選択する（いずれの符号化もＲＯＩ符号化に対応している場合には、任意の条件に基づいて一方の符号化方法を選択する）。これにより、ユーザが特に高画質で符号化することを希望する領域について、適切な符号化を行うことができる。
【００９９】
もちろん、ＲＯＩ符号化指示部２５０１は、ユーザが操作可能な手段に限定されず、画像処理や他の処理によって検出した物体が含まれる領域や、ある固定領域等をＲＯＩとして自動選択するような任意の構成を用いることができる。
【０１００】
【他の実施形態】
上述の実施形態に係る動画像符号化装置は、２つの標準符号化方式を選択的に利用するものとして説明したが、３つ以上の符号化部を有し、３つ以上の標準符号化方式を切り換えながら使用するように構成しても良い。
【０１０１】
また、上述の実施形態においては、２つの標準符号化方式としてＭＪ２ＫとＭＰＥＧ−４を選択的に利用するものとして説明したが、本発明に係る動画像符号化装置が選択利用する符号化方式はこれら２つの方式に限られるわけではない。例えば、MotionJPEG，DV,MPEG-1,2符号化方式等、他の標準符号化方式から選択された符号化方式を一方又は全部に用いることができる。
【０１０２】
符号化方式を切り換える基準は、圧縮効率，ロスレス機能の利用，ROI機能の利用に限られない。
【０１０３】
第４及び第５の実施形態において、通常撮像時は符号化効率を基に方式を切り換え、ロスレス符号化やＲＯＩ符号化の指示があった場合に、それに適した符号化方式を強制的に選択する動画像符号化装置を示した。しかし、本発明はこれらの実現形態に限られない。例えば、通常時は、常にＭＰＥＧ−４符号化を用いて符号化しておき、ロスレス符号化やＲＯＩ符号化の利用があった場合に、ＭＪ２Ｋ符号化を強制的に利用することも可能である。
【０１０４】
本発明では、ある時刻において、２つのフレーム符号化データのうち、有効なフレーム符号化データを示すために、非有効なフレーム符号化データの画素値を全“０”とする方法を示した。しかし、有効なフレーム符号化データを示すために、各フレーム符号化データのヘッダ内に有効／非有効の情報を埋め込んでもよい。
【０１０５】
なお、上述の実施形態においては、１つの機器から構成される動画像符号化装置についてのみ説明したが、同等の機能を複数の機器から構成されるシステムによって実現しても良い。
【０１０６】
尚、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態で説明したフローチャートに対応したプログラム）を、記録媒体から直接、或いは有線／無線通信を用いて当該プログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを実行することによって同等の機能が達成される場合も本発明に含む。
【０１０７】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
【０１０８】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【０１０９】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【０１１０】
有線／無線通信を用いたプログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイル等、クライアントコンピュータ上で本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムデータファイル）を記憶し、接続のあったクライアントコンピュータにプログラムデータファイルをダウンロードする方法などが挙げられる。この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに配置することも可能である。
【０１１１】
つまり、本発明の機能処理をコンピュータで実現するためのプログラムデータファイルを複数のユーザに対してダウンロードさせるサーバ装置も本発明に含む。
【０１１２】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件を満たしたユーザに対して暗号化を解く鍵情報を、例えばインターネットを介してホームページからダウンロードさせることによって供給し、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１１３】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【０１１４】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【０１１５】
【発明の効果】
以上説明したように、本発明によれば、動画像の符号化装置に異なる符号化方式を用いる符号化部を設け、適応的に切り替えながら利用することで、様々な条件に対応して適切な符号化結果を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明による動画像符号化装置が対象とする動画像データの例を示す図である。
【図２】本発明の第１の実施形態における動画像符号化装置の機能構成例を示すブロック図である。
【図３】本発明の第１の実施形態におけるMotionJPEG2000符号化部２０３の概略構成例を示すブロック図である。
【図４】本発明の第１の実施形態における動画像符号化装置が行う動画像符号化処理を説明するフローチャートである。
【図５】本発明の第１の実施形態におけるMotionJPEG2000符号化部２０３が行う動画像符号化処理を説明するフローチャートである。
【図６】１次元離散ウェーブレット変換を説明する図である。
【図７】２次元離散ウェーブレット変換を説明する図である。
【図８】量子化ステップを説明する図である。
【図９】コードブロック分割を説明する図である。
【図１０】ビットプレーン分割を説明する図である。
【図１１】コーディングパスを説明する図である。
【図１２】レイヤ生成を説明する図である。
【図１３】レイヤ生成を説明する図である。
【図１４】タイル符号化データの構成の説明図である。
【図１５】フレーム符号化データの構成の説明図である。
【図１６】タイル分割を説明する図である。
【図１７】選択された符号化部と、選択されなかった符号化部の処理の関係を説明する図である。
【図１８】本発明の第１の実施形態におけるMPEG-4符号化部２０３の概略構成例を示すブロック図である。
【図１９】基本レイヤと拡張レイヤとの各VOPの関係を示す図である。
【図２０】本発明の第１の実施形態におけるMPEG-4符号化部２０３の符号化処理を説明するフローチャートである。
【図２１】本発明の第３の実施形態における動画像符号化装置の機能構成例を示すブロック図である。
【図２２】本発明の第３の実施形態における処理選択部２１０１の概略構成例を示すブロック図である。
【図２３】本発明の第４の実施形態における動画像符号化装置の機能構成例を示すブロック図である。
【図２４】本発明の第４の実施形態におけるMotionJPEG2000符号化部２３０２の概略構成例を示すブロック図である。
【図２５】本発明の第５の実施形態における動画像符号化装置の機能構成例を示すブロック図である。
【図２６】本発明の第５の実施形態におけるMotionJPEG2000符号化部２５０２の概略構成例を示すブロック図である。
【図２７】ＲＯＩを説明する図である。
【図１】
2004214740.tif 000003
【図２】
2004214740.tif 000004
【図３】
2004214740.tif 000005
【図４】
2004214740.tif 000006
【図５】
2004214740.tif 000007
【図６】
2004214740.tif 000008
【図７】
2004214740.tif 000009
【図８】
2004214740.tif 000010
【図９】
2004214740.tif 000011
【図１０】
2004214740.tif 000012
【図１１】
2004214740.tif 000013
【図１２】
2004214740.tif 000014
【図１３】
2004214740.tif 000015
【図１４】
2004214740.tif 000016
【図１５】
2004214740.tif 000017
【図１６】
2004214740.tif 000018
【図１７】
2004214740.tif 000019
【図１８】
2004214740.tif 000020
【図１９】
2004214740.tif 000021
【図２０】
2004214740.tif 000022
【図２１】
2004214740.tif 000023
【図２２】
2004214740.tif 000024
【図２３】
2004214740.tif 000025
【図２４】
2004214740.tif 000026
【図２５】
2004214740.tif 000027
【図２６】
2004214740.tif 000028
【図２７】
2004214740.tif 000029