(57)【要約】【課題】  本発明は、符号化装置、撮像装置、撮像素子の集積回路、復号化装置及び画像データの処理方法に関し、例えば動画による撮像結果を記録するビデオカメラ、電子スチルカメラ、監視装置等に適用して、ＣＭＯＳ固体撮像素子等のＸＹアドレス制御による撮像素子に好適に、簡易かつ効率良く符号化処理することができるようにする。【解決手段】  本発明は、１画素以下の精度により動き補償して画像データを符号化する際に、画像データの解像度Ｄに応じて内挿処理に供するフィルタのタップ数を切り換える。【選択図】        図１
2006050471.tif 000002
【特許請求の範囲】
【請求項１】
所定画素数によるブロック単位で１画素以下の精度により動き補償して、画像データを符号化処理する符号化手段と、
前記ブロック毎に、前記画像データの解像度を判定し、該判定結果に基づいて、解像度の低い前記ブロックで、前記動き補償に係る内挿処理用フィルタのタップ数を低減するフィルタ切り換え手段と
を備えることを特徴とする符号化装置。
【請求項２】
前記フィルタ切り換え手段は、
前記画像データを直交変換処理して、前記ブロックにおける各周波数成分の係数データを出力する直交変換処理手段と、
前記係数データと所定のしきい値との比較により、前記ブロックの解像度を判定する判定手段とを有する
ことを特徴とする請求項１に記載の符号化装置。
【請求項３】
前記直交変換がアダマール変換である
ことを特徴とする請求項２に記載の符号化装置。
【請求項４】
前記フィルタ切り換え手段は、
前記ブロックを分割した小ブロックによる周波数解析結果を集計して、前記ブロックの解像度を判定する
ことを特徴とする請求項１に記載の符号化装置。
【請求項５】
前記フィルタ切り換え手段は、
前記画像データのアクティビティーを検出するアクティビティー検出手段と、
前記アクティビティーと所定のしきい値との比較により、前記ブロックの解像度を判定する判定手段とを有する
ことを特徴とする請求項１に記載の符号化装置。
【請求項６】
前記フィルタ切り換え手段は、
前記符号化処理による出力データの目標ビットレートに応じて、前記しきい値を切り換える
ことを特徴とする請求項２に記載の符号化装置。
【請求項７】
前記フィルタ切り換え手段は、
前記符号化処理による出力データの目標ビットレートに応じて、前記しきい値を切り換える
ことを特徴とする請求項５に記載の符号化装置。
【請求項８】
前記符号化手段は、
前記内挿処理用フィルタのタップ数の切り換えにより隣接ブロックとタップ数が異なるようになった場合に限って、前記内挿処理用フィルタのタップ数を特定するデータを前記符号化処理による出力データに設定する
ことを特徴とする請求項１に記載の符号化装置。
【請求項９】
撮像結果を出力する撮像手段と、
所定画素数によるブロック単位で１画素以下の精度により動き補償して、前記撮像結果による画像データを符号化処理する符号化手段と、
前記ブロック毎に、前記画像データの解像度を判定し、該判定結果に基づいて、解像度の低い前記ブロックで、前記動き補償に係る内挿処理用フィルタのタップ数を低減するフィルタ切り換え手段と
を備えることを特徴とする撮像装置。
【請求項１０】
前記フィルタ切り換え手段は、
前記画像データを直交変換処理して、前記ブロックにおける各周波数成分の係数データを出力する直交変換処理手段と、
前記係数データと所定のしきい値との比較により、前記ブロックの解像度を判定する判定手段とを有する
ことを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記直交変換がアダマール変換である
ことを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記フィルタ切り換え手段は、
前記ブロックを分割した小ブロックによる周波数解析結果を集計して、前記ブロックの解像度を判定する
ことを特徴とする請求項１０に記載の撮像装置。
【請求項１３】
前記フィルタ切り換え手段は、
前記画像データのアクティビティーを検出するアクティビティー検出手段と、
前記アクティビティーと所定のしきい値との比較により、前記ブロックの解像度を判定する判定手段とを有する
ことを特徴とする請求項９に記載の撮像装置。
【請求項１４】
前記フィルタ切り換え手段は、
前記符号化処理による出力データの目標ビットレートに応じて、前記しきい値を切り換える
ことを特徴とする請求項１０に記載の撮像装置。
【請求項１５】
前記フィルタ切り換え手段は、
前記符号化処理による出力データの目標ビットレートに応じて、前記しきい値を切り換える
ことを特徴とする請求項１３に記載の撮像装置。
【請求項１６】
前記符号化手段は、
前記内挿処理用フィルタのタップ数の切り換えにより隣接ブロックとタップ数が異なるようになった場合に限って、前記内挿処理用フィルタのタップ数を特定するデータを前記符号化処理による出力データに設定する
ことを特徴とする請求項９に記載の撮像装置。
【請求項１７】
前記撮像手段は、
ＸＹアドレス制御による固体撮像素子である
ことを特徴とする請求項９に記載の撮像装置。
【請求項１８】
撮像結果を出力する撮像素子と、前記撮像結果をデータ圧縮するデータ圧縮回路とが一体に集積回路化され、
前記データ圧縮回路は、
所定画素数によるブロック単位で１画素以下の精度により動き補償して、前記撮像結果による画像データを符号化処理する符号化手段と、
前記ブロック毎に、前記画像データの解像度を判定し、該判定結果に基づいて、解像度の低い前記ブロックで、前記動き補償に係る内挿処理用フィルタのタップ数を低減するフィルタ切り換え手段と
を備えることを特徴とする撮像素子の集積回路。
【請求項１９】
所定の符号化装置より出力された符号化データより画像データを復号する復号化装置において、
前記符号化装置は、
所定画素数によるブロック単位で１画素以下の精度により動き補償して、画像データを符号化処理し、
前記ブロック毎に、前記画像データの解像度を判定し、該判定結果に基づいて、解像度の低い前記ブロックで、前記動き補償に係る内挿処理用フィルタのタップ数を低減し、
前記内挿処理用フィルタのタップ数の切り換えにより隣接ブロックとタップ数が異なるようになった場合に限って、前記内挿処理用フィルタのタップ数を特定するデータを前記符号化データに設定し、
前記復号化装置は、
復号した前記画像データを用いた動き補償用フィルタによる内挿処理により、前記復号した画像データを参照画像に設定して１画素以下の精度により動き補償して前記符号化データを復号化処理し、
前記符号化データに設定された前記内挿処理用フィルタのタップ数を特定するデータにより、前記動き補償用フィルタのタップ数を設定し、
前記符号化データに前記内挿処理用フィルタのタップ数を特定するデータが設定されていない前記ブロックについては、隣接ブロックの処理に供した前記内挿処理用フィルタのタップ数に、前記動き補償用フィルタのタップ数を設定する
ことを特徴とする復号化装置。
【請求項２０】
所定画素数によるブロック単位で１画素以下の精度により動き補償して、画像データを符号化処理する符号化処理のステップと、
前記ブロック毎に、前記画像データの解像度を判定し、該判定結果に基づいて、解像度の低い前記ブロックで、前記動き補償に係る内挿処理用フィルタのタップ数を低減するフィルタ切り換えのステップと
を備えることを特徴とする画像データの処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化装置、撮像装置、撮像素子の集積回路、復号化装置及び画像データの処理方法に関し、例えば動画による撮像結果を記録するビデオカメラ、電子スチルカメラ、監視装置等に適用することができる。本発明は、１画素以下の精度により動き補償して画像データを符号化する際に、画像データの解像度に応じて内挿処理に供するフィルタのタップ数を切り換えることにより、ＣＭＯＳ固体撮像素子等のＸＹアドレス制御による撮像素子に好適に、簡易かつ効率良く符号化処理することができるようにする。
【背景技術】
【０００２】
近年、放送局、一般家庭等に係る動画の伝送、記録においては、画像データの冗長性を有効に利用して効率良く画像データを伝送、蓄積する装置が普及しつつあり、このような装置は、例えばＭＰＥＧ（Moving Picture Experts Group）等の方式に準拠して、離散コサイン変換等の直交変換と動き補償とにより画像データをデータ圧縮するようになされている。
【０００３】
ここでこのような方式の１つであるＭＰＥＧ２（ISO/IEC 13818-2 ）は、汎用の画像符号化方式として定義された方式であり、飛び越し走査方式、順次走査方式の双方に対応できるように、また標準解像度画像、高精細画像の双方に対応できるように定義され、これらにより現在、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに広く用いられるようになされている。具体的にＭＰＥＧ２によれば、例えば７２０×４８０画素による標準解像度、飛び越し走査方式の画像データを４〜８〔Ｍｂｐｓ〕のビットレートにデータ圧縮して、また１９２０×１０８８画素による高解像度、飛び越し走査方式の画像データを１８〜２２〔Ｍｂｐｓ〕のビットレートにデータ圧縮して、高画質で高い圧縮率を確保することができるようになされている。
【０００４】
しかしながらＭＰＥＧ２は、放送用に適合した高画質符号化方式であり、ＭＰＥＧ１より符号量の少ない高圧縮率の符号化方式には対応していない。これに対して近年の携帯端末の普及により、このようなＭＰＥＧ１より符号量の少ない高圧縮率の符号化方式のニーズの高まりが予測される。このためＭＰＥＧ４による符号化方式の規格が、ＩＳＯ／ＩＥＣ（International 0rganization for Standardization／International Electrotechnical Commission ）１４４９６−２により１９９８年１２月に国際標準に承認された。
【０００５】
またこのような方式にあっては、当初はテレビ会議用の画像符号化を目的としたものであったＨ２６Ｌ（ITU-T Q6/16 VCEG）の規格化が進み、ＭＰＥＧ２、ＭＰＥＧ４に比して演算量が増大するものの、ＭＰＥＧ２、ＭＰＥＧ４に比して高い符号化効率を確保できるようになされ、またＭＰＥＧ４の活動の一環として、このＨ２６Ｌをベースにして各種機能を取り入れ、さらに一段と高い符号化効率を確保する符号化方式の標準化が、Joint Model of Enhanced-Compression Video Codingとして進められ、これらの方式にあっては、２００３年３月に、Ｈ２６４及びＭＰＥＧ−４  Ｐａｒｔ１０（ＡＶＣ：Advanced Video Coding ）との名称により国際標準に設定された。
【０００６】
ここで図７は、このＡＶＣに基づく符号化装置を示すブロック図である。この符号化装置１は、複数のイントラ予測モードと複数のインター予測モードとから最適な予測モードを選択し、この選択した予測モードによる予測値を画像データから減算して差分データを生成し、この差分データを直交変換処理、量子化処理、可変長符号化処理することにより、この画像データをイントラ符号化、インター符号化により符号化処理する。
【０００７】
すなわちこの符号化装置１において、アナログディジタル変換回路（Ａ／Ｄ）２は、ビデオ信号Ｓ１をアナログディジタル変換処理して画像データＤ１を出力する。画面並べ替えバッファ３は、このアナログディジタル変換回路２から出力される画像データＤ１を入力し、この符号化装置１の符号化処理に係るＧＯＰ（Group of Pictures ）構造に応じて、この画像データＤ１のフレームを並べ替えて出力する。
【０００８】
減算器４は、この画面並べ替えバッファ３から出力される画像データＤ１を受け、イントラ符号化においては、イントラ予測回路５で生成される予測値との差分データＤ２を生成して出力するのに対し、インター符号化においては、動き予測・補償回路６で生成される予測値との差分データＤ２を生成して出力する。直交変換回路７は、減算器４の出力データＤ２を入力し、離散コサイン変換、カルーネン・レーベ変換等の直交変換処理を実行し、その処理結果による変換係数データＤ３を出力する。
【０００９】
量子化回路８は、レート制御回路９のレート制御による量子化スケールにより、この変換係数データＤ３を量子化して出力し、可逆符号化回路１０は、この量子化回路８の出力データを可変長符号化、算術符号化等により可逆符号化処理して出力する。また可逆符号化回路１０は、イントラ符号化に係るイントラ予測モードに関する情報、インター符号化に係る動きベクトルに関する情報等をイントラ予測回路５、動き予測・補償回路６から取得し、これらの情報を出力データＤ４のヘッダ情報に設定して出力する。
【００１０】
蓄積バッファ１１は、この可逆符号化回路１０の出力データＤ４を蓄積して続く伝送路の伝送速度により出力する。レート制御回路９は、この蓄積バッファ１１の空き容量の監視により符号化処理による発生符号量を監視すると共に、この監視結果により量子化回路８における量子化スケールを切り換え、これによりこの符号化装置１による発生符号量を制御する。
【００１１】
逆量子化回路１３は、量子化回路８の出力データを逆量子化処理し、これにより量子化回路８の入力データを再生する。逆直交変換回路１４は、逆量子化回路１３の出力データを逆直交変換処理し、これにより直交変換回路７の入力データを再生する。デブロックフィルタ１５は、この逆直交変換回路１４の出力データよりブロック歪を除去して出力する。フレームメモリ１６は、このデブロックフィルタ１５の出力データに、適宜、イントラ予測回路５又は動き予測・補償回路６により生成される予測値を加算して参照画像情報として記録する。
【００１２】
しかして動き予測・補償回路６は、インター符号化において、このフレームメモリ１６に保持された参照画像情報による予測フレームより画像並べ替えバッファ３から出力される画像データの動きベクトルを検出し、またこの検出した動きベクトルによりフレームメモリ１６に保持した参照画像情報を動き補償して予測画像情報を生成し、この予測画像情報による予測値を減算器４に出力する。
【００１３】
イントラ予測回路５は、イントラ符号化において、フレームメモリ１６に蓄積された参照画像情報に基づいてイントラ予測モードを判定し、この判定結果により参照画像情報から予測画像情報の予測値を生成して減算器４に出力する。
【００１４】
これらによりこの符号化方式においては、インター符号化とイントラ符号化とでそれぞれインター予測に係る動き補償による差分データＤ２とイントラ予測による差分データＤ２とを生成し、これらの差分データＤ２を直交変換処理、量子化処理、可変長符号化処理して伝送するようになされている。
【００１５】
図８は、このようにして符号化処理されてなる符号化データＤ４を復号化処理する復号化装置を示すブロック図である。この復号化装置２０において、蓄積バッファ２１は、伝送路を介して入力される符号化データＤ４を一時蓄積して出力し、可逆復号化回路２２は、この蓄積バッファ２１の出力データを可変長復号化、算術復号化等により復号化処理し、符号化装置１における可逆符号化回路１０の入力データを再生する。またこのときこの出力データがイントラ符号化されたものである場合、ヘッダに格納されたイントラ予測モードの情報を復号化してイントラ予測回路２３に伝送するのに対し、この出力データがインター符号化されたものである場合、ヘッダに格納された動きベクトルに関する情報を復号して動き予測・補償回路２４へ転送する。
【００１６】
逆量子化回路２５は、可逆復号化回路２２の出力データを逆量子化処理し、これにより符号化装置１の量子化回路８に入力される変換係数データＤ３を再生する。逆直交変換回路２６は、この逆量子化回路２５から出力される変換係数データを受け、４次の逆直交変換処理を実行し、これにより符号化装置１の直交変換回路７に入力される差分データＤ２を再生する。
【００１７】
加算器２７は、逆直交変換回路２６から出力される差分データＤ２を受け、イントラ符号化において、イントラ予測回路２３で生成される予測画像による予測値を加算して出力するのに対し、インター符号化において、動き予測・補償回路２４から出力される予測画像による予測値を加算して出力する。これにより加算器２７は、符号化装置１における減算器４の入力データを再生する。
【００１８】
デブロックフィルタ２８は、この加算器２７の出力データよりブロック歪を除去して出力し、画面並べ替えバッファ２９は、このデブロックフィルタ２８から出力される画像データのフレームをＧＯＰ構造に応じて並べ替えて出力する。ディジタルアナログ変換回路（Ｄ／Ａ）３０は、この画面並べ替えバッファ２９の出力データをディジタルアナログ変換処理して出力する。
【００１９】
フレームメモリ３１は、デブロックフィルタ２８の出力データを参照画像情報として記録して保持する。動き予測・補償回路２４は、インター符号化において、可逆復号化回路２２から通知される動きベクトルの情報によりフレームメモリ３１に保持された参照画像情報を動き補償して予測画像による予測値を生成し、この予測値を加算器２７に出力する。またイントラ予測回路２３は、イントラ符号化において、可逆復号化回路２２から通知されるイントラ予測モードによりフレームメモリ３１に保持された参照画像情報より予測画像による予測値を生成し、この予測値を加算器２７に出力する。
【００２０】
しかしてこのような符号化処理に係るイントラ符号化においては、イントラ４×４予測モードとイントラ１６×１６予測モードとが用意されるようになされている。ここでＡＶＣでは４×４画素のブロック単位で差分データＤ２を直交変換処理するようになされており、イントラ４×４予測モードは、この直交変換処理のブロック単位で、イントラ予測に係る予測値を生成するモードである。これに対して１６×１６予測モードは、この直交変換処理のブロックの複数個を単位にしてイントラ予測に係る予測値を生成するモードであり、この複数個が水平方向及び垂直方向にそれぞれ２個に設定されるようになされている。
【００２１】
これらイントラ４×４予測モード及び１６×１６予測モードは、さらにそれぞれ各種モードによる予測モードが設けられるようになされている。これらにより符号化装置１のイントラ予測回路５においては、Ｉピクチャー、Ｐピクチャー、Ｂピクチャーにおいて、画面並べ替えバッファ３より出力される画像データＤ１を入力してフレームメモリ１６に保持した参照画像情報によりいわゆるイントラ予測して最適な予測モードを選択する。またこの選択した予測モードによりイントラ符号化する場合、この選択した予測モードによる予測値を参照画像情報より生成して減算器４に出力し、またこの予測モードを可逆符号化回路１０に通知して符号化データＤ４と共に伝送するようになされている。これに対して復号化装置２０のイントラ予測回路２３においては、この符号化データＤ４と共に伝送された予測モードの情報により予測値を計算して加算器２７に出力するようになされている。
【００２２】
これに対してインター符号化においては、Multiple Reference Frames により、図９に示すように、処理対象のフレームＯｒｇに対して、複数の参照フレームＲｅｆの何れかを選択して動き補償できるようになされ、これにより直前のフレームにおいて動き補償のブロックに対応する部位が隠れている場合、さらにはフラッシュ等により直前のフレームで一時的に全体の画素値が変動した場合等にあっても、高い精度により動き補償してデータ圧縮効率を高めることができるようになされている。
【００２３】
また動き補償に係るブロックにおいては、図１０（Ａ１）に示すように、１６画素×１６画素によるブロックを基準にして動き補償するようになされているものの、variable MCBlock Size によりtree-structured motion compensation がサポートされており、これにより図１０（Ａ２）〜（Ａ４）に示すように、１６画素×１６画素によるブロックを水平方向及び又は垂直方向に２分割して、１６画素×８画素、８画素×１６画素、８画素×８画素によるサブマクロブロックによりそれぞれ独立に動きベクトル、参照フレームを設定して動き補償できるようになされている。また８画素×８画素によるサブマクロブロックについては、図１０（Ｂ１）〜（Ｂ４）に示すように、８画素×８画素、８画素×４画素、４画素×８画素、４画素×４画素によるサブマクロブロックにさらに分割して、それぞれ独立に動きベクトル、参照フレームを設定して動き補償できるようになされている。なお以下において、この動き補償に係る最も大きさの大きな１６画素×１６画素による基本のブロックをマクロブロックと呼ぶ。
【００２４】
また動き補償においては、６タップのＦＩＲフィルタを用いて１／４画素精度により動き補償できるようになされている。これにより図１１において、符号Ａにより１画素精度の画素値、符号ｂ〜ｄにより１／２画素精度の画素値、符号ｅ１〜ｅ３により１／４画素精度の画素値を示すように、この場合、始めに、６タップのＦＩＲフィルタの各タップ入力を値１、−５、２０、２０、−５、１により重み付けして次式の演算処理を実行することにより、水平方向又は垂直方向の連続する画素間に１／２画素精度による画素値ｂ又はｄを計算するようになされている。
【００２５】
【数１】
2006050471.tif 000003
【００２６】
またこのようにして計算した１／２画素精度による画素値ｂ又はｄを用いて、６タップのＦＩＲフィルタの各タップ入力を値１、−５、２０、２０、−５、１により重み付けして次式の演算処理を実行することにより、水平方向及び垂直方向の連続する画素間の１／２画素精度による画素値ｃを計算するようになされている。
【００２７】
【数２】
2006050471.tif 000004
【００２８】
またこのようにして計算した１／２画素精度により画素値ｂ〜ｄを用いて、直線補間による次式の演算処理を実行することにより、１／４画素精度による画素値ｅ１〜ｅ３を計算するようになされている。なおこの（１）式及び（２）式の重み付け加算に係る正規化の処理においては、垂直方向及び水平方向の全ての補間処理が完了して実行される。
【００２９】
【数３】
2006050471.tif 000005
【００３０】
これらにより符号化装置１における動き予測・補償回路６は、Ｐピクチャー及びＢピクチャーにおいて、フレームメモリ１６に保持された参照画像情報による符号化処理のレベル及びプロファイルにより定義される複数の予測フレームを用いて、マクロブロック、各サブマクロブロックにより１／４画素精度による動きベクトルを検出し、最も予測誤差の少ない参照フレーム、ブロックによる動きベクトルを検出する。またこのようにして検出した参照フレーム、ブロックによりフレームメモリ１６に保持した参照画像情報を動き補償していわゆるインター予測の処理を実行する。またこのインター予測によりインター符号化処理する場合、動き補償による画素値を予測値として減算器４に出力すると共に、これら参照フレーム、ブロック、動きベクトルを可逆符号化回路１０に通知して符号化データＤ４と共に伝送するようになされている。これに対して復号化装置２０の動き予測・補償回路２４においては、この符号化データＤ４と共に伝送された参照フレーム、ブロック、動きベクトルによりフレームメモリ１６に保持した参照画像情報を動き補償して予測値を生成し、この予測値を加算器２７に出力するようになされている。しかして符号化装置１において、Ｐピクチャー及びＢピクチャーにおいては、例えばイントラ予測回路５によるイントラ予測結果、動き予測・補償回路６によるインター予測結果に基づいてイントラ符号化、インター符号化を選択するようになされ、イントラ予測回路５、動き予測・補償回路６は、この選択結果によりそれぞれイントラ予測、インター予測による予測値を出力するようになされている。
【００３１】
このような符号化装置は、撮像素子による撮像結果のデータ圧縮等に使用され、このような撮像素子においては、従来からのＣＣＤ（Charge Coupled Device ）固体撮像素子に代えて、近年、ＣＭＯＳ固体撮像素子の使用が増大するようになされている。
【００３２】
ここで図１２に示すように、ＣＣＤ固体撮像素子４１においては、フォトダイオードによる各画素４２に保持された蓄積電荷を垂直転送レジスタ４３に転送し、この垂直転送レジスタ４３に転送した蓄積電荷を水平転送レジスタ４４に順次転送しながら水平転送レジスタ４４により順次転送して出力する。これによりＣＣＤ固体撮像素子においては、通常、ラスタ走査の順序により撮像結果を出力するようになされている。これに対して図１３に示すように、ＣＭＯＳ固体撮像素子４６は、垂直走査回路４７及び水平走査回路４８によるＸ−Ｙアドレス制御により、フォトダイオードによる各画素４９に保持された蓄積電荷を出力するようになされており、これにより各画素４９の撮像結果を高速度で読み出すことができ、また読み出しの順序等にあっても高い自由度を確保することができるようになされている。またＣＭＯＳ固体撮像素子４６は、低消費電力がＣＣＤ固体撮像素子の１／５程度と低く、さらに周辺回路と一体化が容易な特徴がある。
【００３３】
なお図１４は、ＣＣＤ固体撮像素子４１の処理系を示すブロック図であり、ＣＣＤ固体撮像素子４１では、各画素４２の撮像結果である蓄積電荷を垂直レジスタ（Ｖレジ）４３、水平レジスタ（Ｈレジ）４４により順次転送してフローティングディフュージョンアンプ（ＦＤＡ）５１に入力し、ここで蓄積電荷量に応じた出力電圧を生成する。ＣＣＤ固体撮像素子４１の処理系は、このフローティングディフュージョンアンプ５１の出力信号を相関二重サンプリング回路（ＣＤＳ）５２により相関二重サンプリング処理した後、プログラマブルゲインアンプ（ＰＧＡ）５３により信号レベルを補正し、アナログディジタル変換回路（ＡＤＣ）５４により画像データに変換するようになされている。
【００３４】
また図１５は、ＣＭＯＳ固体撮像素子４６の処理系を示すブロック図である。ＣＭＯＳ固体撮像素子４６では、各画素４９による蓄積電荷を各画素４９に設けられたフローティングディフュージョンアンプ（ＦＤＡ）５６により出力電圧に変換し、この出力電圧を行毎にまとめてカラムＣＤＳブロック（カラムＣＤＳ）５７により相関二重サンプリング処理して出力する。ＣＭＯＳ固体撮像素子４６の処理系は、このカラムＣＤＳブロック５７の出力信号をプログラマブルゲートアレー（ＰＧＡ）５８により処理した後、アナログディジタル変換回路（ＡＤＣ）５９により画像データに変換するようになされている。
【００３５】
また図１６は、ＣＣＤ固体撮像素子４１による具体的なシステムの構成を示すブロック図であり、ＣＣＤ固体撮像素子４１は、動作基準の各種タイミング信号を生成するタイミングジェネレータ（ＴＧ）６１と、このタイミングジェネレータ６１によるタイミング信号からＣＣＤ固体撮像素子４１の駆動に供する各種駆動信号を生成する垂直駆動回路６２、水平駆動回路６３による駆動回路６４とが１つのチップにより形成される。また相関二重サンプリング回路（ＣＤＳ）５２、プログラマブルゲインアンプ（ＰＧＡ）５３、アナログディジタル変換回路（ＡＤＣ）５４によるアナログフロントエンド（ＡＦＥ）６５が１チップにより形成され、このアナログフロントエンド６５から出力される画像データをディジタルシグナルプロセッサ（ＤＳＰ）６６により処理するようになされている。これらのうち駆動回路６４とアナログフロントエンド６５とは、通常、１つのパッケージに一体に形成され、これによりＣＣＤ固体撮像素子４１によるシステムは、通常、３パッケージによる４チップにより形成されるようになされている。なお駆動回路６４とアナログフロントエンド６５とは、スタック２ｉｎ１パッケージ技術により一体に作成される場合もある。
【００３６】
また図１７は、ＣＭＯＳ固体撮像素子４６による具体的なシステムの構成を示すブロック図であり、ＣＭＯＳ固体撮像素子４６は、画素４９をマトリックス状に配置して画素部６７が形成され、垂直走査回路４７、水平走査回路４８、カラムＣＤＳブロック５７、プログラマブルゲートアレー５８、アナログディジタル変換回路５９の動作を制御ロジック６８により制御するようにして、これらの回路ブロックが一体に集積回路化して形成される。またこの集積回路から出力される画像データをディジタルシグナルプロセッサ（ＤＳＰ）６９により処理するようになされ、これらによりこの図１７の例では、２チップにより構成されるようになされている。なおＣＭＯＳ固体撮像素子４６によるシステムでは、プログラマブルゲートアレー５８、アナログディジタル変換回路５９を別チップとした３チップにより構成される場合もある。
【００３７】
このようなＣＭＯＳ固体撮像素子については、例えば特開２００４−３１７８５号公報等に、周辺回路と一体化する構成の工夫が提案されるようになされている。
【００３８】
ところでＣＭＯＳ固体撮像素子を用いる場合にあっても、当然に、ＣＣＤ固体撮像素子を用いる場合と同様に、ＡＶＣ等により符号化処理して、高画質により効率良く画像データを符号化処理することができる。
【００３９】
しかしながらＣＭＯＳ固体撮像素子においては、ＣＣＤ固体撮像素子とは異なる種々の特徴を有しており、これによりＣＭＯＳ固体撮像素子の特徴を有効に利用することができれば、一段と簡易かつ効率良く画像データを処理することができると考えられる。特に、ＣＭＯＳ固体撮像素子は、ＸＹアドレス制御による撮像素子であり、各画素の撮像結果を高い自由度により読み出すことができることにより、この特徴を有効に利用可能に画像データを処理するようにすれば、ＣＭＯＳ固体撮像素子等のＸＹアドレス制御による撮像素子に好適であって、簡易かつ効率良く符号化処理することができる構成を提供することができると考えられる。
【特許文献１】特開２００４−３１７８５号公報
【発明の開示】
【発明が解決しようとする課題】
【００４０】
本発明は以上の点を考慮してなされたもので、ＣＭＯＳ固体撮像素子等のＸＹアドレス制御による撮像素子に好適であって、簡易かつ効率良く符号化処理することができる符号化装置、撮像装置、撮像素子の集積回路、復号化装置及び画像データの処理方法を提案しようとするものである。
【課題を解決するための手段】
【００４１】
かかる課題を解決するため請求項１の発明においては、符号化装置に適用して、所定画素数によるブロック単位で１画素以下の精度により動き補償して、画像データを符号化処理する符号化手段と、ブロック毎に、画像データの解像度を判定し、該判定結果に基づいて、解像度の低いブロックで、動き補償に係る内挿処理用フィルタのタップ数を低減するフィルタ切り換え手段とを備えるようにする。
【００４２】
また請求項９の発明においては、撮像装置に適用して、撮像結果を出力する撮像手段と、所定画素数によるブロック単位で１画素以下の精度により動き補償して、撮像結果による画像データを符号化処理する符号化手段と、ブロック毎に、画像データの解像度を判定し、該判定結果に基づいて、解像度の低いブロックで、動き補償に係る内挿処理用フィルタのタップ数を低減するフィルタ切り換え手段とを備えるようにする。
【００４３】
また請求項１８の発明においては、撮像素子の集積回路に適用して、撮像結果を出力する撮像素子と、撮像結果をデータ圧縮するデータ圧縮回路とが一体に集積回路化され、データ圧縮回路は、所定画素数によるブロック単位で１画素以下の精度により動き補償して、撮像結果による画像データを符号化処理する符号化手段と、ブロック毎に、画像データの解像度を判定し、該判定結果に基づいて、解像度の低いブロックで、動き補償に係る内挿処理用フィルタのタップ数を低減するフィルタ切り換え手段とを有するようにする。
【００４４】
また請求項１９の発明においては、所定の符号化装置より出力された符号化データより画像データを復号する復号化装置に適用して、符号化装置は、所定画素数によるブロック単位で１画素以下の精度により動き補償して、画像データを符号化処理し、ブロック毎に、画像データの解像度を判定し、該判定結果に基づいて、解像度の低いブロックで、動き補償に係る内挿処理用フィルタのタップ数を低減し、内挿処理用フィルタのタップ数の切り換えにより隣接ブロックとタップ数が異なるようになった場合に限って、内挿処理用フィルタのタップ数を特定するデータを符号化データに設定し、復号化装置は、復号した画像データを用いた動き補償用フィルタによる内挿処理により、復号した画像データを参照画像に設定して１画素以下の精度により動き補償して、符号化データを復号化処理し、符号化データに設定された内挿処理用フィルタのタップ数を特定するデータにより、動き補償用フィルタのタップ数を設定し、符号化データに内挿処理用フィルタのタップ数を特定するデータが設定されていないブロックについては、隣接ブロックの処理に供した内挿処理用フィルタのタップ数に、動き補償用フィルタのタップ数を設定する。
【００４５】
また請求項２０の発明においては、画像データの処理方法に適用して、所定画素数によるブロック単位で１画素以下の精度により動き補償して、画像データを符号化処理する符号化処理のステップと、ブロック毎に、画像データの解像度を判定し、該判定結果に基づいて、解像度の低いブロックで、動き補償に係る内挿処理用フィルタのタップ数を低減するフィルタ切り換えのステップとを備えるようにする。
【００４６】
請求項１の構成により、符号化装置に適用して、所定画素数によるブロック単位で１画素以下の精度により動き補償して、画像データを符号化処理する符号化手段と、ブロック毎に、画像データの解像度を判定し、該判定結果に基づいて、解像度の低いブロックで、動き補償に係る内挿処理用フィルタのタップ数を低減するフィルタ切り換え手段とを備えるようにすれば、解像度の低いブロックについては、その分、少ないタップ数により内挿処理して実用上十分に動き補償することができ、これにより動き補償に係る演算処理を低減することができる。しかしてこのようなフィルタのタップ切り換えに供する解像度の判定においては、撮像結果を構成する画像データの同時並列的な処理等により簡易に実行し得、ＸＹアドレス制御による撮像素子にあっては、このような解像度の判定処理に対応するように撮像結果を種々の形態、順序により出力することができる。これによりＣＭＯＳ固体撮像素子等のＸＹアドレス制御による撮像素子に好適であって、簡易かつ効率良く符号化処理することができる符号化装置を提供することができる。
【００４７】
これにより請求項９、請求項１８、請求項２０の構成によれば、ＣＭＯＳ固体撮像素子等のＸＹアドレス制御による撮像素子に好適であって、簡易かつ効率良く符号化処理することができる構成を提供することができる撮像装置、撮像素子の集積回路及び画像データの処理方法を提供することができる。
【００４８】
また請求項１９の構成によれば、このような符号化処理において、内挿処理用フィルタのタップ数の切り換えにより隣接ブロックとタップ数が異なるようになった場合に限って、内挿処理用フィルタのタップ数を特定するデータを符号化データに設定するようにし、復号した画像データを用いた動き補償用フィルタによる内挿処理により、復号した画像データを参照画像に設定して１画素以下の精度により動き補償して符号化データを復号化処理し、符号化データに設定された内挿処理用フィルタのタップ数を特定するデータにより、動き補償用フィルタのタップ数を設定し、符号化データに内挿処理用フィルタのタップ数を特定するデータが設定されていないブロックについては、隣接ブロックの処理に供した内挿処理用フィルタのタップ数は、動き補償用フィルタのタップ数を設定すれば、全てのブロックにおいて、この動き補償用フィルタのタップ数設定を指示するデータを伝送しなくても、符号化時に対応したタップ数のフィルタにより動き補償して画像データを復号することができる。これによりＣＭＯＳ固体撮像素子等のＸＹアドレス制御による撮像素子に好適であって、簡易かつ効率良く符号化処理することができる符号化装置に対応して、このような符号化装置による符号化データを効率良く処理することができる復号化装置を提供することができる。
【発明の効果】
【００４９】
本発明によれば、ＣＭＯＳ固体撮像素子等のＸＹアドレス制御による撮像素子に好適であって、簡易かつ効率良く符号化処理することができる。
【発明を実施するための最良の形態】
【００５０】
以下、適宜図面を参照しながら本発明の実施例を詳述する。
【実施例１】
【００５１】
（１）実施例の構成
図１は、本発明の実施例１に係る撮像装置を示すブロック図である。この撮像装置８１は、撮像素子８２による撮像結果をデータ圧縮して記録系８３により記録する。なおここで記録系８３は、例えば光ディスク装置、メモリカード等、種々の記録再生手段が適用されるようになされている。
【００５２】
この撮像装置８１において、レンズ８４は、ユーザーによる操作に応動してズーム倍率、絞りを可変して撮像素子８２の撮像面に入射光を集光する。
【００５３】
撮像素子８２は、ＸＹアドレス制御による撮像素子であり、この実施例においては、例えばＣＭＯＳ固体撮像素子により形成される。撮像素子８２は、この撮像素子８２を構成する半導体チップと、周辺回路による集積回路の半導体チップとが、スタック２ｉｎ１パッケージ技術により積層されて一体に集積回路化され、これにより撮像素子の集積回路８９により形成されるようになされている。これにより撮像装置８１は、構成を簡略化、小型化できるようになされている。なおこの実施例においては、この周辺回路に、アナログディジタル変換回路（Ａ／Ｄ）８５、画像メモリ８６、アダマール変換回路８７、符号化回路８８が適用されるようになされている。
【００５４】
また撮像素子８２においては、この周辺回路による半導体チップとの積層により、一段と高い自由度により各画素の撮像結果を出力できるようになされている。撮像素子８２は、この撮像結果の出力に係る高い自由度を有効に利用して、後述する符号化回路８８におけるデータ処理単位である１６×１６画素によるマクロブロックを、水平方向及び垂直方向にそれぞれ４分割してなる４×４画素の小ブロックにより撮像結果を同時並列的に出力するようになされている。また撮像素子８２は、ラスタ走査の順序によるマクロブロックを順次切り換えると共に、各マクロブロック内においては、ラスタ走査の順序によりこの４×４画素による小ブロックを順次切り換えるようにして撮像結果を出力するようになされている。これにより撮像素子８２は、ＸＹアドレス制御によるＣＭＯＳ固体撮像素子の特徴である撮像結果出力に関する高い自由度を有効に利用して、アダマール変換回路８７の処理に適した出力形態、出力順序により撮像結果を順次出力するようになされている。
【００５５】
アナログディジタル変換回路８５は、この４×４画素のブロックによる同時並列的な撮像結果の出力による１６系統の出力信号を同時並列的にアナログディジタル変換処理し、これにより１６系統による画像データを同時並列的に出力する。
【００５６】
画像メモリ８６は、小容量のメモリ回路により構成され、このアナログディジタル変換回路８５から出力される画像データを一時保持し、符号化回路８８の処理に対応するタイミングにより順次出力する。
【００５７】
アダマール変換回路８７は、アナログディジタル変換回路８５から出力される画像データを入力してアダマール変換することにより、４×４画素による小ブロックの画像データを周波数解析し、周波数解析結果Ｄ（Ｄij）を符号化回路８８に出力する。すなわちここでこの４×４画素のブロックにおける各画素の画素値を次式により表す。
【００５８】
【数４】
2006050471.tif 000006
【００５９】
アダマール変換回路８７は、この（４）式に対して、次式による直交変換処理を実行し、これにより各小ブロックにおける各周波数成分の信号レベルを示す係数データＤijの連続による周波数解析結果Ｄを出力する。但し、行列Ｈ4 は、（６）式により与えられる。これによりアダマール変換回路８７は、ＸＹアドレス制御による撮像素子の特徴を有効に利用して、簡易な処理により、この各小ブロックを周波数解析するようになされている。
【００６０】
【数５】
2006050471.tif 000007
【００６１】
【数６】
2006050471.tif 000008
【００６２】
符号化回路８８は、この周波数解析結果Ｄ（Ｄij）に係る処理に関する点、順次入力される画像データが１６系統による同時並列的な入力である点を除いて、図７について上述した符号化装置１と同一に構成される。これにより符号化回路８８は、順次入力される画像データによるピクチャーを符号化処理の順序により並べ替えた後、イントラ予測、インター予測により差分データを生成し、この差分データを直交変換処理、量子化処理、可変長符号化処理して符号化データＤ５を出力するようになされ、これにより撮像素子８２による撮像結果をデータ圧縮して記録系８３に出力するようになされている。またこれらの処理において、インター予測においては、周波数解析結果Ｄ（Ｄij）に係る処理に関連して、１６×１６画素によるマクロブロックについてのみ動き補償して画像データを符号化処理するようになされている。これにより符号化回路８８は、図１０について上述したサブマクロブロックによる符号化処理については、実行しないようになされている。なおこれらの処理において、符号化回路８８は、通常のＡＶＣによる処理と同様に、ラスタ走査の順序により順次処理対象のマクロブロックを切り換えて符号化データＤ５を生成するようになされ、また直交変換処理においても、４×４画素によるブロックを単位にして差分データを順次処理するようになされている。
【００６３】
この一連の処理において、符号化回路８８は、ＦＩＲフィルタ切替回路９０により、アダマール変換回路８７による周波数解析結果Ｄを集計して各マクロブロックの解像度を判定し、この判定結果により動き予測・補償回路９１の動き補償に供するＦＩＲフィルタを切り換える。
【００６４】
すなわち符号化回路８８において、ＦＩＲフィルタ切替回路９０は、所定のしきい値Ｔｈを用いて、次式の演算処理を実行することにより、周波数解析結果Ｄを構成する各係数Ｄijをしきい値Ｔｈにより判定する。
【００６５】
【数７】
2006050471.tif 000009
【００６６】
ＦＩＲフィルタ切替回路９０は、図２に示すように、周波数解析結果Ｄにおける最も周波数の低い係数Ｄ00より、順次周波数が高くなるように、この場合、ジグザグスキャンの順序により係数Ｄijを順次判定し、（７）式の関係式が成立する係数が何番目の係数かを検出する。しかしてこの場合、このブロックにおいて空間周波数の高い成分が多い程、しきい値Ｔｈより立ち上がる係数においては、スキャンの後方側で検出されることになる。
【００６７】
なおしきい値Ｔｈにあっては、種々の条件により可変するようにしてもよい。因みに、例えば符号化データＤ５の目標ビットレートによりしきい値Ｔｈを可変するようにして、高いビットレートにより符号化データＤ５を出力する場合には、しきい値Ｔｈを低く設定するようにしてもよい。このようにすれば、高いビットレートにより符号化データＤ５を出力する場合に、符号化データＤ５において、より高域成分を表現することができる。またこれとは逆にしきい値Ｔｈを高い値に設定することにより、低ビットレートにより符号化データＤ５を出力する場合に、動き補償により高域成分を削減し、その結果、ブロック歪を減少させることができる。
【００６８】
なおこのような周波数解析にあっては、各ブロックのアクティビティーを適用するようにしてもよい。すなわち画素値Ｃijより次式の演算処理を実行して１つのブロックにおける画素値の平均値を計算する。
【００６９】
【数８】
2006050471.tif 000010
【００７０】
またこの平均値を用いて次式の演算処理を実行し、これにより各ブロック毎に、平均画素値との差分値の２乗和によりアクティビティーａｃｔＣを検出する。なおこの場合、ＦＩＲフィルタ切替回路９０は、上述した何番目の係数がしきい値Ｔｈより立ち上がるかに代えて、このアクティビティーａｃｔＣの値を複数のしきい値により判定することになる。
【００７１】
【数９】
2006050471.tif 000011
【００７２】
ここでＦＩＲフィルタ切替回路９０は、このような係数データの処理に係る４×４画素ブロックのしきい値Ｔｈによる判定結果を１６×１６画素によるマクロブロックにより集計し、この集計結果により各マクロブロックの解像度をクラス分けする。すなわち図３に示すように、マクロブロックを構成するブロックＢijについて、各ブロックＢijで検出されるしきい値Ｔｈ以上の係数をNum Last CoefH(Bi,j)で表すとして、次式による演算処理により平均値を計算し、この平均値をこのマクロブロックの代表値MB Num Last CoefH に設定する。
【００７３】
【数１０】
2006050471.tif 000012
【００７４】
なおこの（１０）式の演算処理に代えて、次式の演算処理により、しきい値Ｔｈより立ち上がった係数が最も末尾のものを検出し、この末尾の係数の番号をマクロブロックの代表値MB Num Last CoefH に設定するようにしてもよい。これらによりＦＩＲフィルタ切替回路９０は、４×４画素による小ブロックの周波数解析結果を、マクロブロック毎に集計するようになされている。
【００７５】
【数１１】
2006050471.tif 000013
【００７６】
またＦＩＲフィルタ切替回路９０は、この集計結果を事前に設定したしきい値ＴｈＨ１、ＴｈＨ２（ＴｈＨ１＜ＴｈＨ２）により判定してクラス分けし、これにより各マクロブロックの解像度を判定する。ＦＩＲフィルタ切替回路９０は、次式の演算処理を実行して何れの条件を満足するか判定することにより、このクラス分けの処理を実行する。
【００７７】
【数１２】
2006050471.tif 000014
【００７８】
ＦＩＲフィルタ切替回路９０は、このクラス分けに係る判定結果により、動き予測・補償回路９１において、１／２画素精度による動き補償の画素値の生成に供するＦＩＲフィルタをこの判定結果により切り換える。
【００７９】
すなわち動き予測・補償回路９１は、（１３）〜（１５）式により示す３つのフィルタが設けられるようになされている。
【００８０】
【数１３】
2006050471.tif 000015
【００８１】
【数１４】
2006050471.tif 000016
【００８２】
【数１５】
2006050471.tif 000017
【００８３】
ここで（１３）〜（１４）式は、各タップの重み付け係数と、正規化に供する係数とを示すものであり、これによりフィルタ３においては、（１）式と同一の特性を有するようになされている。これによりフィルタ１においては、直線補間により１／２画素ピッチに係る画素値を生成するようになされ、これらによりＦＩＲフィルタ切替回路９０は、タップ数が順次増大してカットオフ周波数が順次高域側に変化してなる複数種類のフィルタが設けられるようになされている。なお動き予測・補償回路９１は、１／４画素精度による動き補償については、ＡＶＣに関して（２）式について上述した特性により画素値を生成する。
【００８４】
これによりこの撮像装置８１においては、解像度の低いマクロブロックについては、少ないタップ数により内挿演算処理して１／２画素精度による画素値を生成するようにして、動き補償に係る演算処理を低減するようになされ、その分、ＸＹアドレス制御による撮像素子の特徴を有効に利用して、簡易かつ効率良く画像データを符号化処理するようになされている。
【００８５】
さらにＦＩＲフィルタ切替回路９０は、シンタクス上で用いられるパラメータFIR Coef Number をそれぞれ０、１、２に設定して、フィルタ１、２、３による動き補償の処理を復号化回路に通知する。これによりこの符号化回路８８においては、コードにより復号化の処理に必要なフィルタを復号化装置に通知するようになされている。
【００８６】
この通知において図４に示すように、処理対象であるマクロブロックＣのパラメータFIR Coef Number Ｃに対して、水平方向及び垂直方向に符号化処理を完了している隣接マクロブロックＡ及びＢのパラメータFIR Coef Number Ａ及びFIR Coef Number Ｂについて、次式によりパラメータMost Probable FIR Coef Number を定義する。しかしてこれらマクロブロックＡ〜Ｃに係るパラメータFIR Coef Number Ａ〜Ｃは、高い相関を持つと考えられる。
【００８７】
【数１６】
2006050471.tif 000018
【００８８】
但し、画面左端において、マクロブロックＡに係るパラメータFIR Coef Number Ａが有意でない場合、パラメータMost Probable FIR Coef Number は、次式により定義される。
【００８９】
【数１７】
2006050471.tif 000019
【００９０】
また画面上端において、マクロブロックＢに係るパラメータFIR Coef Number Ｂが有意でない場合、パラメータMost Probable FIR Coef Number は、次式により定義される。
【００９１】
【数１８】
2006050471.tif 000020
【００９２】
またマクロブロックＡに係るパラメータFIR Coef Number Ａと、マクロブロックＢに係るパラメータFIR Coef Number Ｂとの双方が有意でない場合、パラメータMost Probable
FIR Coef Number は、最もタップ数の少ないフィルタ１を指定する値０に設定される。
【００９３】
これらによりＦＩＲフィルタ切替回路９０は、処理対象のマクロブロックＣに対して、水平方向及び垂直方向に符号化処理を完了している隣接マクロブロックＡ及びＢのパラメータFIR Coef Number Ａ及びＢのうちで、カットオフ周波数が低い側のフィルタを指定する値の小さい側のパラメータFIR Coef Number を選択して、パラメータMost Probable FIR Coef Number に設定する。
【００９４】
ＦＩＲフィルタ切替回路９０は、このようにして設定したパラメータMost Probable FIR Coef Number に対して、処理対象のマクロブロックに係るパラメータFIR Coef Number
Ｃが次式の関係を有する場合、当該マクロブロックについては、このパラメータFIR Coef Number Ｃを伝送しないようにし、この関係が成立しない場合に限り、このパラメータFIR Coef Number Ｃを符号化データＤ５に設定して伝送する。これによりこの実施例においては、動き補償に供する内挿処理用フィルタのタップ数を解像度に応じて切り換えるようにして、このタップ数の切り換えにより隣接ブロックとタップ数が異なるようになった場合に限って、内挿処理用フィルタのタップ数を特定するデータを符号化データに設定して出力するようになされ、これにより隣接するマクロブロック間の相関を有効に利用して、伝送に供するデータ量を低減するようになされている。
【００９５】
【数１９】
2006050471.tif 000021
【００９６】
しかして図５は、この撮像装置８１における一連の画像データの処理手順を示すフローチャートであり、撮像装置８１においては、画像データの処理を開始すると、ステップＳＰ１からステップＳＰ２に移り、撮像素子から出力される画像データをアダマール変換処理する。しかしてこの場合、符号化回路８８の画面並べ替えバッファ３（図７参照）によりフレーム単位で処理順序が設定されることにより、撮像装置８１は、このアダマール変換処理を１フレームに含まれる小ブロックの全てについて実行することになる。続いて撮像装置８１は、ステップＳＰ３に移り、（７）式の演算処理によりこのアダマール変換処理による係数データをしきい値Ｔｈにより判定した後、続くステップＳＰ４において、（８）〜（１１）式の演算処理により各マクロブロックの解像度を示すパラメータMB Num Last CoefH を計算し、続くステップＳＰ５において、（１２）式の演算処理を実行して各マクロブロックの解像度を判定してＦＩＲフィルタを選択するようになされている。しかして撮像装置８１においては、このようにして選択したＦＩＲフィルタにより続くステップＳＰ６において、画像データを動き補償して符号化処理した後、ステップＳＰ７に移ってこの処理手順を終了するようになされている。
【００９７】
このような撮像装置８１の構成に対応して、再生系に設けられる復号化装置においては、この符号化回路８８の符号化処理に対応して順次再生系により再生される符号化データＤ５を処理するようになされている。これによりこの実施例に係る復号化装置においては、図８について上述したＡＶＣに係る復号化装置２０とほぼ同一に構成されることにより、以下においては、この図８を流用して復号化装置の構成を説明する。
【００９８】
すなわちこの実施例に係る復号化装置２０においては、再生系より得られる符号化データＤ５を可逆復号化回路２２、逆量子化回路２５、逆直交変換回路２６により順次処理し、イントラ予測、インター予測に係る差分データＤ２を再生し、この差分データＤ２にイントラ予測回路２３、動き予測・補償回路２４から出力される予測値を加算して画像データを再生する。復号化装置２０においては、この再生した画像データをデブロックフィルタ２８により処理した後、画面並べ替えバッファ２９により並べ替えて出力する。また参照画像としてフレームメモリ３１に格納し、符号化データＤ５に設定された各種制御コードによりこのフレームメモリ３１に保持した参照画像の画像データをイントラ予測回路２３、動き予測・補償回路２４により処理してそれぞれイントラ予測、インター予測に係る予測値を生成する。
【００９９】
この一連の処理において、動き予測・補償回路２４は、各マクロブロックに設定された動きベクトルによりフレームメモリ３１に保持した対応する参照画像の画像データを動き補償して予測値を生成する。またこの処理において、この動きベクトルが１／２画素精度、１／４画素精度によるものの場合、図１１について上述した１／２画素精度、１／４画素精度による内挿演算処理により予測値に係る画素値を生成する。この内挿演算処理において、１／２画素精度により画素値については、符号化データに設定されたパラメータFIR Coef Number に基づいて、符号化処理における内挿演算処理に対応するＦＩＲフィルタを用いた内挿演算処理により画素値を生成し、１／４画素精度による画素値については、この１／２画素精度による画素値の直線補間により生成する。
【０１００】
これによりこの実施例に係る復号化装置においては、処理対象のマクロブロックの解像度が低い場合には、その分、少ないタップ数のフィルタにより内挿演算処理を実行するようになされ、実用上十分な動き補償に係る特性を確保しつつ、演算処理を簡略化するようになされている。
【０１０１】
動き予測・補償回路２４は、このようにして１／２画素精度による内挿処理を実行するようにして、フィルタを特定するパラメータFIR Coef Number が処理対象のマクロブロックに設定されていない場合、復号化を完了した隣接マクロブロックの処理に供したフィルタにより内挿処理を実行する。すなわちこの場合、符号化処理に対応して、復号化を完了した垂直方向及び水平方向の隣接マクロブロックについて、これらのマクロブロックで使用したフィルタからタップ数の少ないフィルタを選択し、このフィルタにより内挿処理を実行する。また垂直方向及び水平方向の一方に復号化を完了した隣接マクロブロックが存在しない場合、他方の復号化を完了した隣接マクロブロックによるフィルタにより内挿処理を実行し、垂直方向及び水平方向の双方に復号化を完了した隣接マクロブロックが存在しない場合、最もタップ数の少ないフィルタにより内挿処理を実行する。しかして画像においては、垂直方向及び水平方向に相関が強いことにより、垂直方向及び水平方向にはほぼ解像度の等しいマクロブロックが連続する場合が多く、これによりこの実施例においては、フィルタの特性に供するデータの伝送量を低減して、その分、効率良く符号化データを伝送できるようになされている。
【０１０２】
（２）実施例の動作
以上の構成において、この撮像装置８１（図１）において、撮像素子８２で得られる撮像結果は、アナログディジタル変換回路８５によりアナログディジタル変換処理されて画像データに変換され、この画像データが画像メモリ８６を介して符号化回路８８に入力される。画像データは、この符号化回路８８において、イントラ予測、インター予測による予測値が生成され（図７参照）、この予測値との差分データＤ２が直交変換処理、量子化処理、可変長符号化処理されて記録系８３により記録される。またこの一連の処理結果である符号化データＤ５においては、画像データに復号されてフレームメモリ１６に記録され、イントラ予測、インター予測における予測値の生成に供される。またこれらの処理において、画像データは、４×４画素のブロックによる処理単位で順次直交変換処理、量子化処理、可変長符号化処理されるのに対し、インター予測においては、この４×４画素によるブロックをそれぞれ水平方向及び垂直方向に繰り返してなる１６×１６画素によるマクロブロックを単位にして動き予測・補償回路６により動き補償されて予測値が生成される。またこのインター予測による予測値の生成においては、フレームメモリ１６に保持されなる参照画像の画像データをＦＩＲフィルタを用いて内挿演算処理することにより、１画素以下の精度である１／２、１／４画素精度により予測値が生成され、この予測値との差分データＤ２が符号化処理される。
【０１０３】
これら一連の符号化処理を前提に、画像データは、符号化回路８８に入力される前に、事前に、アダマール変換回路８７に入力され、ここでマクロブロックを水平方向及び垂直方向にそれぞれ４分割してなる小ブロック毎に、直交変換処理され、各周波数成分の信号レベルを示す係数データに変換され、これにより小ブロック単位で、周波数解析される。またこの周波数解析結果がＦＩＲフィルタ切替回路９０により判定されて、動き補償処理に供するマクロブロックの解像度が判定される。またこの判定結果により、解像度の低いマクロブロックでは、タップ数が少なくなるように、インター予測の予測値の生成に供するＦＩＲフィルタが切り換えられる。
【０１０４】
これによりこの撮像装置８１においては、解像度の低いマクロブロックについては、解像度が低い分、少ないタップ数のフィルタにより内挿処理して実用上十分に動き補償するようになされ、これにより動き補償に係る演算処理を低減して簡易な処理により画像データを符号化処理することができる。
【０１０５】
しかしてこのようなフィルタのタップ切り換えに供する解像度の判定においては、撮像結果を構成する画像データの同時並列的な処理等により簡易に実行し得、ＸＹアドレス制御による撮像素子にあっては、このような解像度の判定処理に対応するように撮像結果を種々の形態、順序により出力することができる。これによりこの実施例のように解像度を判定して内挿処理に供するフィルタのタップ数を切り換える場合にあっては、ＣＭＯＳ固体撮像素子等のＸＹアドレス制御による撮像素子に好適であって、簡易かつ効率良く符号化処理することができる。
【０１０６】
これによりこの撮像装置８１においては、撮像素子８２がＣＭＯＳ固体撮像素子により形成され、解像度の判定に供するアダマール変換回路８７の処理に対応して、４×４画素による小ブロックを構成する１６画素の撮像結果を同時並列的に撮像素子８２から出力するようにし、またこの小ブロックをラスタ走査の順序により切り換えて撮像結果を出力し、これにより撮像装置８１においては、全体構成を簡略化することができるようになされている。
【０１０７】
またこの撮像素子８２が符号化回路８８等による周辺回路と一体に集積回路化され、これによりこのように１６画素の撮像結果を同時並列的に出力するようにして、またこの小ブロックをラスタ走査の順序により切り換えて撮像結果を出力するようにして、撮像素子８２と周辺回路との接続が簡略化され、さらにはこのような接続を高い自由度により確保できるようになされ、これによってもＣＭＯＳ固体撮像素子等のＸＹアドレス制御による撮像素子に好適であって、簡易かつ効率良く符号化処理することができるようになされている。またさらにはこのような集積回路化が、撮像素子８２の半導体チップと周辺回路の集積回路の半導体チップとの積層により形成されることによっても、撮像素子８２と周辺回路との接続を高い自由度により確保できるようになされ、これによっても一段とＣＭＯＳ固体撮像素子等のＸＹアドレス制御による撮像素子に好適であって、簡易かつ効率良く符号化処理することができるようになされている。
【０１０８】
しかしてこのようにして小ブロックにより検出される周波数解析結果Ｄにおいては、ＦＩＲフィルタ切替回路９０において、各周波数成分の係数データが周波数の低い係数データより順次しきい値Ｔｈにより判定されて、解像度が判定される。これによりこの実施例においては、簡易な処理により解像度を判定できるようになされている。またこのしきい値Ｔｈを必要に応じて変更して、種々に符号化処理の特性を設定することができるようになされている。
【０１０９】
すなわち例えば符号化データＤ５の目標ビットレートが高い場合には、このしきい値Ｔｈを低く設定することにより、より高域成分を表現することができる。これとは逆に低ビットレートにより符号化データＤ５を出力する場合には、しきい値Ｔｈを高く設定することにより、動き補償により高域成分を削減し、その結果、ブロック歪を減少させることができる。これらにより符号化処理による画質劣化を有効に回避することができるように、符号化処理に係る特性を種々に切り換えることができる。
【０１１０】
またこの小ブロックに係る周波数解析の処理がアダマール変換処理であることにより、簡易な演算処理により周波数解析結果を得ることができ、また単なる係数データのしきい値Ｔｈとの比較により解像度を判定することができ、これによりこれら一連の処理を簡略化することができる。
【０１１１】
しかしてこのような解像度を判定して内挿処理に供するフィルタのタップ数を切り換える場合にあっては、このような直交変換、さらにはアダマール変換処理以外の、種々の手法により解像度を検出することができ、これにより必要に応じて種々の解像度検出処理を適用して、簡易かつ効率良く画像データを符号化処理することができる。
【０１１２】
具体的に、例えば小ブロックにおける平均画素値に対する各画素値の差分値の２乗和によるアクティビティーによっても解像度を判定し得、この場合、撮像素子８２からの撮像結果の出力を小ブロックを単位にしたラスタ走査の順序により１系統で実施して解像度を検出する場合等に適用して、簡易かつ効率良く画像データを符号化処理することができる。
【０１１３】
またこのようにアクティビティーにより解像度を判定する場合にあっても、判定基準であるしきい値Ｔｈを符号化データＤ５の目標ビットレートに応じて可変するようにして、直交変換による周波数解析結果により解像度を判定する場合と同様に、この符号化処理に係る特性を種々に切り換えることができる。
【０１１４】
しかしてこの撮像装置８１においては、このようなアダマール変換による周波数解析結果をしきい値Ｔｈにより判定するようにして、この判定結果が動き補償単位である１６×１６画素のブロックにより集計されて、最終的に解像度が判定され、この判定結果により内挿処理に供するフィルタのタップ数が切り換えられ、これにより簡易な処理によりフィルタのタップ数を切り換えることができるようになされている。
【０１１５】
またこのようなフィルタのタップの設定の復号化側への伝送にあっては、隣接ブロックと異なる場合に限って、フィルタを特定するコードが符号化データＤ５に設定されて実行され、これにより画像における相関を有効に利用して、復号化側への伝送に供するデータ量を効率良く使用するようになされている。
【０１１６】
しかしてこれらによりこの実施例においては、このようにして符号化処理されてなる符号化データＤ５を復号化する場合、符号化データＤ５に設定されたこのフィルタを特定するコードに従ってフィルタを切り換えて内挿処理して動き補償するようになされ、符号化データＤ５にこのコードが設定されていない場合に限って、隣接ブロックで復号化処理に供したフィルタが使用され、これにより画像データを確実に復号化するようになされている。
【０１１７】
（３）実施例の効果
以上の構成によれば、１画素以下の精度により動き補償して画像データを符号化する際に、画像データの解像度に応じて内挿処理に供するフィルタのタップ数を切り換えることにより、ＣＭＯＳ固体撮像素子等のＸＹアドレス制御による撮像素子に好適に、簡易かつ効率良く符号化処理することができる。
【０１１８】
またこのとき画像データを直交変換処理して各周波数成分の係数データを得、この係数データと所定のしきい値との比較により各ブロックの解像度を判定することにより、簡易な処理により各ブロックの解像度を判定することができる。
【０１１９】
またこの直交変換がアダマール変換であることによっても、簡易な処理により各ブロックの解像度を判定することができる。
【０１２０】
またこのような解像度の判定を、動き補償に供するブロックを分割した小ブロックによる周波数解析結果を集計して実行することにより、簡易な処理により各ブロックの解像度を判定することができる。
【０１２１】
またこのような解像度の判定をアクティビティーと所定のしきい値との比較により実行するようにしても、簡易な処理により各ブロックの解像度を判定することができる。
【０１２２】
またこのような係数データ、アクティビティーとしきい値との比較において、符号化処理による出力データの目標ビットレートに応じてしきい値を切り換えることにより、この符号化処理に係る特性を種々に切り換えて符号化処理による画質を向上することができる。
【０１２３】
またこのようにしてフィルタのタップを切り換えるようにして、この内挿処理用フィルタのタップ数の切り換えにより隣接ブロックとタップ数が異なるようになった場合に限って、内挿処理用フィルタのタップ数を特定するデータを符号化処理による出力データに設定することにより、画像における相関を有効に利用して、復号化側への伝送に供するデータ量を効率良く使用することができる。
【０１２４】
すなわちこのようにタップ数が異なるようになった場合に限って、内挿処理用フィルタのタップ数を特定するデータを符号化処理による出力データに設定するようにして、復号側において、符号化データに設定されたデータにより、動き補償用フィルタのタップ数を設定するようにして、このようなデータが設定されていないブロックについては、隣接ブロックで処理に供した内挿処理用フィルタのタップ数に動き補償用フィルタのタップ数を設定して符号化データを処理することにより、復号化側への伝送に供するデータ量を効率良く使用するようにして伝送された符号化データを確実に復号することができる。
【実施例２】
【０１２５】
図６は、図１との対比により本発明の実施例２に係る撮像装置を示すブロック図である。この撮像装置９５においては、２系統のアダマール変換回路８７Ａ、８７Ｂにより画像データを同時並列的に処理することにより、高速度に小ブロックを周波数解析する。またアダマール変換回路８７Ａ、８７Ｂに対応するように、アナログディジタル変換回路８５Ａ、８５Ｂが２系統により構成され、またこの構成に対応するように撮像素子９２から２系統により撮像結果を出力する。
【０１２６】
この実施例のように撮像結果の解像度を２系統により同時並列的に実行する場合にあっても、実施例１と同様の効果を得ることができる。またこの場合、ＸＹアドレス制御による撮像素子の特徴である撮像結果の出力形態、出力順序を種々に設定できる点をさらに一段と有効に利用して、高速度で撮像結果を処理することができる。
【実施例３】
【０１２７】
なお上述の実施例においては、平均画素値との差分値の２乗和によりアクティビティーを検出する場合について述べたが、本発明はこれに限らず、平均画素値との差分絶対値和によりアクティビティーを検出する場合、さらには直交変換処理、アクティビティー以外により解像度を判定する場合等に広く適用することができる。
【０１２８】
また上述の実施例においては、小ブロックによるしきい値Ｔｈの判定結果を集計してマクロブロックの解像度を判定する場合について述べたが、本発明はこれに限らず、実用上十分な処理能力を確保することができる場合には、直接、マクロブロックを周波数解析して、さらには直接、マクロブロックでアクティビティーを検出して、解像度を判定するようにしてもよい。
【０１２９】
また上述の実施例においては、１６×１６画素によるマクロブロックによってのみ動き補償する場合について述べたが、本発明はこれに限らず、図１０について上述したサブマクロブロックを併せて用いて動き補償する場合にも広く適用することができる。なおこの場合、マクロブロックと各サブマクロブロックとでそれぞれ対応するブロック毎に解像度を判定する場合、マクロブロックによる解像度判定結果をサブマクロブロックにも適用する場合等、種々の処理が考えられる。
【０１３０】
また上述の実施例においては、水平方向と垂直方向とで同一特性のフィルタにより動き補償する構成を前提とする場合について述べたが、本発明はこれに限らず、水平成分と垂直成分とで異なる特性によるフィルタにより内挿処理する場合にも広く適用することができる。この場合、水平方向及び垂直方向にそれぞれ解像度を判定して対応するフィルタのタップ数を可変するようにしてもよく、さらには水平方向及び垂直方向にそれぞれ周波数解析結果を検出して各方向に解像度を判定するようにしてもよい。
【０１３１】
また上述の実施例においては、ハードウエア構成により画像データを符号化処理する場合について述べたが、本発明はこれに限らず、演算手段によるプログラムの実行により画像データを符号化処理する場合にも広く適用することができる。なおこのようなプログラムにあっては、事前に機器にインストールして提供する場合の他に、インターネット等のネットワークを介したダウンロードにより提供する場合、さらには種々の記録媒体に記録して提供する場合等を広く適用することができる。因みにこのような記録媒体にあっても、光ディスク、メモリカード等、種々の記録媒体を広く適用することができる。
【０１３２】
また上述の実施例においては、ＣＭＯＳ固体撮像素子による撮像素子を適用する場合について述べたが、本発明はこれに限らず、ＣＭＯＳ固体撮像素子以外の各種ＸＹアドレス制御による撮像素子、さらにはＣＣＤ固体撮像素子等、種々の撮像素子を用いる場合にも広く適用することができる。
【産業上の利用可能性】
【０１３３】
本発明は、符号化装置、撮像装置、撮像素子の集積回路、復号化装置及び画像データの処理方法に関し、例えば動画による撮像結果を記録するビデオカメラ、電子スチルカメラ、監視装置等に適用することができる。
【図面の簡単な説明】
【０１３４】
【図１】本発明の実施例１に係る撮像装置を示すブロック図である。
【図２】図１の撮像装置における撮像素子の説明に供する略線図である。
【図３】図１の撮像装置における解像度の判定の説明に供する略線図である。
【図４】図１の撮像装置におけるフィルタの切り換えの伝送の説明に供する略線図である。
【図５】図１の撮像装置における一連の処理を示すフローチャートである。
【図６】本発明の実施例２に係る撮像装置を示すブロック図である。
【図７】ＡＶＣ方式の符号化装置を示すブロック図である。
【図８】ＡＶＣ方式の復号化装置を示すブロック図である。
【図９】ＡＶＣ方式の参照フレームの説明に供する略線図である。
【図１０】ＡＶＣ方式の動き補償の説明に供する略線図である。
【図１１】ＡＶＣ方式の動き補償精度の説明に供する略線図である。
【図１２】ＣＣＤ固体撮像素子の構成を示す略線図である。
【図１３】ＣＭＯＳ固体撮像素子の構成を示す略線図である。
【図１４】ＣＣＤ固体撮像素子による撮像結果の処理系を示すブロック図である。
【図１５】ＣＭＯＳ固体撮像素子による撮像結果の処理系を示すブロック図である。
【図１６】ＣＣＤ固体撮像素子によるチップ構成を示すブロック図である。
【図１７】ＣＭＯＳ固体撮像素子によるチップ構成を示すブロック図である。
【符号の説明】
【０１３５】
１……符号化装置、８、９１……動き予測・補償回路、２０……復号化装置、８１……撮像装置、８２……撮像素子、８７……アダマール変換回路、８８……符号化回路、８９……集積回路、９０……ＦＩＲフィルタ切替回路
【図１】
2006050471.tif 000022
【図２】
2006050471.tif 000023
【図３】
2006050471.tif 000024
【図４】
2006050471.tif 000025
【図５】
2006050471.tif 000026
【図６】
2006050471.tif 000027
【図７】
2006050471.tif 000028
【図８】
2006050471.tif 000029
【図９】
2006050471.tif 000030
【図１０】
2006050471.tif 000031
【図１１】
2006050471.tif 000032
【図１２】
2006050471.tif 000033
【図１３】
2006050471.tif 000034
【図１４】
2006050471.tif 000035
【図１５】
2006050471.tif 000036
【図１６】
2006050471.tif 000037
【図１７】
2006050471.tif 000038