(57)【要約】【課題】  動画像データにおける圧縮エラーや画素欠陥による欠落部分に対して適正な補正を行えるようにした動画像補正装置を提供する。【解決手段】  被写体を動画像として取り込む画像入力部１と、取り込まれた動画像を圧縮する圧縮部２と、圧縮部から出力された動画像圧縮データを送信する送信部４とを有する撮像ユニットと、撮像ユニットからの動画像圧縮データを受信する受信部11と、受信した動画像圧縮データを伸張する伸張部12とを有する再生ユニットとを備えた撮像システムに用いられる動画像補正装置において、補正対象画像と時間的に近接する参照画像との相関情報を計測する動き検出センサ14と、前記相関情報に基づき、前記参照画像を変換する範囲検出部16，変換量算出部17及び補正データ作成部18と、変換された参照画像を用い、補正対象画像の欠落個所を修復するメモリ制御部19及びメモリ20とを設けて構成する。【選択図】        図  １
2005311746.tif 000002
【特許請求の範囲】
【請求項１】
被写体を動画像として取り込む画像入力部と、取り込まれた動画像を圧縮する圧縮部と、圧縮部から出力された動画像圧縮データを送信する送信部とを有する撮像ユニットと、該撮像ユニットからの前記動画像圧縮データを受信する受信部と、受信した動画像圧縮データを伸張する伸張部とを有する再生ユニットとを備えた撮像システムに用いられる動画像補正装置であって、
補正対象画像と時間的に近接する参照画像との相関情報を計測する相関情報計測手段と、前記相関情報に基づき、前記参照画像を変換する画像変換手段と、
前記変換された参照画像を用い、前記補正対象画像の欠落個所を修復する欠落修復手段とを有することを特徴とする動画像補正装置。
【請求項２】
前記欠落個所を検出するエラー検出手段を更に有することを特徴とする請求項１に係る動画像補正装置。
【請求項３】
前記画像入力部は、光電変換素子からなる画素をその受光面に複数有する撮像素子を備え、前記撮像素子の画素欠陥位置を出力する画素欠陥位置出力手段と、該画素欠陥位置出力手段の出力から、前記欠落個所としての、前記動画像データ内の画素欠陥の有無を判定する画素欠陥判定手段とを更に有することを特徴とする請求項１に係る動画像補正装置。
【請求項４】
前記相関情報計測手段は、前記撮像ユニットの位置を検出するセンサを有することを特徴とする請求項１に係る動画像補正装置。
【請求項５】
前記相関情報計測手段は、前記撮像ユニットの移動速度を検出するセンサを有することを特徴とする請求項１に係る動画像補正装置。
【請求項６】
前記相関情報計測手段は、前記動画像データの特徴点を検出すると共に、その位置情報を抽出する特徴点検出部を有することを特徴とする請求項１に係る動画像補正装置。
【請求項７】
前記画像変換手段は、前記相関情報に基づき、前記参照画像から、前記補正対象画像の欠落個所に相当する範囲を抽出する範囲検出部を有することを特徴とする請求項１に係る動画像補正装置。
【請求項８】
前記画像変換手段は、前記範囲検出部により抽出された範囲を、前記欠陥個所に適合させるための変換量を算出する変換量算出部を有することを特徴とする請求項７に係る動画像補正装置。
【請求項９】
前記エラー検出手段は、前記圧縮部からの動画像圧縮データに誤り検出コードを付加する誤り検出コード付加部と、誤り検出コードから、前記欠落個所としての、前記動画像圧縮データの誤りの有無を検出する誤り検出部を有することを特徴とする請求項２に係る動画像補正装置。
【請求項１０】
前記画素欠陥位置出力手段は、前記画素欠陥位置情報を格納するテーブルメモリを有することを特徴とする請求項３に係る動画像補正装置。
【請求項１１】
前記画素欠陥位置出力手段は、受信した前記動画像データから欠陥画素の位置を検出し、出力する画素欠陥検出手段を有することを特徴とする請求項３に係る動画像補正装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動画像データを圧縮して伝送又は保存し、圧縮データを受信又は読み込み、伸張した後に、欠落した画像データや画素欠陥を高速且つ適正に補正する動画像の補正装置に関する。
【背景技術】
【０００２】
一般に、動画像データの伝送の際には、ＭＰＥＧなどの符号化方式にて圧縮した動画像データが伝送される。これに伴い、受信側では伝送装置側の符号化方式に対応した復号器が必要となる。特に、無線による動画像データ伝送装置では、符号化信号の伝送の際に、そのビットストリームにノイズや欠損などのエラーが生じることが多く、その多くはビットストリームの大半を占めるマクロブロック情報にエラーを生じる場合である。例えば、ＭＰＥＧ２ビデオ（Ｈ．262 ）の規格では、ビットストリームにエラーが生じた場合に、そのようなエラーを含んでいるビットストリームから復号された画像に対して、いかにそのエラーによる影響を目立たせないように表示するかの、エラー画像補正についての復号器の規格は定められていない。この復号器の規格は、製作者の裁量に委ねられている。
【０００３】
従来、上記のような画像復号装置にてエラー画像を補正する手法として、損失したエラーマクロブロックに対して、前画面の同じ位置にあったマクロブロックのデータを、そのまま復号画像として補正する方法がとられていた。一方、特開平１０−２１５４５８号公報では、動画像データを伝送レート内に収めるために、フレームを間引いてから符号化し、伝送する画像圧縮伸張装置において、以下のように復号器にて間引いた欠落フレームを補正する方法が提案されている。
【０００４】
図９は、上記公報に開示されている画像圧縮伸長装置の復号器を示すブロック図である。図９において、101 はバッファ、102 はエントロピー復号化器、103 は逆量子化器、104 は逆ＤＣＴ器、105 は合成器、106 は予測器、107 は欠陥フレーム構成・挿入器である。そして、伝送路から受信した符号化画像データは、バッファ101 に入力され、エントロピー復号化器102 でエントロピー符号化を解凍し、逆量子化器103 で量子化変換を再生し、逆ＤＣＴ器104 でＤＣＴ符号化を解凍し、合成器105 に入力される。予測器106 には解凍された画像データが蓄積され、エントロピー復号化器102 で分離された動きベクトルｂ，エントロピー復号化器102 からの復号フレーム番号情報ｃにより動き補償された一部の画像が再生され、再生された画像は合成器105 で次のフレームの動き補償を伴わない復号画像と合成され、最終的なフレームが復号化再生され、挿入なし復号画像ａとして出力される。この挿入なし復号画像ａは更に、動きベクトルｂと復号フレーム番号情報ｃと共に欠落フレーム構成・挿入器107 に入力される。欠落フレーム構成・挿入器107 は、挿入なし復号画像ａ，動きベクトルｂ，復号フレーム番号情報ｃを入力し、欠落しているフレームを演算処理により構成し、欠落フレームを挿入するようにしている。
【０００５】
このように、上記公報開示の手法は、欠落フレームの時間的に隣接する前後のフレームと挿入する挿入フレームとの時間間隔に比例して、時間的に隣接する前後のフレーム内の移動物体を拡大、縮小、回転、移動させて挿入フレーム内の移動物体を作成し、挿入フレームを構成し、欠落フレームを補正するという手法である。
【０００６】
また、一般的に、固体撮像素子は、その製造工程において画素欠陥が発生し、それが原因となり、カメラ等に応用した場合にモニタ上では、傷となって現れる。そのため、画素欠陥の補正を行って、固体撮像素子の歩留まりの向上を図っている。
【０００７】
このような画素欠陥補正装置においては、固体撮像素子からの欠陥画素信号を含む出力信号が、サンプルホールド回路に入力された際に、固体撮像素子の駆動パルスと同一タイミングのパルスで駆動する欠陥画素アドレスを記憶しているＲＯＭによりコントロールされているサンプリングパルス発生回路から、欠陥画素部分だけサンプリングパルスを発生させないようにする。そして、欠陥画素信号は時間的に一画素前の信号に置き換えて、サンプルホールド回路より出力されるようになっている。このようにして画素欠陥を補正し、補正後の信号は後段の信号処理回路に送られ、所定の信号処理を受けるようになっている。
【特許文献１】特開平１０−２１５４５８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
このように、上記従来の動画像圧縮伸張装置では、伝送エラー発生時のマクロブロック欠落に対して、前画面の同じ位置にあったマクロブロックのデータを、そのまま復号画像データとして用いて補正する方法がとられていたが、しかし、この方法では、動きのある画像においては補正した画像が不自然になってしまうという問題があった。また、上記特開平１０−２１５４５８号公報では、符号器で故意に間引いた欠落フレームの補正手法の提案に留まっており、動画像データ伝送における伝送エラー発生時のフレーム内マクロブロック欠落の補正については、考慮がなされていない。
【０００９】
また、画素欠陥補正における上記従来の時間的に１画素前の信号に置き換える手法では、隣接画素と画素欠陥部分の画素が著しく異なっている場合については、何も考慮がなされていない。
【００１０】
本発明は、従来の動画像の圧縮伸張装置における上記問題点を解消するためになされたもので、動きのある動画像における圧縮エラーや画素欠陥による欠落部分に対して適正な補正を行うことが可能な動画像補正装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するため、請求項１に係る発明は、被写体を動画像として取り込む画像入力部と、取り込まれた動画像を圧縮する圧縮部と、圧縮部から出力された動画像圧縮データを送信する送信部とを有する撮像ユニットと、該撮像ユニットからの前記動画像圧縮データを受信する受信部と、受信した動画像圧縮データを伸張する伸張部とを有する再生ユニットとを備えた撮像システムに用いられる動画像補正装置であって、補正対象画像と時間的に近接する参照画像との相関情報を計測する相関情報計測手段と、前記相関情報に基づき、前記参照画像を変換する画像変換手段と、前記変換された参照画像を用い、前記補正対象画像の欠落個所を修復する欠落修復手段とを有することを特徴とするものである。
【００１２】
この請求項１に係る発明に関する実施例には、実施例１及び２が対応する。請求項１における構成要件の相関情報計測手段には、実施例１における動き検出センサと実施例２における特徴点検出部が対応する。画像変換手段には、実施例１及び２における範囲検出部と変換量算出部と補正データ作成部が対応する。欠落修復手段には、、実施例１及び２における補正データ作成部とメモリ制御部とメモリが対応する。
【００１３】
上記のように構成された請求項１に係る動画像補正装置においては、動き検出センサ、特徴点抽出部などからなる相関情報計測手段により、補正対象画像と時間的に近隣の画像との相対距離、撮像時の速度や画面内の特徴点の位置座標などのフレーム間の相関情報を求めておくことで、欠落が検出された場合に、画像変換手段により、相関情報から欠落部分に相当する範囲の抽出と、その範囲の変換量の算出を行うことができる。抽出された欠落部分に相当する範囲を、算出された変換量で拡大・縮小・回転の処理を行うことにより、欠落部分に相当する範囲を含む補正用データを作成することができる。そして、欠落修復手段により、作成した補正用データで補正対象画像の欠落部分を修復することにより、欠落部分の補正を行うことができる。以上の処理により、動きのある動画像データにおける圧縮エラーや画素欠陥による欠落部分に対して適正な補正を行うことができる。
【００１４】
請求項２に係る発明は、請求項１に係る動画像補正装置において、前記欠落個所を検出するエラー検出手段を更に有することを特徴とするものである。
【００１５】
この請求項２に係る発明に関する実施例には、実施例１が対応する。請求項２における構成要件のエラー検出手段には、実施例２における誤り検出コード付加部と誤り検出部の組み合わせが対応する。
【００１６】
上記のように構成された請求項２に係る動画像補正装置においては、  撮像ユニット内で圧縮部により圧縮されたデータに対して、エラー検出手段を構成する誤り検出コード付加部が誤り検出コードを付加し、送信部より再生ユニットに伝送する。再生ユニット内で受信後、エラー検出手段を構成する誤り検出部の演算処理により、伝送されたデータのエラーの有無を調べる。エラーの有無により動画像データ中のブロックの欠落を検出する。以上の処理により、伝送された圧縮データの誤りを適正に検出することができる。
【００１７】
請求項３に係る発明は、請求項１に係る動画像補正装置において、前記画像入力部は、光電変換素子からなる画素をその受光面に複数有する撮像素子を備え、前記撮像素子の画素欠陥位置を出力する画素欠陥位置出力手段と、該画素欠陥位置出力手段の出力から、前記欠落個所としての、前記動画像データ内の画素欠陥の有無を判定する画素欠陥判定手段とを更に有することを特徴とするものである。
【００１８】
この請求項３に係る発明に関する実施例には、実施例２が対応する。請求項３における構成要件の画素欠陥位置出力手段と画素欠陥判定手段には、実施例２における画素欠陥位置情報を記録したテーブルメモリと画素欠陥検出部がそれぞれ対応する。
【００１９】
上記のように構成された請求項３に係る動画像補正装置においては、撮像ユニット内で圧縮された動画像データが、再生ユニットに送信される。再生ユニット内の伸張部で伸張された動画像データに対して、再生ユニット内で画素欠陥補正を行う。固定画素欠陥位置情報を、画素欠陥位置出力手段を構成するテーブルメモリに用意しておき、伸張部で伸張された動画像データに対し、画素欠陥判定手段を構成する画素欠陥検出部で画素欠陥位置情報に基づいた固定画素欠陥検出と動画像データの解析による適応画素欠陥の有無を調べる。欠陥の有無により動画像データ中の画素欠陥を検出する。以上の処理により、動画像データのフレーム間相関性の高い画素欠陥の補正を行うことができる。
【００２０】
請求項４に係る発明は、請求項１に係る動画像補正装置において、前記相関情報計測手段は、前記撮像ユニットの位置を検出するセンサを有することを特徴とするものである。
【００２１】
この請求項４に係る発明の実施例には、実施例１が対応する。請求項４における構成要件の撮像ユニットの位置を検出するセンサには、実施例１における動き検出センサが対応する。
【００２２】
上記のように構成された請求項４に係る動画像補正装置においては、位置検出センサを構成する動き検出センサで、撮像ユニットの位置情報を常にサンプリングし、動画像データの欠落が発生した場合に、補正対象フレームと時間的に近隣の画像を撮像した時の相対的な位置情報から、撮像ユニットの移動速度を算出する。算出された移動速度に基づいて、拡大・縮小・回転の処理を行う係数を算出する。以上の処理により、動画像データの相似的変化情報の検出などの解析処理を行うことなしに、位置検出センサの出力から動画像データの動きベクトルを容易に予測することが可能となる。
【００２３】
請求項５に係る発明は、請求項１に係る動画像補正装置において、前記相関情報計測手段は、前記撮像ユニットの移動速度を検出するセンサを有することを特徴とするものである。
【００２４】
この請求項５に係る発明の実施例には、実施例１が対応する。請求項５における構成要件の撮像ユニットの移動速度を検出するセンサには、実施例１における動き検出センサが対応する。
【００２５】
上記のように構成された請求項５に係る動画像補正装置においては、移動速度検出センサを構成する動き検出センサで、撮像ユニットの移動速度情報を常にサンプリングし、動画像データの欠落が発生した場合に、補正対象フレームと時間的に近隣の画像を撮像したときの相対的な移動速度を算出する。算出された移動速度に基づいて、拡大・縮小・回転の処理を行う係数を算出する。以上の処理により、動画像データの相似的変化情報の検出などの解析処理を行うことなしに、移動速度検出センサの出力から動画像データの動きベクトルを容易に予測することが可能となる。
【００２６】
請求項６に係る発明は、請求項１に係る動画像補正装置において、前記相関情報計測手段は、前記動画像データの特徴点を検出すると共に、その位置情報を抽出する特徴点検出部を有することを特徴とするものである。
【００２７】
この請求項６に係る発明の実施例には、実施例２が対応する。請求項６における構成要件の特徴点検出部には、実施例２における特徴点検出部が対応する。
【００２８】
上記のように構成された請求項６に係る動画像補正装置においては、動画像データの欠落が発生した場合に、補正対象フレームと時間的に近隣のフレームに対して特徴点の検出を行い、特徴点の位置情報のサンプリングを行う。各フレーム内の特徴点の相関とフレーム間の特徴点の相関から、フレーム間の相対的な変換量を算出する。算出された変換量に基づいて、拡大・縮小・回転の処理を行う係数を算出する。以上の処理により、リアルタイムな撮像ユニットの位置情報や移動速度情報を必要とせず、動画像データのみから変換量の算出を行うことが可能となる。これによりハードディスク等に保存された動画像データに対しても、本発明の補正手法を適用することができる。
【００２９】
請求項７に係る発明は、請求項１に係る動画像補正装置において、前記画像変換手段は、前記相関情報に基づき、前記参照画像から、前記補正対象画像の欠落個所に相当する範囲を抽出する範囲検出部を有することを特徴とするものである。
【００３０】
この請求項７に係る発明の実施例には、実施例１及び２が対応する。請求項７における構成要件の範囲検出部には、実施例１又は２における範囲検出部が対応する。
【００３１】
上記のように構成された請求項７に係る動画像補正装置においては、相関情報計測手段により得られた情報に基づいて、範囲検出部では、補正対象フレームの欠落部分に相当する範囲を、時間的に近隣の画像から抽出する。相関情報計測手段により求められた位置情報、移動速度、特徴点の相関などに基づいて、動画像データの画面内の動きを予測し、エラー又は画素欠陥マクロブロックに相当する動画像データが含まれる範囲の特定を容易に行うことができる。
【００３２】
請求項８に係る発明は、請求項７に係る動画像補正装置において、前記画像変換手段は、前記範囲検出部により抽出された範囲を、前記欠陥個所に適合させるための変換量を算出する変換量算出部を有することを特徴とするものである。
【００３３】
この請求項８に係る発明の実施例には、実施例１及び２が対応する。請求項８における構成要件の変換量算出部には、実施例１又は２における変換量算出部が対応する。
【００３４】
上記のように構成された請求項８に係る動画像補正装置においては、相関情報計測手段により得られた情報に基づいて、変換量算出部では、補正対象フレームの欠落部分に相当する範囲を、時間的に近隣の画像から抽出する。相関情報計測手段により求められた位置情報、移動速度、特徴点の相関などに基づいて、動画像データの画面内の動きを予測し、補正対象フレームとエラー又は画素欠陥マクロブロックに相当する動画像データが含まれるフレームとの変換量を容易に算出することができる。
【００３５】
請求項９に係る発明は、請求項２に係る動画像補正装置において、前記エラー検出手段は、前記圧縮部からの動画像圧縮データに誤り検出コードを付加する誤り検出コード付加部と、誤り検出コードから、前記欠落個所としての、前記動画像圧縮データの誤りの有無を検出する誤り検出部を有することを特徴とするものである。
【００３６】
この実施例９に係る発明の実施例には、実施例１が対応する。請求項９における構成要件の誤り検出コード付加部には、実施例１における誤り検出コード付加部が対応し、誤り検出部には、実施例１における誤り検出部が対応する。
【００３７】
上記のように構成された請求項９に係る動画像補正装置においては、撮像ユニット内の圧縮部で圧縮された動画像データに対して誤り検出コード付加部で誤り検出コードを付加して、再生ユニットに送信を行う。これにより再生ユニット内の誤り検出部では、簡易な演算処理により、伝送エラーの検出を行う事が可能となる。また、この誤り検出部での順次処理により動画像データの欠落部分の特定を行うことができる。
【００３８】
請求項10に係る発明は、請求項３に係る動画像補正装置において、前記画素欠陥位置出力手段は、前記画素欠陥位置情報を格納するテーブルメモリを有することを特徴とするものである。
【００３９】
この請求項10に係る発明の実施例には、実施例２が対応する。請求項10における構成要件のテーブルメモリには、実施例２におけるテーブルメモリが対応する。
【００４０】
上記のように構成された請求項10に係る動画像補正装置においては、画素欠陥位置情報をテーブルメモリに用意しておき、伸張部で伸張された動画像データに対し、画素欠陥検出部で画素欠陥位置情報に基づいた固定画素欠陥検出を行う。テーブルメモリを使用することにより、簡易な構成により固定画素欠陥の検出を行うことが可能となる。
【００４１】
請求項11に係る発明は、請求項３に係る動画像補正装置において、前記画素欠陥位置出力手段は、受信した前記動画像データから欠陥画素の位置を検出し、出力する画素欠陥検出手段を有することを特徴とするものである。
【００４２】
この請求項11に係る発明の実施例には、実施例２が対応する。請求項11における構成要件の画素欠陥検出手段は、実施例２における画素欠陥検出部が対応する。
【００４３】
上記のように構成された請求項11に係る動画像補正装置においては、画素欠陥検出手段により、後発的な画素欠陥に対応した動画像データの欠落に対応することができる。
【発明の効果】
【００４４】
請求項１に係る発明によれば、動きのある動画像データにおける圧縮エラーや画素欠陥による欠落部分に対して適正な補正を行うことが可能な動画像補正装置を実現できる。請求項２に係る発明によれば、伝送された圧縮データの誤りを適正に検出することができる。請求項３に係る発明によれば、動画像データのフレーム間相関性の高い画素欠陥の補正を行うことができる。請求項４に係る発明によれば、動画像データの相似的変化情報の検出などの解析処理を行うことなしに、位置検出センサの出力から動画像データの動きベクトルを容易に予測することが可能となる。請求項５に係る発明によれば、動画像データの相似的変化情報の検出などの解析処理を行うことなしに、移動速度検出センサの出力から動画像データの動きベクトルを容易に予測することが可能となる。請求項６に係る発明によれば、リアルタイムな撮像ユニットの位置情報や移動速度情報を必要とせず、動画像データのみから変換量の算出を行うことが可能となり、これによりハードディスク等に保存された動画像データに対しても、本発明の補正手法を適用することが可能となる。
【００４５】
請求項７に係る発明によれば、相関情報計測手段により求められた位置情報、移動速度、特徴点の相関などに基づいて、動画像データの画面内の動きを予測し、エラー又は画素欠陥マクロブロックに相当する動画像データが含まれる範囲の特定を容易に行うことができる。請求項８に係る発明によれば、相関情報計測手段により求められた位置情報、移動速度、特徴点の相関などに基づいて、動画像データの画面内の動きを予測し、補正対象フレームとエラー又は画素欠陥マクロブロックに相当する動画像データが含まれるフレームとの変換量を容易に算出することができる。請求項９に係る発明によれば、再生ユニット内の誤り検出部において、簡易な演算処理により、伝送エラーの検出を行う事が可能となる。また、この誤り検出部での順次処理により動画像データの欠落部分の特定を行うことができる。請求項10に係る発明によれば、テーブルメモリを使用することにより、簡易な構成により固定画素欠陥の検出を行うことが可能となる。請求項11に係る発明によれば、画素欠陥検出手段により、後発的な画素欠陥に対応した動画像データの欠落に対応することができる。
【発明を実施するための最良の形態】
【００４６】
次に、発明を実施するための最良の形態について説明する。
【実施例】
【００４７】
まず、本発明に係る動画像補正装置の実施例１について、図１を用いて説明する。本実施例は、本発明に係る動画像補正装置を画像圧縮伸張装置（撮像システム）に適用したものであり、動画像の圧縮データの伝送エラーによる動画像データの欠落が発生した場合を例にとり詳細に説明する。本実施例に係る画像圧縮伸張装置は、撮像ユニットと再生ユニットから構成されている。図１の（Ａ）に、撮像ユニットの概略構成を示す。撮像ユニットは、動画像を撮影する画像入力部１と、動画像データを所定のサイズのブロック単位で圧縮する圧縮部２と、ブロック単位で圧縮されたデータに誤り検出コードを付加する誤り検出コード付加部３と、符号化された動画像データを送信する送信部４とで構成されている。
【００４８】
図１の（Ｂ）に、再生ユニットの概略構成を示す。再生ユニットは、符号化された動画像データを受信する受信部11と、符号化された動画像データを伸張する伸張部12と、付加された誤り検出コードからデータの誤りの有無を検出する誤り検出部13と、撮像ユニットの位置または移動速度を検出する動き検出センサ14と、撮像ユニットの動きに対応する拡大・縮小・回転率情報を格納したテーブルメモリ15と、画像情報の欠落部分に相当する範囲を算出し抽出する範囲検出部16と、変換量を算出する変換量算出部17と、時間的に近隣の画像から欠落部分の補正用データを作成する補正データ作成部18と、伸張された動画像データと作成した補正用データをメモリに書き込むことで欠落部分の補正を行うメモリ制御部19と、動画像データを保持するメモリ20とにより構成されている。
【００４９】
次に、実施例１に係る撮像ユニット及び再生ユニットからなる画像圧縮伸張装置における処理の流れについて説明する。撮像ユニット内で圧縮部２により圧縮された動画像データに対して、誤り検出コード付加部３が誤り検出コードを付加し、送信部４より再生ユニットに伝送する。再生ユニット内で、受信後、誤り検出部13の演算処理により、伝送された圧縮動画像データのエラーの有無を調べる。エラーの有無により動画像データ中のブロックの欠落を検出する。動き検出センサ14で、補正対象フレームと時間的に近隣のフレームとの相対距離、撮像時の速度などのフレーム間の相関情報を求める。エラーが検出された場合に、動き検出センサ14の出力する相関情報に基づいて、範囲検出部16で近隣のフレーム内の欠落部分に相当する画像を含む範囲を検出する（範囲検出の詳細については後述する）。これと同時に変換量算出部17でも、動き検出センサ14の出力する相関情報に基づいて、範囲検出部16で検出された範囲に対する変換量の算出を行う。補正データ作成部18において、範囲検出部16で検出された範囲を変換量算出部17で算出された変換量で拡大・縮小・回転の処理を行うことにより、欠落部分に相当する画像を含む補正用データを作成する。メモリ制御部19において、前記作成した補正用データを補正対象フレームの欠落部分に書き込むことで、欠落部分の補正を行う。
【００５０】
次に、撮像ユニットの動作について更に詳細に説明する。ここでの撮像ユニットは、図２の（Ａ），（Ｂ）に示すような映像を得るもので、例えば、管腔内を移動しながら撮影する内視鏡や車載カメラのような、ある速度で一定方向に前進・後退し、且つ位置又は移動速度が測定可能なものである。この撮像ユニットにより得られる映像の特徴として、図２の（Ａ），（Ｂ）に示すように、シーンチェンジがなく、前進時は図２の（Ａ）に示すように、映像が画面中心部から画面外周部に拡大しながら移動し、後退時は図２の（Ｂ）に示すように、映像が画面外周部から画面中心部に縮小しながら移動することが挙げられる。つまり、画面内の移動物体の動きベクトルの方向は、画面内の位置により一定で、移動物体の移動距離、拡大率・縮小率及び回転率は、撮像ユニットの速度に比例するものである。この映像の特徴を利用することにより、近隣フレーム内の動画像データ欠落部分に相当する範囲の予測容易化、変換量算出の係数化、特徴点検索範囲の狭小化が図られ、結果として動画像の欠落補正処理の効率化を図ることができる。
【００５１】
まず、画像入力部１は光学系とＣＣＤ、ＣＭＯＳエリアセンサ等の撮像素子からなり、動画像データの取り込みを行い、例えばＹＵＶ形式の動画像データを圧縮部２へ出力する。圧縮部２では所定のブロック単位で動画像データの圧縮処理を行うが、ここでは、動画像データを圧縮伸張する一方式であるＭＰＥＧ（Moving Picture Experts Group）方式を前提として説明する。
【００５２】
ここで、ＭＰＥＧの圧縮方式について説明する。ＭＰＥＧは、動画像の１画面（以降フレームと表記する）に対し、画面内相関関係によるデータ圧縮方法と、該フレームと１つ前の画面（以降参照フレームと表記する）との画面間相関関係によるデータ圧縮方法を用いる。画面内相関によって圧縮されたフレームデータは、他のフレームの情報を用いることなく伸張できる。このようなフレームをＩフレームと表記する。画面間相関関係によって圧縮されたフレームをＰフレームと表記する。また、１フレーム内の16×16画素のＹ成分（輝度信号）、８×８画素のＵ成分（一方の色差信号）、８×８画素のＶ成分（他方の色差信号）を１つの処理単位として、マクロブロックと呼ぶ。マクロブロック内の各画素は、可変長符号化により符号化を行っている。
【００５３】
これに関連して、再生ユニットにおけるＭＰＥＧ方式により圧縮された動画像を伸張した動画像データの格納について説明しておく。まず、伸張された動画像データを表示するために保持するフレームが必要である。また、圧縮された動画像データの伸張処理は、Ｐフレームの場合には、次のフレームの伸張処理に参照フレームのデータを必要とするため、画像出力後も参照フレームのデータを保持しておかなければならない。したがって、１フレーム分の動画像データを格納するフレームメモリを複数用意する必要がある。
【００５４】
ここで前者をカレントフレームメモリ、後者を参照フレームメモリと称するものとする（参照フレームメモリ及びカレントフレームメモリは、図１の（Ｂ）におけるメモリ20内に領域を有する）。カレントフレームメモリと参照フレームメモリは、マクロブロックを単位として構成されており、マクロブロック番号は左上から右下に向かって昇順に割り当てられている。カレントフレームメモリにおけるマクロブロックの位置からコピー対象となる参照フレームメモリのコピー位置の特定する場合に、この番号を用いる。
【００５５】
さて、上記圧縮部２にて圧縮された動画像データに対し、誤り検出コード付加部３は誤り検出コードを付加する。本実施例では、誤り検出用コードとしてパリティ符号を用いる。１bit の誤りの有無を検出するために、データの全bit 幅でのＸＯＲ（排他的論理輪）を演算し、その演算結果を反転したものをパリティ符号として付加している。送信部４は誤り検出コード付加部３で誤り検出コードが付加された動画像データを再生ユニットに伝送する。
【００５６】
次に、実施例１に係る画像圧縮伸張装置における、再生ユニットの動作及び特徴について更に詳細に説明する。再生ユニットでは、受信部11で受信したデータに対して、誤り検出部13でパリティ符号の検査を行う。受信データからパリティ符号を演算し、受信した圧縮データのエラーの有無を検出する。次に、エラーが検出された場合の、範囲検出、変換量算出、補正データ作成の処理について説明する。ここでは、図３の（Ａ）に示すように、補正対象フレーム31において斜線部で示すマクロブロック32にエラーが検出され、動画像データが欠落した場合を例として説明する。
【００５７】
撮像ユニットが進行方向と同一方向を撮影している場合、前進時は図２の（Ａ）に示したように、映像が画面中心部から画面外周部に拡大しながら移動する。つまり、補正対象フレーム31の欠落部分は、参照フレーム内の欠落部分に相当する画像を拡大することで得られることが予測される。そこで、移動速度に対応する拡大・縮小・回転率情報をあらかじめテーブルメモリ15内に用意しておき、該テーブルメモリ15に用意された移動速度に対応する拡大・縮小・回転率情報に基づいて、範囲検出部16で図３の（Ｂ）に示すように参照フレーム35内の画面中心から補正対象フレーム31のエラーマクロブロック32に対応するマクロブロック32′の位置までを対角とする複数のマクロブロック36の位置を検出する。
【００５８】
これと同時に変換量算出部17で動き検出センサ14の出力、例えば、撮像ユニットの移動速度データとテーブルメモリ内の拡大・縮小・回転率情報とから、拡大・縮小・回転率（図示例では拡大率）を算出する。そして、メモリ20内の検出された前記複数のマクロブロック36の動画像データを読み出すことにより、図３の（Ｃ）に示す動画像データ36ａを得る。補正データ作成部18において、読み出された図３の（Ｃ）の動画像データ36ａに対して、算出された変換量による拡大・縮小・回転処理（この図示例では、算出された拡大率で拡大処理）を行い、図３の（Ｄ）に示すような補正用動画像データ37を作成し保持する。
【００５９】
算出された変換量による画像補間方法における画像拡大方法としては、例えばバイキュービック法を、縮小方法としてはダウンサンプリング法が用いられる。その他の例として、画像拡大方法では、ニアレストネイバー法、バイリニア法の採用も可能である。また、同様に画像補間方法における画像縮小方法では、平均操作法が採用可能である。
【００６０】
図３の（Ｄ）に示すような作成された補正用動画像データ37は、マクロブロック単位に再度分割され、エラーが検出されたマクロブロック位置に相当する補正用マクロブロック動画像データ38を用いて、図３の（Ｅ）に示すように補正対象フレーム31のエラーマクロブロック32の補正を行う。
【００６１】
以上の処理動作について、図４に示すフローチャートを用いて説明する。始めにステップＳ101 で１フレームの圧縮動画像データ内のマクロブロックを受信部11で受信する毎に、昇順でマクロブロック番号を割り当てる。ステップＳ102 で、受信した圧縮動画像データを誤り検出部13で解析しエラー検出を行う。エラーを検出しなかった場合は、ステップＳ103 で伸張した動画像データを、メモリ制御部19でメモリ20内のカレントフレームメモリの現在割り当てられているマクロブロック番号と同じ位置に書き込む。続いてステップＳ104 で、動画像データの書き込みが1 フレーム分行われているかどうかチェックする（受信部11で行う）。1 フレームの動画像データの処理が完了していなければ、ステップＳ101 のマクロブロック番号割り当て処理ステップに戻る。1 フレーム分の動画像データが書き込まれていれば、ステップＳ105 でそのフレームでエラーを検出したかどうかを解析し、エラーがなかった場合は、ステップＳ106 でカレントフレームメモリの動画像データを参照フレームメモリの同じ位置に全てコピーする。このコピー動作は誤り検出部13とメモリ制御部19で協調して行う。ステップＳ107 で、カレントフレームメモリの動画像データを出力し、動画像を図示しない表示部で表示した後、ステップＳ101 へ戻る（メモリ制御部19で行う）。
【００６２】
一方、ステップＳ102 でエラーを検出した場合、ステップＳ108 でマクロブロック番号に従いエラー検出位置を特定し、エラーを検出した位置データを保持する。この動作は、誤り検出部13とメモリ制御部19で協調して行う。エラーがある場合には、ステップＳ105 でエラー有りと判定され、エラーマクロブロック32に相当する補正用マクロブロック動画像データ38を参照フレーム35から作成するフローに進む。ステップＳ109 では、参照フレーム35内において、映像の中心を含むマクロブロックとエラーマクロブロック32の位置と同じ位置に当たるマクロブロック32′を対角とする複数のマクロブロック領域36を選択する。この動作は、誤り検出部13，テーブルメモリ15，動き検出センサ14及び範囲検出部16で協調して行う。
【００６３】
このシステムでは、撮像ユニットの位置又は移動距離を常に動き検出センサ14により測定している。この位置又は移動距離データから撮像ユニットの移動速度を算出する。また、基本となる移動速度に対応する動画像データの拡大・縮小・回転率をあらかじめ求めておき、ステップＳ110 でその値を用いて、算出された移動速度に対応する動画像データの拡大・縮小・回転率（この図示例では拡大率）を算出する。この動作は、テーブルメモリ15，動き検出センサ14及び変換量算出部17で協調して行う。ステップＳ111 で、求められた拡大率により上記で選択されたマクロブロック領域36の拡大処理を行う。この処理動作は、補正データ作成部18とメモリ制御部19で協調して行う。ステップＳ112 で拡大・縮小・回転処理により得られた補正用動画像データ37をマクロブロックのサイズに再分割し、エラーマクロブロック32の位置と同じ位置に当たる補正用マクロブロック動画像データ38を作成し、カレントフレームメモリのエラーマクロブロック位置に書き込む。この動作は、誤り検出部13，補正データ作成部18及びメモリ制御部19で協調して行う。ステップＳ106 で補正されたカレントフレームメモリのデータを参照フレームメモリの同じ位置に書き込む（メモリ制御部19で行う）。ステップＳ107 でカレントフレームメモリの動画像データを表示部へ出力し、動画像を表示した後ステップＳ101 へ戻る（メモリ制御部19で行う）。以上の動作により、エラーを検出した場合にも、伸張処理を継続することができ、動画像表示において乱れを小さくすることができる。
【００６４】
次に、本発明の実施例２について説明する。本実施例も、本発明に係る動画像補正装置を画像圧縮伸張装置に適用したものであり、映像の特徴を利用し、固定画素欠陥があると判定された画像を時間的に近隣の画像から欠陥画素に該当する個所を効率よく抽出し、現フレームの補正を行うものである。なお、上記実施例１とは異なり、動き検出センサではなく、特徴点検出部で以って、相関情報を得るようにしている点に特徴を有するものである。
【００６５】
本実施例に係る画像圧縮伸張装置も、図５の（Ａ），（Ｂ）に示すように撮像ユニットと再生ユニットから構成される。撮像ユニットについては、図５の（Ａ）に示すように、実施例１と同様に、画像入力部41と圧縮部42と送信部43とで構成されている。再生ユニットは、図５の（Ｂ）に示すように、符号化された圧縮動画像データを受信する受信部51と、符号化された圧縮動画像データを伸張する伸張部52と、画素欠陥位置情報を保持したテーブルメモリ53と、固定画素欠陥及び適応画素欠陥を検出する画素欠陥検出部54と、対象フレームと時間的に近隣の画像から特徴点を検出する特徴点検出部55と、画像情報の欠落部分に対応する範囲を算出し抽出する範囲検出部56と、変換量を算出する変換量算出部57と、時間的に近隣の画像から欠落部分の補正データを作成する補正データ作成部58と、画素欠陥検出の有無により一時保存データに対して欠陥補正を行うメモリ制御部59と、補正された動画像データを保持するメモリ60とにより構成されている。
【００６６】
次に、実施例２の撮像ユニット及び再生ユニットからなる画像圧縮伸張装置における処理の流れについて説明する。撮像ユニット内で画像入力部41に入力され圧縮部42により圧縮された動画像データは、送信部43より再生ユニットに伝送される。再生ユニット内では、受信部51で受信し伸張部52で伸張された動画像データに対して、画素欠陥補正を行う。画素欠陥補正においては、まず画素欠陥位置情報をテーブルメモリ53に用意しておき、伸張部52で伸張された動画像データに対し、画素欠陥検出部54で画素欠陥位置情報に基づいた固定画素欠陥検出と、動画像データの解析による適応画素欠陥の有無を調べる。この欠陥の有無により動画像データ中の画素欠陥を検出する。
【００６７】
一方、特徴点抽出部55では、補正対象フレームと時間的に近隣のフレームに対して画面内の特徴点の位置座標からフレーム間の相関情報を求める（特徴点検出の詳細については後述する）。画素欠陥が検出された場合に、特徴点抽出部55の出力する相関情報から、範囲検出部56と変換量算出部57で画素欠陥を含むマクロブロックに相当する範囲の抽出と、その範囲の変換量の算出を行う。範囲検出部56で抽出された欠落部分に相当する範囲を、算出された変換量で拡大・縮小・回転の処理を行うことにより、画素欠陥を含むマクロブロックに相当する範囲を含む補正用マクロブロック動画像データを作成する。メモリ制御部59で、作成した補正用マクロブロック動画像データを補正対象フレームの画素欠陥部分に書き込むことで、画素欠陥部分の補正を行う。
【００６８】
更に、図６の（Ａ）〜（Ｅ）を用いて、再生ユニットの動作を具体的に説明する。図６の（Ａ）に示すように、補正対象フレーム61において黒点で示す画素に画素欠陥62が検出され、動画像データ内の画素データが欠落している場合について説明する。実施例１と同様に補正対象フレーム61の欠落部分（画素欠陥62）は、メモリ60内の時間的に前の画面（参照フレーム）の欠落部分に相当する画像を拡大することで得られることが予測される。
【００６９】
そこで、特徴点検出部55により、補正対象フレーム61の画素欠陥62の位置の周囲で、明度や色が近傍の領域と急激に変化している特徴点を、少なくとも３点以上抽出する。次に、時間的に近隣のフレームに対して同様に特徴点検出を行い、更に両方のフレームの特徴点に対し、特徴点を中心とする小領域の相関マッチングを行い、両方のフレームで相関性の高い特徴点同士を対応する特徴点とみなす。それらの特徴点座標の差分から、フレーム間の画像の変化を表す相関情報を算出する。
【００７０】
特徴点検出部55で算出された相関情報に基づいて、範囲検出部56で図６の（Ｂ）に示すように、参照フレーム65の画面内の中心部から補正対象フレーム61の画素欠陥62に対応するマクロブロック位置62′までを対角とする複数のマクロブロック領域66を選択し、メモリ60内の動画像データを読み出すことにより、図６の（Ｃ）に示すような複数ブロック領域の動画像データ66ａを得る。これと同時に変換量算出部57では、特徴点検出部55で算出された相関情報に基づいて拡大・縮小・回転率を算出する。
【００７１】
補正データ作成部58において、読み出された図６の（Ｃ）に示す複数ブロック領域の動画像データ66ａに対して、算出された変換量（ここでは拡大率）による拡大・縮小・回転処理（ここでは拡大処理）を行い、図６の（Ｄ）に示すような補正用動画像データ67を作成し、保持する。作成された補正用動画像データを、マクロブロック単位に再度分割し、画素欠陥62が検出されたマクロブロック位置に相当する補正用マクロブロック動画像データ68を用いて、図６の（Ｅ）に示すように補正対象フレーム61の画素欠陥62が検出された画素の補正を行う。
【００７２】
以上の処理動作について、図７のフローチャートを用いて説明する。始めにステップＳ201 で１フレームの圧縮動画像データ内のマクロブロックを受信部51で読み込む毎に、昇順でマクロブロック番号を割り当てる。ステップＳ202 で、受信部51から読み込んだ圧縮動画像データを伸張した後解析し、マクロブロック番号と対応した固定画素欠陥位置を記憶したテーブルメモリ53の出力から固定画素欠陥の検出を行い、更に適応画素欠陥の検出を行う。この動作は、伸張部52，テーブルメモリ53及び画素欠陥検出部54で協調して行う。なお、適応画素欠陥の検出については後述する。画素欠陥を検出しなかった場合は、ステップＳ203 で伸張した動画像データをカレントフレームメモリの現在割り当てられているマクロブロック番号と同じ位置に書き込む（メモリ制御部59で行う）。ステップＳ204 で動画像データの書き込みが１フレーム分行われているかどうかチェックする（受信部51で行う）。１フレームの動画像データの処理が完了していなければ、ステップＳ201 のマクロブロック番号割り当て処理に戻る。
【００７３】
１フレーム分の動画像データが書き込まれていれば、ステップＳ205 で、そのフレームで固定画素欠陥を検出したかどうかを解析し、画素欠陥がなかった場合は、ステップＳ206 でカレントフレームメモリの動画像データを参照フレームメモリの同じ位置に全てコピーする。この動作は、テーブルメモリ53，画素欠陥検出部54及びメモリ制御部59で協調して行う。ステップＳ207 で、カレントフレームメモリの動画像データを出力し、動画像を表示した後、ステップＳ201 へ戻る（メモリ制御部59で行う）。
【００７４】
ステップＳ202 で画素欠陥が検出された場合、ステップＳ208 でマクロブロック番号に従い欠陥検出位置を特定し、画素欠陥を検出した位置データを保持する。この動作は、テーブルメモリ53，画素欠陥検出部54及びメモリ制御部59で協調して行う。
【００７５】
一方、ステップＳ205 で画素欠陥ありと判断された場合、ステップＳ209 で対象フレームと時間的に近隣のフレーム（参照フレーム：ここでは前フレーム）の特徴点検出を行い、その差分から対象フレームと時間的に近隣のフレームとの画像の相関情報を算出する。この動作は画素欠陥検出部54，テーブルメモリ53及び特徴点検出部55で協調して行う。ステップＳ210 でステップＳ209 の算出値を用いて、画素欠陥に対応するマクロブロック62の位置と同じ位置に当たる参照フレーム65のマクロブロック62′を含む複数のマクロブロック領域66を選択する（範囲検出部56で行う）。ステップＳ211 でステップＳ209 の算出値を用いて、算出された相関情報に対する動画像データの拡大・縮小・回転率（ここでは拡大率）を算出する（変換量算出部57で行う）。ステップＳ212 で、求められた拡大・縮小・回転率により上記で選択されたマクロブロックの拡大・縮小・回転処理（ここでは拡大処理）を行う。この動作は、補正データ作成部58とメモリ制御部59で協調して行う。
【００７６】
ステップＳ213 で、拡大・縮小・回転処理により得られた補正用動画像データ67をマクロブロックのサイズに再分割し、画素欠陥62を含むマクロブロック位置と同じ位置に当たる補正用マクロブロック動画像データ68を作成し、対象フレームの画素欠陥62を含むマクロブロックに書き込む。この動作は、画素欠陥検出部54，補正データ作成部58及びメモリ制御部59で協調して行う。ステップＳ206 で補正されたカレントフレームメモリのデータを参照フレームメモリの同じ位置に書き込む（メモリ制御部59で行う）。ステップＳ207 でカレントフレームメモリの動画像データを表示部へ出力し、動画像を表示した後、ステップＳ201 へ戻る（メモリ制御部59で行う）。以上により、画素欠陥を検出した場合に、動画像表示において欠陥画素を適正に補正することができる。
【００７７】
ここで、適応画素欠陥の検出法について説明する。ここでは、いわゆるＲＧＢをベイヤ配列としたフィルタを撮像素子の受光面に貼付したものを例として説明する。注目画素からＧreen成分を抽出し、各色について４つのパタンの方向相関を算出する。その相関で注目画素を含む色ブロック（ＲＧＢ）が他の色ブロックより突出している場合に注目画素を欠陥画素と判定する。
【００７８】
次に、４つのパタンの方向相関の算出について、更に説明する。図８の（Ａ），（Ｂ）は、注目画素Ｇr ，Ｇb について、方向相関を求める場合に抽出する周辺画素を表す。ＲＧＢ３色のＬ字型ブロックを斜め方向に３個連続して抽出する。Ｌ字型ブロックの形成の仕方と注目画素の配列の方向性から、注目画素Ｇr ，Ｇb でそれぞれ４通りの（方向Ａ〜方向Ｄ）の抽出方法が存在する。Ｌ字型ブロック内のＲＧＢの各画素値を用いてＧ成分を算出する。方向ＡのＲ１，Ｇ１，Ｂ１から算出したＧ成分をＧＡ１とし、Ｒ２，Ｇ２，Ｂ２から算出Ｇ成分をＧＡ２とし、Ｒ３，Ｇ３，Ｂ３から算出したＧ成分をＧＡ３とする。そして、方向Ａ〜Ｄにおける各Ｌ字型ブロックから算出したＧ成分を、ＧＸ１，ＧＸ２，ＣＸ３（ＸはＡ，Ｂ，Ｃ，Ｄ）と表すものとする。以上のようにした各Ｌ字型ブロックから算出したＧ成分について、Ａ，Ｂ，Ｃ，Ｄの全方向で、ＧＸ１，ＧＸ３の平均値とＧＸ２を比較し、その差と任意の閾値を比較することにより方向相関を求めるようにする。
【００７９】
次に、特徴点の抽出を用いた変換量の算出と範囲検出について説明する。ここで特徴点の抽出法としては、従来、画像処理の分野で行われている、エッジオペレータによる手法、Laplacian of Gaussian 、ゼロ交差法等の手法があり、これらにより、特徴点の抽出を行うことができる。これらの手法により、対象フレーム、近隣フレームの特徴点の抽出を行い、特徴点の位置座標を求め、更にフレーム内の特徴点の位置関係を解析する。対象フレームと近隣フレーム内の特徴点の位置座標、位置関係から、フレーム間の欠落部分に相当する画像を含む範囲と変換量を算出する。
【００８０】
上記各実施例の構成は、当然、各種の変形、変更が可能である。上記各実施例では、撮像ユニットから再生ユニットに送信する構成を採っているが、撮像ユニットと再生ユニットが一体のシステム構成を採ることも可能である。また、撮像ユニットと再生ユニットが分割された構成を採り、圧縮された動画像データをディスクに記録し、データの移動を行う構成を採ることも可能である。また、上記実施例１では動き検出を行うセンサが、再生ユニット内に位置しているものを示したが、撮像ユニット内に位置し、センサで検出した情報を再生ユニットに伝送する構成を採ることも可能である。更に、動き検出センサが装置外に存在し、センサからの情報を無線伝送により得るシステム構成を採ることも可能である。また上記各実施例では、撮像ユニットが一定方向に後退して行く場合に得られる動画像を対象にして説明したが、本発明は、撮像ユニットを前進あるいは回転させる場合に得られる動画像に対しても、同様に適用できるものである。
【図面の簡単な説明】
【００８１】
【図１】本発明に係る動画像補正装置の実施例１を示すブロック構成図である。
【図２】図１に示した実施例１における撮像ユニットを一定方向に前進及び後退させたときに得られる映像の態様を示す図である。
【図３】図１に示した実施例１において、エラーが検出された場合の、範囲検出、変換量算出、補正データ作成及び対象フレームの補正の各態様を示す説明図である。
【図４】図３に示した動画像のエラー補正動作を説明するためのフローチャートである。
【図５】本発明の実施例２に係る動画像補正装置の構成を示すブロック構成図である。
【図６】図５に示した実施例２において、画素欠陥が検出された場合の、範囲検出、変換量算出、補正データ作成及び対象フレームの補正の各態様を示す説明図である。
【図７】図６に示した動画像の画素欠陥補正動作を説明するためのフローチャートである。
【図８】適応画素欠陥を方向相関により求める手法を示す説明図である。
【図９】従来の画像圧縮伸張装置における欠落フレームの補間手法を説明するためのブロック構成図である。
【符号の説明】
【００８２】
１  画像入力部
２  圧縮部
３  誤り検出コード付加部
４  送信部
11  受信部
12  伸張部
13  誤り検出部
14  動き検出センサ
15  デーブルメモリ
16  範囲検出部
17  変換量算出部
18  補正データ作成部
19  メモリ制御部
20  メモリ
31  補正対象フレーム
32  エラーマクロブロック
32′  エラーマクロブロックに対応する参照フレームのマクロブロック
35  参照フレーム
36  複数マクロブロック領域
36ａ  複数マクロブロック領域の動画像データ
37  補正用動画像データ
38  補正用マクロブロック動画像データ
41  画像入力部
42  圧縮部
43  送信部
51  受信部
52  伸張部
53  テーブルメモリ
54  画素欠陥検出部
55  特徴点検出部
56  範囲検出部
57  変換量算出部
58  補正データ作成部
59  メモリ制御部
60  メモリ
61  補正対象フレーム
62  画素欠陥
65  参照フレーム
66  複数マクロブロック領域
66ａ  複数マクロブロック領域の動画像データ
67  補正用動画像データ
68  補正用マクロブロック動画像データ
【図１】
2005311746.tif 000003
【図２】
2005311746.tif 000004
【図３】
2005311746.tif 000005
【図４】
2005311746.tif 000006
【図５】
2005311746.tif 000007
【図６】
2005311746.tif 000008
【図７】
2005311746.tif 000009
【図８】
2005311746.tif 000010
【図９】
2005311746.tif 000011