(57)【要約】【課題】ゴミ補正処理を行いながら再生する際における動作速度の向上を図りながら、ユーザーにゴミなどの写りこみが補正された高品位な動画の再生を提供する。【解決手段】入力された異なるフレームの画像データを参照して予測符号化を行い生成された動画像データに対して、動画像データを撮像した撮像装置における撮像素子の前方に配置された光学素子に付着した異物の位置及び大きさに関する情報を含む異物情報に基づいて、異物の影を補正する画像処理装置であって、動画像データからフレーム間の差分を表す情報を求め、フレームごとの画像に伸張する動画像伸張部と、異物情報で示される異物の影となる領域に対応する動画像伸張部から得られるフレーム間の差分を表す情報が、予め定められたしきい値よりも大きいと判定された場合に、フレーム間の差分を表す情報を補正する補正部とを備える。【選択図】図１２
2010057136.tif 000002
【特許請求の範囲】
【請求項１】
入力された異なるフレームの画像データを参照して予測符号化を行い生成された動画像データに対して、前記動画像データを撮像した撮像装置における撮像素子の前方に配置された光学素子に付着した異物の位置及び大きさに関する情報を含む異物情報に基づいて、異物の影を補正する画像処理装置であって、
前記動画像データからフレーム間の差分を表す情報を求め、フレームごとの画像に伸張する動画像伸張手段と、
前記異物情報で示される異物の影となる領域に対応する前記動画像伸張手段から得られるフレーム間の差分を表す情報が、予め定められたしきい値よりも大きいと判定された場合に、フレーム間の差分を表す情報を補正する補正手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記フレーム間の差分を表す情報は予測誤差であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記動画像伸張手段から得られるフレーム画像に対して、前記異物情報に含まれていて、かつ前記補正手段により補正されなかった異物の影の除去処理を行う異物除去手段をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記補正手段で処理するフレームは異なるフレームの画像データを参照して符号化されたフレームであることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記補正手段での補正処理は、フレーム間の差分を０に置き換える処理であることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記補正手段での補正処理は、フレーム間の差分に対して所定の値を加算あるいは減算する処理であることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記補正手段は、前記異物情報で表される異物の影となる領域に対して少なくとも一つの前記しきい値を設定することを特徴とする請求項１に記載の画像処理装置。
【請求項８】
入力された異なるフレームの画像データを参照して予測符号化を行い生成された動画像データに対して、前記動画像データを撮像した撮像装置における撮像素子の前方に配置された光学素子に付着した異物の位置及び大きさに関する情報を含む異物情報に基づいて、異物の影を補正する画像処理装置を制御する方法であって、
前記動画像データからフレーム間の差分を表す情報を求め、フレームごとの画像に伸張する動画像伸張工程と、
前記異物情報で示される異物の影となる領域に対応する前記動画像伸張工程において得られるフレーム間の差分を表す情報が、予め定められたしきい値よりも大きいと判定された場合に、フレーム間の差分を表す情報を補正する補正工程と、
を備えることを特徴とする画像処理装置の制御方法。
【請求項９】
請求項８に記載の制御方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＣＤやＣＭＯＳセンサ等の撮像素子を用いた撮像装置における、撮像素子の前方に配置された光学ローパスフィルター等の光学素子の表面に付着した異物による画質劣化を抑制する技術に関する。
【背景技術】
【０００２】
レンズ交換式のデジタルカメラでは、レンズをカメラ本体から取り外した際にカメラ本体の内部に空気中に浮遊する埃などが侵入する可能性がある。またカメラ内部には、例えばシャッタ機構等の機械的に動作する各種の機構部が配設されており、これらの機構部が動作することにより、カメラ本体内で金属片などのゴミ等が発生する場合もある。
【０００３】
このようなゴミや埃などの異物がデジタルカメラの撮像部を構成する光学素子である撮像素子の前方に配置された光学ローパスフィルタの表面等に付着すると、その異物は撮影された画像に影となって写り込んでしまい、撮影画像の品位を低下させてしまう。
【０００４】
銀塩フィルムを使用したカメラでは、画像を撮影する度にフィルムが送られるため、同じ異物が連続して画像の同じ位置に写り込むことは極めて稀である。しかしデジタルカメラでは、撮影毎にフィルムのコマを送るような動きが発生しないため、撮影画像の同じ位置に連続して同じ異物が写り込んでしまうという問題がある。
【０００５】
このような問題点を解決するため、異物が写り込んだ画素をその画素の周囲の画素の信号を利用するなどして補正する方法が考えられる。そのような画素を補正する技術として、例えば特許文献１（特開平６−１０５２４１号公報）には、撮像素子の画素欠陥を補正するための画像欠陥補正方法が提案されている。また特許文献２（特開２００４−２４２１５８号公報）には、画素欠陥の位置情報の設定を簡略化するために、ゴミ取得モードで撮影した画像ファイルの拡張子などを通常画像と異ならせることが提案されている。このようにすることで、ＰＣ（パーソナルコンピュータ）側でゴミ情報画像を自動判別し、その情報を用いて補正対象画像を補正する。
【０００６】
また近年、動画情報をデジタルデータとして取り扱い、蓄積・伝送に用いるために、高圧縮率かつ高画質で符号化する技術が提案され広く普及している。
【０００７】
Ｍｏｔｉｏｎ ＪＰＥＧ方式は、静止画符号化（例えば、ＪＰＥＧ（JointPhotographic Coding Experts Group）符号化）を各フレームに適応させることで符号化する。ＪＰＥＧ符号化は、基本的には静止画に対する符号化方式であるが、高速処理させることにより動画にも対応させる製品も出てきている。
【０００８】
ＪＰＥＧ方式の概略を簡単に説明する。画像データを所定の大きさのブロック（例えば、８×８画素よりなるブロック）に分割し、そのブロック毎に２次元離散コサイン変換を行ない、その変換係数を線形又は非線形に量子化する。量子化された変換係数を次のようにハフマン符号化（可変長符号化）する。即ち、変換係数の直流成分に関しては、近傍ブロックの直流成分との差分値をハフマン符号化し、交流成分についてはジグザグ・スキャンにより低周波数成分から高周波数成分へとシリアル化する。そして、値が０の無効成分の連続する個数とそれに続く有効な成分の値との組に対してハフマン符号化を実行する。
【０００９】
一方、更なる高圧縮率、高画質を目指した符号化方式としてＨ．２６４（ＭＰＥＧ４−Ｐａｒｔ１０ ＡＶＣ）がある。このＨ．２６４はＭＰＥＧ２やＭＰＥＧ４といった従来の符号化方式と比較して、その符号化、復号により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている（非特許文献１参照）。
【００１０】
図１４は、Ｈ．２６４方式で画像データを圧縮する画像処理装置の構成を示す図である。図１４において、入力された画像データは、マクロブロックに分けられ、減算部４０１に送られる。減算部４０１は、画像データと予測値との差分を求めて、整数ＤＣＴ（Discrete Cosine Transform）変換部４０２に出力する。整数ＤＣＴ変換部４０２は、入力されたデータを整数ＤＣＴ変換して量子化部４０３に出力する。量子化部４０３は、入力されたデータを量子化する。量子化されたデータの一方は、差分画像データとしてエントロピー符号化部４１５に送られる。もう一方は、逆量子化部４０４で逆量子化された後、逆整数ＤＣＴ変換部４０５で逆整数ＤＣＴ変換される。逆整数ＤＣＴ変換されたデータは、加算部４０６で予測値が加えられる。これにより、画像が復元される。
【００１１】
復元された画像の一方は、イントラ（フレーム内）予測のためのフレームメモリ４０７に送られる。他方は、デブロッキングフィルター４０９でデブロッキングフィルター処理が行われた後、インター（フレーム間）予測のためのフレームメモリ４１０に送られる。イントラ予測のためのフレームメモリ４０７内の画像は、イントラ予測部４０８でのイントラ予測で使用される。このイントラ予測では、同一ピクチャ内で、既に符号化されたブロックの隣接画素の値を予測値として用いる。
【００１２】
インター予測のためのフレームメモリ４１０内の画像は、後述するように、複数のピクチャで構成される。これら複数のピクチャは、「Ｌｉｓｔ０」と「Ｌｉｓｔ１」の２つのリストに分けられる。２つのリストに分けられた複数のピクチャは、インター予測部４１１でのインター予測で使用される。インター予測がなされた後に、メモリコントローラー４１３によって、内部の画像が更新される。インター予測部４１１で行われるインター予測では、フレームの異なる画像データに対して動き検出部４１２で行われた動き検出の結果に基づく最適な動きベクトルを用いて、予測画像を決定する。
【００１３】
イントラ予測とインター予測の結果、最適な予測結果が選択部４１４で選択される。また、上記の動きベクトルは、エントロピー符号化部４１５に送られ、上記の差分画像データと共に符号化される。こうして出力ビットストリームが形成される。
【００１４】
ここで、Ｈ．２６４方式のインター予測について、図１５乃至図１８を参照して詳細に説明する。
【００１５】
Ｈ．２６４方式のインター予測では、複数のピクチャを予測に用いることができる。このため、参照ピクチャを特定するためにリストを２つ（「Ｌｉｓｔ０」及び「Ｌｉｓｔ１」）用意する。各リストには最大５枚の参照ピクチャが割り当てられるようにしている。
【００１６】
Ｐピクチャでは「Ｌｉｓｔ０」のみを使用して、主に前方向予測を行う。Ｂピクチャでは「Ｌｉｓｔ０」及び「Ｌｉｓｔ１」を用いて、双方向予測（または前方あるいは後方のみの予測）を行う。すなわち、「Ｌｉｓｔ０」には主に前方向予測のためのピクチャが割り当てられ、「Ｌｉｓｔ１」には主に後方向予測のためのピクチャが収められる。
【００１７】
図１５に、符号化の際に使用される参照リストの例を示す。ここでは、Ｉピクチャ、Ｐピクチャ及びＢピクチャの割合が、標準的な場合を例に挙げて説明する。すなわち、Ｉピクチャが１５フレーム間隔、Ｐピクチャが３フレーム間隔、その間のＢピクチャが２フレーム間隔である場合で説明する。図１５において、１００１は、表示順に並べた画像データを示す。画像データ１００１の四角の中にはピクチャの種類と表示順を示す番号を記入してある。例えば、ピクチャＩ１５は表示順が１５番目のＩピクチャであり、イントラ予測のみを行う。ピクチャＰ１８は表示順が１８番目のＰピクチャであり、前方向予測のみを行う。ピクチャＢ１６は表示順が１６番目のＢピクチャであり、双方向予測を行う。
【００１８】
符号化を行う順序は表示順序と異なり、予測を行う順となる。すなわち、図１５では、符号化を行う順序は、「Ｉ１５、Ｐ１８、Ｂ１６、Ｂ１７、Ｐ２１、Ｂ１９、Ｂ２０、…」となる。
【００１９】
また、図１５において、１００２は、参照リスト（Ｌｉｓｔ０）を示す。この参照リスト（Ｌｉｓｔ０）１００２には、一旦符号化され復号化されたピクチャが収められている。例えば、ピクチャＰ２１（表示順が２１番目のＰピクチャ）でインター予測を行う場合、参照リスト（Ｌｉｓｔ０）１００２内の既に符号化が終わって復号化されたピクチャを参照する。図１５に示す例では、ピクチャＰ０６、Ｐ０９、Ｐ１２、Ｉ１５、Ｐ１８が参照リスト１００２に収められている。
【００２０】
インター予測では、マクロブロック毎に、この参照リスト（Ｌｉｓｔ０）１００２中の参照ピクチャ内から最適な予測値をもつ動きベクトルを求め、符号化する。参照リスト（Ｌｉｓｔ０）１００２内のピクチャは、参照ピクチャ番号が順に与えられ、区別される（図示した番号とは別に与えられる）。
【００２１】
ピクチャＰ２１の符号化が終わると、こんどは新たにピクチャＰ２１が復号化され参照リスト（Ｌｉｓｔ０）１００２に追加される。参照リスト（Ｌｉｓｔ０）１００２から、最も古い参照ピクチャ（ここではピクチャＰ０６）が除去される。この後符号化は、ピクチャＢ１９、Ｂ２０と行われ、ピクチャＰ２４へと続く。このときの参照リスト（Ｌｉｓｔ０）１００２の様子を図１６に示す。
【００２２】
図１７に、参照リストの変化の様子をピクチャ毎に示す。
【００２３】
図１７では、上から順番にピクチャが符号化されるようにしている。また、符号化中のピクチャと、その符号化中のピクチャに対する参照リスト（Ｌｉｓｔ０及びＬｉｓｔ１）の内容を示している。図１７に示す様に、Ｐピクチャ（またはＩピクチャ）が符号化されると、参照リスト（Ｌｉｓｔ０及びＬｉｓｔ１）が更新され、参照リスト（Ｌｉｓｔ０及びＬｉｓｔ１）中の最も古いピクチャが除去される。この例では、参照リスト（Ｌｉｓｔ１）は１つのピクチャしか持っていない。これは、後方向予測のために参照するピクチャの数を多くすると、復号までのバッファ量が増えてしまうためである。すなわち、符号化中のピクチャとあまりに離れたところにある後方のピクチャの参照を避けたためである。
【００２４】
ここで挙げた例では、参照に用いるピクチャを、Ｉピクチャ及びＰピクチャとし、Ｉピクチャ及びＰピクチャの全てを参照リスト（Ｌｉｓｔ０及びＬｉｓｔ１）に順次加えている。また、後方向予測のために参照リスト（Ｌｉｓｔ１）で使うピクチャはＰピクチャだけとした。以上のようにしたのは、通常最もよく用いられるであろうピクチャの構成であるからである。ただし、このような参照リストにおけるピクチャの構成は、最も良く使用されるであろう一例に過ぎず、Ｈ．２６４自体は、参照リストの構成に、より高い自由度を持っている。
【００２５】
例えば、Ｉピクチャ及びＰピクチャの全てを参照リストに加える必要は無く、またＢピクチャを参照リストに加えることも可能である。また明示的に指示されるまで参照リストにとどまる長期参照リストも定義されている。図１８に、Ｂピクチャを参照リストに加える場合の参照リストの変化の様子を示す。Ｂピクチャを参照リストに加える場合、通常、全てのＢピクチャを符号化する度に、符号化したピクチャを参照リストに追加することが考えられる。
【００２６】
尚、図１９は、Ｈ２６４のインター予測では１６ｘ１６画素のマクロブロックをさらに細かいマクロブロック・パーティションに分割することができる様子を示している。分割したマクロブロック・パーティションは、それぞれに独立した参照ピクチャを参照し、動きベクトルを求めることができる。さらに、８ｘ８のマクロブロック・パーティションについては、より細かいサブ・マクロブロック・パーティションに分割することができる。各サブ・マクロブロック・パーティションは、同一の参照ピクチャを参照するが、動きベクトルは独立して求められる。尚、特許文献４の図２７にも、このように動き補償のブロックサイズを変更できる構成が開示されている。
【００２７】
次に、Ｈ．２６４方式で記録されたファイルの一般的な再生方法を説明する。
【００２８】
前述したようにデジタルビデオカメラ、デジタルスチルカメラ等で撮影されたＭＰＥＧ（ＭＰＥＧ−２またはＭＰＥＧ−４フォーマット）の画像データを記録する汎用フォーマットとしてＭＰ４（ＭＰＥＧ−４）ファイルフォーマットが用いられる。そして、ＭＰ４ファイルとして記録することで、他のデジタル機器で再生できるなどの互換性が保証される。
【００２９】
ＭＰ４ファイルは 基本的には、図２０（ａ）に示すように、符号化されたストリーム画像データが入っている mdat ボックスと、ストリーム画像データに関連する情報が入っている moov ボックスとから構成されている。
【００３０】
mdat ボックスの中はさらに、図２０（ｂ）に示すように複数のチャンク（chunk cN）で構成され、各チャンクは図２０（ｄ）に示すように複数のサンプル（sample sM）から構成される。各サンプルは例えば図２０（ｅ）に示すように、sample s1、sample s2、sample s3、sample s4、…に対してＩ０、Ｂ−２、Ｂ−１、Ｐ３、…の符号化されたＭＰＥＧ画像データが対応する。
【００３１】
ここで、Ｉ０、Ｉ１、Ｉ２、…、Ｉｎ はイントラ符号化（フレーム内符号化）されたフレーム画像データであり、Ｂ０、Ｂ１、Ｂ２、…、Ｂｎ は双方向から参照して符号化（フレーム間符号化）されるフレーム画像データである。また、Ｐ０、Ｐ１、Ｐ２、…、Ｐｎは一方向（順方向）から参照して符号化（フレーム間符号化）されるフレーム画像データである。そして、いずれも可変長符号データである。
【００３２】
moov ボックスは図２０（ｃ）に示すように、作成日時等が記録されるヘッダ情報から成る mvhd ボックスと mdat ボックスに格納されたストリーム画像データに関する情報を入れる trak ボックスから成る。
【００３３】
trak ボックスに格納される情報としては、図２０（ｈ）に示すように、 mdat ボックスの各チャンクへのオフセット値の情報を格納する stco ボックスや、図２０（ｇ）に示すように各チャンク内のサンプル数の情報を格納する stsc ボックスがある。また、図２０（ｆ）に示すように各サンプルのサイズの情報を格納する stsz ボックスもある。
【００３４】
従って上記の stcoボックス、stscボックス、stsz ボックスに格納されるデータのデータ量は、記録された画像データの量、すなわち記録時間と伴に増大していく。例えば１秒間３０フレームの画像を１５フレーム毎に１チャンクに格納するようにしてＭＰ４ファイルとして記録していった場合、２時間で１Ｍbytesほどのデータとなり、１Ｍbytesの容量を有する moov ボックスが必要となる。
【００３５】
このＭＰ４ファイルを再生する場合、記録媒体からＭＰ４ファイルの moov ボックスを読み込み、その moov ボックスから上記の stco ボックス、stsc ボックス、stsz ボックスを解析して、mdat ボックス内の各チャンクへのアクセスが出来るようになる。
【００３６】
ＭＰ４ファイルフォーマットで記録する場合、ストリームデータは時間とともに増大し、そのサイズも非常に大きいため、記録中にもファイルへストリームデータを書き出す必要がある。
【００３７】
しかしながら上述の通り、moov ボックスも記録時間に応じてサイズが増加するため、記録が終了するまではＭＰ４ヘッダのサイズも不明なため、ストリームデータのファイル中への書き出しオフセット位置を決定することができない。
【００３８】
したがって、一般的な動画処理装置での記録では、ＭＰ４ファイルフォーマットの柔軟性を利用し、以下のような対応を行う。
（１）mdat ボックスをファイル先頭に配置し、記録終了時に moov ボックスをmdat ボックスの後ろに配置する（図２１（ａ））
（２）特許文献３に提案されるように、moov ボックスのサイズをあらかじめ決めてしまい、mdat ボックスのオフセット位置を決定して、記録を行う（図２１（ｂ））。記録時間が短く、ヘッダ領域が余る場合でも、その領域は free ボックスとして残す。ヘッダサイズを越えて記録する場合には、随時Ｉピクチャのフレーム番号情報を間引いて記録することで、ヘッダサイズをあらかじめ決定したサイズで維持する。
（３）moov ボックスとmdat ボックスのペアを、複数に分割して配置する（図２１（ｃ）。この場合、２つ目以降のヘッダ領域を moof ボックスと呼ぶ。
【００３９】
以上が一般的なＭＰ４ファイルの構成である。
【００４０】
図２２は、Ｈ．２６４の方式により圧縮符号化された動画像を再生する動画再生装置の基本的な構成例を示す図である。
【００４１】
図２２において動画再生装置は、記録媒体８０１、記録媒体からデータを再生する再生回路８０２、バッファ回路８０３、可変長復号化回路８０４、逆量子化回路８０５、逆ＤＣＴ回路８０６、加算回路８０７、メモリ８０８、動き補償回路８０９、スイッチ回路８１０、並べ替え回路８１１、出力端子８１２、ヘッダ情報解析回路８１３、再生制御回路８１４、制御信号の入力端子８１５を有している。
【００４２】
図２２に示す動画再生装置の再生処理の流れについて説明する。
【００４３】
再生制御回路８１４の指示を受け、再生回路８０２は記録媒体８０１に記録されたＭＰ４ファイルを再生し、バッファ回路８０３に供給し始める。それと同時に、再生制御回路８１４は、ヘッダ情報解析回路でmoov ボックスの mdat 内の格納状況を示す stco ボックス、stsc ボックス、stsz ボックスからオフセットやchunkやsampleの情報を解析するよう制御する。そして、記録媒体８０１からmdat ボックスのストリーム画像データを再生し始めるように再生回路８０２を制御する。
【００４４】
再生回路８０２は記録媒体８０１に記録されたファイルの mdat ボックスのストリーム画像データをその先頭アドレスから再生し、バッファ回路８０３に供給する。バッファ回路８０３に記憶されたストリーム画像データはバッファ回路８０３の占有状態等をみて読み出しを始め、可変長復号化回路８０４にストリーム画像データを供給する。可変長復号化回路８０４はバッファ回路８０３から供給される再生されたストリーム画像データを可変長復号し、逆量子化回路８０５に供給する。
【００４５】
逆量子化回路８０５は可変長復号化回路８０４から供給される可変長復号されたストリーム画像データを逆量子化し、逆ＤＣＴ回路８０６に供給する。逆ＤＣＴ回路８０６は逆量子化回路８０５から供給される逆量子化されたデータに逆ＤＣＴを施し、加算回路８０７に供給する。加算回路８０７は逆ＤＣＴ回路８０６から供給される逆ＤＣＴデータとスイッチ回路８１０から供給されるデータを加算する。
【００４６】
ここで記録媒体８０１から再生されるストリーム画像データは、図２３に示すようにまずＧＯＰ０（Group Of Picture）のフレーム内符号化されたＩ０が再生されるので、再生制御回路８１４はスイッチ回路８１０の端子ａを選択するよう制御し、スイッチ回路８１０は加算回路８０７にデータ”０”を供給する。加算回路８０７はスイッチ回路８１０から供給される”０”データと逆ＤＣＴ回路８０６から供給される逆ＤＣＴデータとを加算して、再生されたフレームＦ０としてメモリ８０８と並べ替え回路８１１に供給する。メモリ８０８は加算回路８０７から供給される加算データを記憶する。
【００４７】
ＧＯＰ０のフレーム内符号化データＩ０の次に再生されるのは双方向予測符号化されたピクチャデータＢ−２、Ｂ−１であり、逆ＤＣＴ回路８０６までの再生手続きは上記フレーム内符号化データＩ０で説明した再生手続きと同様であるので省略する。
【００４８】
逆ＤＣＴ回路８０６から逆ＤＣＴ双方向予測符号化画像データが加算回路８０７に供給される。再生制御回路８１４はこの時、スイッチ回路８１０の可動端子ｃが固定端子ｂを選択するようスイッチ回路８１０を制御し、加算回路８０７に動き補償回路８０９からのデータを供給する。
【００４９】
動き補償回路８０９は再生されてくるストリーム画像データから、符号化時に生成され、ストリーム画像データ内に記録された動きベクトルを検出し、参照ブロックのデータ（この場合は記録開始時であるため、再生されたフレーム内符号化データＦ０からのデータのみ）をメモリ８０８から読み出してスイッチ回路８１０の可動端子ｃに供給する。
【００５０】
加算回路８０７は逆ＤＣＴ回路８０６から供給される逆ＤＣＴされたデータとスイッチ回路８１０から供給される動き補償されたデータを加算し、再生されたフレームＦ−２、Ｆ−１として並べ替え回路８１１に供給する。
【００５１】
次に片方向予測符号化されたピクチャデータＰ３が再生されるが、逆ＤＣＴ回路８０６までの再生手続きは上記フレーム内符号化データＩ０で説明した再生手続きと同様であるので省略する。
【００５２】
逆ＤＣＴ回路８０６から供給される逆ＤＣＴされたピクチャデータが加算回路８０７に供給される。再生制御回路８１４はこの時、スイッチ回路８１０の可動端子ｃが固定端子ｂを選択するようスイッチ回路８１０を制御し、加算回路８０７に動き補償回路８０９からのデータを供給する。
【００５３】
動き補償回路８０９は再生されてくるストリーム画像データから、符号化時に生成されてストリーム画像データ内に記録された動きベクトルを検出する。そして、参照ブロックのデータ（再生されたフレーム内符号化データＦ０からのデータ）をメモリ８０８から読み出してスイッチ回路８１０の可動端子ｃに供給する。
【００５４】
加算回路８０７は逆ＤＣＴ回路８０６から供給される逆ＤＣＴデータとスイッチ回路８１０から供給される動き補償されたデータを加算し、再生されたフレームＦ３としてメモリ８０８と並べ替え回路８１１に供給する。メモリ８０８は加算回路８０７から供給される加算データを記憶する。
【００５５】
次にピクチャＢ１、Ｂ２が再生されるが、記録開始時のフレームではないため、双方向予測としてフレームＦ０とＦ３から再生されるということ以外は上記Ｂ−２、Ｂ−１で説明したのと同様の手続きをとって再生される。かくして上記で説明したように順次Ｐ６、Ｂ４、Ｂ５、…、と再生されていく。
【００５６】
並べ替え回路８１１は順次再生されてくるフレームＦ０、Ｆ−２、Ｆ−１、Ｆ３、Ｆ１、Ｆ２、Ｆ６、Ｆ４、Ｆ５、…、をＦ−２、Ｆ−１、Ｆ０、Ｆ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５、Ｆ６、…の順に並べ換えて出力端子８１２に出力する。
【００５７】
上記ファイル再生開始時にヘッダ情報解析回路８１３はＭＰ４ファイルの moov ボックスの mdat 内の格納状況を示す stco ボックス、stsc ボックス、stsz ボックスからオフセットやchunkやsampleの情報を解析しているので、再生制御回路８１４はＧＯＰ１まで読み飛ばしてＧＯＰ１から次の再生を始めるように働く。
【００５８】
これらの符号化方式を利用して動画像を記録、再生可能としたコンパクトデジタルカメラも開発、製品化されており、ユーザーはこれらの装置或いはパーソナルコンピュータやＤＶＤプレーヤーなどを用いて簡単に画像を視聴することが可能となっている。
【特許文献１】特開平６−１０５２４１号公報
【特許文献２】特開２００４−２４２１５８号公報
【特許文献３】特開２００３−２８９４９５号公報
【特許文献４】特開２００５−５８４４号公報
【非特許文献１】ISO/IEC 14496-10,"Advanced Video Coding"
【発明の開示】
【発明が解決しようとする課題】
【００５９】
このような状況の中で、近年では、コンパクトタイプのデジタルカメラのみならず、レンズ交換式のデジタルカメラにおいても、より高画素、高精細な動画像を記録したいニーズも高まっている。しかし、すでに述べたように、レンズ交換式のデジタルカメラではさまざまな要因で撮像素子の前方に配置された光学素子の表面にゴミが付着するため、そのまま動画記録を行うと、動画再生中、常に同じ位置にゴミが写ってしまう可能性があった。
【００６０】
レンズ交換式のデジタルカメラにおける従来のゴミ除去方法では、ゴミ除去に必要な情報（例えばゴミの位置及び大きさの情報）と画像データとを記録しておき、後にパソコンなどに画像を取り込んで画像処理によりゴミを除去していた。すなわち、記録される画像データにはゴミが写り込んでいることになる。静止画ではゴミを除去する作業は一枚ごとになるが、動画では記録された時間すべてにわたりゴミ除去を行わなければならず非常に時間のかかる作業となる。
【００６１】
また、再生時にゴミ除去に必要な情報を用いてゴミ補正処理を行う場合、静止画再生の場合はゴミ除去処理に時間を要しても静止画像の再生であることから、ゴミ補正処理が完了するまで待つことの弊害は少ない。一方、動画像の場合は、一秒間に１５フレーム、３０フレームといった、複数の静止画像を連続で再生することにより画像の動きを表現しているため、所定の時間内に連続的にフレームを復号出来なければ、自然な動画再生を行うことはできない。
【００６２】
従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、ゴミ補正処理を行いながら再生する際における動作速度の向上を図りながら、ユーザーにゴミなどの写りこみが補正された高品位な動画の再生を提供することである。
【課題を解決するための手段】
【００６３】
上述した課題を解決し、目的を達成するために、本発明に係わる画像処理装置は、入力された異なるフレームの画像データを参照して予測符号化を行い生成された動画像データに対して、前記動画像データを撮像した撮像装置における撮像素子の前方に配置された光学素子に付着した異物の位置及び大きさに関する情報を含む異物情報に基づいて、異物の影を補正する画像処理装置であって、前記動画像データからフレーム間の差分を表す情報を求め、フレームごとの画像に伸張する動画像伸張手段と、前記異物情報で示される異物の影となる領域に対応する前記動画像伸張手段から得られるフレーム間の差分を表す情報が、予め定められたしきい値よりも大きいと判定された場合に、フレーム間の差分を表す情報を補正する補正手段と、を備えることを特徴とする。
【００６４】
また、本発明に係わる画像処理装置の制御方法は、入力された異なるフレームの画像データを参照して予測符号化を行い生成された動画像データに対して、前記動画像データを撮像した撮像装置における撮像素子の前方に配置された光学素子に付着した異物の位置及び大きさに関する情報を含む異物情報に基づいて、異物の影を補正する画像処理装置を制御する方法であって、前記動画像データからフレーム間の差分を表す情報を求め、フレームごとの画像に伸張する動画像伸張工程と、前記異物情報で示される異物の影となる領域に対応する前記動画像伸張工程において得られるフレーム間の差分を表す情報が、予め定められたしきい値よりも大きいと判定された場合に、フレーム間の差分を表す情報を補正する補正工程と、を備えることを特徴とする。
【発明の効果】
【００６５】
本発明によれば、ゴミ補正処理を行いながら再生する際における動作速度の向上を図りながら、ユーザーにゴミなどの写りこみが補正された高品位な動画の再生を提供することが可能となる。
【発明を実施するための最良の形態】
【００６６】
以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。
【００６７】
図１は、本発明の一実施形態における画像処理機能を有する撮像装置の構成を示すブロック図である。本実施形態においては、撮像装置としてレンズ交換可能な一眼レフタイプのデジタルスチルカメラを例に挙げて説明する。なお撮像装置としては、他にレンズ交換が可能なデジタルビデオカメラ等にも、本発明を適用することが可能である。
【００６８】
図１に示すように、本実施形態の撮像装置は、主にカメラ本体１００と、交換レンズタイプのレンズユニット３００とを備えて構成されている。
【００６９】
レンズユニット３００において、３１０は複数のレンズから成る撮像レンズ、３１２は絞り、３０６はレンズユニット３００をカメラ本体１００と機械的に結合するレンズマウントである。レンズマウント３０６内には、レンズユニット３００をカメラ本体１００と電気的に接続する各種機能が含まれている。３２０は、レンズマウント３０６において、レンズユニット３００をカメラ本体１００と接続するためのインターフェース、３２２はレンズユニット３００をカメラ本体１００と電気的に接続するコネクタである。
【００７０】
コネクタ３２２は、カメラ本体１００とレンズユニット３００との間で制御信号、状態信号、データ信号などを伝え合うと共に、各種電圧の電流を供給される機能も備えている。また、コネクタ３２２は電気通信のみならず、光通信、音声通信などを用いて通信を行う構成としてもよい。
【００７１】
３４０は、測光制御部４６からの測光情報に基づいて、後述するカメラ本体１００のシッター１２を制御するシャッター制御部４０と連携しながら、絞り３１２を制御する絞り制御部である。３４２は撮像レンズ３１０のフォーカシングを制御するフォーカス制御部、３４４は撮像レンズ３１０のズーミングを制御するズーム制御部である。
【００７２】
３５０はレンズユニット３００全体を制御するレンズシステム制御回路である。レンズシステム制御回路３５０は、動作用の定数、変数、プログラムなどを記憶するメモリを備えている。更に、レンズユニット３００固有の番号などの識別情報、管理情報、開放絞り値や最小絞り値、焦点距離などの機能情報、現在や過去の各設定値などを保持する不揮発性メモリも備えている。
【００７３】
次に、カメラ本体１００の構成について説明する。
【００７４】
１０６はカメラ本体１００とレンズユニット３００を機械的に結合するレンズマウント、１３０，１３２はミラーで、撮像レンズ３１０に入射した光線を一眼レフ方式によって光学ファインダ１０４に導く。なお、ミラー１３０はクイックリターンミラーの構成としても、ハーフミラーの構成としても、どちらでも構わない。１２はフォーカルプレーン式のシャッター、１４はＣＣＤ、ＣＭＯＳセンサ等からなり、被写体像を光電変換する撮像素子である。なお、撮像素子１４の前方には、光学ローパスフィルター等の光学素子１４ａが配置されており、この光学素子１４ａの表面に付着したゴミ等の異物が撮像素子１４で生成される画像に写りこみ、画質を劣化させる。本実施形態は、この画質劣化を抑制する技術に関するものである。
【００７５】
撮像レンズ３１０に入射した光線は、一眼レフ方式によって光量制限手段である絞り３１２、レンズマウント３０６及び１０６、ミラー１３０、シャッター１２を介して導かれ、光学像として撮像素子１４上に結像される。
【００７６】
１６は、撮像素子１４から出力されるアナログ信号（出力信号）をデジタル信号に変換するＡ／Ｄ変換器である。１８は撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にそれぞれクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。
【００７７】
２０は画像処理回路であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０は、必要に応じて、Ａ／Ｄ変換器１６から出力される画像データを用いて所定の演算処理を行う。得られた演算結果に基づいてシステム制御回路５０がシャッター制御部４０、焦点調節部４２を制御するための、ＴＴＬ（スルー・ザ・レンズ）方式のオートフォーカス（ＡＦ）処理、自動露出（ＡＥ）処理、フラッシュプリ発光（ＥＦ）処理を行うことができる。さらに、画像処理回路２０は、Ａ／Ｄ変換器１６から出力される画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のオートホワイトバランス（ＡＷＢ）処理も行っている
なお、本実施形態における図１に示す例では、焦点調節部４２及び測光制御部４６を専用に備えている。従って、焦点調節部４２及び測光制御部４６を用いてＡＦ処理、ＡＥ処理、ＥＦ処理の各処理を行い、画像処理回路２０を用いたＡＦ処理、ＡＥ処理、ＥＦ処理の各処理を行わない構成としても構わない。また、焦点調節部４２及び測光制御部４６を用いてＡＦ処理、ＡＥ処理、ＥＦ処理の各処理を行い、さらに、画像処理回路２０を用いたＡＦ処理、ＡＥ処理、ＥＦ処理の各処理を行う構成としてもよい。
【００７８】
２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６から出力される画像データは、画像処理回路２０、メモリ制御回路２２を介して、或いはメモリ制御回路２２のみを介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。
【００７９】
２４は画像表示メモリ、２６はＤ／Ａ変換器、２８はＴＦＴ方式のＬＣＤ等から成る画像表示部であり、画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８により表示される。画像表示部２８を用いて、撮像した画像データを逐次表示することで、電子ビューファインダー（ＥＶＦ）機能を実現することができる。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合にはカメラ本体１００の電力消費を大幅に低減することができる。
【００８０】
３０は撮影した静止画像あるいは動画像を格納するためのメモリであり、所定枚数の静止画像あるいは所定量の動画像を格納するのに十分な記憶容量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、動画撮影時には、所定レートで連続的に書き込まれる画像のフレームバッファとして使用される。さらに、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。
【００８１】
３１は後述する不揮発性メモリ５６に格納されているゴミ情報と、レンズユニット３００から得られる光学情報を用いて、画像データに含まれるゴミを画像処理により除去するためのゴミ除去回路である。
【００８２】
３２は公知の圧縮方法を用いて画像データを圧縮・伸長する圧縮・伸長回路である。圧縮・伸長回路３２は、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータを再びメモリ３０に書き込む。また、動画像データを所定のフォーマットに圧縮符号化し、又は所定の圧縮符号化データから動画像信号を伸張する動画像伸張機能も有する。
【００８３】
３３は音声信号処理回路であり、マイク（不図示）より入力された音声信号を所定の符号フォーマットに符号化し、又は所定の符号化データから音声信号を復号する機能を有する。なお、本実施形態のデジタルカメラは、スピーカ（不図示）を介して、音声信号処理回路３３により復号された音声データを出力する機能を有する。
【００８４】
４０はシャッター制御部であり、測光制御部４６からの測光情報に基づいて絞り３１２を制御する絞り制御部３４０と連携しながらシャッター１２を制御する。４２はＡＦ（オートフォーカス）処理を行うための焦点調節部である。レンズユニット３００内の撮像レンズ３１０に入射した光線を絞り３１２、レンズマウント３０６，１０６、ミラー１３０及び焦点調節用サブミラー（不図示）を介して一眼レフ方式で入射させることにより、光学像として結像された画像の合焦状態を測定する。
【００８５】
４６はＡＥ（自動露出）処理を行うための測光制御部である。レンズユニット３００内の撮像レンズ３１０に入射した光線を、絞り３１２、レンズマウント３０６，１０６、ミラー１３０及び測光用サブミラー（図示せず）を介して一眼レフ方式で入射させることにより、光学像として結像された画像の露出状態を測定する。４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。測光制御部４６はフラッシュ４８と連携することにより、ＥＦ（フラッシュ調光）処理機能も有する。
【００８６】
また、焦点調節部４２による測定結果と、Ａ／Ｄ変換器１６からの画像データを画像処理回路２０によって演算した演算結果とを用いて、ＡＦ制御を行うようにしてもよい。さらに、測光制御部４６による測定結果と、Ａ／Ｄ変換器１６からの画像データを画像処理回路２０によって演算した演算結果とを用いて露出制御を行うようにしてもよい。
【００８７】
５０はカメラ本体１００全体を制御するシステム制御回路であり、周知のＣＰＵなどを内蔵する。５２はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶するメモリである。
【００８８】
５４はシステム制御回路５０でのプログラムの実行に応じて、文字、画像、音声などを用いて動作状態やメッセージなどを外部に通知するための通知部である。通知部５４としては、例えばＬＣＤやＬＥＤなどによる視覚的な表示を行う表示部や音声による通知を行う発音素子などが用いられるが、通知部５４はこれらのうち１つ以上の組み合わせにより構成される。特に、表示部の場合には、カメラ本体１００の操作部７０近辺の、視認しやすい、単数あるいは複数箇所に設置される。また、通知部５４は、その一部の機能が光学ファインダ１０４内に設置されている。
【００８９】
通知部５４の表示内容の内、ＬＣＤなどの画像表示部２８に表示するものとしては以下のものがある。まず、単写／連写撮影表示、セルフタイマ表示等、撮影モードに関する表示がある。また、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示等の記録に関する表示がある。また、シャッター速度表示、絞り値表示、露出補正表示、調光補正表示、外部フラッシュ発光量表示、赤目緩和表示等の撮影条件に関する表示がある。その他に、マクロ撮影表示、ブザー設定表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００及びＰＣ２１０の着脱状態表示がある。更に、レンズユニット３００の着脱状態表示、通信Ｉ／Ｆ動作表示、日付・時刻表示、外部コンピュータとの接続状態を示す表示等も行われる。
【００９０】
また、通知部５４の表示内容のうち、光学ファインダ１０４内に表示するものとしては、例えば、以下のものがある。合焦表示、撮影準備完了表示、手振れ警告表示、フラッシュ充電表示、フラッシュ充電完了表示、シャッター速度表示、絞り値表示、露出補正表示、記録媒体書き込み動作表示等である。
【００９１】
５６は後述するプログラムなどが格納された電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。
【００９２】
５８は光学情報格納メモリであり、レンズユニット３００からコネクタ１２２を介して得られる、後述する各種レンズ情報を記憶する。
【００９３】
６０，６２，６４，６６，６８，７０は、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。
【００９４】
ここで、これらの操作手段の具体的な説明を行う。
【００９５】
６０はモードダイアルスイッチで、自動撮影モード、プログラム撮影モード、シャッター速度優先撮影モード、絞り優先撮影モード、マニュアル撮影モード、焦点深度優先（デプス）撮影モード等の各機能撮影モードを切り替え設定することができる。他に、ポートレート撮影モード、風景撮影モード、接写撮影モード、スポーツ撮影モード、夜景撮影モード、パノラマ撮影モードなどの各機能撮影モードを切り替え設定することもできる。
【００９６】
６２はシャッタースイッチＳＷ１で、不図示のシャッターボタンの操作途中（例えば半押し）でＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作開始を指示する。
【００９７】
６４はシャッタースイッチＳＷ２で、不図示のシャッターボタンの操作完了（例えば全押し）でＯＮとなり、露光処理、現像処理、及び記録処理からなる一連の処理の動作開始を指示する。まず、露光処理では、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に書き込み、更に、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理が行われる。更に、記録処理では、メモリ３０から画像データを読み出し、圧縮・伸張回路３２で圧縮を行い、記録媒体２００あるいはＰＣ２１０に書き込む、または送信する。
【００９８】
６６は再生スイッチであり、撮影モード状態で撮影した画像をメモリ３０あるいは記録媒体２００、ＰＣ２１０から読み出して画像表示部２８に表示する再生動作の開始を指示する。再生スイッチ６６は、他に、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを設定することができる。
【００９９】
６８は単写／連写スイッチで、シャッタースイッチＳＷ２（６４）を押した場合に、１コマの撮影を行って待機状態とする単写モードと、シャッタースイッチＳＷ２（６４）を押している間、連続して撮影を行い続ける連写モードとを設定することができる。
【０１００】
７０は各種ボタンやタッチパネルなどから成る操作部である。一例として、ライブビュー開始／停止ボタン、動画記録開始／停止ボタン、メニューボタン、セットボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り換えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタンを含む。更に、再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、調光補正ボタン、外部フラッシュ発光量設定ボタン、日付／時間設定ボタンなども含む。なお、上記プラスボタン及びマイナスボタンの各機能は、回転ダイアルスイッチを備えることによって、より軽快に数値や機能を選択することが可能となる。
【０１０１】
また、画像表示部２８のＯＮ／ＯＦＦを設定する画像表示ＯＮ／ＯＦＦスイッチ、撮影直後に撮影した画像データを自動再生するクイックレビュー機能を設定するクイックレビューＯＮ／ＯＦＦスイッチがある。また、ＪＰＥＧ圧縮の圧縮率を選択するため、あるいは撮像素子の信号をそのままデジタル化して記録媒体に記録するＲＡＷモードを選択するためのスイッチである圧縮モードスイッチがある。また、ワンショットＡＦモードとサーボＡＦモードとを設定可能なＡＦモード設定スイッチなどがある。ワンショットＡＦモードでは、シャッタースイッチＳＷ１（６２）を押した際にオートフォーカス動作を開始し、一旦合焦した場合、その合焦状態を保ち続ける。サーボＡＦモードでは、シャッタースイッチＳＷ１（６２）を押している間、連続してオートフォーカス動作を続ける。更に、後述するようにゴミ検出用画像を撮影してゴミ情報を取得する、ゴミ情報取得モードを設定することができる設定スイッチを含む。
【０１０２】
７２は電源スイッチであり、カメラ本体１００の電源オン、電源オフの各モードを切り替え設定することができる。また、カメラ本体１００に接続されたレンズユニット３００、外部フラッシュ１１２、記録媒体２００、ＰＣ２１０等の各種付属装置の電源オン、電源オフの設定も合わせて切り替え設定可能である。
【０１０３】
８０は電源制御部で、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電源制御部８０は、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。
【０１０４】
８２，８４はコネクタ、８６はアルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ−ｉｏｎ電池、Ｌｉポリマー電池等の二次電池、ＡＣアダプター等からなる電源部である。
【０１０５】
９０及び９４はメモリカードやハードディスク等の記録媒体やＰＣとのインターフェース、９２及び９６はメモリカードやハードディスク等の記録媒体やＰＣと接続を行うコネクタである。９８はコネクタ９２及び／或いは９６に記録媒体２００或いはＰＣ２１０が装着されているか否かを検知する記録媒体着脱検知回路である。
【０１０６】
なお、本実施形態では記録媒体を取り付けるインターフェース及びコネクタを２系統持つものとして説明しているが、記録媒体を取り付けるインターフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。
【０１０７】
インターフェース及びコネクタとしては、種々の記憶媒体の規格に準拠したものを用いて構成することが可能である。例えば、ＰＣＭＣＩＡ（PersonalComputer Memory Card International Association）カードやＣＦ（コンパクトフラッシュ（登録商標））カード、ＳＤカード等である。インターフェース９０及び９４、そしてコネクタ９２及び９６をＰＣＭＣＩＡカードやＣＦカード等の規格に準拠したものを用いて構成した場合、各種通信カードを接続することができる。通信カードとしては、ＬＡＮカードやモデムカード、ＵＳＢ（Universal Serial Bus）カード、ＩＥＥＥ（Institute of Electrical andElectronic Engineers）１３９４カードがある。他にも、Ｐ１２８４カード、ＳＣＳＩ（Small Computer System Interface）カード、ＰＨＳ等がある。これら各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。
【０１０８】
１０４は光学ファインダであり、撮像レンズ３１０に入射した光線を、一眼レフ方式によって、絞り３１２、レンズマウント３０６，１０６、ミラー１３０，１３２を介して導き、光学像として結像させて表示することができる。これにより、画像表示部２８による電子ファインダー機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。また、光学ファインダ１０４内には、通知部５４の一部の機能、例えば、合焦状態、手振れ警告、フラッシュ充電、シャッター速度、絞り値、露出補正などが表示される。
【０１０９】
１１２は、アクセサリシュー１１０を介して装着される、外部フラッシュ装置である。
【０１１０】
１２０はレンズマウント１０６内でカメラ本体１００をレンズユニット３００と接続するためのインターフェースである。
【０１１１】
１２２はカメラ本体１００をレンズユニット３００と電気的に接続するコネクタである。また、レンズマウント１０６及びコネクタ１２２にレンズユニット３００が装着されているか否かは、不図示のレンズ着脱検知部により検知される。コネクタ１２２はカメラ本体１００とレンズユニット３００との間で制御信号、状態信号、データ信号などを伝え合うと共に、各種電圧の電流を供給する機能も備えている。
【０１１２】
コネクタ１２２を介して通信される、レンズユニット３００の各種光学情報（絞り、ズーム位置、瞳距離、焦点距離など）は、カメラ本体１００の光学情報格納メモリ５８に記憶される。通信の要求はカメラ側から行う場合もあれば、レンズ側から情報更新のたびに通信される場合もある。
【０１１３】
また、コネクタ１２２は電気通信だけでなく、光通信、音声通信により通信を行う構成としてもよい。
【０１１４】
２００はメモリカードやハードディスク等の記録媒体である。この記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、カメラ本体１００とのインターフェース２０４、カメラ本体１００と接続を行うコネクタ２０６を備えている。
【０１１５】
記録媒体２００としては、ＰＣＭＣＩＡカードやコンパクトフラッシュ（登録商標）等のメモリカード、ハードディスク等を用いることができる。また、マイクロＤＡＴ、光磁気ディスク、ＣＤ−ＲやＣＤ−ＲＷ等の光ディスク、ＤＶＤ等の相変化型光ディスク等で構成されていても勿論構わない。
【０１１６】
２１０はＰＣであり、磁気ディスク（ＨＤ）等から構成される記録部２１２、カメラ本体１００とのインターフェース２１４、カメラ本体１００と接続を行うコネクタ２１６を備えている。インターフェース９４はＵＳＢやＩＥＥＥ１３９４などが挙げられるが、特に限定はない。
【０１１７】
次に、上記構成を有する撮像装置における撮像素子の前方に配置されたローパスフィルタやカバーガラス等の光学素子１４ａ上のゴミの影響を画像処理により除去する処理について説明する。
【０１１８】
本実施形態では、まず、ゴミ（異物）の付着している位置及び大きさ等の情報であるゴミ情報（異物情報）を得るためのゴミ検出用画像を撮影し、ゴミデータを抽出し、ゴミデータを生成しておく。ここでゴミ検出用画像は、できるだけ均一な輝度面を撮影した画像が望ましいが、身近な場所で容易に撮影できることが望ましいため、厳密な均一性を要求するものではない。例えば、青空や白い壁面を撮影することを想定している。
【０１１９】
図２は、本実施形態におけるゴミ情報を取得する際の撮像装置（本実施形態ではデジタルカメラ）における処理を示すフローチャートである。
【０１２０】
まずステップＳ２０１において、操作部７０によりゴミ情報取得モードが選択されたか否かを判定する。ゴミ情報取得モードが選択されるまでステップＳ２０１の判定を繰り返し、ゴミ情報取得モードが選択されるとステップＳ２０２へ進み、シャッタースイッチＳＷ１（６２）がＯＮされたかどうかを判断する。ＯＦＦであればステップＳ２０１に戻って上記処理を繰り返す。
【０１２１】
一方、ＯＮであれば、ステップＳ２０３において、絞り、ＩＳＯ値、シャッタースピード、その他撮影関連のパラメータを設定する。ここで設定されるパラメータを図３に示す。絞りはＦ２２など、絞りを絞り込んだ設定とする。レンズマウント１０６に接続されるレンズユニット３００において設定可能な範囲内で最も絞り込んだ状態で撮影するものとしてもよい。このように絞りを絞るのは、ゴミは通常撮像素子１４の表面ではなく、撮像素子１４を保護する保護用ガラスや、撮像素子より被写体側に配置される光学フィルター等の光学素子１４ａ上に付着しているため、レンズユニット３００の絞り値によって結像状態が異なるためである。そのため、絞りが開放値に近いとゴミの像がぼやけてしまい、適切なゴミ検出用の画像が取得できないので、できるだけ絞り込んだ状態で撮影するのが望ましい。
【０１２２】
図２のフローチャートの説明に戻ると、この時までに撮影者はできるだけ白い壁などの均一輝度面に撮像装置を向け、シャッタースイッチＳＷ２（６４）を操作することとなる。
【０１２３】
ステップＳ２０４ではシャッタースイッチＳＷ２（６４）がＯＮされたかどうかを判断する。ＯＦＦであればステップＳ２０２に戻りシャッタースイッチＳＷ１（６２）の判定を行う。ＯＮであればステップＳ２０５へ進む。ステップＳ２０５ではゴミ検出用画像の撮影（均一輝度面の撮影）を行って、メモリ３０内に画像データを取り込む。次にステップＳ２０６ではメモリ３０内に記憶した画像データからゴミ情報を取得する。
【０１２４】
ここで、ゴミ情報の取得について説明する。具体的には、撮影したゴミ検出用画像からゴミ領域の位置（座標）と大きさを求めるものである。まず、撮影したゴミ検出用画像の領域を複数のブロックに分割し、ブロック内の最大輝度Ｌmax、平均輝度Ｌave を算出し、次式を用いてブロック内のスレッショルド値Ｔ１を算出する。
【０１２５】
Ｔ１＝Ｌave×０.６＋Ｌmax×０.４
次に、ゴミが付着している画素はその輝度が周囲の画素の輝度よりも低下するため、スレッショルド値Ｔ１を超えない画素をゴミ画素とし、ゴミ画素によって構成される孤立領域を各々一つのゴミ領域ｄｉ（ｉ＝０，１，…，ｎ）とする。
【０１２６】
図４は、ゴミ領域サイズ算出の概要を示す図である。図４に示すように、ゴミ領域毎に、ゴミ領域を構成する画素の水平方向の座標の最大値Ｘmax および最小値Ｘmin、垂直方向の座標の最大値Ｙmax および最小値Ｙmin を求め、ゴミ領域ｄｉのサイズを表す半径ｒｉを次式によって算出する。
【０１２７】
ｒｉ＝［√｛（Ｘmax−Ｘmin）2＋（Ｙmax−Ｙmin）2｝］／２
また、このときの中心座標（Ｘｄｉ，Ｙｄｉ）は、近似的に、
Ｘｄｉ＝（Ｘmax＋Ｘmin）／２
Ｙｄｉ＝（Ｙmax＋Ｙmin）／２
で求めるものとする。このように求められた位置（座標）と半径を、ゴミ情報プロファイル（異物情報）として記録する。
【０１２８】
不揮発性メモリ５６のサイズによる制限などにより、ゴミ補正データ（ゴミ情報プロファイル）のデータサイズが制限されている場合がある。このような場合に対応するために、ゴミ位置情報を、大きさやゴミ領域の平均輝度値によってソートする。本実施形態では、ｒｉの大きい順にソートする。ｒｉが等しい場合、平均輝度値の低い順にソートする。このようにすることで、目立つゴミを優先してゴミ補正データに登録することが出来る。なお、ソート済みのゴミ領域をＤｉ、ゴミ領域Ｄｉの半径をＲｉとする。
【０１２９】
なお、予め定められたサイズより大きいゴミ領域がある場合、ソートの対象から外し、ソート済みゴミ領域リストの末尾に配置してもよい。大きいゴミ領域については、後に補間処理をするとかえって画質を低下させる場合があり、補正対象の優先順位としては最下位として扱うことが望ましいからである。
【０１３０】
このゴミ情報プロファイルは、図５に示すような構造をとる。図５に示す通り、ゴミ情報プロファイルには、ゴミ検出用画像撮影時の、レンズ情報とゴミの位置、大きさの情報が格納される。更に具体的には、ゴミ検出用画像撮影時のレンズ情報として、ゴミ検出用画像撮影時における実際の絞り値（Ｆ値）と、そのときのレンズ瞳位置を格納する。続いて記憶領域に検出したゴミ領域の数（整数値）を格納し、これに続き、個々の具体的なゴミ領域のパラメータを、ゴミ領域の数だけ繰返して格納する。ゴミ領域のパラメータは、ゴミの半径（例えば２バイト）、有効画像領域における中心のｘ座標（例えば２バイト）、おなじく中心のｙ座標（例えば２バイト）の３つの数値のセットである。
【０１３１】
取得したゴミ情報はステップＳ２０７で不揮発性メモリ５６に記憶され、ゴミ情報取得のための処理を終了する。
【０１３２】
なお、ゴミ情報取得モードにおける撮影動作は、ゴミ情報を取得することを目的とするため、本実施形態では撮影した画像そのものに対して、圧縮及び記録媒体２００への記録処理は行わない。これは撮影者にとって不要な画像データで記録媒体２００内の容量を無駄に消費することがないようにするためであるが、通常画像と同様に、圧縮後、記録媒体２００へ保存しても良く、また、その際に拡張子を変更するなど何らかの手を加えても構わない。
【０１３３】
ここで、本実施形態は、動画を再生する場合にゴミによる画質劣化を画像処理で補正する方法に関するものであるが、動画の処理について説明する前に、まずは静止画の場合の処理について以下説明する。
【０１３４】
静止画の場合には、ゴミ検出用画像の撮影ではない通常の撮影を行った場合、通常撮影時のカメラ設定値等と共に図５に示したゴミ補正データ（以下、異物情報、ゴミ情報、ゴミ情報プロファイルとも呼ぶ）を画像データに関連付けて記録媒体２００に記録する。
【０１３５】
具体的には、例えば、撮影時のカメラ設定値等が記録される画像ファイルのヘッダ領域であるＥｘｉｆ領域にゴミ補正データを追記することで、関連付けを実現することができる。または、ゴミ補正データをファイルとして独立して記録し、画像データにはそのゴミ補正データファイルへのリンク情報のみを記録することで関連付けを実現することも可能である。ただし、画像ファイルとゴミ補正データファイルを別々に記録すると、画像ファイルの移動時に、リンク関係が消失する場合があるので、ゴミ補正データは画像データと一体的に保持することが望ましい。
【０１３６】
一方、前述したＭＰ４ファイルのような動画ファイルにおいては、moovボックス内のヘッダ情報から成るmvhd ボックス、もしくはmoofボックス内のmvhdボックスにゴミ情報プロファイルを格納しておく。
【０１３７】
このように、ゴミ補正データを画像データに関連付けて記録するのは、このゴミ補正データが付属されて記録された画像データを外部の画像処理装置に移し、この外部の画像処理装置でゴミ除去処理を行う場合も想定しているからである。
【０１３８】
次に、上述したようにして不揮発性メモリ５６に記憶されたゴミ情報を使用した通常撮影時のゴミ除去処理について、図６及び図７のフローチャートを用いて説明する。なお、ここでの説明もまずは静止画におけるゴミ除去処理に関するものであるが、動画においても、静止画と同様のゴミ除去処理を１フレーム毎の画像に施すことにより、同様にごみ除去処理を行うことができる。また、このゴミ除去処理は、図１におけるゴミ除去回路３１を用いて行われる。
【０１３９】
図６は本実施形態における通常撮影時の静止画像の撮影処理を示している。
【０１４０】
ステップＳ５０１ではシャッタースイッチＳＷ１（６２）がＯＮされるまで、待機する。シャッタースイッチＳＷ１（６２）がＯＮされるとステップＳ５０２へ進んで測光及び焦点調節処理を行い、続いてステップＳ５０３でシャッタースイッチＳＷ２（６４）がＯＮされたかどうかを判断する。シャッタースイッチＳＷ２（６４）がＯＦＦであればステップＳ５０１に戻って上記処理を繰り返し、ＯＮされたことを検出するとステップＳ５０４へ進んで撮影を行う。撮影が終了するとステップＳ５０５へ進み、有効なゴミ情報が不揮発性メモリ５６内に存在するか否かを判定する。ゴミ情報が存在する場合はステップＳ５０６へ進み、存在しない場合はステップＳ５０７へ進んで撮影した画像データを記録媒体２００に格納する。
【０１４１】
なお、本実施形態では不揮発性メモリ５６内にゴミ情報が存在するか否かを判定しているが、本来、上述したゴミ情報取得モードでの撮影が行われているかどうかが必要な条件であり、その判定方法に関しては特に限定するものではない。例えば、ゴミ情報取得モードでの撮影時に何らかのフラグをセットしておき、そのフラグを評価する方法でも構わない。
【０１４２】
ステップＳ５０６では撮影した画像データに対し、取得済みのゴミ情報を、Ｅｘｉｆ領域などのヘッダ領域に埋め込み、ステップＳ５０７において記録媒体２００にゴミ情報を埋め込んだ画像データを格納する。
【０１４３】
続いて、図７を参照してゴミ除去処理の動作について説明する。
【０１４４】
ステップＳ６０１では、選択された画像にゴミ情報が埋め込まれているかどうか判定する。埋め込まれている場合はステップＳ６０２へ進み、ゴミ情報を取り込む。ステップＳ６０３では取り込んだゴミ情報から画像データにおけるゴミの影響を除去するべく、ゴミの周辺画素による画素補間処理等による補正処理を行う。
【０１４５】
抽出したゴミ補正データから座標列Ｄｉ（ｉ＝１，２，…ｎ）、半径列Ｒｉ（ｉ＝１，２，…，ｎ）、絞り値ｆ１とレンズ瞳位置Ｌ１を得る。ここでＲｉは、先にゴミ補正データソート時に求めた座標Ｄｉのゴミの大きさである。また、ｆ１は、ゴミ検出用画像の撮影時のレンズの絞り値、Ｌ１は、同じくゴミ検出用画像の撮影時のレンズの瞳位置である。通常撮影された画像の撮影時の絞り値ｆ２とレンズ瞳位置Ｌ２を取得し、Ｄｉを次式で変換する。ここで、ｄは画像中心から座標Ｄｉまでの距離、Ｈは撮像素子１４の表面とゴミとの距離であるとする。変換後の座標Ｄｉ’と変換後の半径Ｒｉ’は例えば次式で定義する。
【０１４６】
Ｄｉ’（ｘ，ｙ）＝（Ｌ２×（Ｌ１−Ｈ）×ｄ／（（Ｌ２−Ｈ）×Ｌ１））×Ｄｉ（ｘ，ｙ）
Ｒｉ’＝（Ｒｉ×ｆ１／ｆ２＋３） （１）
ここでの単位はピクセルであり、Ｒｉ’についての「＋３」はマージン量である。
【０１４７】
座標Ｄｉ’、半径Ｒｉ’で示される領域内のゴミを検出し、必要に応じて補間処理を適用する。補間処理の詳細については後述する。全ての座標についてゴミ除去処理を適用し、全ての座標について処理が終わっていれば、ステップＳ６０４に進む。
【０１４８】
ステップＳ６０４では、撮影した画像からゴミの影響を除去した補正処理後の画像を新たに記録する。
【０１４９】
以上でゴミ除去処理を終了する。
【０１５０】
（補間ルーチン）
次に、ゴミ領域の補間処理の詳細について説明する。
【０１５１】
図８は、補間ルーチンの流れを示すフローチャートである。
【０１５２】
まずステップＳ７０１で、ゴミ領域判定を行う。ゴミ領域とは、次の条件全てを満たす領域とする。
（１）中心座標Ｄｉ’、半径Ｒｉ’（式（１）で求められたＤｉ’，Ｒｉ’）に含まれる画素の平均輝度Ｙave と最高輝度Ｙmax を用いて次式で求められるスレッショルド値Ｔ２より暗い領域。
【０１５３】
Ｔ２＝Ｙave×０.６＋Ｙmax×０.４
（２）上記の中心座標Ｄｉ’、半径Ｒｉ’の円と接しない領域。
（３）（１）で選択された輝度の低い画素によって構成される孤立領域に対し、上述の方法で算出した半径値がl１画素以上、l２画素未満である領域。
（４）円の中心座標Ｄｉを含む領域。
【０１５４】
本実施形態では、l１は３画素、l２は３０画素とする。このようにすることで、孤立した小領域だけをゴミ領域として扱うことが可能になる。また、レンズ瞳位置が正確に取得できない場合には、（４）の条件は幅を持たせても良い。例えば、着目領域が座標ＤｉからＸ方向、Ｙ方向に夫々±３画素の範囲の座標を含めば、ゴミ領域と判定するなどという条件が考えられる。
【０１５５】
ステップＳ７０２で、画像信号中にこのような領域（部分）があればステップＳ７０３へ進みゴミ領域補間を行い、存在しない場合は処理を終了する。ステップＳ７０３で実行するゴミ領域補間処理は、公知の欠損領域補間法で行う。公知の欠損領域補間法には例えば、特開２００１−２２３８９４号公報に開示されているパターン置換がある。特開２００１−２２３８９４号公報では赤外光を用いて欠損領域を特定しているが、本実施形態ではステップＳ７０１で検出したゴミ領域を欠損領域として扱い、パターン置換によりゴミ領域を周囲の正常画素で補間する。パターン置換で埋められない画素については、パターン補間後の画像データに対し、補間対象画素に最も近い順に正常画素をｐ個選択し、その平均色を用いて補間する。
【０１５６】
静止画のゴミ除去処理では、このように画像にゴミ補正データを添付することで、ゴミ補正用画像データと撮影画像データの対応を意識する必要が無くなるという利点がある。また、ゴミ補正データが位置、大きさ、変換用データ（絞り値、レンズの瞳位置の距離情報）で構成されるコンパクトなデータであるので、撮影画像データサイズが極端に大きくなることもない。また、ゴミ補正データで指定された画素を含む領域だけを補間処理することにより、誤検出の確率を大幅に低減することが可能になる。
【０１５７】
次に、本実施形態における画像処理機能を有する撮像装置での、動画像のゴミ補正再生処理について説明する。
【０１５８】
図９は本実施形態における撮像装置での動画再生時の動作を説明するためのフローチャートである。
【０１５９】
動画再生動作が指示されると、ステップＳ２２０１で記録媒体２００からゴミ位置補正データが付加された動画像ファイルをインターフェース９０を介して、カメラ本体１００のメモリ３０に取り込む。本実施形態では説明を簡略化するために、動画像データはＩフレームとＰフレームのみから構成されていることとする。
【０１６０】
動画像ファイルの一例として、図１０Ａ、図１０Ｂの画像データを考える。図１０ＡはＩフレームとして符号化され、図１０ＢはＰフレームとして符号化される。実際の符号化は図１４で説明した手順で行われ、マクロブロック単位で処理される。図中の波線はマクロブロックを表している。
【０１６１】
画面内にはゴミが写り込んでいて、ゴミは撮像面前方の光学素子１４ａ上に付着しているため、シーンが変わっても常に画面内の同じ位置に写り込んでいる。また、このゴミの位置は、動画像ファイルのヘッダーに格納されているゴミ情報に含まれているものとする。
【０１６２】
図１０Ｂの画像データをＰフレームとして符号化を行う場合、図１４における動き検出部４１２から出力される動きベクトルは図１０Ｃのようになり、インター予測部４１１から出力される予測画像は図１０Ｄのようになる。また、減算器４１１の出力は図１０Ｅのようになり、図１０Ｃとともにエントロピー符号化部４１５で符号化される。
【０１６３】
再生処理の説明に戻ると、ステップＳ２２０２では、圧縮伸張回路３２で動画像ファイルの伸張処理が行われる。圧縮伸張回路３２に含まれる動画像の伸張処理に関するブロックを図１３に示す。図１３で示される各ブロックは図２２と同じであり、ゴミ補正回路８１６が追加されている。伸張処理は図２２を用いて説明した手順で行われ、このステップＳ２２０２では逆ＤＣＴ回路８０６からは予測符号化画像が出力され、動き補償回路８０９からは動き補償されたデータが出力されている状態までの処理が行われている。
【０１６４】
Ｉフレームの場合は、逆ＤＣＴ回路８０６からは図１１Ａに示す画像が出力され、スイッチ回路８１０では端子ａが選択されて“０”が出力されることになる。また、Ｐフレームの場合は、逆ＤＣＴ回路８０６からは図１１Ｂに示す画像が出力され、スイッチ回路８１０では端子ｂが選択され、動き補償回路８０９の出力となる図１１Ｃに示す画像が出力される。
【０１６５】
ステップＳ２２０３では処理するフレームの種類を判断し、Ｉフレームであれば、ゴミ補正回路８１６での処理（異物除去処理）は行わずにステップＳ２２０５へ進み、加算回路８０７以降の伸張処理を行う。また、Ｐフレームであれば、ステップＳ２２０４へ進み、ゴミ補正回路８１６で第１のゴミ補正処理を行う。
【０１６６】
ステップＳ２２０４ではＰフレームに対して、ゴミ補正回路８１６で第１のゴミ補正処理が行われる。第１のゴミ補正処理は逆ＤＣＴ回路８０６から出力される予測符号化画像（図１１Ｂ）に対して、ゴミ位置情報を適用することでゴミ補正処理を行い、第一のゴミ補正処理が施された予測符号化画像を出力する。
【０１６７】
ここで、第１のゴミ補正処理について、図１２のフローチャートを用いて説明する。
【０１６８】
ステップＳ２３０１ではゴミ補正回路８１６に図１１Ｂで表される予測符号化画像が入力される。
【０１６９】
次に、ステップＳ２３０２では、動画像のファイルヘッダーに記憶されているゴミ位置情報が読み込まれ、予測符号化画像内のゴミ位置を探索する。
【０１７０】
ステップＳ２３０３では、予測符号化画像内のゴミ位置に相当する領域の予測誤差を求める。ここで求められる予測誤差には、実際にフレーム間で発生する予測誤差とゴミの写り込みによって発生する予測誤差が含まれている。ゴミが写り込むことによって生じる予測誤差は、フレーム間で生じる予測誤差よりも大きいため、ゴミ補正回路８１６は、所定のしきい値ＴＨよりも大きい予測誤差はゴミの写り込みと判定する。
【０１７１】
ゴミ補正回路８１６により、ゴミ領域内のしきい値ＴＨよりも予測誤差が大きく、予測誤差がゴミであると判断された場合は、ステップＳ２３０４に進み予測誤差のキャンセル処理を行う。また、予測誤差がしきい値ＴＨ以下でゴミと判断されなかった場合はステップＳ２３０５へ進む。
【０１７２】
ステップＳ２３０４ではゴミと判断された予測誤差のキャンセル処理が行われる。図１１Ｂで、ゴミ領域の予測誤差がしきい値ＴＨよりも大きく、この領域の予測誤差がゴミと判断されると、図１１Ｄのように領域内の予測誤差を“０”としてキャンセルする。
【０１７３】
キャンセル処理の判定をゴミ位置情報だけで判定するのではなく、判定しきい値ＴＨを設ける理由は、以下のようなものである。
（１）ゴミ位置情報には登録されていても、撮影時にその位置にゴミが存在していない場合があるので、実際にはゴミが存在しない場合に誤った処理を行わないようにするため。
（２）ゴミ位置情報では図４で説明したとおり、実際のゴミの形状にかかわらずゴミが円で表されるので、実際にゴミが写り込んでいない領域に対して誤った処理を行わないようにするため。
【０１７４】
また、判定しきい値ＴＨは一つであってもよいし、例えば、ゴミの写り込みの濃さは撮影時の絞り値によって変化するため、ゴミの写り込みの濃さによって複数のしきい値を設けてもよい。例えば、濃く写り込んでいるときは低く設定しなるべくゴミを取り除くようにし、薄く写り込んでいるときは高く設定し、ゴミ以外の予測誤差をキャンセルしないようにする。
【０１７５】
また、判定しきい値ＴＨは固定値でもよいし、処理する領域ごとに設定してもよい。例えば、ゴミ領域の予測誤差が大きいときは参照フレームとの相関が低いと判断されるので、しきい値ＴＨを高く設定し、予測誤差をキャンセルしないようにする。逆に、予測誤差が小さいときは参照フレームとの相関が高いと判断されるので、しきい値ＴＨを低く設定しなるべくゴミを取り除くようにする。
【０１７６】
あるいは、ゴミ領域の周辺の予測誤差も考慮して、周辺の予測誤差が大きいときは参照フレームとの相関が低いと判断されるので、しきい値ＴＨを高く設定し、予測誤差をキャンセルしないようにする。逆に、周辺の予測誤差が小さいときは参照フレームとの相関が高いと判断されるので、しきい値ＴＨを低く設定しなるべくゴミを取り除くようにする。
【０１７７】
また、予測誤差のキャンセル動作として、予測誤差を“０”としたが、必ずしも“０”とする必用はなく、例えば、ゴミの写り込みの濃さに応じて一定レベルの予測誤差をキャンセルしてもよいし、ゴミ領域の予測誤差を考慮して、所定レベルの予測誤差をキャンセルしてもよい。また、ゴミ領域の周辺の予測誤差を考慮して、所定レベルの予測誤差をキャンセルしてもよい。
【０１７８】
さらに、ゴミ領域がマクロブロックを複数にまたぐ場合も考えられる。この場合は、すべてのマクロブロックで同じしきい値ＴＨを適用してもよいし、上述したような判断でそれぞれのマクロブロックごとに最適なしきい値ＴＨを適用しもよい。同様に予測誤差のキャンセル動作も、すべてのマクロブロックで同じキャンセル動作を行ってもよいし、それぞれのマクロブロックごとに最適なキャンセル処理を行ってもよい。
【０１７９】
ステップＳ２３０５では予測誤差をキャンセルした予測符号化画像をゴミ補正回路８１６より出力する。
【０１８０】
以上が第１のゴミ補正処理の説明となる。図９のフローチャートの説明に戻る。
【０１８１】
ステップＳ２２０５では予測符号化画像と、動き補償回路８０９から出力された動き補償データとを加算回路８０７で加算し、その後の伸張処理が行われる。
【０１８２】
Ｉフレームを処理する時のスイッチ回路８１０は端子ａが選択されているので、加算回路８０７の入力は図１１Ａのデータと“０”となるため、加算回路８０７の出力は図１１Ａのデータとなる。
【０１８３】
Ｐフレームを処理する時のスイッチ回路８１０は端子ｂが選択されるので、加算回路８０７の入力は図１１Ｄのデータと図１１Ｃのデータとなるため、加算回路８０７の出力は図１１Ｅのデータとなる。
【０１８４】
すなわち、ステップＳ２３０４でゴミ領域の予測誤差をキャンセルしたことにより、加算回路８０７で加算処理を行えば、Ｐフレームに写り込んでいたゴミを消すことが可能となる。
【０１８５】
ステップＳ２２０６では、ステップＳ２２０４で第１のゴミ補正処理を行わなかったゴミに対して、第２のゴミ補正処理を実施する。第２のゴミ補正処理は、ステップＳ２２０５で伸張処理が終わり、フレームデータとして生成された画像に対して行われる。第２のゴミ補正処理では、ゴミ除去回路３１にて前述した静止画像に対するゴミ補正処理と同じ処理が行われる。
【０１８６】
Ｉフレームの伸張されたデータである図１１Ａに対しては、第１のゴミ補正処理は行われないので、ファイルに含まれるゴミ位置情報に従って画面内のゴミデータが補正される。補正された画像を図１１Ｆに示す。
【０１８７】
Ｐフレームの伸張されたデータである図１１Ｅは、第１のゴミ補正処理によってゴミが取り除かれているためこのステップではゴミ補正処理する必要がなく、ステップＳ２２０６の処理時間を短縮することが可能となる。
【０１８８】
ステップＳ２２０７では表示処理を行う。ゴミ補正された動画像は画像表示部２８に最適な画像サイズにリサイズされて、画像表示メモリ２４に格納され、メモリ制御回路２２の制御に従って読み出されて画像表示部２８に表示される。
【０１８９】
最後にステップＳ２２０８で全フレームの処理を終えたかどうかの判断を行う。もし、全フレームの処理を終えたと判断されれば、再生処理を終了する。全フレームの処理が終わっていなければ、ステップＳ２２０２に戻り、全フレームが終了するまで、これらを繰り返す。
【０１９０】
以上のような流れで、ゴミ補正再生処理が行われる。
【０１９１】
本実施形態では説明を簡略化するために、ＩフレームとＰフレームからなる動画像について説明してきたが、本発明は、Ｂフレームに対しても同様の処理を施すことができるので、より多くの動画像形式に適応できる。
【０１９２】
以上説明したように、本実施形態によれば、ゴミ位置情報を用いてゴミ補正処理を行いながら動画像ファイルを再生するときに、処理時間のかかる周辺画像を用いたゴミ補正処理を実行するのはＩフレームだけとし、Ｐフレームに対してはゴミ位置情報で与えられる領域の予測誤差を予測符号化画像からキャンセルすることでゴミを取り除くようにした。これにより、再生時における動作速度を向上させ、ゴミの写り込みが補正された高品位な動画の再生を提供することが可能となる。
【０１９３】
（他の実施形態）
また、各実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
【０１９４】
さらに、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
【０１９５】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【０１９６】
【図１】本発明の一実施形態における画像処理機能を有する撮像装置の構成を示すブロック図である。
【図２】本発明の一実施形態におけるゴミ情報を取得する際の撮像装置における処理を示すフローチャートである。
【図３】本発明の一実施形態におけるゴミ情報取得時の設定パラメータ一覧を示す図である。
【図４】ゴミ領域サイズ算出の概要を示す図である。
【図５】ゴミ情報プロファイルの構造を示す図である。
【図６】本発明の一実施形態における通常撮影時の静止画像の撮影処理を示すフローチャートである。
【図７】ゴミ除去処理の動作を示すフローチャートである。
【図８】補間ルーチンの流れを示すフローチャートである。
【図９】本発明の一実施形態における動画再生動作を説明するフローチャートである。
【図１０Ａ】本発明の一実施形態における符号化時の動画像を説明する図である。
【図１０Ｂ】本発明の一実施形態における符号化時の動画像を説明する図である。
【図１０Ｃ】本発明の一実施形態における符号化時の動画像を説明する図である。
【図１０Ｄ】本発明の一実施形態における符号化時の動画像を説明する図である。
【図１０Ｅ】本発明の一実施形態における符号化時の動画像を説明する図である。
【図１１Ａ】本発明の一実施形態における伸張時の動画像を説明する図である。
【図１１Ｂ】本発明の一実施形態における伸張時の動画像を説明する図である。
【図１１Ｃ】本発明の一実施形態における伸張時の動画像を説明する図である。
【図１１Ｄ】本発明の一実施形態における伸張時の動画像を説明する図である。
【図１１Ｅ】本発明の一実施形態における伸張時の動画像を説明する図である。
【図１１Ｆ】本発明の一実施形態における伸張時の動画像を説明する図である。
【図１２】本発明の一実施形態における予測誤差をキャンセルする動作を説明するフローチャートである。
【図１３】本発明の一実施形態における伸張回路を説明するためのブロック図である。
【図１４】Ｈ．２６４方式で画像データを圧縮する画像処理装置の構成を示す図である。
【図１５】ピクチャＰ２１を符号化する際の参照リストの例を示す図である。
【図１６】ピクチャＰ２４を符号化する際の参照リストの例を示す図である。
【図１７】参照リストの変化の様子をピクチャ毎に示す図である。
【図１８】Ｂピクチャを参照リストに加える場合の参照リストの変化の様子を示す図である。
【図１９】マクロブロックの分割を説明するための図である。
【図２０】ＭＰ４ファイルの構造を説明するための図である。
【図２１】ＭＰ４ファイルの構成例を示す図である。
【図２２】従来の技術を示し、再生回路を説明するためのブロック図である。
【図２３】従来の技術を示し、符号化のフレーム順序を説明するための図である。
【図１】
2010057136.tif 000003
【図２】
2010057136.tif 000004
【図３】
2010057136.tif 000005
【図４】
2010057136.tif 000006
【図５】
2010057136.tif 000007
【図６】
2010057136.tif 000008
【図７】
2010057136.tif 000009
【図８】
2010057136.tif 000010
【図９】
2010057136.tif 000011
【図１０Ａ】
2010057136.tif 000012
【図１０Ｂ】
2010057136.tif 000013
【図１０Ｃ】
2010057136.tif 000014
【図１０Ｄ】
2010057136.tif 000015
【図１０Ｅ】
2010057136.tif 000016
【図１１Ａ】
2010057136.tif 000017
【図１１Ｂ】
2010057136.tif 000018
【図１１Ｃ】
2010057136.tif 000019
【図１１Ｄ】
2010057136.tif 000020
【図１１Ｅ】
2010057136.tif 000021
【図１１Ｆ】
2010057136.tif 000022
【図１２】
2010057136.tif 000023
【図１３】
2010057136.tif 000024
【図１４】
2010057136.tif 000025
【図１５】
2010057136.tif 000026
【図１６】
2010057136.tif 000027
【図１７】
2010057136.tif 000028
【図１８】
2010057136.tif 000029
【図１９】
2010057136.tif 000030
【図２０】
2010057136.tif 000031
【図２１】
2010057136.tif 000032
【図２２】
2010057136.tif 000033
【図２３】
2010057136.tif 000034