(57)【要約】【課題】テレビジョンと接続される端子から入力される信号と異物の位置・大きさの情報とを元に、記録画像に写りこんだ異物の影を感覚的に分かりやすく表示し、また修正を可能にする。【解決手段】テレビジョンと接続可能な撮像装置であって、撮像素子２０と、撮像素子の前方に配置された光学素子１８と、光学素子の表面に付着した異物の位置と大きさを検知する検知部３６と、検知部により検知された異物の位置と大きさの情報を記憶する記憶部３６と、テレビジョンを操作するリモコンのテンキーの各キーに対応するように撮像素子の画面を複数の領域に分割する分割部３９と、テレビジョンからリモコンのテンキーの１つのキーが押された信号を受けた場合に、記憶部に記憶されている異物の位置の情報に基づいて、１つのキーに対応する撮像素子の画面の１つの領域に存在する異物の位置を示す画像を画像信号に合成してテレビジョンに出力する制御部３９とを備える。【選択図】図１
2009260743.tif 000002
【特許請求の範囲】
【請求項１】
テレビジョンと接続可能な撮像装置であって、
被写体像を光電変換して画像信号を出力する撮像素子と、
前記撮像素子の前方に配置された光学素子と、
前記光学素子の表面に付着した異物の位置と大きさを検知する検知手段と、
前記検知手段により検知された前記異物の位置と大きさの情報を記憶する記憶手段と、
前記テレビジョンを操作するリモコンのテンキーの各キーに対応するように前記撮像素子の画面を複数の領域に分割する分割手段と、
前記テレビジョンから前記リモコンのテンキーの１つのキーが押された信号を受けた場合に、前記記憶手段に記憶されている前記異物の位置の情報に基づいて、前記１つのキーに対応する前記撮像素子の画面の１つの領域に存在する異物の位置を示す画像を前記画像信号に合成して前記テレビジョンに出力する制御手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記リモコンはそれぞれ異なる色の複数のキーから構成されるカラーキーを備え、前記記憶手段は前記カラーキーの各キーの色に対応した前記異物の大きさを記憶しており、前記制御手段は、前記画像信号に合成させる前記異物の位置を示す画像を前記異物の大きさに対応する前記キーの色に設定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段は、前記テレビジョンから前記カラーキーの内の１つのキーが押された信号を受けた場合に、押された前記カラーキーの内の１つのキーに対応する大きさの異物を拡大した画像を前記テレビジョンに出力することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記検知手段により検知された異物の位置に基づいて、前記撮像素子から出力される画像信号から、画像処理により前記異物の影を除去するように補正する補正手段を更に備え、前記制御手段は、前記テレビジョンから前記リモコンのカラーキーの内の同一のキーが複数回押された信号を受けた場合に、押された前記同一のキーの色に対応する大きさの異物を前記画像信号から除去するように前記補正手段を制御することを特徴とする請求項２に記載の撮像装置。
【請求項５】
テレビジョンと接続可能な撮像装置で、被写体像を光電変換して画像信号を出力する撮像素子と、前記撮像素子の前方に配置された光学素子とを備える撮像装置を制御する方法であって、
前記光学素子の表面に付着した異物の位置と大きさを検知する検知工程と、
前記検知工程において検知された前記異物の位置と大きさの情報を記憶する記憶工程と、
前記テレビジョンを操作するリモコンのテンキーの各キーに対応するように前記撮像素子の画面を複数の領域に分割する分割工程と、
前記テレビジョンから前記リモコンのテンキーの１つのキーが押された信号を受けた場合に、前記記憶工程において記憶された前記異物の位置の情報に基づいて、前記１つのキーに対応する前記撮像素子の画面の１つの領域に存在する異物の位置を示す画像を前記画像信号に合成して前記テレビジョンに出力する制御工程と、
を備えることを特徴とする撮像装置の制御方法。
【請求項６】
請求項５に記載の制御方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ等の撮像装置において、撮像素子の前方に配置された光学ローパスフィルター等の光学素子に付着した塵埃等の異物の影を、画像処理により画像信号から除去する技術に関するものである。
【背景技術】
【０００２】
画像信号を電気信号に変換して撮像するデジタルカメラ等の撮像装置では、撮影光束をＣＣＤやＣＭＯＳセンサ等の撮像素子で受光し、その撮像素子から出力される光電変換信号を画像データに変換してメモリーカード等の記録媒体に記録する。このような撮像装置では、撮像素子の前面側にローパスフィルターや、赤外カットフィルターなどの光学素子が配置されている。このようなフィルターに塵埃等の異物が付着すると、その付着部分が黒い点となって撮影画像に写り込み、画質の低下をもたらす。
【０００３】
近年では、このような塵埃の影が写り込んだ画像に対して、画像の塵埃の影の部分だけを画像処理で除去して表示させる技術が一般に広く普及してきている。
【０００４】
しかしながら、そもそもユーザーが、記録された画像にこの塵埃の影が写り込んでいるか否か、又どこが修正されたのかを、撮像装置の背面に設置されている液晶モニターで確認しようとしても、塵埃の大きさによっては、確認することが困難であるという問題点があった。
【０００５】
このような問題点を解決するために、特許文献１では、塵埃の影が写りこんだ部分の周辺を包囲するようなマークを記録画像と共に合成表示させる方法が提案されている。
【０００６】
また、特許文献２では、記録した画像になんらかの画像処理が施されていると判断された場合は、その施されている画像処理が何であるかを表示させて、同じ補正を繰り返させないようにさせる方法が提案されている。
【特許文献１】特開２００１−３２６８４８
【特許文献２】特開２００６−２６２２０２
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１では、塵埃の影の位置がどこであるのかはわかるが、例えばある特定の位置の塵埃の影だけを画像処理で除去したいといった場合に、その処理の実行をカメラに促すことは困難であるという問題点があった。
【０００８】
また、特許文献２では、画像処理が行われた画像であるということを明示的に知ることは出来るが、その場所がどこであるのかを知るためにはユーザー自身が探さねばならないという問題点があった。
【０００９】
本発明は、上述した課題に鑑みてなされたものであり、その目的は、テレビジョンと接続される端子から入力される信号と異物の位置・大きさの情報とを元に、記録画像に写りこんだ異物の影を感覚的に分かりやすく表示し、また修正を可能にすることである。
【課題を解決するための手段】
【００１０】
上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、テレビジョンと接続可能な撮像装置であって、被写体像を光電変換して画像信号を出力する撮像素子と、前記撮像素子の前方に配置された光学素子と、前記光学素子の表面に付着した異物の位置と大きさを検知する検知手段と、前記検知手段により検知された前記異物の位置と大きさの情報を記憶する記憶手段と、前記テレビジョンを操作するリモコンのテンキーの各キーに対応するように前記撮像素子の画面を複数の領域に分割する分割手段と、前記テレビジョンから前記リモコンのテンキーの１つのキーが押された信号を受けた場合に、前記記憶手段に記憶されている前記異物の位置の情報に基づいて、前記１つのキーに対応する前記撮像素子の画面の１つの領域に存在する異物の位置を示す画像を前記画像信号に合成して前記テレビジョンに出力する制御手段と、を備えることを特徴とする。
【００１１】
また、本発明に係わる撮像装置の制御方法は、テレビジョンと接続可能な撮像装置で、被写体像を光電変換して画像信号を出力する撮像素子と、前記撮像素子の前方に配置された光学素子とを備える撮像装置を制御する方法であって、前記光学素子の表面に付着した異物の位置と大きさを検知する検知工程と、前記検知工程において検知された前記異物の位置と大きさの情報を記憶する記憶工程と、前記テレビジョンを操作するリモコンのテンキーの各キーに対応するように前記撮像素子の画面を複数の領域に分割する分割工程と、前記テレビジョンから前記リモコンのテンキーの１つのキーが押された信号を受けた場合に、前記記憶工程において記憶された前記異物の位置の情報に基づいて、前記１つのキーに対応する前記撮像素子の画面の１つの領域に存在する異物の位置を示す画像を前記画像信号に合成して前記テレビジョンに出力する制御工程と、を備えることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、テレビジョンと接続される端子から入力される信号と異物の位置・大きさの情報とを元に、記録画像に写りこんだ異物の影を感覚的に分かりやすく表示し、また修正を可能とすることができる。
【発明を実施するための最良の形態】
【００１３】
以下に、図面を参照して本発明の一実施形態について詳しく説明する。尚、以下の実施形態は、特許請求の範囲に係る発明を限定するものではなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の実施に必須のものとは限らない。
【００１４】
＜カメラの構成＞
以下、本発明の一実施形態に係わる撮像装置としてのデジタルカメラの構成を図１、図２Ａ、図２Ｂを参照しながら説明する。
【００１５】
図１は、本発明の一実施形態に係わるデジタルカメラの構成を示すブロック図である。なお、このデジタルカメラはテレビジョンと接続可能である。
【００１６】
図１において、１００は交換可能な撮影レンズを構成するレンズユニットであり、２００はデジタルカメラ本体を表している。
【００１７】
レンズユニット１００内のレンズ５は通常、複数枚のレンズから構成されるが、ここでは簡略化して一枚のレンズのみで示している。６はレンズユニット１００がカメラ本体２００側と通信を行うための通信端子であり、１０はカメラ本体２００がレンズユニット１００側と通信を行うための通信端子である。レンズユニット１００は、この通信端子６，１０を介してマイクロコンピュータ３９と通信し、内部のレンズシステム制御回路４によって絞り駆動回路２を介して絞り１の制御を行い、ＡＦ駆動回路３を介してレンズ５の位置を移動させることで焦点を合わせる。
【００１８】
１５はＡＥ（自動露出）センサー（測光センサー）で、レンズユニット１００を通した被写体の輝度を測光する。
【００１９】
１１はＡＦ（オートフォーカス）センサーで、マイクロコンピュータ３９にデフォーカス量情報を出力し、それに基づいてマイクロコンピュータ３９は、レンズシステム制御回路４を介してレンズユニット１００のフォーカス位置を制御する。
【００２０】
１２はクイックリターンミラーで、露光の際にマイクロコンピュータ３９から指示されて、不図示のアクチュエータによりアップダウンされる。
【００２１】
１３はフォーカシングスクリーンで、撮影者は、ペンタプリズム１４とファインダー１６を介して、フォーカシングスクリーン１３を観察することで、レンズユニット１００を通して得た被写体の光学像の焦点や構図の確認が可能となる。
【００２２】
１７はフォーカルプレーンシャッターで、マイクロコンピュータ３９の制御で撮像素子２０の露光時間を自由に制御できる。
【００２３】
１８は光学フィルター（光学素子）で、一般的にローパスフィルターなどから構成され、フォーカルプレーンシャッター１７を介して入射する光の高周波成分をカットして、撮像素子２０に被写体像を導く。
【００２４】
撮像素子２０としては、一般的にＣＣＤやＣＭＯＳセンサ等の撮像素子が用いられ、レンズユニット１００を通して撮像素子２０上に結像された被写体象を光電変換して電気信号として取り込む。
【００２５】
２１はＡ／Ｄ変換回路で、撮像素子２０によって電気信号に変換されたアナログ信号をデジタル信号に変換する。
【００２６】
２２は画像処理回路で、Ａ／Ｄ変換回路２１によってデジタル信号に変換された画像データに対して、フィルター処理、色変換処理、ガンマー／ニー処理を行い、メモリーコントローラ２６に出力する。また、この画像処理回路はＤ／Ａ変換回路も内蔵しており、Ａ／Ｄ変換回路２１によってデジタル信号に変換された画像データやメモリーコントローラ２６から入力される画像データをアナログ信号に変換して液晶駆動回路２３を介して液晶表示部２４に出力する。これらの画像処理回路２２による画像処理及び表示処理は、マイクロコンピュータ３９により切り替えられる。また、マイクロコンピュータ３９は、撮影画像のカラーバランス情報をもとにホワイトバランス調整を行う。
【００２７】
メモリーコントローラ２６は、画像処理回路２２から入力された未処理の画像データをバッファメモリー２５に格納したり、或いは画像処理済みの画像データをメモリー２７に格納したりする。また、逆にバッファメモリー２５やメモリー２７から画像データを取り込んで画像処理回路２２に出力したりもする。また、メモリーコントローラ２６は、ＵＳＢ（Universal Serial Bus）、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）やＨＤＭＩ（High-Definition Multimedia Interface）などの外部インタフェース２８を介して送られてくる画像データをメモリー２７に格納したり、逆にメモリー２７に格納されている画像データを外部インタフェース２８を介して外部に出力することも可能である。また、メモリー２７は、着脱可能な様態でもよく、図１では、着脱可能な場合のメモリーとして図示している。具体的には、コンパクトフラッシュ（登録商標）メモリーを用いることができる。
【００２８】
３１はシャッター制御回路であり、この回路を介してマイクロコンピュータ３９はフォーカルプレーンシャッター１７を制御する。
【００２９】
３４は電源制御回路であり、電力はＡＣ電源部２９、もしくは２次電池部３０より供給され、マイクロコンピュータから指示を受けて電源のオンオフを行う。また、電源状態検知回路３３により検知された現在の電源状態の情報や電源種類検知回路３２により検知された現在の電源の種類の情報をマイクロコンピュータ３９に通知することも行う。
【００３０】
３５は姿勢検知回路であり、現在のデジタルカメラ本体２００の姿勢状態の情報をマイクロコンピュータ３９に通知する。
【００３１】
３６は光学フィルター１８に付着した塵埃（ゴミ）等の異物の位置及び大きさを検知するゴミ位置検知回路であり、この回路から出力される塵埃（ゴミ）の位置及び大きさ情報がマイクロコンピュータ３９に入力される。なお、ゴミ位置検知回路３６は、この回路で検知されたゴミの位置及び大きさの情報を記憶するメモリーを備えている。
【００３２】
３７は光学フィルター振動制御回路であり、光学フィルター１８に接続されている圧電素子１９を振動させる回路である。マイクロコンピュータ３９の指示に従い、振動の振幅、振動時間、振動の軸方向をそれぞれ所定の値にして圧電素子を振動させる。
【００３３】
３８は外部機器信号検知回路であり、外部インタフェース２８を介して送られてくるテレビジョンからの制御信号を受信する回路である。この回路により、テレビジョンを操作するためのテレビリモコンにおける、押下されたテンキーの番号の情報、及びカラーキーの内のどの色のキーが押されたかの情報がそれぞれマイクロコンピュータ３９に入力される。
【００３４】
図２Ａ及び図２Ｂは、レンズユニット１００及びデジタルカメラ本体２００の外観図であり、図１と共通する部分は、同じ記号で示している。
【００３５】
２０１は、レリーズボタンである。レリーズボタン２０１を半押しすることで、デジタルカメラ本体２００内のスイッチＳＷ１がＯＮになり、被写体の輝度の測定や合焦を行う。また、レリーズボタン２０１を全押しすることで、デジタルカメラ本体２００内のスイッチＳＷ２がＯＮになり、シャッターが切られ画像の撮影が行われる。
【００３６】
２０２は、カメラの撮影モードの設定を行うためのモードダイヤルである。ユーザーは、このモードダイヤル２０２を回すことで、スポーツモード、風景モードなどの撮影モードの設定を行う。
【００３７】
２０３は、電子ダイヤルである。ユーザーは、この電子ダイヤル２０３を回すことでシャッター速度や絞り値などの設定を行う。
【００３８】
２０４は、十字キー及び選択ボタンである。液晶表示部２４に表示されている設定内容、サムネイル画像などの選択を行う際、キー２０４ａを押下することにより、左右方向に選択範囲が動き、キー２０４ｂを押下することにより、上下方向に選択範囲が動く。また、選択された箇所でボタン２０４ｃを押下することにより、選択した内容を決定することができる。
【００３９】
２０５は、電源スイッチである。電源スイッチを回すことで電源のＯＮ及びＯＦＦを行うことができる。
【００４０】
２０６は、各種設定を行うためのスイッチ群である。これらのスイッチ群には、カメラ内外の記録媒体に保存されている画像を液晶表示部２４に表示させる再生指示ボタンや、各種設定画面を液晶表示部２４に表示させるための設定画面表示指示ボタンなどがある。ユーザーはこれらのスイッチを押下することにより、各種設定を行うための画面を表示させたり、撮影画像の確認を行うことなどが可能となる。
【００４１】
次に、上記構成を有するデジタルカメラにおける撮像素子２０の前方に配置された光学フィルター１８上のゴミの影を撮影画像から画像処理により除去する処理について説明する。
【００４２】
本実施形態では、まず、ゴミ（異物）の付着している位置及び大きさ等の情報であるゴミ情報（異物情報）を得るためのゴミ検出用画像を撮影し、ゴミデータを抽出し、ゴミデータを生成しておく。ここでゴミ検出用画像は、できるだけ均一な輝度面を撮影した画像が望ましいが、身近な場所で容易に撮影できることが望ましいため、厳密な均一性を要求するものではない。例えば、青空や白い壁面を撮影することを想定している。
【００４３】
図３は、本実施形態におけるゴミ情報を取得する際のデジタルカメラにおける処理を示すフローチャートである。
【００４４】
まずステップＳ２０１において、スイッチ群２０６の操作によりゴミ情報取得モードが選択されたか否かを判定する。ゴミ情報取得モードが選択されるまでステップＳ２０１の判定を繰り返し、ゴミ情報取得モードが選択されるとステップＳ２０２へ進み、レリーズボタン２０１の操作によりスイッチＳＷ１がＯＮされたかどうかを判断する。ＯＦＦであればステップＳ２０１に戻って上記処理を繰り返す。
【００４５】
一方、ＯＮであれば、ステップＳ２０３において、絞り、ＩＳＯ値、シャッタースピード、その他撮影関連のパラメータを設定する。ここで設定されるパラメータを図４に示す。絞りはＦ２２など、絞りを絞り込んだ設定とする。レンズユニット１００において設定可能な範囲内で最も絞り込んだ状態で撮影するものとしてもよい。このように絞りを絞るのは、ゴミは通常撮像素子２０の表面ではなく、撮像素子２０を保護する保護用ガラスや、撮像素子より被写体側に配置される光学フィルター１８上に付着しているため、レンズユニット１００の絞り値によって結像状態が異なるためである。そのため、絞りが開放値に近いとゴミの像がぼやけてしまい、適切なゴミ検出用の画像が取得できないので、できるだけ絞り込んだ状態で撮影するのが好ましい。
【００４６】
図３のフローチャートの説明に戻ると、この時までに撮影者はできるだけ白い壁などの均一輝度面にデジタルカメラを向け、レリーズボタン２０１の操作によりスイッチＳＷ２をＯＮさせることとなる。
【００４７】
ステップＳ２０４ではスイッチＳＷ２がＯＮされたかどうかを判断する。ＯＦＦであればステップＳ２０２に戻りスイッチＳＷ１の判定を行う。ＯＮであればステップＳ２０５へ進む。ステップＳ２０５ではゴミ検出用画像の撮影（均一輝度面の撮影）を行って、バッファメモリー２５内に画像データを取り込む。次にステップＳ２０６ではバッファメモリー２５内に記憶した画像データからゴミ情報を取得する。
【００４８】
ここで、ゴミ位置検知回路３６におけるゴミ情報の取得について説明する。具体的には、撮影したゴミ検出用画像からゴミ領域の位置（座標）と大きさを求めるものである。まず、撮影したゴミ検出用画像の領域を複数のブロックに分割し、ブロック内の最大輝度Ｌmax、平均輝度Ｌaveを算出し、次式を用いてブロック内のスレッショルド値Ｔ１を算出する。
【００４９】
Ｔ１＝Ｌave×０.６＋Ｌmax×０.４
次に、ゴミが付着している画素はその輝度が周囲の画素の輝度よりも低下するため、スレッショルド値Ｔ１を超えない画素をゴミ画素とし、ゴミ画素によって構成される孤立領域を各々一つのゴミ領域ｄｉ（ｉ＝０，１，…，ｎ）とする。
【００５０】
図５は、ゴミ領域サイズ算出の概要を示す図である。図５に示すように、ゴミ領域毎に、ゴミ領域を構成する画素の水平方向の座標の最大値Ｘmaxおよび最小値Ｘmin、垂直方向の座標の最大値Ｙmaxおよび最小値Ｙminを求め、ゴミ領域ｄｉのサイズを表す半径ｒｉを次式によって算出する。
【００５１】
ｒｉ＝［√｛（Ｘmax−Ｘmin）2＋（Ｙmax−Ｙmin）2｝］／２
また、このときの中心座標（Ｘｄｉ，Ｙｄｉ）は、近似的に、
Ｘｄｉ＝（Ｘmax＋Ｘmin）／２
Ｙｄｉ＝（Ｙmax＋Ｙmin）／２
で求めるものとする。このように求められた位置（座標）と半径を、ゴミ情報プロファイルとしてゴミ位置検知回路３６内のメモリに記録する。
【００５２】
ゴミ位置検知回路３６内のメモリのサイズによる制限などにより、ゴミ補正データ（ゴミ情報プロファイル）のデータサイズが制限されている場合がある。このような場合に対応するために、ゴミ位置情報を、大きさやゴミ領域の平均輝度値によってソートする。本実施形態では、ｒｉの大きい順にソートする。ｒｉが等しい場合、平均輝度値の低い順にソートする。
【００５３】
このようにすることで、目立つゴミを優先してゴミ補正データに登録することが出来る。なお、ソート済みのゴミ領域をＤｉ、ゴミ領域Ｄｉの半径をＲｉとする。
【００５４】
なお、予め定められたサイズより大きいゴミ領域がある場合、ソートの対象から外し、ソート済みゴミ領域リストの末尾に配置してもよい。大きいゴミ領域については、後に補間処理をするとかえって画質を低下させる場合があり、補正対象の優先順位としては最下位として扱うことが望ましいからである。
【００５５】
このゴミ情報プロファイルは、図６に示すような構造をとる。図６に示す通り、ゴミ情報プロファイルには、ゴミ検出用画像撮影時の、レンズ情報とゴミの位置、大きさの情報が格納される。更に具体的には、ゴミ検出用画像撮影時のレンズ情報として、ゴミ検出用画像撮影時における実際の絞り値（Ｆ値）と、そのときのレンズ瞳位置を格納する。続いて記憶領域に検出したゴミ領域の数（整数値）を格納し、これに続き、個々の具体的なゴミ領域のパラメータを、ゴミ領域の数だけ繰返して格納する。ゴミ領域のパラメータは、ゴミの半径（例えば２バイト）、有効画像領域における中心のｘ座標（例えば２バイト）、おなじく中心のｙ座標（例えば２バイト）の３つの数値のセットである。
【００５６】
取得したゴミ情報はステップＳ２０７でゴミ位置検知回路３６内のメモリに記憶され、ゴミ情報取得のための処理を終了する。
【００５７】
なお、ゴミ情報取得モードにおける撮影動作は、ゴミ情報を取得することを目的とするため、本実施形態では撮影した画像そのものに対して、圧縮及びメモリー２７への記録処理は行わない。これは撮影者にとって不要な画像データでメモリー２７内の容量を無駄に消費することがないようにするためであるが、通常画像と同様に、圧縮後、メモリー２７へ保存しても良く、また、その際に拡張子を変更するなど何らかの手を加えても構わない。
【００５８】
次に、上述したようにしてゴミ位置検知回路３６内のメモリに記憶されたゴミ情報を使用した通常撮影時のゴミ除去処理について、図７及び図８のフローチャートを用いて説明する。なお、このゴミ除去処理は、図１における画像処理回路２２を用いて行われる。
【００５９】
図７は本実施形態における通常撮影時の静止画像の撮影処理を示している。
【００６０】
ステップＳ５０１では、レリーズボタン２０１の操作によりスイッチＳＷ１がＯＮされるまで、待機する。スイッチＳＷ１がＯＮされるとステップＳ５０２へ進んで測光及び焦点調節処理を行い、続いてステップＳ５０３でレリーズボタン２０１の操作によりスイッチＳＷ２がＯＮされたかどうかを判断する。スイッチＳＷ２がＯＦＦであればステップＳ５０１に戻って上記処理を繰り返し、ＯＮされたことを検出するとステップＳ５０４へ進んで撮影を行う。撮影が終了するとステップＳ５０５へ進み、撮影した画像データをメモリー２７に格納する。
【００６１】
続いて、図８を参照してゴミ除去処理の動作について説明する。
【００６２】
ステップＳ６０２では、ゴミ位置検知回路３６内のメモリからマイクロコンピュータ３９へゴミ情報を取り込む。ステップＳ６０３では取り込んだゴミ情報から画像データにおけるゴミの影響を除去するべく、ゴミの周辺画素による画素補間処理等による補正処理を行う。
【００６３】
抽出したゴミ補正データから座標列Ｄｉ（ｉ＝１，２，…ｎ）、半径列Ｒｉ（ｉ＝１，２，…，ｎ）、絞り値ｆ１とレンズ瞳位置Ｌ１を得る。ここでＲｉは、先にゴミ補正データソート時に求めた座標Ｄｉのゴミの大きさである。また、ｆ１は、ゴミ検出用画像の撮影時のレンズの絞り値、Ｌ１は、同じくゴミ検出用画像の撮影時のレンズの瞳位置である。通常撮影された画像の撮影時の絞り値ｆ２とレンズ瞳位置Ｌ２を取得し、Ｄｉを次式で変換する。ここで、ｄは画像中心から座標Ｄｉまでの距離、Ｈは撮像素子１４の表面とゴミとの距離であるとする。変換後の座標Ｄｉ’と変換後の半径Ｒｉ’は例えば次式で定義する。
【００６４】
Ｄｉ’（ｘ，ｙ）＝（Ｌ２×（Ｌ１−Ｈ）×ｄ／（（Ｌ２−Ｈ）×Ｌ１））×Ｄｉ（ｘ，ｙ）
Ｒｉ’＝（Ｒｉ×ｆ１／ｆ２＋３）              （１）
ここでの単位はピクセルであり、Ｒｉ’についての「＋３」はマージン量である。
【００６５】
座標Ｄｉ’、半径Ｒｉ’で示される領域内のゴミを検出し、必要に応じて補間処理を適用する。補間処理の詳細については後述する。全ての座標についてゴミ除去処理を適用し、全ての座標について処理が終わっていれば、ステップＳ６０４に進む。
【００６６】
ステップＳ６０４では、撮影した画像からゴミの影響を除去した補正処理後の画像を新たに記録する。
【００６７】
以上でゴミ除去処理を終了する。
【００６８】
（補間ルーチン）
次に、ゴミ領域の補間処理の詳細について説明する。
【００６９】
図９は、補間ルーチンの流れを示すフローチャートである。
【００７０】
まずステップＳ７０１で、ゴミ領域判定を行う。ゴミ領域とは、次の条件全てを満たす領域とする。
（１）中心座標Ｄｉ’、半径Ｒｉ’（式（１）で求められたＤｉ’，Ｒｉ’）に含まれる画素の平均輝度Ｙaveと最高輝度Ｙmaxを用いて次式で求められるスレッショルド値Ｔ２より暗い領域。
【００７１】
Ｔ２＝Ｙave×０.６＋Ｙmax×０.４
（２）上記の中心座標Ｄｉ’、半径Ｒｉ’の円と接しない領域。
（３）（１）で選択された輝度の低い画素によって構成される孤立領域に対し、上述の方法で算出した半径値がl１画素以上、l２画素未満である領域。
（４）円の中心座標Ｄｉを含む領域。
【００７２】
本実施形態では、l１は３画素、l２は３０画素とする。このようにすることで、孤立した小領域だけをゴミ領域として扱うことが可能になる。また、レンズ瞳位置が正確に取得できない場合には、（４）の条件は幅を持たせても良い。例えば、着目領域が座標ＤｉからＸ方向、Ｙ方向に夫々±３画素の範囲の座標を含めば、ゴミ領域と判定するなどという条件が考えられる。
【００７３】
ステップＳ７０２で、画像信号中にこのような領域（部分）があればステップＳ７０３へ進みゴミ領域補間を行い、存在しない場合は処理を終了する。ステップＳ７０３で実行するゴミ領域補間処理は、公知の欠損領域補間法で行う。公知の欠損領域補間法には例えば、特開２００１−２２３８９４号公報に開示されているパターン置換がある。特開２００１−２２３８９４号公報では赤外光を用いて欠損領域を特定しているが、本実施形態ではステップＳ７０１で検出したゴミ領域を欠損領域として扱い、パターン置換によりゴミ領域を周囲の正常画素で補間する。パターン置換で埋められない画素については、パターン補間後の画像データに対し、補間対象画素に最も近い順に正常画素をｐ個選択し、その平均色を用いて補間する。
【００７４】
次に、図１０のフローチャートを参照して、本実施形態のデジタルカメラとテレビジョンを接続してカメラ内の画像を表示する動作について説明する。
【００７５】
まずステップＳ１０で、スイッチ群２０６内の画像再生ボタンが押下されているか否かの判定を行い、押下されていたら、ステップＳ１１に進み、押下されていなかったら動作を終了する。
【００７６】
ステップＳ１１では、外部インタフェース２８を介してテレビジョンと通信可能か否かの判定を行い、通信可能であった場合にはステップＳ１２に進み、通信不可能であった場合は、ステップＳ１３に進む。
【００７７】
ステップＳ１２では、メモリー２７に書き込まれている画像データに対して、外部機器信号検知回路３８から入力されるテレビリモコン上のテンキーの番号及びカラーキーの色情報を元にどのように画像処理を行うかを決定し、画像処理回路２２により、画像処理が行われ、ステップＳ１４に進む。画像処理の決定方法の詳細については後述する。
【００７８】
ステップＳ１４では、外部インタフェース２８を介してテレビジョンへ再生画像を出力し、ステップＳ１１へ戻る。
【００７９】
また、ステップＳ１３では、テレビジョンに画像データを出力することができないので、メモリー２７に書き込まれている画像データを液晶表示部２４に表示させる。
【００８０】
次に、図１１のフローチャートを参照して、図１０のステップＳ１２で行われる動作について説明する。
【００８１】
ステップＳ１０１では、外部インタフェース２８を介して取得される信号が、テレビリモコンのテンキー押下時か又はカラーキー押下時の信号であったならステップＳ１０２に進み、そうでなかったらそのまま終了する。
【００８２】
ステップＳ１０２では、押されたテンキーの番号に対応するゴミの位置情報、及びカラーキーのボタンの色に対応する情報が図１２Ｃに示すテーブルから取得される。図１２Ａに示す表示画面を、図１２Ｂに示すテレビジョンを操作するリモコン（テレビリモコン）上のテンキーの配列に対応付けて分割し、各領域とリモコン上のテンキーとを対応付ける。
【００８３】
また、ゴミ位置検知回路３６から取得されるゴミの位置情報を基に、ゴミが存在している領域に対応しているテンキーとゴミを対応付ける。また、テンキーに対応付けられたゴミそれぞれの大きさ情報を基に、例えば図１２Ｃに示すようにゴミの大きい順にカラーキーのボタンの色とゴミの大きさを対応付ける。
【００８４】
ステップＳ１０３では、取得される信号が、カラーキー押下時の信号であったならステップＳ１０５に進み、テンキーの信号であったならステップＳ１０４に進む。
【００８５】
ステップＳ１０４では、外部機器信号検知回路３８から取得される押下されたテンキーの数字情報を例えばバッファメモリー２５の記録領域に記憶する。
【００８６】
ステップＳ１０６では、図１２Ｃに示すテーブルから、ステップＳ１０４で記憶されているテンキーの情報を基に、そのテンキーに対応するゴミの位置情報とそのゴミに対応するカラーキーのボタンの色情報（本実施形態ではゴミの大きさのレベルに対応するカラーキーのボタンの色）が取得される。そして、そのゴミの周辺に、取得されたカラーキーのボタンの色情報に基づいた枠（ボタンの色と同じ色の枠）を生成して、元画像データと合成処理し、図１３Ａに示すように外部インタフェース２８を介して外部に出力する。この出力された画像データがテレビジョンで受信され、テレビジョンの画面に図１３Ａのようにゴミの位置が枠で囲まれた画像が表示される。これにより、ユーザは、テレビジョンの画面に表示される枠の色を見て、付着しているゴミの大きさを判断することができる。
【００８７】
ステップＳ１０５では、カラーキーのボタンの色情報に応じて異なる画像処理を行う。ボタンの色情報に応じた画像処理については後述する。
【００８８】
次に、図１４のフローチャートを参照して、図１１のステップＳ１０５で行われる動作について説明する。
【００８９】
まずステップＳ１５１では、外部機器信号検知回路３８から取得される押下されたカラーキーのボタンの色情報を例えばバッファメモリー２５の記録領域に記憶する。
【００９０】
ステップＳ１５２では、今回押下されたカラーキーのボタンの色情報と前回押下されたカラーキーのボタンの色情報が同じであるか判定し、同じ色のカラーキーが押下されたと判断されたらステップＳ１５３に進む。また、違う色のカラーキーが押下されたと判断されたらステップＳ１５９に進む。
【００９１】
ステップＳ１５３では、その色のカラーキーが押下された回数を、例えばバッファメモリー２５の記憶領域に記録する。
【００９２】
ステップＳ１５４では、ステップＳ１５３での結果に基づき、押下された回数が１回目であったならば、ステップＳ１５６に進み、押下された回数が１回目でなかった（同一のボタンが複数回押された）ならばステップＳ１５５に進む。
【００９３】
ステップＳ１５６では、まず図１２Ｃに示すテーブルから、ステップＳ１０４で記憶されているテンキーの情報を基に、そのテンキーに対応するゴミの中の、ステップＳ１５１で記憶されているカラーキーのボタンの色に対応するゴミの位置情報を取得する。取得された位置情報を中心に、元画像データを拡大処理し、外部インタフェース２８を介して外部に出力する。この出力された画像データがテレビジョンで受信され、テレビジョンの画面に図１３Ｂのようにゴミが拡大された画像が表示される。
【００９４】
ステップＳ１５５では、ステップＳ１５３での結果に基づき、押下された回数が２回目であったならば、ステップＳ１５７に進み、それ以外だったならばステップＳ１５９に進む。
【００９５】
ステップＳ１５７では、まず図１２Ｃに示すテーブルから、ステップＳ１０４で記憶されているテンキーの情報を基に、そのテンキーに対応するゴミの中の、ステップＳ１５１で記憶されているカラーキーのボタンの色に対応するゴミの位置情報を取得する。そして、取得された位置情報に存在するゴミが、前回ゴミ除去処理が施されていたら修正処理し、前回ゴミ除去処理が施されていなかったなら除去処理し、ステップＳ１５８に進む。
【００９６】
ステップＳ１５８では、ステップＳ１５７の結果に基づいて、処理された内容を例えばバッファメモリー２５の記憶領域に記録し、処理された画像データを、外部インタフェース２８を介して外部に出力する。この出力された画像データがテレビジョンで受信され、テレビジョンの画面に図１３Ｃのように処理後のゴミの状態を示す画像が表示される。
【００９７】
ステップＳ１５９では、ステップＳ１５３においてバッファメモリー２５の記憶領域に記憶された、カラーキーが押下された回数をクリアする。
【００９８】
ステップＳ１６０では、押下されたカラーキーのボタンの色と同じ色の枠をその色に対応するゴミの位置に合わせて画像データに合成してテレビジョンに表示させる。
【００９９】
以上の動作により、ユーザーがテレビリモコンのカラーキーを１回押すことにより、除去すべきゴミの位置が拡大表示され、もう１回押すことによりゴミ除去処理が行われて、ゴミ除去処理後の画像が表示される。また、同じカラーキーが３回以上押された場合は、ゴミの除去処理は行われず、ゴミが存在していた位置に枠が表示される。
【０１００】
以上説明したように、上記の実施形態によれば、テレビジョンのリモコンのキーを用いて、記録画像に写りこんだ異物の影を感覚的に分かりやすく表示し、また修正を可能とすることができる。
【０１０１】
（他の実施形態）
また、各実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
【０１０２】
さらに、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
【０１０３】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【０１０４】
【図１】本発明の一実施形態に係わるデジタルカメラの構成を示すブロック図である。
【図２Ａ】レンズユニット１００及びデジタルカメラ本体２００の外観図である。
【図２Ｂ】レンズユニット１００及びデジタルカメラ本体２００の外観図である。
【図３】本発明の一実施形態におけるゴミ情報を取得する際のデジタルカメラにおける処理を示すフローチャートである。
【図４】本発明の一実施形態におけるゴミ情報取得時の設定パラメータ一覧を示す図である。
【図５】ゴミ領域サイズ算出の概要を示す図である。
【図６】ゴミ情報プロファイルの構造を示す図である。
【図７】本発明の一実施形態における通常撮影時の撮影処理を示すフローチャートである。
【図８】ゴミ除去処理の動作を示すフローチャートである。
【図９】補間ルーチンの流れを示すフローチャートである。
【図１０】デジタルカメラとテレビジョンを接続して画像データを表示する処理の流れを示すフローチャートである。
【図１１】テレビジョンからの信号に応じて画像処理方法を決定する処理の流れを示すフローチャートである。
【図１２Ａ】表示画面をテレビジョンを操作するリモコン上のテンキーと同じ配列に分割し、撮像素子上に付着したゴミの位置と関連付けた図である。
【図１２Ｂ】テレビジョンを操作するリモコンを表した図である。
【図１２Ｃ】テレビジョンを操作するリモコン上のテンキー、カラーキー、撮像素子上に付着したごみの座標値と大きさを対応付けた図である。
【図１３Ａ】テンキーが押下された時にデジタルカメラがゴミの周辺にマークを合成表示してテレビジョンに出力した時のイメージ図である。
【図１３Ｂ】カラーキーが押下された時にデジタルカメラが拡大処理を行った画像データをテレビジョンに出力した時のイメージ図である。
【図１３Ｃ】カラーキーが押下された時にデジタルカメラがゴミ修正処理を行った画像データをテレビジョンに出力した時のイメージ図である。
【図１４】テレビジョンからカラーキーが押下された信号を受信した時の画像処理方法を決定する処理の流れを示すフローチャートである。
【符号の説明】
【０１０５】
１  絞り
２  絞り駆動回路
３  ＡＦ駆動回路
４  レンズシステム制御回路
５  レンズ
６  レンズ側通信部
１０  カメラ側通信部
１１  ＡＦセンサー
１２  クイックリターンミラー
１３  フォーカシングスクリーン
１４  ペンタプリズム
１５  ＡＥセンサー
１６  ファインダー
１７  フォーカルプレーンシャッター
１８  光学フィルター
１９  圧電素子
２０  撮像素子
２１  Ａ／Ｄ変換回路
２２  画像処理回路
２３  液晶駆動回路
２４  液晶表示部
２５  バッファメモリー
２６  メモリーコントローラ
２７  メモリー
２８  インタフェース
２９  ＡＣ電源部
３０  ２次電池部
３１  シャッター制御回路
３２  電源種類検知回路
３３  電源状態検知回路
３４  電源制御回路
３５  姿勢検知回路
３６  ゴミ位置検知回路
３７  光学フィルター振動制御回路
３８  外部機器信号検知回路
３９  マイクロコンピュータ
【図１】
2009260743.tif 000003
【図２Ａ】
2009260743.tif 000004
【図２Ｂ】
2009260743.tif 000005
【図３】
2009260743.tif 000006
【図４】
2009260743.tif 000007
【図５】
2009260743.tif 000008
【図６】
2009260743.tif 000009
【図７】
2009260743.tif 000010
【図８】
2009260743.tif 000011
【図９】
2009260743.tif 000012
【図１０】
2009260743.tif 000013
【図１１】
2009260743.tif 000014
【図１２Ａ】
2009260743.tif 000015
【図１２Ｂ】
2009260743.tif 000016
【図１２Ｃ】
2009260743.tif 000017
【図１３Ａ】
2009260743.tif 000018
【図１３Ｃ】
2009260743.tif 000019
【図１４】
2009260743.tif 000020
【図１３Ｂ】
2009260743.tif 000021