(57)【特許請求の範囲】
【請求項１】
所定の露光時間だけ被写体を撮像して画像データを生成する撮像手段と、
前記撮像手段で生成された画像データの一画面を異物の大きさを考慮して複数のエリアに分割する画像分割手段と、
手ブレによる撮影範囲の移動に伴う輝度変化のないエリアを特定し、前記特定したエリアの輝度レベルが設定された判定値以下であり、かつ、前記特定したエリアの大きさが前記複数のエリアのうちの１つのエリアの大きさよりも小さい場合に、前記特定したエリアの画像データを輝度変化のあるエリアの画像データと置き換える画像処理手段と、
を備える撮像装置。
【請求項２】
前記置き換えた第一の画像データの置き換えた箇所、または手ブレによる前記第一の画像データの他の部分を含む第二の画像データの異物による影響がある箇所を記録する異物記録手段をさらに備える請求項１記載の撮像装置。
【請求項３】
所定の露光時間だけ被写体を撮像して画像データを生成する撮像手段と、
前記撮像手段で生成された画像データの一画面を異物の大きさを考慮して複数のエリアに分割する画像分割手段と、
手ブレによる撮影範囲の移動に伴う輝度変化のないエリアを特定し、前記特定したエリアの輝度レベルが設定された判定値以下であり、かつ、前記特定したエリアの大きさが前記複数のエリアのうちの１つのエリアの大きさよりも小さい場合に、前記特定したエリアの輝度を変更する画像処理手段と、
を備える撮像装置。
【請求項４】
所定の露光時間だけ被写体を撮像して画像データを生成するステップと、
撮像手段で生成された画像データの一画面を異物の大きさを考慮して複数のエリアに分割するステップと、
手ブレによる撮影範囲の移動に伴う輝度変化のないエリアを特定し、前記特定したエリアの輝度レベルが設定された判定値以下であり、かつ、前記特定したエリアの大きさが前記複数のエリアのうちの１つのエリアの大きさよりも小さい場合に、前記特定したエリアの画像データを輝度変化のあるエリアの画像データと置き換えるステップと、
を含む画像処理方法。
【請求項５】
所定の露光時間だけ被写体を撮像して画像データを生成するステップと、
撮像手段で生成された画像データの一画面を異物の大きさを考慮して複数のエリアに分割するステップと、
手ブレによる撮影範囲の移動に伴う輝度変化のないエリアを特定し、前記特定したエリアの輝度レベルが設定された判定値以下であり、かつ、前記特定したエリアの大きさが前記複数のエリアのうちの１つのエリアの大きさよりも小さい場合に、前記特定したエリアの輝度を変更するステップと、
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、およびその画像処理方法に関するものである。
【背景技術】
【０００２】
デジタルカメラなどの撮像装置においては、レンズから撮像素子に至る光路上に異物が付着することにより、画像にシミが写り込んでしまう問題がある。
【０００３】
この現象は、図９（ａ）に示すように、レンズから撮像素子に至る光路上に異物９０１が付着した場合、異物が付着した部分の画像データの輝度が低くなる。そのため、図９（ｂ）に示すように、画像にシミとして写り込んでしまう。
【０００４】
現在、カメラ付き携帯電話やデジタルカメラの画素数は年々高画素化が進むと共に、画素自体の小型化が進められている。小型化と高画素化が進むことで、撮像素子に至る光路上に異物が付着した場合、撮影画像に与える影響は大きくなっている。そのため、カメラメーカ、アセンブリメーカでは、異物の付着を防止するため、生産環境のクリーン化、検査の厳密化等を行なうようになり、その負担は大きくなっている。
【０００５】
一方で多くのデジタル一眼レフカメラでは、センサに付着した異物を除去するセンサクリーニング機構が設けられるなど、ユーザの中で異物の画像に与える影響は認知度が高くなってきている。また、サイズの制約があるカメラ付き携帯電話、コンパクトデジタルカメラでもその対応は必須となってきている。
【０００６】
そのため、センサに付着した異物を自己検出し、高画質な画像を撮影する提案がされている。
例えば、撮影後にレンズの位置を移動させ、比較用画像を撮影し、保存用画像と比較用画像の差分を比較して異物の有無を判断し、異物ありと判定した場合は、画像データを補正することが特許文献１に記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００５−７２６２９公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、特許文献１の検出方法では、複数の画像を撮影する必要があるため、撮影時に消費するメモリサイズが通常時と比較して大きくなってしまい、また、処理に時間を要するという問題があった。
【０００９】
［発明の目的］
本発明は、撮影時に消費するメモリサイズを抑制し、かつ高画質な画像を撮影する事を可能とする発明である。
【課題を解決するための手段】
【００１０】
本発明は、上述事情に鑑みなされたものであって、本発明の撮像装置は、被写体を撮像して画像データを生成する撮像手段と、前記撮像手段で生成された画像データの一画面を複数のエリアに分割する画像分割手段と、手ブレによる撮影範囲の移動に伴う輝度変化のないエリアを特定し、前記特定したエリアの画像データを輝度変化のあるエリアの画像データと置き換える画像処理手段と、を備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、メモリサイズを抑制しつつ、異物による画質劣化を気にする事なく撮影を行う事ができる。
【図面の簡単な説明】
【００１２】
【図１】本発明による第一の実施形態の撮像装置を示すブロック図である。
【図２】本発明による第二の実施形態の撮像装置を示すブロック図である。
【図３】本発明による第二の実施形態の異物の検出方法を説明する図である。
【図４】本発明による第二の実施形態の異物の検出方法を説明する図である。
【図５】本発明による第二の実施形態のフローチャートを示す図である。
【図６】本発明による第二の実施形態の画像データが補正され表示手段に表示される方法を説明する図である。
【図７】本発明による第三の実施形態の撮像装置を示すブロック図である。
【図８】本発明による第三の実施形態のフローチャートを示す図である。
【図９】異物の付着により画像データにシミが検出されることを説明する図である。
【発明を実施するための最良の形態】
【００１３】
図１は、本発明による撮像装置の第一の実施形態の構成を示すブロック図である。図１において、デジタルカメラ１は、撮像手段１０と画像分割手段２０と画像処理手段３０から構成される。
撮像手段１０は、被写体を撮像して画像データを生成する。画像分割手段２０は、撮像手段１０で生成された画像データの一画面を複数のエリアに分割する。画像処理手段３０は、手ブレによる撮影範囲の移動に伴う輝度変化のないエリアを特定し、特定したエリアの画像データを輝度変化のあるエリアの画像データと置き換える。
【００１４】
本発明の第一の実施形態では、デジタルカメラの例を示しているが、撮像装置において画像データを補正する機能を有する電子機器であればよい。例えば、デジタルカメラの他に、カメラ付携帯電話機、カメラ付ＰＣ、カメラ付ＰＤＡ端末等の電子機器に適用できる。
【００１５】
以上説明した本発明の第一の実施の形態では、画像データを分割する分割手段と、複数のエリアの一部である第一の画像データと、手ブレによる第一の画像データの他の部分を含む第二の画像データの輝度を比較し、特定エリアの画像データを変換する画像処理手段とを備える。そのため、撮影時に消費するメモリサイズを抑制し、かつ高画質な画像を撮影する事を可能とすることができる。
【００１６】
次に本発明による撮像装置の第二の実施形態を説明する。図２は、第二の実施形態の構成を示すブロック図である。図２において、本実施形態の撮像装置は、レンズ２０１、ローパスフィルタ２０２、ＩＲＣＦ（Ｉｎｆｒａｒｅｄ−Ｒａｙ  Ｃｕｔ  Ｆｉｌｔｅｒ）２０３、センサ２０４（２０１〜２０４を以後「撮像手段」とよぶ）、制御手段２０５、表示手段２０６、記録手段２０７を備えている。
【００１７】
レンズ２０１は、被写体からの射出した光束をセンサ上に結像する。レンズ２０１は図示の都合上、それぞれ１枚のレンズとして示している。但し、実際には１枚のレンズに限定されず、複数枚のレンズの集合体として構成されていてもよい。
【００１８】
レンズ２０１の後方には、ローパスフィルタ２０２が設けられている。ローパスフィルタ２０２は、レンズ２０１からの光束に対し、高周波域の雑音を防ぎ、低域周波数のみを信号として通過させている。
【００１９】
さらにローパスフィルタ２０２の後方には、ＩＲＣＦ２０３が設けられている。ＩＲＣＦ２０３は、ローパスフィルタ２０２からの光束に対し、赤外線の進入を防ぎ、その他の波長の光束を通過させている。
【００２０】
さらにＩＲＣＦ２０３の後方には、センサ２０４が設けられている。
センサ２０４は、ＩＲＣＦ２０３を通して入射された被写体からの光を所定の露光時間だけ受光して画像信号に光電変換して取り込む。そして、光電変換後の画像信号を制御手段２０５に出力する。
【００２１】
制御手段２０５は、Ａ／Ｄ変換手段２０８と画像処理手段２０９と画像分割手段２１０とメモリ手段２１１を備えている。
【００２２】
Ａ／Ｄ変換手段２０８は、センサ２０４より出力されたアナログ信号である画像信号を、デジタル信号である画像データに変換するものである。Ａ／Ｄ変換手段２０８で変換された画像データは、メモリ手段２１１に格納される。
【００２３】
画像分割手段２１０は、撮像部で生成されメモリ手段２１１に格納された画像データの一画面を複数のエリアに分割する。各エリアの画像データを読み出して、輝度を測定し、輝度の低いエリアを特定する。特定された輝度の低いエリアは、メモリ手段２１１に保存される。
【００２４】
画像処理手段２０９は、メモリ手段２１１に格納された画像データに対し、光学系の通り道にゴミ等の異物が存在する場合に、異物によるシミの画像を除去する。異物によるシミが存在するかの有無は、特定したエリアが手振れに伴って、メモリ手段２１１に保存された輝度の低いエリアの測定値が変化するが否かに基づいて判断する。変化がなかった場合は、異物ありと判断して、画像データを補正する。補正後の画像データは、記録手段２０７に格納される。
【００２５】
画像データを分割するエリア数は、カメラの画素数、構造などに発生する異物による画像のシミのレベルも異なる為、カメラ毎に最適な設定を変更することが好ましい。
【００２６】
表示手段２０６は、液晶ディスプレイや有機ＥＬパネルを含む表示手段である。撮影後には、撮影された静止画像及び動画を表示する。撮影待機状態においては、画像信号のプレビュー画像の表示を行う。また、記録モードにおいては、撮影条件を設定するためのメニュー画面を表示し、再生モードにおいて記録手段メモリーカードに記録された撮影画像を再生することなどが可能である。補正された画像データは、表示手段２０６に表示される。
【００２７】
記録手段２０７は、フラッシュメモリ等により構成される記憶手段であり、画像データを保持するメモリである。画像データを格納し得る記憶容量を有している。
【００２８】
メモリ手段２１１は、ＤＲＡＭ等により構成される記憶手段であり、撮像手段１で生成された画像データを一時的に保存する記憶手段である。
【００２９】
異物の検出方法と画像データの補正に関して更に詳細に説明する。図３及び図４は、撮影時のプレビュー画面を示した図である。画像分割手段２１０は、撮像手段で生成された画像データを複数のエリアに分割する。ここでは、縦１０エリア、横１０エリアの合計で１００エリアに分割している。太線の枠内がカメラの撮影範囲３０１とする。また、エリア３４に異物（ゴミ）が付着しており、エリア３４内にシミ３０２が発生している。次に図４は図３の次にセンサから出力された画像データを示している。ここでは撮影者の必然的に発生する手振れによりカメラの撮影範囲４０１は図４より左に１エリア分シフトしている。そのため、シミ４０２は、エリア３４からエリア３３に移動している。
【００３０】
これらの画像からシミを削除するために、図３の画像を制御手段２０５から表示手段２０６に出力する際は、エリア３３は図４のエリア３４の画像をコピーし、図３のエリア３３の画像に使用する。逆に図４の画像を制御部２０５から表示手段２０６に出力する際は、エリア３３を図３のエリア３３から画像をコピーし、図４のエリア３４の画像に使用する。これらの処理は制御手段２０５内の画像処理手段２０９で行なわれる。
【００３１】
本実施形態の動作に関して、フローチャートを図５に、センサから出力された画像データが、表示手段に出力されるまでの工程を図６に示す。
【００３２】
カメラ起動後、ステップ５０１において、プレビュー画像を表示部に出力する為、センサから画像が出力される。この時、センサ６０１から制御手段６０２に出力されてきた画像１、画像２、画像ｎはメモリ手段６０３に蓄えられる。
【００３３】
ステップ５０２において、センサ６０１から出力された画像を、カメラの画素数、レンズやセンサなどに発生する異物による画像のシミの大きさを考え、適宜好ましい、エリア数に分割する。
【００３４】
ステップ５０３において、光電変換部（図示なし）においてエリア毎に輝度を測定し、画像処理手段６０４で、輝度差比較を行なう。輝度差がない場合は、異物がないと判断され、ステップ５０９において表示手段に画像が出力される。輝度差があった場合に、ステップ５０４において、低輝度エリアを特定する。この時、低輝度エリアをメモリ手段６０３に保存する。
【００３５】
ステップ５０５において、手振れに伴い低輝度エリアが移動しない場合は異物があると判断される。手ブレによって撮影範囲が移動していく様子を、図６ではメモリ手段６０３中の画像１，２，・・・，ｎで表現している。手振れに伴い低輝度エリアが移動しない場合には、その低輝度エリアは、異物ありと判断される。手振れに伴い低輝度エリアが移動した場合には、異物がなしと判断され、ステップ５０９において、表示手段６０５に画像が出力される。
【００３６】
ステップ５０８において、異物の付着によるシミを削除するために、手振れに伴うエリアが移動する前の画像をコピーし、エリアが移動した後のシミの発生箇所に画像に使用する。この場合、表示手段６０５には、異物の付着によるシミが削除された画像が表示される。
【００３７】
また、ステップ５０３の低輝度エリアの特定後、低輝度エリアの輝度レベルの判定値を設定し、判定値以下の場合に、異物があると判定するステップ５０６、また低輝度エリアの大きさが、分割したエリアの大きさより小さい場合に、異物があると判定するステップ５０７を追加してもよい。これらのステップを追加することで、異物を特定する精度をあげる事が可能となる。ここで、ステップ５０６の輝度レベルの判定値及び、ステップ５０７のエリアの大きさの値は、カメラの画素数、構造などに発生する「シミ」のレベルも異なる為、カメラごとに最適な設定をする。
【００３８】
この構成により、第一の実施の形態の効果に加え、センサを振動させてゴミを落とす一般的な方式に比べ、搭載部品数を削減することが出来る。これは、制御手段内で画像を補正することにより、ハード的なゴミ除去機能を搭載する必要が無くすことができるためである。さらに、異物に対するカメラメーカでの検査基準を緩和し、管理費・歩留まりを改善する事ができる。これにより、不具合とされていた物を良品として出荷することができる。また、検査ソフトの簡略化等管理費の削減も見込むことが可能となる。
【００３９】
次に第三の実施形態について説明する。図７は本発明による第三の実施形態の構成を示すブロック図である。本実施形態では、過去に異物による影響がある部分を記録させる異物記録手段７１２を備えている。その他の構造は、第二の実施形態と同様である。一度カメラを起動させた際、異物による影響がある箇所を記録する事で、次回以降の起動時に実施するスクリーニングを最小限にする事が出来、カメラの動作速度を向上することができる。
【００４０】
次に第四の実施形態について説明する。図８は本発明による第四の実施形態の動作を示すフローチャートである。本実施形態では、ステップ８０８で、シミにより輝度が低下したエリアの輝度を、シミのないエリアより高くすることで、シミを目立たなくする。その他のステップは、第二の実施形態と同様である。そのため、制御部のメモリに沢山の画像を一時保管する必要がなくなり、制御部に大容量のメモリを使う必要がなくなる。
【符号の説明】
【００４１】
１：デジタルカメラ
１０：撮像手段
２０，２１０，７１０：画像分割手段
３０，２０９，６０４，７０９：画像処理手段
２０１，７０１：レンズ
２０２，７０２：ローパスフィルタ
２０３，７０３：ＩＲＣＦ
２０４，６０１，７０４：センサ
２０５，６０２，７０５：制御手段
２０６，６０５，７０６：表示手段
２０７，７０７：記録手段
２０８，７０８：Ａ／Ｄ変換手段
２１１，６０３，７１１：メモリ手段
３０１，４０１：撮影範囲
３０２，４０２，９０１：シミ
７１２：異物記録手段
【図１】
0005499588.tif 000002
【図２】
0005499588.tif 000003
【図３】
0005499588.tif 000004
【図４】
0005499588.tif 000005
【図５】
0005499588.tif 000006
【図６】
0005499588.tif 000007
【図７】
0005499588.tif 000008
【図８】
0005499588.tif 000009
【図９】
0005499588.tif 000010