(57)【要約】撮像光学機器１２は、撮像光学系１と、撮像素子２と、撮像光学系１および撮像素子２の少なくともどちらか一方に作用して、撮像素子２に対する被写体像の位置を移動させる像ずらし部３と、複数の画像データを記憶する画像記憶部４と、複数の画像データの被写体像の位置を合わせる像ずらし演算部８と、被写体像の位置が合わされた画像データ同士を差分演算処理して、得られた複数の画像データに対する有害輝度画像データから有害輝度画像データを検出する差分像演算部９とを有する有害輝度画像検出部５と、有害輝度画像データを用いて、有害輝度画像データに対応する画像データを補正し、補正完画像を得る画像補正部６とを備えている。これにより、撮像光学系内のゴミや傷による撮像画像の画質の低下を防止することのできる撮像光学機器を提供することができる。【特許請求の範囲】
【請求項１】
撮像光学系と、
前記撮像光学系により結像された被写体像を画像データに変換する撮像素子と、
前記撮像光学系および前記撮像素子の少なくともどちらか一方に作用して、前記撮像素子に対する前記被写体像の位置を、撮像光軸に対して略垂直方向に移動させる像ずらし部と、
前記像ずらし部により前記被写体像の位置が移動させられて撮像された、前記被写体像の位置がそれぞれ異なる複数の画像データを記憶する画像記憶部と、
前記複数の画像データの前記被写体像の位置を合わせるように、前記複数の画像データを演算処理する像ずらし演算部と、前記被写体像の位置が合わされた画像データ同士を差分演算処理して、前記複数の画像データに対する有害輝度画像データを検出し、さらに、前記複数の画像データに対する有害輝度画像データから、いずれか１つの画像データに対応する有害輝度画像データを検出する差分像演算部とを有する有害輝度画像検出部とを備えた撮像光学機器。
【請求項２】
さらに、前記いずれか１つの画像データに対応する有害輝度画像データを用いて、この有害輝度画像データに対応する前記画像データを補正し、補正完画像を得る画像補正部を備えた請求項１に記載の撮像光学機器。
【請求項３】
さらに、撮像光学機器本体の動きを検出する動き検出部を備え、
前記動き検出部からの動きデータに基づいて、前記撮像光学機器本体が動くことで生じる前記撮像素子に対する前記被写体像の位置の移動を、前記像ずらし部により補正する請求項１に記載の撮像光学機器。
【請求項４】
さらに、前記有害輝度画像データの強度に応じて警告を行う警告部を備えた請求項１に記載の撮像光学機器。
【請求項５】
さらに、前記有害輝度画像データを記憶する有害輝度画像記憶部を備えた請求項１に記載の撮像光学機器。
【請求項６】
撮像光学系と、前記撮像光学系により結像された被写体像を画像データに変換する撮像素子と、前記撮像光学系および前記撮像素子の少なくともどちらか一方に作用して、前記撮像素子に対する前記被写体像の位置を、撮像光軸に対して略垂直方向に移動させる像ずらし部と、前記像ずらし部により前記被写体像の位置が移動させられて撮像された、前記被写体像の位置がそれぞれ異なる複数の画像データを記憶する画像記憶部とを有する撮像光学機器と、
前記複数の画像データの前記被写体像の位置を合わせるように、前記複数の画像データを演算処理する像ずらし演算部と、前記被写体像の位置が合わされた画像データ同士を差分演算処理して、前記複数の画像データに対する有害輝度画像データを検出し、さらに、前記複数の画像データに対する有害輝度画像データから、いずれか１つの画像データに対応する有害輝度画像データを検出する差分像演算部とを含む有害輝度画像検出部と、前記いずれか１つの画像データに対応する有害輝度画像データを用いて、この有害輝度画像データに対応する前記画像データを補正し、補正完画像を得る画像補正部とを有する制御装置とを備えた撮像画像処理システム。
【請求項７】
前記撮像光学機器は、撮像光学機器本体の動きを検出する動き検出部を備え、
前記動き検出部からの動きデータに基づいて、前記撮像光学機器本体が動くことで生じる前記撮像素子に対する前記被写体像の位置の移動を、前記像ずらし部により補正する請求項６に記載の撮像画像処理システム。
【請求項８】
さらに、前記有害輝度画像データの強度に応じて警告を行う警告部を備えた請求項６に記載の撮像画像処理システム。
【請求項９】
さらに、前記有害輝度画像データを記憶する有害輝度画像記憶部を備えた請求項６に記載の撮像画像処理システム。
【請求項１０】
被写体像の位置がそれぞれ異なる複数の画像データを入力する入力処理と、
前記複数の画像データの被写体像の位置を合わせるように、前記複数の画像データを演算する像ずらし処理と、
前記像ずらし処理された複数の画像データ同士を差分する差分処理と、
前記差分処理により検出された、前記複数の画像データに対する有害輝度画像データから、いずれか１つの画像データに対応する有害輝度画像データを検出する有害輝度画像データ検出処理と、
前記いずれか１つの画像データに対応する有害輝度画像データを用いて、この有害輝度画像データに対応する前記画像データを補正する画像補正処理とをコンピュータに実行させる撮像画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、デジタル画像を撮像する撮像光学機器、撮像画像処理システムおよび撮像画像処理プログラムに関する。特に、本発明は、撮像画像を補正して画質を向上させることのできる撮像光学機器、撮像画像処理システムおよび撮像画像処理プログラムに関する。
【背景技術】
【０００２】  近年、撮像光学機器、特に、デジタルスチルカメラ（以下「ＤＳＣ（ｄｉｇｉｔａｌ  ｓｔｉｌｌ  ｃａｍｅｒａ）」という）やデジタルビデオカメラ（以下「ＤＶＣ（ｄｉｇｉｔａｌ  ｖｉｄｅｏ  ｃａｍｅｒａ）」という）における撮像画像の品質の向上は目覚しい。例えば、レンズやＣＣＤ（ｃｈａｒｇｅ  ｃｏｕｐｌｅｄ  ｄｅｖｉｃｅ）等を偏芯駆動制御することにより、撮像光学機器の振動に起因する被写体の動き（手振れ）を補正する装置が開発されている。そして、これにより、記録されるデジタル画像の画素数が８００万画素を超える撮像光学機器が商品化されている。また、撮像光学機器に用いられる撮像光学系の性能も向上しており、例えば、異常分散ガラス材料や非球面レンズなどを使用した高性能レンズが開発されている。【０００３】  図１４〜図１６を用いて、従来の撮像光学機器について説明する。従来の撮像光学機器は、動き補正部を有する手振れ機能付きの撮像光学機器である。図１４は従来の第１の撮像光学機器の一構成例を示すブロック図である。また、図１５は従来の第２の撮像光学機器の一構成例を示すブロック図である。また、図１６は従来の第３の撮像光学機器の一構成例を示すブロック図である。【０００４】  まず、従来の第１の撮像光学機器２１２について説明する。従来の第１の撮像光学機器２１２は、図１４に示す構成を備えている。複数のレンズを有する撮像光学系２０１に撮像光軸２１４に沿って被写体光が入射すると、撮像光学系２０１は、撮像素子２０２上に被写体像を結像させる。撮像素子２０２は、被写体像に基づいて、デジタル画像データを形成する。この画像データは、画像記憶部２０４に記憶される。【０００５】  動き補正部２２３は、撮像光学系２０１に作用して、撮像素子２０２における被写体像の位置を、撮像光軸２１４に対して略垂直方向に移動させることができる。具体的には、撮像光学系２０１の少なくとも１つのレンズを移動させることにより、撮像素子２０２における被写体像の位置を移動させる。撮像光学機器２１２は、当該撮像光学機器２１２の本体の動きを検出する動き検出部２０７を備えている。動き検出部２０７は、撮像光学機器２１２の本体の動き、例えば、移動方向および移動量を表す動きデータを検出する。手振れ等で撮像光学機器２１２の本体が動いた場合には、撮像素子２０２における被写体像の位置が移動する。そこで、この被写体像の位置の移動を補正するように、動き補正部２２３は、被写体像の位置を、撮像光軸２１４に対して略垂直方向に移動させて、被写体像の撮像素子２に対する位置が実際には移動しないようにする。これにより、手振れ等が生じても、被写体像は撮像素子２０２の同じ位置に結像されることとなり、手振れによる撮像画像の画質の低下を防止することができる。【０００６】  次に、従来の第２の撮像光学機器３１２について、図１５を用いて説明する。なお、図１５において、図１４に示した部材と同様の機能を有する部材には同一の符号を付し、その説明は省略する。図１５に示すように、撮像光学機器３１２の動き補正部３２３は、撮像素子２０２の位置を、撮像光軸２１４に対して略垂直方向に移動させるためのものである。これにより、撮像素子２０２��おける被写体像の位置は、撮像光軸２１４に対して略垂直方向に移動する。従来の第２の撮像光学機器３１２の動き補正部３２３は、手振れ等で被写体像の位置が撮像素子２０２に対して移動しないように、動き検出部２０７によって検出された動きデータをもとに、撮像素子２０２を、撮像光軸２１４に対して略垂直方向に移動させる。これにより、手振れ等で撮像光学機器３１２が動いても、被写体像は撮像素子２０２の同じ位置に結像される。したがって、手振れによる撮像画像の画質の低下を防止することができる。【０００７】  次に、従来の第３の撮像光学機器４１２について、図１６を用いて説明する。なお、図１６において、図１４に示した部材と同様の機能を有する部材には同一の符号を付し、その説明は省略する。図１６に示すように、撮像光学機器４１２の動き補正部４２３は、撮像光学系２０１および撮像素子２０２を移動させることにより、動き補正を行う。具体的には、動き補正部４２３は、撮像光軸２１４に対して垂直な軸である回転軸４２２を中心として、撮像光学系２０１および撮像素子２０２を回転させる。これにより、撮像素子２０２における被写体像の位置は、撮像光軸２１４に対して略垂直方向に移動する。従来の第３の撮像光学機器４１２の動き補正部４２３は、動き検出部２０７で検出された動きデータをもとに、被写体像の結像位置が撮像素子２０２に対して移動しないように、撮像光学系２０１および撮像素子２０２を回転軸４２２を中心として回転させる。これにより、手振れ等が生じても、被写体像は撮像素子２０２の同じ位置に結像される。したがって、手振れによる撮像画像の画質の低下を防止することができる。【０００８】  上述したように、撮像素子２０２における被写体像の位置を、撮像光軸２１４に対して略垂直方向に移動させることにより、十分な手振れ補正が行われる。【０００９】  一方、撮像素子の受光面近傍の光学系にゴミが混入あるいは付着したり、光学系に傷が生じたりすることにより、画質が低下するという問題もある。撮像光学系の像性能や撮像素子の高性能化による画像の高性能化および小型化が進むＤＳＣやＤＶＣ等の撮像光学機器においては、この問題は大きな課題である。これを防止するために、撮像光学系の製造工程において、十分な品質管理や品質検査を行い、問題となるゴミの混入や傷が生じないようにされているが、ミクロンオーダーのゴミや傷を管理する必要があり、製造上のコストが高くなるという問題があった。さらに、操作者が撮像光学系を交換することができる一眼レフ方式などのＤＳＣでは、撮像光学系の交換時にゴミが混入する可能性もある。そのため、面倒な清掃を頻繁に行う必要があり、煩わしいという問題があった。【００１０】  そこで、撮像素子を高速に振動させることにより、撮像素子の光学面に付着したゴミを除去するＤＳＣが商品化されている（例えば、特許文献１、特許文献２および特許文献３参照）。
【特許文献１】特開２００３−３１９２２２号公報
【特許文献２】特開２００３−３４８４０１号公報
【特許文献３】特開２００３−３４８４６２号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】  しかし、上述した、撮像素子を高速に振動させることでゴミを除去するＤＳＣには、その効果が撮像素子の光学面に限られるという問題がある。また、この方法では、傷や強く付着したゴミ等は除去することができないという問題がある。さらに、ゴミ除去専用の駆動装置を備える必要があるため、コストが高くなり、その上、大型化してしまうという問題もある。【００１２】  本発明は、上記問題に鑑みてなされたものであり、撮像光学系内のゴミや傷による撮像画像の画質の低下を防止することのできる、撮像光学機器、撮像画像処理システムおよび撮像画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】  前記目的を達成するため、本発明の撮像光学機器は、撮像光学系と、前記撮像光学系により結像された被写体像を画像データに変換する撮像素子と、前記撮像光学系および前記撮像素子の少なくともどちらか一方に作用して、前記撮像素子に対する前記被写体像の位置を移動させる像ずらし部と、前記像ずらし部により前記被写体像の位置が移動させられて撮像された、前記被写体像の位置がそれぞれ異なる複数の画像データを記憶する画像記憶部と、前記複数の画像データの前記被写体像の位置を合わせるように、前記複数の画像データを演算処理する像ずらし演算部と、前記被写体像の位置が合わされた画像データ同士を差分演算処理して、前記複数の画像データに対する有害輝度画像データを検出し、さらに、前記複数の画像データに対する有害輝度画像データから、いずれか１つの画像データに対応する有害輝度画像データを検出する差分像演算部とを有する有害輝度画像検出部とを備える。【００１４】  また、本発明の撮像画像処理システムは、撮像光学系と、前記撮像光学系により結像された被写体像を画像データに変換する撮像素子と、前記撮像光学系および前記撮像素子の少なくともどちらか一方に作用して、前記撮像素子に対する前記被写体像の位置を移動させる像ずらし部と、前記像ずらし部により前記被写体像の位置が移動させられて撮像された、前記被写体像の位置がそれぞれ異なる複数の画像データを記憶する画像記憶部とを有する撮像光学機器と、前記複数の画像データの前記被写体像の位置を合わせるように、前記複数の画像データを演算処理する像ずらし演算部と、前記被写体像の位置が合わされた画像データ同士を差分演算処理して、前記複数の画像データに対する有害輝度画像データを検出し、さらに、前記複数の画像データに対する有害輝度画像データから、いずれか１つの画像データに対応する有害輝度画像データを検出する差分像演算部とを含む有害輝度画像検出部と、前記いずれか１つの画像データに対応する有害輝度画像データを用いて、この有害輝度画像データに対応する前記画像データを補正し、補正完画像を得る画像補正部とを有する制御装置とを備える。【００１５】  また、本発明の撮像画像処理プログラムは、被写体像の位置がそれぞれ異なる複数の画像データを入力する入力処理と、前記複数の画像データの被写体像の位置を合わせるように、前記複数の画像データを演算する像ずらし処理と、前記像ずらし処理された複数の画像データ同士を差分する差分処理と、前記差分処理により検出された、前記複数の画像データに対する有害輝度画像データから、いずれか１つの画像データに対応する有害輝度画像データを検出する有害輝度画像データ検出処理と、前記いずれか１つの画像データに対応する有害輝度画像データを用いて、この有害輝度画像データに対応する前記画像データを補正する画像補正処理とをコンピュータに実行させる。
【発明の効果】
【００１６】  本発明によれば、撮像光学系内のゴミや傷による撮像画像の画質の低下を防止することができる。
【図面の簡単な説明】
【００１７】
【図１】図１は本発明の実施の形態１における撮像光学機器の一構成例を示すブロック図である。
【図２Ａ】図２Ａは、本発明の実施の形態１における、像ずらし部を駆動させることによる被写体像のずれを説明するための図であり、被写体像が撮像素子の所望の位置に結像している状態を示している。
【図２Ｂ】図２Ｂは、本発明の実施の形態１における、像ずらし部を駆動させることによる被写体像のずれを説明するための図であり、被写体像が移動している状態を示している。
【図３Ａ】図３Ａは、本発明の実施の形態における、像ずらし部を駆動させて得た第１の画像を示す図である。
【図３Ｂ】図３Ｂは、本発明の実施の形態における、像ずらし部を駆動させて得た第２の画像を示す図である。
【図４】図４は、本発明の実施の形態における、被写体像が一致するように画像を重ねた状態を示す図である。
【図５】図５は、本発明の実施の形態１における、それぞれの画像を差分演算処理した状態を示す図である。
【図６】図６は、本発明の実施の形態１の、有害輝度画像データの輝度信号強度とＹ方向における位置との関係を示すグラフである。
【図７】図７は、本発明の実施の形態１における、第１の画像に対応する有害輝度画像を有する画像を示す図である。
【図８】図８は本発明の実施の形態における補正完画像を示す図である。
【図９】図９は本発明の実施の形態２における撮像画像処理システムの一構成例を示すブロック図である。
【図１０】図１０は本発明の実施の形態２における制御装置の動作を示すフローチャートである。
【図１１】図１１は本発明の実施の形態２における撮像光学機器の構成を示す斜視図である。
【図１２】図１２は本発明の実施の形態２における他の撮像光学機器の構成を示す分解斜視図である。
【図１３】図１３は本発明の実施の形態２における撮像画像処理システムの具体的な構成を示す斜視図である。
【図１４】図１４は従来の第１の撮像光学機器の一構成例を示すブロック図である。
【図１５】図１５は従来の第２の撮像光学機器の一構成例を示すブロック図である。
【図１６】図１６は従来の第３の撮像光学機器の一構成例を示すブロック図である。
【発明を実施するための最良の形態】
【００１８】  本発明の撮像光学機器によれば、有害輝度画像データの原因となる撮像光学系内のゴミや傷を取り除くことなく、有害輝度画像が取り除かれた撮像画像を得ることができる。その結果、撮像光学系内のゴミや傷による撮像画像の画質の低下を防止することができる。【００１９】  また、本発明の撮像光学機器は、好ましくは、さらに、前記いずれか１つの画像データに対応する有害輝度画像データを用いて、この有害輝度画像データに対応する前記画像データを補正し、補正完画像を得る画像補正部を備える。【００２０】  また、本発明の撮像光学機器は、好ましくは、さらに、撮像光学機器本体の動きを検出する動き検出部を備え、前記動き検出部からの動きデータに基づいて、前記撮像光学機器本体が動くことで生じる前記撮像素子に対する前記被写体像の位置の移動を、前記像ずらし部により補正する。これにより、手振れ補正機能を有する撮像光学機器を提供することができる。【００２１】  また、本発明の撮像光学機器は、好ましくは、さらに、前記有害輝度画像データの強度に応じて警告を行う警告部を備える。これにより、レンズ清掃などの必要性や時期を操作者が確認することができる。また、撮像光学系内に多くのゴミなどが付着している場合には、操作者に撮像光学系内の清掃を促すことができる。【００２２】  また、本発明の撮像光学機器は、好ましくは、さらに、前記有害輝度画像データを記憶する有害輝度画像記憶部を備える。これにより、どの程度の有害輝度画像が補正されているのかを操作者が確認することができる。【００２３】  また、本発明の撮像画像処理システムは、高い演算処理能力を有する制御装置を用いて構成することができる。そのため、撮像光学機器は、膨大な演算処理を行う必要がない。その結果、撮像光学機器の電源の長寿命化を図ることができる。【００２４】  また、本発明の撮像画像処理システムは、好ましくは、前記撮像光学機器が、撮像光学機器本体の動きを検出する動き検出部を備え、前記動き検出部からの動きデータに基づいて、前記撮像光学機器本体が動くことで生じる前記撮像素子に対する前記被写体像の位置の移動を、前記像ずらし部により補正する。これにより、手振れ補正機能を有する撮像光学機器を提供することができる。【００２５】  また、本発明の撮像画像処理システムは、好ましくは、さらに、前記有害輝度画像データの強度に応じて警告を行う警告部を備える。これにより、レンズ清掃などの必要性や時期を操作者が確認することができる。また、撮像光学系内に多くのゴミなどが付着している場合には、操作者に撮像光学系内の清掃を促すことができる。【００２６】  また、本発明の撮像画像処理システムは、好ましくは、さらに、前記有害輝度画像データを記憶する有害輝度画像記憶部を備える。これにより、どの程度の有害輝度画像が補正されているのかを操作者が確認することができる。【００２７】  また、本発明の撮像画像処理プログラムを実行することにより、容易に撮像光学系内のゴミや傷による撮像画像の画質の低下を防止することができる。【００２８】  以下、本発明の具体的な実施の形態について図面を用いて説明する。【００２９】  （実施の形態１）
本発明の実施の形態１における撮像光学機器について図面を用いて説明する。図１は本発明の実施の形態１における撮像光学機器の一構成例を示すブロック図である。【００３０】  図１に示すように、実施の形態１の撮像光学機器１２は、撮像光学系１と、撮像素子２と、像ずらし部３と、画像記憶部４と、有害輝度画像検出部５と、画像補正部６と、動き検出部７と、警告部１０と、有害輝度画像記憶部１１とを備えている。また、有害輝度画像検出部５は、像ずらし演算部８と、差分像演算部９とを備えている。【００３１】  撮像光学機器１２の動作について説明する。【００３２】  まず、撮像光軸１４に沿って撮像光学系１に被写体光が入射する。撮像光学系１は、レンズを有し、撮像素子２の受光面上に被写体像を結像させる。撮像素子２は、被写体像に基づいて、デジタル画像データを形成し、例えばメディアや内部メモリなどの画像記憶部４に、その画像データを記憶させる。画像データは、例えば輝度信号等を含んでいる。【００３３】  像ずらし部３は、撮像光学系１に作用して、撮像素子２に結像されている被写体像を撮像光軸１４に対して略垂直な方向に移動させることができる。具体的には、撮像光学系１の少なくとも１つのレンズを撮像光学系１の撮像光軸１４に対して略垂直方向に偏芯駆動させることにより、被写体像を撮像素子２の受光面上で撮像光軸１４に対して略垂直方向に移動させることができる。【００３４】  被写体を撮像する際に、撮像光学機器１２は、像ずらし部３により、被写体像を撮像光軸１４に対して略垂直方向に移動させた複数の画像データを得る。すなわち、撮像光学機器１２は、被写体像が撮像素子２の受光面に沿う方向にずれている複数の画像データを得る。図２は、像ずらし部３を駆動させることによる被写体像のずれを説明するための図であり、図２Ａは被写体像が撮像素子の所望の位置に結像している状態を示し、図２Ｂは被写体像が移動している状態を示している。図２Ａに示すように、撮像光学系１のレンズ１ａが基準位置に位置している場合には、被写体像は撮像素子２の中央部に結像する。しかし、図２Ｂに示すように、レンズ１ａが撮像光軸１４に対して略垂直方向（例えば、上方）に移動した場合には、撮像光軸１４が例えば上方に移動し、被写体像が撮像素子２の上方に結像される。【００３５】  さらに、図３を用いて、被写体像を撮像素子２の受光面に沿って移動させた場合の画像について説明する。図３は、像ずらし部を駆動させて得た画像を示す図であり、図３Ａは第１の画像を示し、図３Ｂは第２の画像を示している。図３Ａに示している画像は、図２Ａの状態すなわち被写体像が撮像素子の所望の位置に結像している状態の画像データによる画像（第１の画像４１）である。また、図３Ｂに示している画像は、図２Ｂの状態すなわち被写体像が移動している状態の画像データによる画像（第２の画像４２）である。図３Ａに示した第１の画像４１に比べて、図３Ｂに示した第２の画像４２が下方にずれているのは、撮像光軸１４が上方にずれているからである。なお、被写体像は上下左右が反転した像を作るので、撮像光軸１４が上方に移動した場合には、画像は下方にずれる。【００３６】  このようにして、撮像光軸１４に沿って���像光学系１に入射する被写体光の進路を移動させて、それごとに画像を撮像する。具体的には、図２Ａに示す状態で、図３Ａに示す第１の画像４１の画像データを取り込む。次いで、図２Ｂに示す、撮像光軸１４に沿って撮像光学系１に入射する被写体光が上方にずれた状態で、図３Ｂに示す第２の画像４２の画像データを取り込む。これら２つの画像データを取り込むための撮像処理は、非常に短い時間で行うことができるため、通常の被写体においては、問題なく、２つの画像データの取り込みを容易に行うことができる。【００３７】  図３Ａおよび図３Ｂに示すように、第１の画像４１と第２の画像４２とでは、被写体像の位置がずれている。しかし、撮像光学系１内のゴミや傷によって生じた有害輝度画像１５は、被写体像とは異なり、位置がずれることはない。有害輝度画像１５の原因となるゴミや傷などが、撮像素子２の近傍にあって、像ずらし部３により移動させられたレンズ１ａよりも撮像素子２側に位置する場合には、撮像素子２に対する有害輝度画像１５の位置は変化しない。そのため、被写体像に対する有害輝度画像１５の相対位置が、第１の画像４１と第２の画像４２とでは異なっている。【００３８】  なお、有害輝度画像１５以外にも、暗電流等によるランダムノイズ成分、僅かな収差変化による成分および一方の画像にしか含まれない画角成分は、第１の画像４１と第２の画像４２とでは相対位置が異なる。【００３９】  撮像素子２で形成された第１の画像４１の画像データ（以下「第１の画像データ」という）および第２の画像４２の画像データ（以下「第２の画像データ」という）は、画像記憶部４に記憶され、かつ、有害輝度画像検出部５に送られる。有害輝度画像検出部５は、第１の画像データおよび第２の画像データをもとに、有害輝度画像１５の画像データである有害輝度画像データを検出する。その検出方法について以下に説明する。【００４０】  有害輝度画像検出部５は、第１の画像データと第２の画像データとにおける被写体像の位置を一致させるための像ずらし演算部８と、第１の画像データと第２の画像データとについて差分演算を行う差分像演算部９とを備えている。まず、像ずらし演算部８が、被写体像がずれて記憶された第１の画像データおよび第２の画像データに対して、それぞれの被写体像が略重なり一致するように演算処理を行う。具体的には、第２の画像４２の画素を上方にずらすように、第２の画像データを演算処理する。これにより、第１の画像データと第２の画像データのうち、同一でない画像データを抽出することが可能となる。次に、差分像演算部９により、第１の画像データと第２の画像データとについて差分演算を行う。これにより、第１の画像データと第２の画像データとに共通して存在する被写体像の成分は除去され、第１の画像データおよび第２の画像データの有害輝度画像データが検出される。これらそれぞれの画像の有害輝度画像データから、どちらか１つの画像データ（例えば、第１の画像データ）に対応する有害輝度画像データを検出する。【００４１】  以上の処理を、画像を用いて具体的に説明する。図４は被写体像が一致するように画像を重ねた状態を示す図である。像ずらし演算部８で、被写体像の位置を揃えた第１の画像４１および第２の画像４２とを重ねると、画像４３が得られる。図４に示す画像４３においては、重ならずにそれぞれ異なる位置に有害輝度画像１５が形成される。なお、両方の画像データには、重ねることが不可能な画角部分が存在する。具体的には、第１の画像４１の下端部分４１ａと第２の画像４２の上端部分４２ａが画角部分であり、これらの個所からは有害輝度画像データを得ることができないため、演算には用いない。【００４２】  図５はそれぞれの画像を差分演算処理した状態を示す図である。差分像演算部９を用いて、像ずらし演算処理後の第１の画像データと第２の画像データとについて差分演算を行うことにより、差分演算後画像４４が得られる。図５に示すように、差分演算後画像４４には、２つの有害輝度画像１５が含まれている。図５に示す、有害輝度画像１５の画像データ（有害輝度画像データ）の輝度信号強度を縦軸に、Ｙ方向を横軸にとり、それらの関係を示したグラフが図６である。なお、Ｙ方向は、図５に示しているように垂直方向とする。図６に示すように、有害輝度画像データの輝度信号は、正と負それぞれの強度を有し、２つに分かれている。そこで、これらを、１つにするために、例えばＬＰＦ（ｌｏｗ  ｐａｓｓ  ｆｉｌｔｅｒ）等を含めた画像処理を行うことが好ましい。ＬＰＦ等を含めた画像処理を行うことにより、差分演算後画像４４の画像データに含まれている、上記暗電流等によるランダムノイズ成分および僅かな収差変化による成分も除去される。なお、次の工程である補正を行う際に、ランダムノイズ成分および収差変化による成分が除去されていない画像データを用いた場合には、ノイズの増大および画像結像性能の低下を引き起こしてしまう。【００４３】  ＬＰＦ等を含めた画像処理を行うことにより、図７に示すように、第１の画像４１に対応する有害輝度画像１５を有する画像４５を得ることができる。このようにして、有害輝度画像１５の画像データを容易に抽出することができる。【００４４】  次に、上記ＬＰＦ（ｌｏｗ  ｐａｓｓ  ｆｉｌｔｅｒ）を含めた画像処理により形成された有害輝度画像データを用いて、第１の画像データを補正する。具体的には、画像補正部６は、第１の画像データおよび有害輝度画像データを用いて、第１の画像データから有害輝度画像データを除去すればよい。これにより、有害輝度画像データが除去され、補正が完了した補正完画像の画像データが得られる。図８は補正完画像を示す図である。補正完画像４６は、有害輝度画像がなく、被写体像のみからなる。つまり、図３Ａに示した第１の画像４１から、図７に示した画像４５の有害輝度画像１５を除去することにより、図８に示している補正完画像４６を得ることができる。なお、補正される画像は、第１の画像４１でなく、第２の画像４２や、第１の画像４１および第２の画像４２の合成画像であってもよく、その場合には、それぞれに応じた有害輝度画像を用いればよい。しかし、レリーズタイムラグがより短い第１の画像４１を用いることが最も好ましい。ここで、レリーズタイムラグとは、撮像光学機器１２で被写体を撮像する際に、撮像操作（例えば、レリーズ釦を押す等）を行ってから、実際に撮像されるまでの時間であり、レリーズタイ���ラグが短い方がより良い撮像画像を得ることができる。【００４５】  以上のように、実施の形態１の撮像光学機器１２によれば、撮像光学系１内のゴミや撮像光学系１の傷等による有害輝度画像１５が除去された画像を得ることができ、撮像画像の画質の向上を図ることができる。したがって、実施の形態１の撮像光学機器１２によれば、撮像光学系１内のゴミや撮像光学系１の傷等の、有害輝度画像１５の原因を取り除かなくても、補正により有害輝度画像１５を除去することができる。そのため、例えば撮像光学系１内にゴミが混入した場合でも、撮像光学系１内を清掃することなく撮像画像の画質の低下を防止することができるので、すぐに清掃する必要はなく、例えば操作者の手の空いたときに清掃すればよい。【００４６】  また、有害輝度画像データは、有害輝度画像記憶部１１に記憶される。これにより、どの程度の有害輝度画像が補正されているのかを操作者が確認することができ、例えば、清掃後に有害輝度画像の改善がなされているか等を確認することができる。【００４７】  また、実施の形態１の撮像光学機器１２は、当該撮像光学機器１２の本体の動きを検出する動き検出部７を有している。動き検出部７は、操作者が撮像光学機器１２を操作する際に発生する手振れ量を検知するためのものであり、撮像光学機器１２の移動方向や移動量等を検知することができる。動き検出部７は、例えばジャイロセンサーなどの角速度センサーであることが好ましい。動き検出部７で検出された動き情報に基づいて手振れ補正がなされる。この手振れ補正は、像ずらし部３を用いて行えばよく、手振れによる撮像素子２に対する被写体像の位置の移動を、像ずらし部３を用いて補正し、被写体像がぶれないようにすればよい。これにより、手振れを補正し、良好な画像を得ることができる。なお、動き検出部７としては、従来用いられていたものでよい。また、像ずらし部３としては、例えば、図１４〜図１６に示した従来の第１〜第３の撮像光学機器で用いられていた動き補正部を用いればよい。具体的には、像ずらし部３としては、撮像光学系または撮像素子の偏芯によるもの、あるいは、撮像光学系または撮像素子を回転させることにより、撮像光軸に対して略垂直方向に被写体像を移動させることができるものを用いればよい。実施の形態１においては、従来の撮像光学機器に備えられていた動き補正部を、像ずらし部３が兼用している。これにより、新たな機構を増やすことなく、手振れ補正および有害輝度画像の補正が可能な撮像光学機器１２を得ることができる。【００４８】  また、撮像光学機器１２は警告部１０を有している。警告部１０は、有害輝度画像検出部５により検出された有害輝度画像の輝度信号強度が所定のレベル以上になっている場合に、それを操作者に知らせる。例えば、差分像演算部９は、検出した有害輝度画像の輝度信号強度データを評価し、その値が所定のレベル以上になっている場合に、警告部１０にそれを伝える。これにより、警告部１０は、操作者に分かるように警告を発する。警告部１０としては、例えば、ＬＣＤ（ｌｉｑｕｉｄ  ｃｏｕｐｌｅｄ  ｄｉｓｐｌａｙ）を用いて、警告を示す表示がなされるようにしたものを用いてもよく、また、ビューファインダ���の表示部に視認しやすいように警告表示を行う構成としたものを用いてもよい。これにより、レンズ清掃などの必要性や時期を操作者が確認することができる。また、撮像光学系１内に多くのゴミなどが付着している場合には、操作者に撮像光学系１内の清掃を促すことができる。なお、警告は、補正完画像４６が得られる前に行われることが好ましい。【００４９】  なお、実施の形態１においては、画像補正部６の動作を自動的に行っているが、画像補正部６の動作を行うに先立って、画像補正を行うか否かの判断をユーザに促し、ユーザの意思を反映させるようにしてもよい。また、画像補正部６に、画像補正を行うモードと、画像補正を行わないモードとを持たせて、ユーザが選択的に操作できるようにしてもよい。このような構成とすることにより、ユーザの利便性を向上させることができる。【００５０】  また、有害輝度画像記憶部１１に記憶される有害輝度画像を、画像補正部６での処理を行う前の被写体像と関連付けて記憶させ、有害輝度画像記憶部１１から外部に出力可能な構成としてもよい。このような構成とすることにより、有害輝度画像の除去を、パーソナルコンピュータ（以下「パソコン」という）等を用いて後処理により行うことが可能となる。画像補正部６での処理を行う前の被写体像と関連付けられる有害輝度画像は、画像データそのものであってもよいが、有害輝度画像が占める範囲に対応する画素の位置データであってもよい。【００５１】  また、実施の形態１においては、有害輝度画像の輝度信号強度が所定のレベル以上になっている場合に、警告部１０を動作させるようにしているが、警告部１０を動作させる代わりに、撮像光学系の被写体像の取り込み動作を禁止するようにしてもよい。このような構成とすることにより、有害輝度画像の輝度信号強度が高くて画像品質の低い画像データの生成を防止することができる。【００５２】  （実施の形態２）
本発明の実施の形態２における撮像画像処理システムについて、図面を用いて説明する。図９は本発明の実施の形態２における撮像画像処理システムの一構成例を示すブロック図である。なお、図９において、図１に示した部材と同様の機能を有する部材には同一の符号を付し、その説明は省略する。【００５３】  図９に示すように、実施の形態２における撮像画像処理システム３０は、撮像画像を取り込む撮像光学機器２２と、撮像光学機器２２で取り込んだ画像を画像素処理して、有害輝度画像を補正する制御装置１３とを備えている。撮像光学機器２２は、撮像光学系１と、撮像素子２と、像ずらし部３と、動き検出部７と、画像記憶部４とを備えている。また、制御装置１３は、有害輝度画像検出部５と、画像補正部６と、警告部１０と、有害輝度画像記憶部１１とを備えている。また、有害輝度画像検出部５は、像ずらし演算部８と、差分像演算部９とを備えている。【００５４】  制御装置１３としては、例えば、パソコンを用いればよい。その場合、制御装置１３における、有害輝度画像検出部５と画像補正部６の機能は、パソコンのＣＰＵが所定のプログラムを実行することによって実現される。そのために、具体的には、有害輝度画像検出部５と画像補正部６の機能を実現するためのプログラムを、任意のパソコンへインストールすればよい。例えば、ＣＤ−ＲＯＭ等の記憶媒体から任意のパソコンへインストールしてもよいし、あるいは、通信回線を介してダウンロード等することにより、任意のパソコンへインストールしてもよい。また、警告部１０としては、例えば、パソコンに接続されているスピーカ等の音声出力装置や、ディスプレイを含む表示装置を用いることができる。また、有害輝度画像記憶部１１としては、パソコンのハードディスクを用いればよい。【００５５】  次に、実施の形態２の撮像画像処理システム３０の動作について、図１０をも用いて説明する。図１０は本発明の実施の形態２の制御装置１３の動作を示すフローチャートである。【００５６】  撮像光学機器２２における、撮像光学系１と、撮像素子２と、像ずらし部３と、動き検出部７と、画像記憶部４との各部材の動作は、実施の形態１の撮像光学機器１２の各部材の動作と同一であるので、その説明は省略する。撮像光学機器２２による撮像処理の際には、図３Ａおよび図３Ｂに示す第１の画像４１および第２の画像４２を取り込む。これらの、第１の画像４１および第２の画像４２の画像データである、第１の画像データおよび第２の画像データは、画像記憶部４に記憶されている。【００５７】  これらの第１の画像データおよび第２の画像データが制御装置１３に送られ、これらのデータが有害輝度画像検出部５に入力される（ステップ１０１）。【００５８】  次に、有害輝度画像検出部５における像ずらし演算部８は、第１の画像データおよび第２の画像データのそれぞれの被写体像が略重なり一致するようにそれぞれの画像データを演算処理する（ステップ１０２）。なお、両方の画像データには、重ねることが不可能な画角部分が存在する。具体的には、第１の画像４１の下端部分４１ａと第２の画像４２の上端部分４２ａが画角部分であり、これらの個所からは有害輝度画像データを得ることができないため、演算には用いない（図４参照）。【００５９】  次に、差分像演算部９を用いて、ステップ１０２（像ずらし演算処理）後の第１の画像データと第２の画像データとを差分演算する（ステップ１０３）。これにより得られた有害輝度画像データは、第１の画像データおよび第２の画像データ両方のものであり、正負２つの輝度信号強度を有している。そこで、さらに、例えばＬＰＦ等を含めた画像処理を行う（ステップ１０４）。これにより、どちらか１つの画像データに対応する有害輝度画像データが得られる。ここでは、第１の画像データに対応する有害輝度画像データのみを得るような画像処理を行う。【００６０】  次に、第１の画像データおよびそれに対応する、ステップ１０４で得た有害輝度画像データが画像補正部６に送られる。画像補正部６は、第１の画像データおよびそれに対応する有害輝度画像データを用いて、第１の画像データから有害輝度画像データを除去する（ステップ１０５）。これにより、有害輝度画像１５が除去された補正完画像４６（図８参照）が得られる。【００６１】  なお、有害輝度画像検出部５では、ステップ１０４において得られた有害輝度画像データの輝度信号の強度を判定しており、その強度が所定のレベル以上になった場合には、そのことを伝えるための信号が警告部１０に送信される。警告部１０では、それに応じて警告が発せられる。例えば、警告部１０であるスピーカから警告音が発せられたり、警告部１０であるディスプレイに警告を示す表示がなされたりすればよい。なお、警告は、補正完画像４６が得られる前に行われることが好ましい。【００６２】  また、有害輝度画像記憶部１１は、ステップ１０４において得られた有害輝度画像データを記憶する。これにより、撮像された画像に対してどの程度の有害輝度画像が発生しているかを確認することができる。【００６３】  次に、実施の形態２の撮像光学機器２２の具体的な構成を図面を用いて説明する。図１１は本発明の実施の形態２における撮像光学機器の構成を示す斜視図である。図１１では、撮像光学機器２２として、コンパクトタイプのＤＳＣの構成を示している。【００６４】  図１１において、撮像光学機器２２は、撮像光学系１と、レリーズ釦１６と、ストロボ発光部１７と、光学式ビューファインダー１８と、本体１９と、デジタル画像データ出力用コネクタ２０とを備えている。【００６５】  撮像光学系１は、被写体像を結像させるためのものである。レリーズ釦１６は、被写体像を撮影するときに操作者が押す釦である。レリーズ釦１６を押下することにより、被写体が撮像される。ストロボ発光部１７は、被写体の輝度が十分でない場合に光を発することができ、被写体光を照らし撮像するために十分な輝度を得ることができる。光学式ビューファインダー１８は、操作者が被写体の構図を確認するためのものである。本体１９は、操作者が撮像光学機器２２を保持するためのものである。データ出力用コネクタ２０は、撮像、記録された画像データを撮像光学機器２２の外部に出力するためのものである。【００６６】  さらに、図１２は本発明の実施の形態２における他の撮像光学機器の構成を示す分解斜視図である。なお、図１２において、図１１に示した部材と同様の機��を有する部材には同一の符号を付し、その説明は省略する。図１２に示す撮像光学機器２２は、レンズである撮像光学系１を本体１９から取り外して、交換できるように構成されている。図１２は、撮像光学系１を、本体１９から外した状態を示している。使用時には、レンズマウント２１に撮像光学系１が嵌り込んで固定される。なお、図１２においては、撮像光学機器３２の内部に設置された撮像素子２が図示されている。このように、図１２に示す撮像光学機器２２は、撮像光学系１が本体１９に着脱可能な構成となっている。これにより、上述したように、撮像光学系１内のゴミや傷により生じた有害輝度画像の画像データの輝度信号が大きすぎることが警告された場合等には、撮像光学系１を取り替えることにより、容易に有害輝度画像の原因を取り除くことができる。【００６７】  次に、実施の形態２の撮像画像処理システム３０の具体的な構成を図面を用いて説明する。図１３は本発明の実施の形態２における撮像画像処理システムの具体的な構成を示す斜視図である。【００６８】  図１３に示すように、撮像画像処理システム３０は、図１１に示した撮像光学機器２２と、パソコンである制御装置１３とを備えている。なお、制御装置１３の本体３１には、入力装置であるキーボード３２および表示装置であるディスプレイ３３が接続されている。【００６９】  制御装置１３には、図１０に示したフローチャートを実現するプログラムがインストールされている。撮像光学機器２２と制御装置１３とは、信号の入出力が可能なように、例えばケーブル３４で接続されており、これにより、撮像光学機器２２から制御装置１３へ画像データを送ることができるようにされている。具体的には、撮像光学機器２２のデータ出力用コネクタ２０と制御装置１３の本体３１に設けられたデータ入力用コネクタ３１ａとがケーブル３４を介して接続されている。【００７０】  以上のように、実施の形態２の撮像画像処理システム３０によれば、撮像光学機器２２で取り込んだ画像データを制御装置１３で演算処理することができるので、撮像光学機器２２において膨大な演算処理行う必要がない。その結果、撮像光学機器２２の電源の長寿命化を図ることができる。【００７１】  また、このような撮像画像処理システム３０の撮像光学機器２２を、ゴミ等の異物が撮像光学系１内に付着しやすい環境にある産業用生産設備等に用いた場合、撮像光学系１内が汚れていても、それを補正した画質の高い画像を得ることができる。また、ゴミ等の異物が撮像光学系１内に付着したことを容易に判別することができる。したがって、生産コストを大幅に削減することができる。
【産業上の利用可能性】
【００７２】  本発明の撮像光学機器、撮像画像処理システムおよび撮像画像処理プログラムは、ゴミなどによる有害輝度画像を補正した良好な画像を得ることのできるＤＶＣやＤＳＣあるいは携帯型モバイル機器の撮像ユニットを提供することができ、例えば、ゴミ等の異物が撮像光学系内に付着しやすい環境にある産業用生産設備等に用いる場合に特に有用である。
【図１】
2006022229.tif 000002
【図２Ａ】
2006022229.tif 000003
【図２Ｂ】
2006022229.tif 000004
【図３Ａ】
2006022229.tif 000005
【図３Ｂ】
2006022229.tif 000006
【図４】
2006022229.tif 000007
【図５】
2006022229.tif 000008
【図６】
2006022229.tif 000009
【図７】
2006022229.tif 000010
【図８】
2006022229.tif 000011
【図９】
2006022229.tif 000012
【図１０】
2006022229.tif 000013
【図１１】
2006022229.tif 000014
【図１２】
2006022229.tif 000015
【図１３】
2006022229.tif 000016
【図１４】
2006022229.tif 000017
【図１５】
2006022229.tif 000018
【図１６】
2006022229.tif 000019
【手続補正書】
【提出日】平成18年4月5日(2006.4.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像光学系と、
前記撮像光学系によって結像された被写体像を画像データに変換する撮像素子と、
前記撮像光学系および前記撮像素子の少なくともどちらか一方に作用して、前記撮像素子に対する前記被写体像の位置を、撮像光軸に対して略垂直方向に移動させる像ずらし部と、
前記像ずらし部によって前記被写体像の位置が移動させられて撮像された、前記被写体像の位置がそれぞれ異なる複数の画像データを記憶する画像記憶部と、
前記複数の画像データの前記被写体像の位置を合わせるように、前記複数の画像データを演算処理する像ずらし演算部と、前記被写体像の位置が合わされた画像データ同士を差分演算処理して、前記複数の画像データに対する有害輝度画像データを検出し、さらに、前記複数の画像データに対する有害輝度画像データから、いずれか１つの画像データに対応する有害輝度画像データを検出する差分像演算部とを有する有害輝度画像検出部とを備えた撮像光学機器。
【請求項２】
さらに、前記いずれか１つの画像データに対応する有害輝度画像データを用いて、この有害輝度画像データに対応する前記画像データを補正し、補正完画像を得る画像補正部を備えた請求項１に記載の撮像光学機器。
【請求項３】
さらに、撮像光学機器本体の動きを検出する動き検出部を備え、
前記動き検出部からの動きデータに基づいて、前記撮像光学機器本体が動くことで生じる前記撮像素子に対する前記被写体像の位置の移動を、前記像ずらし部によって補正する請求項１に記載の撮像光学機器。
【請求項４】
さらに、前記有害輝度画像データの強度に応じて警告を行う警告部を備えた請求項１に記載の撮像光学機器。
【請求項５】
さらに、前記有害輝度画像データを記憶する有害輝度画像記憶部を備えた請求項１に記載の撮像光学機器。
【請求項６】
撮像光学系と、前記撮像光学系によって結像された被写体像を画像データに変換する撮像素子と、前記撮像光学系および前記撮像素子の少なくともどちらか一方に作用して、前記撮像素子に対する前記被写体像の位置を、撮像光軸に対して略垂直方向に移動させる像ずらし部と、前記像ずらし部によって前記被写体像の位置が移動させられて撮像された、前記被写体像の位置がそれぞれ異なる複数の画像データを記憶する画像記憶部とを有する撮像光学機器と、
前記複数の画像データの前記被写体像の位置を合わせるように、前記複数の画像データを演算処理する像ずらし演算部と、前記被写体像の位置が合わされた画像データ同士を差分演算処理して、前記複数の画像データに対する有害輝度画像データを検出し、さらに、前記複数の画像データに対する有害輝度画像データから、いずれか１つの画像データに対応する有害輝度画像データを検出する差分像演算部とを含む有害輝度画像検出部と、前記いずれか１つの画像データに対応する有害輝度画像データを用いて、この有害輝度画像データに対応する前記画像データを補正し、補正完画像を得る画像補正部とを有する制御装置とを備えた撮像画像処理システム。
【請求項７】
前記撮像光学機器は、撮像光学機器本体の動きを検出する動き検出部を備え、
前記動き検出部からの動きデータに基づいて、前記撮像光学機器本体が動くことで生じる前記撮像素子に対する前記被写体像の位置の移動を、前記像ずらし部によって補正する請求項６に記載の撮像画像処理システム。
【請求項８】
さらに、前記有害輝度画像データの強度に応じて警告を行う警告部を備えた請求項６に記載の撮像画像処理システム。
【請求項９】
さらに、前記有害輝度画像データを記憶する有害輝度画像記憶部を備えた請求項６に記載の撮像画像処理システム。
【請求項１０】
被写体像の位置がそれぞれ異なる複数の画像データを入力する入力処理と、
前記複数の画像データの被写体像の位置を合わせるように、前記複数の画像データを演算する像ずらし処理と、
前記像ずらし処理された複数の画像データ同士を差分する差分処理と、
前記差分処理によって検出された、前記複数の画像データに対する有害輝度画像データから、いずれか１つの画像データに対応する有害輝度画像データを検出する有害輝度画像データ検出処理と、
前記いずれか１つの画像データに対応する有害輝度画像データを用いて、この有害輝度画像データに対応する前記画像データを補正する画像補正処理とをコンピュータに実行させる撮像画像処理プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像を撮像する撮像光学機器、撮像画像処理システムおよび撮像画像処理プログラムに関する。特に、本発明は、撮像画像を補正して画質を向上させることのできる撮像光学機器、撮像画像処理システムおよび撮像画像処理プログラムに関する。
【背景技術】
【０００２】
近年、撮像光学機器、特に、デジタルスチルカメラ（以下「ＤＳＣ（digital still camera）」という）やデジタルビデオカメラ（以下「ＤＶＣ（digital video camera）」という）における撮像画像の品質の向上は目覚しい。例えば、レンズやＣＣＤ（charge coupled device）等を偏芯駆動制御することにより、撮像光学機器の振動に起因する被写体の動き（手振れ）を補正する装置が開発されている。そして、これにより、記録されるデジタル画像の画素数が８００万画素を超える撮像光学機器が商品化されている。また、撮像光学機器に用いられる撮像光学系の性能も向上しており、例えば、異常分散ガラス材料や非球面レンズなどを使用した高性能レンズが開発されている。
【０００３】
図１４〜図１６を用いて、従来の撮像光学機器について説明する。従来の撮像光学機器は、動き補正部を有する手振れ機能付きの撮像光学機器である。図１４は従来の第１の撮像光学機器の一構成例を示すブロック図である。また、図１５は従来の第２の撮像光学機器の一構成例を示すブロック図である。また、図１６は従来の第３の撮像光学機器の一構成例を示すブロック図である。
【０００４】
まず、従来の第１の撮像光学機器２１２について説明する。従来の第１の撮像光学機器２１２は、図１４に示す構成を備えている。複数のレンズを有する撮像光学系２０１に撮像光軸２１４に沿って被写体光が入射すると、撮像光学系２０１は、撮像素子２０２上に被写体像を結像させる。撮像素子２０２は、被写体像に基づいて、デジタル画像データを形成する。この画像データは、画像記憶部２０４に記憶される。
【０００５】
動き補正部２２３は、撮像光学系２０１に作用して、撮像素子２０２における被写体像の位置を、撮像光軸２１４に対して略垂直方向に移動させることができる。具体的には、撮像光学系２０１の少なくとも１つのレンズを移動させることにより、撮像素子２０２における被写体像の位置を移動させる。撮像光学機器２１２は、当該撮像光学機器２１２の本体の動きを検出する動き検出部２０７を備えている。動き検出部２０７は、撮像光学機器２１２の本体の動き、例えば、移動方向および移動量を表す動きデータを検出する。手振れ等で撮像光学機器２１２の本体が動いた場合には、撮像素子２０２における被写体像の位置が移動する。そこで、この被写体像の位置の移動を補正するように、動き補正部２２３は、被写体像の位置を、撮像光軸２１４に対して略垂直方向に移動させて、被写体像の撮像素子２に対する位置が実際には移動しないようにする。これにより、手振れ等が生じても、被写体像は撮像素子２０２の同じ位置に結像されることとなり、手振れによる撮像画像の画質の低下を防止することができる。
【０００６】
次に、従来の第２の撮像光学機器３１２について、図１５を用いて説明する。なお、図１５において、図１４に示した部材と同様の機能を有する部材には同一の参照符号を付し、その説明は省略する。図１５に示すように、撮像光学機器３１２の動き補正部３２３は、撮像素子２０２の位置を、撮像光軸２１４に対して略垂直方向に移動させるためのものである。これにより、撮像素子２０２における被写体像の位置は、撮像光軸２１４に対して略垂直方向に移動する。従来の第２の撮像光学機器３１２の動き補正部３２３は、手振れ等で被写体像の位置が撮像素子２０２に対して移動しないように、動き検出部２０７によって検出された動きデータをもとに、撮像素子２０２を、撮像光軸２１４に対して略垂直方向に移動させる。これにより、手振れ等で撮像光学機器３１２が動いても、被写体像は撮像素子２０２の同じ位置に結像される。したがって、手振れによる撮像画像の画質の低下を防止することができる。
【０００７】
次に、従来の第３の撮像光学機器４１２について、図１６を用いて説明する。なお、図１６において、図１４に示した部材と同様の機能を有する部材には同一の参照符号を付し、その説明は省略する。図１６に示すように、撮像光学機器４１２の動き補正部４２３は、撮像光学系２０１および撮像素子２０２を移動させることにより、動き補正を行う。具体的には、動き補正部４２３は、撮像光軸２１４に対して垂直な軸である回転軸４２２を中心として、撮像光学系２０１および撮像素子２０２を回転させる。これにより、撮像素子２０２における被写体像の位置は、撮像光軸２１４に対して略垂直方向に移動する。従来の第３の撮像光学機器４１２の動き補正部４２３は、動き検出部２０７で検出された動きデータをもとに、被写体像の結像位置が撮像素子２０２に対して移動しないように、撮像光学系２０１および撮像素子２０２を回転軸４２２を中心として回転させる。これにより、手振れ等が生じても、被写体像は撮像素子２０２の同じ位置に結像される。したがって、手振れによる撮像画像の画質の低下を防止することができる。
【０００８】
上述したように、撮像素子２０２における被写体像の位置を、撮像光軸２１４に対して略垂直方向に移動させることにより、十分な手振れ補正が行われる。
【０００９】
一方、撮像素子の受光面近傍の光学系にゴミが混入あるいは付着したり、光学系に傷が生じたりすることにより、画質が低下するという問題もある。撮像光学系の像性能や撮像素子の高性能化による画像の高性能化および小型化が進むＤＳＣやＤＶＣ等の撮像光学機器においては、この問題は大きな課題である。これを防止するために、撮像光学系の製造工程において、十分な品質管理や品質検査を行い、問題となるゴミの混入や傷が生じないようにされているが、ミクロンオーダーのゴミや傷を管理する必要があり、製造上のコストが高くなるという問題があった。さらに、操作者が撮像光学系を交換することができる一眼レフ方式などのＤＳＣでは、撮像光学系の交換時にゴミが混入する可能性もある。そのため、面倒な清掃を頻繁に行う必要があり、煩わしいという問題があった。
【００１０】
そこで、撮像素子を高速に振動させることにより、撮像素子の光学面に付着したゴミを除去するＤＳＣが商品化されている（例えば、特許文献１、特許文献２および特許文献３参照）。
【特許文献１】特開２００３−３１９２２２号公報
【特許文献２】特開２００３−３４８４０１号公報
【特許文献３】特開２００３−３４８４６２号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかし、上述した、撮像素子を高速に振動させることによってゴミを除去するＤＳＣには、その効果が撮像素子の光学面に限られるという問題がある。また、この方法では、傷や強く付着したゴミ等は除去することができないという問題がある。さらに、ゴミ除去専用の駆動装置を備える必要があるため、コストが高くなり、その上、大型化してしまうという問題もある。
【００１２】
本発明は、上記問題に鑑みてなされたものであり、撮像光学系内のゴミや傷による撮像画像の画質の低下を防止することのできる、撮像光学機器、撮像画像処理システムおよび撮像画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
前記目的を達成するため、本発明の撮像光学機器は、撮像光学系と、前記撮像光学系によって結像された被写体像を画像データに変換する撮像素子と、前記撮像光学系および前記撮像素子の少なくともどちらか一方に作用して、前記撮像素子に対する前記被写体像の位置を移動させる像ずらし部と、前記像ずらし部によって前記被写体像の位置が移動させられて撮像された、前記被写体像の位置がそれぞれ異なる複数の画像データを記憶する画像記憶部と、前記複数の画像データの前記被写体像の位置を合わせるように、前記複数の画像データを演算処理する像ずらし演算部と、前記被写体像の位置が合わされた画像データ同士を差分演算処理して、前記複数の画像データに対する有害輝度画像データを検出し、さらに、前記複数の画像データに対する有害輝度画像データから、いずれか１つの画像データに対応する有害輝度画像データを検出する差分像演算部とを有する有害輝度画像検出部とを備える。
【００１４】
また、本発明の撮像画像処理システムは、撮像光学系と、前記撮像光学系によって結像された被写体像を画像データに変換する撮像素子と、前記撮像光学系および前記撮像素子の少なくともどちらか一方に作用して、前記撮像素子に対する前記被写体像の位置を移動させる像ずらし部と、前記像ずらし部によって前記被写体像の位置が移動させられて撮像された、前記被写体像の位置がそれぞれ異なる複数の画像データを記憶する画像記憶部とを有する撮像光学機器と、前記複数の画像データの前記被写体像の位置を合わせるように、前記複数の画像データを演算処理する像ずらし演算部と、前記被写体像の位置が合わされた画像データ同士を差分演算処理して、前記複数の画像データに対する有害輝度画像データを検出し、さらに、前記複数の画像データに対する有害輝度画像データから、いずれか１つの画像データに対応する有害輝度画像データを検出する差分像演算部とを含む有害輝度画像検出部と、前記いずれか１つの画像データに対応する有害輝度画像データを用いて、この有害輝度画像データに対応する前記画像データを補正し、補正完画像を得る画像補正部とを有する制御装置とを備える。
【００１５】
また、本発明の撮像画像処理プログラムは、被写体像の位置がそれぞれ異なる複数の画像データを入力する入力処理と、前記複数の画像データの被写体像の位置を合わせるように、前記複数の画像データを演算する像ずらし処理と、前記像ずらし処理された複数の画像データ同士を差分する差分処理と、前記差分処理によって検出された、前記複数の画像データに対する有害輝度画像データから、いずれか１つの画像データに対応する有害輝度画像データを検出する有害輝度画像データ検出処理と、前記いずれか１つの画像データに対応する有害輝度画像データを用いて、この有害輝度画像データに対応する前記画像データを補正する画像補正処理とをコンピュータに実行させる。
【発明の効果】
【００１６】
本発明によれば、撮像光学系内のゴミや傷による撮像画像の画質の低下を防止することができる。
【発明を実施するための最良の形態】
【００１７】
本発明の撮像光学機器によれば、有害輝度画像データの原因となる撮像光学系内のゴミや傷を取り除くことなく、有害輝度画像が取り除かれた撮像画像を得ることができる。その結果、撮像光学系内のゴミや傷による撮像画像の画質の低下を防止することができる。
【００１８】
また、本発明の撮像光学機器は、好ましくは、さらに、前記いずれか１つの画像データに対応する有害輝度画像データを用いて、この有害輝度画像データに対応する前記画像データを補正し、補正完画像を得る画像補正部を備える。
【００１９】
また、本発明の撮像光学機器は、好ましくは、さらに、撮像光学機器本体の動きを検出する動き検出部を備え、前記動き検出部からの動きデータに基づいて、前記撮像光学機器本体が動くことで生じる前記撮像素子に対する前記被写体像の位置の移動を、前記像ずらし部によって補正する。これにより、手振れ補正機能を有する撮像光学機器を提供することができる。
【００２０】
また、本発明の撮像光学機器は、好ましくは、さらに、前記有害輝度画像データの強度に応じて警告を行う警告部を備える。これにより、レンズ清掃などの必要性や時期を操作者が確認することができる。また、撮像光学系内に多くのゴミなどが付着している場合には、操作者に撮像光学系内の清掃を促すことができる。
【００２１】
また、本発明の撮像光学機器は、好ましくは、さらに、前記有害輝度画像データを記憶する有害輝度画像記憶部を備える。これにより、どの程度の有害輝度画像が補正されているのかを操作者が確認することができる。
【００２２】
また、本発明の撮像画像処理システムは、高い演算処理能力を有する制御装置を用いて構成することができる。そのため、撮像光学機器は、膨大な演算処理を行う必要がない。その結果、撮像光学機器の電源の長寿命化を図ることができる。
【００２３】
また、本発明の撮像画像処理システムは、好ましくは、前記撮像光学機器が、撮像光学機器本体の動きを検出する動き検出部を備え、前記動き検出部からの動きデータに基づいて、前記撮像光学機器本体が動くことで生じる前記撮像素子に対する前記被写体像の位置の移動を、前記像ずらし部によって補正する。これにより、手振れ補正機能を有する撮像光学機器を提供することができる。
【００２４】
また、本発明の撮像画像処理システムは、好ましくは、さらに、前記有害輝度画像データの強度に応じて警告を行う警告部を備える。これにより、レンズ清掃などの必要性や時期を操作者が確認することができる。また、撮像光学系内に多くのゴミなどが付着している場合には、操作者に撮像光学系内の清掃を促すことができる。
【００２５】
また、本発明の撮像画像処理システムは、好ましくは、さらに、前記有害輝度画像データを記憶する有害輝度画像記憶部を備える。これにより、どの程度の有害輝度画像が補正されているのかを操作者が確認することができる。
【００２６】
また、本発明の撮像画像処理プログラムを実行することにより、容易に撮像光学系内のゴミや傷による撮像画像の画質の低下を防止することができる。
【００２７】
以下、本発明の具体的な実施の形態について、図面を用いて説明する。
【００２８】
（実施の形態１）
本発明の実施の形態１における撮像光学機器について図面を用いて説明する。図１は本発明の実施の形態１における撮像光学機器の一構成例を示すブロック図である。
【００２９】
図１に示すように、実施の形態１の撮像光学機器１２は、撮像光学系１と、撮像素子２と、像ずらし部３と、画像記憶部４と、有害輝度画像検出部５と、画像補正部６と、動き検出部７と、警告部１０と、有害輝度画像記憶部１１とを備えている。また、有害輝度画像検出部５は、像ずらし演算部８と、差分像演算部９とを備えている。
【００３０】
撮像光学機器１２の動作について説明する。
【００３１】
まず、撮像光軸１４に沿って撮像光学系１に被写体光が入射する。撮像光学系１は、レンズを有し、撮像素子２の受光面上に被写体像を結像させる。撮像素子２は、被写体像に基づいて、デジタル画像データを形成し、例えばメディアや内部メモリなどの画像記憶部４に、その画像データを記憶させる。画像データは、例えば輝度信号等を含んでいる。
【００３２】
像ずらし部３は、撮像光学系１に作用して、撮像素子２に結像されている被写体像を撮像光軸１４に対して略垂直な方向に移動させることができる。具体的には、撮像光学系１の少なくとも１つのレンズを撮像光学系１の撮像光軸１４に対して略垂直方向に偏芯駆動させることにより、被写体像を撮像素子２の受光面上で撮像光軸１４に対して略垂直方向に移動させることができる。
【００３３】
被写体を撮像する際に、撮像光学機器１２は、像ずらし部３により、被写体像を撮像光軸１４に対して略垂直方向に移動させた複数の画像データを得る。すなわち、撮像光学機器１２は、被写体像が撮像素子２の受光面に沿う方向にずれている複数の画像データを得る。図２は、像ずらし部３を駆動させることによる被写体像のずれを説明するための図であり、図２Ａは被写体像が撮像素子の所望の位置に結像している状態を示し、図２Ｂは被写体像が移動している状態を示している。図２Ａに示すように、撮像光学系１のレンズ１ａが基準位置に位置している場合には、被写体像は撮像素子２の中央部に結像する。しかし、図２Ｂに示すように、レンズ１ａが撮像光軸１４に対して略垂直方向（例えば、上方）に移動した場合には、撮像光軸１４が例えば上方に移動し、被写体像が撮像素子２の上方に結像される。
【００３４】
さらに、図３を用いて、被写体像を撮像素子２の受光面に沿って移動させた場合の画像について説明する。図３は、像ずらし部を駆動させて得た画像を示す図であり、図３Ａは第１の画像を示し、図３Ｂは第２の画像を示している。図３Ａに示している画像は、図２Ａの状態すなわち被写体像が撮像素子の所望の位置に結像している状態の画像データによる画像（第１の画像４１）である。また、図３Ｂに示している画像は、図２Ｂの状態すなわち被写体像が移動している状態の画像データによる画像（第２の画像４２）である。図３Ａに示した第１の画像４１に比べて、図３Ｂに示した第２の画像４２が下方にずれているのは、撮像光軸１４が上方にずれているからである。なお、被写体像は上下左右が反転した像を作るので、撮像光軸１４が上方に移動した場合には、画像は下方にずれる。
【００３５】
このようにして、撮像光軸１４に沿って撮像光学系１に入射する被写体光の進路を移動させて、それごとに画像を撮像する。具体的には、図２Ａに示す状態で、図３Ａに示す第１の画像４１の画像データを取り込む。次いで、図２Ｂに示す、撮像光軸１４に沿って撮像光学系１に入射する被写体光が上方にずれた状態で、図３Ｂに示す第２の画像４２の画像データを取り込む。これら２つの画像データを取り込むための撮像処理は、非常に短い時間で行うことができるため、通常の被写体においては、問題なく、２つの画像データの取り込みを容易に行うことができる。
【００３６】
図３Ａおよび図３Ｂに示すように、第１の画像４１と第２の画像４２とでは、被写体像の位置がずれている。しかし、撮像光学系１内のゴミや傷によって生じた有害輝度画像１５は、被写体像とは異なり、位置がずれることはない。有害輝度画像１５の原因となるゴミや傷などが、撮像素子２の近傍にあって、像ずらし部３によって移動させられたレンズ１ａよりも撮像素子２側に位置する場合には、撮像素子２に対する有害輝度画像１５の位置は変化しない。そのため、被写体像に対する有害輝度画像１５の相対位置が、第１の画像４１と第２の画像４２とでは異なっている。
【００３７】
なお、有害輝度画像１５以外にも、暗電流等によるランダムノイズ成分、僅かな収差変化による成分および一方の画像にしか含まれない画角成分は、第１の画像４１と第２の画像４２とでは相対位置が異なる。
【００３８】
撮像素子２で形成された第１の画像４１の画像データ（以下「第１の画像データ」という）および第２の画像４２の画像データ（以下「第２の画像データ」という）は、画像記憶部４に記憶され、かつ、有害輝度画像検出部５に送られる。有害輝度画像検出部５は、第１の画像データおよび第２の画像データをもとに、有害輝度画像１５の画像データである有害輝度画像データを検出する。以下、その検出方法について説明する。
【００３９】
有害輝度画像検出部５は、第１の画像データと第２の画像データとにおける被写体像の位置を一致させるための像ずらし演算部８と、第１の画像データと第２の画像データとについて差分演算を行う差分像演算部９とを備えている。まず、像ずらし演算部８が、被写体像がずれて記憶された第１の画像データおよび第２の画像データに対して、それぞれの被写体像が略重なり一致するように演算処理を行う。具体的には、第２の画像４２の画素を上方にずらすように、第２の画像データを演算処理する。これにより、第１の画像データと第２の画像データのうち、同一でない画像データを抽出することが可能となる。次に、差分像演算部９により、第１の画像データと第２の画像データとについて差分演算を行う。これにより、第１の画像データと第２の画像データとに共通して存在する被写体像の成分は除去され、第１の画像データおよび第２の画像データの有害輝度画像データが検出される。これらそれぞれの画像の有害輝度画像データから、どちらか１つの画像データ（例えば、第１の画像データ）に対応する有害輝度画像データを検出する。
【００４０】
以上の処理を、画像を用いて具体的に説明する。図４は被写体像が一致するように画像を重ねた状態を示す図である。像ずらし演算部８で、被写体像の位置を揃えた第１の画像４１および第２の画像４２とを重ねると、画像４３が得られる。図４に示す画像４３においては、重ならずにそれぞれ異なる位置に有害輝度画像１５が形成される。なお、両方の画像データには、重ねることが不可能な画角部分が存在する。具体的には、第１の画像４１の下端部分４１ａと第２の画像４２の上端部分４２ａが画角部分であり、これらの個所からは有害輝度画像データを得ることができないため、演算には用いない。
【００４１】
図５はそれぞれの画像を差分演算処理した状態を示す図である。差分像演算部９を用いて、像ずらし演算処理後の第１の画像データと第２の画像データとについて差分演算を行うことにより、差分演算後画像４４が得られる。図５に示すように、差分演算後画像４４には、２つの有害輝度画像１５が含まれている。図５に示す、有害輝度画像１５の画像データ（有害輝度画像データ）の輝度信号強度を縦軸に、Ｙ方向を横軸にとり、それらの関係を示したグラフが図６である。なお、Ｙ方向は、図５に示しているように垂直方向とする。図６に示すように、有害輝度画像データの輝度信号は、正と負それぞれの強度を有し、２つに分かれている。そこで、これらを、１つにするために、例えばＬＰＦ（low pass filter）等を含めた画像処理を行うのが好ましい。ＬＰＦ等を含めた画像処理を行うことにより、差分演算後画像４４の画像データに含まれている、上記暗電流等によるランダムノイズ成分および僅かな収差変化による成分も除去される。なお、次の工程である補正を行う際に、ランダムノイズ成分および収差変化による成分が除去されていない画像データを用いた場合には、ノイズの増大および画像結像性能の低下を引き起こしてしまう。
【００４２】
ＬＰＦ等を含めた画像処理を行うことにより、図７に示すように、第１の画像４１に対応する有害輝度画像１５を有する画像４５を得ることができる。このようにして、有害輝度画像１５の画像データを容易に抽出することができる。
【００４３】
次に、上記ＬＰＦ（low pass filter）を含めた画像処理によって形成された有害輝度画像データを用いて、第１の画像データを補正する。具体的には、画像補正部６は、第１の画像データおよび有害輝度画像データを用いて、第１の画像データから有害輝度画像データを除去すればよい。これにより、有害輝度画像データが除去され、補正が完了した補正完画像の画像データが得られる。図８は補正完画像を示す図である。補正完画像４６は、有害輝度画像がなく、被写体像のみからなる。つまり、図３Ａに示した第１の画像４１から、図７に示した画像４５の有害輝度画像１５を除去することにより、図８に示している補正完画像４６を得ることができる。なお、補正される画像は、第１の画像４１でなく、第２の画像４２や、第１の画像４１および第２の画像４２の合成画像であってもよく、その場合には、それぞれに応じた有害輝度画像を用いればよい。しかし、レリーズタイムラグがより短い第１の画像４１を用いるのが最も好ましい。ここで、レリーズタイムラグとは、撮像光学機器１２で被写体を撮像する際に、撮像操作（例えば、レリーズ釦を押す等）を行ってから、実際に撮像されるまでの時間であり、レリーズタイムラグが短い方がより良好な撮像画像を得ることができる。
【００４４】
以上のように、実施の形態１の撮像光学機器１２によれば、撮像光学系１内のゴミや撮像光学系１の傷等による有害輝度画像１５が除去された画像を得ることができ、撮像画像の画質の向上を図ることができる。したがって、実施の形態１の撮像光学機器１２によれば、撮像光学系１内のゴミや撮像光学系１の傷等の、有害輝度画像１５の原因を取り除かなくても、補正によって有害輝度画像１５を除去することができる。そのため、例えば撮像光学系１内にゴミが混入した場合でも、撮像光学系１内を清掃することなく撮像画像の画質の低下を防止することができるので、すぐに清掃する必要はなく、例えば操作者の手の空いたときに清掃すればよい。
【００４５】
また、有害輝度画像データは、有害輝度画像記憶部１１に記憶される。これにより、どの程度の有害輝度画像が補正されているのかを操作者が確認することができ、例えば、清掃後に有害輝度画像の改善がなされているか等を確認することができる。
【００４６】
また、実施の形態１の撮像光学機器１２は、当該撮像光学機器１２の本体の動きを検出する動き検出部７を有している。動き検出部７は、操作者が撮像光学機器１２を操作する際に発生する手振れ量を検知するためのものであり、撮像光学機器１２の移動方向や移動量等を検知することができる。動き検出部７は、例えばジャイロセンサーなどの角速度センサーであるのが好ましい。動き検出部７で検出された動き情報に基づいて手振れ補正がなされる。この手振れ補正は、像ずらし部３を用いて行えばよく、手振れによる撮像素子２に対する被写体像の位置の移動を、像ずらし部３を用いて補正し、被写体像がぶれないようにすればよい。これにより、手振れを補正し、良好な画像を得ることができる。なお、動き検出部７としては、従来用いられていたものでよい。また、像ずらし部３としては、例えば、図１４〜図１６に示した従来の第１〜第３の撮像光学機器で用いられていた動き補正部を用いればよい。具体的には、像ずらし部３としては、撮像光学系または撮像素子の偏芯によるもの、あるいは、撮像光学系または撮像素子を回転させることにより、撮像光軸に対して略垂直方向に被写体像を移動させることができるものを用いればよい。実施の形態１においては、従来の撮像光学機器に備えられていた動き補正部を、像ずらし部３が兼用している。これにより、新たな機構を増やすことなく、手振れ補正および有害輝度画像の補正が可能な撮像光学機器１２を得ることができる。
【００４７】
また、撮像光学機器１２は警告部１０を有している。警告部１０は、有害輝度画像検出部５によって検出された有害輝度画像の輝度信号強度が所定のレベル以上になっている場合に、それを操作者に知らせる。例えば、差分像演算部９は、検出した有害輝度画像の輝度信号強度データを評価し、その値が所定のレベル以上になっている場合に、警告部１０にそれを伝える。これにより、警告部１０は、操作者に分かるように警告を発する。警告部１０としては、例えば、ＬＣＤ（liquid coupled display）を用いて、警告を示す表示がなされるようにしたものを用いてもよく、また、ビューファインダーの表示部に視認しやすいように警告表示を行う構成としたものを用いてもよい。これにより、レンズ清掃などの必要性や時期を操作者が確認することができる。また、撮像光学系１内に多くのゴミなどが付着している場合には、操作者に撮像光学系１内の清掃を促すことができる。なお、警告は、補正完画像４６が得られる前に行われるのが好ましい。
【００４８】
なお、実施の形態１においては、画像補正部６の動作を自動的に行っているが、画像補正部６の動作を行うに先立って、画像補正を行うか否かの判断をユーザに促し、ユーザの意思を反映させるようにしてもよい。また、画像補正部６に、画像補正を行うモードと、画像補正を行わないモードとを持たせて、ユーザが選択的に操作できるようにしてもよい。このような構成とすることにより、ユーザの利便性を向上させることができる。
【００４９】
また、有害輝度画像記憶部１１に記憶される有害輝度画像を、画像補正部６での処理を行う前の被写体像と関連付けて記憶させ、有害輝度画像記憶部１１から外部に出力可能な構成としてもよい。このような構成とすることにより、有害輝度画像の除去を、パーソナルコンピュータ（以下「パソコン」という）等を用いて後処理によって行うことが可能となる。画像補正部６での処理を行う前の被写体像と関連付けられる有害輝度画像は、画像データそのものであってもよいが、有害輝度画像が占める範囲に対応する画素の位置データであってもよい。
【００５０】
また、実施の形態１においては、有害輝度画像の輝度信号強度が所定のレベル以上になっている場合に、警告部１０を動作させるようにしているが、警告部１０を動作させる代わりに、撮像光学系の被写体像の取り込み動作を禁止するようにしてもよい。このような構成とすることにより、有害輝度画像の輝度信号強度が高くて画像品質の低い画像データの生成を防止することができる。
【００５１】
（実施の形態２）
本発明の実施の形態２における撮像画像処理システムについて、図面を用いて説明する。図９は本発明の実施の形態２における撮像画像処理システムの一構成例を示すブロック図である。なお、図９において、図１に示した部材と同様の機能を有する部材には同一の参照符号を付し、その説明は省略する。
【００５２】
図９に示すように、実施の形態２における撮像画像処理システム３０は、撮像画像を取り込む撮像光学機器２２と、撮像光学機器２２で取り込んだ画像を画像素処理して、有害輝度画像を補正する制御装置１３とを備えている。撮像光学機器２２は、撮像光学系１と、撮像素子２と、像ずらし部３と、動き検出部７と、画像記憶部４とを備えている。また、制御装置１３は、有害輝度画像検出部５と、画像補正部６と、警告部１０と、有害輝度画像記憶部１１とを備えている。また、有害輝度画像検出部５は、像ずらし演算部８と、差分像演算部９とを備えている。
【００５３】
制御装置１３としては、例えば、パソコンを用いればよい。その場合、制御装置１３における、有害輝度画像検出部５と画像補正部６の機能は、パソコンのＣＰＵが所定のプログラムを実行することによって実現される。そのために、具体的には、有害輝度画像検出部５と画像補正部６の機能を実現するためのプログラムを、任意のパソコンへインストールすればよい。例えば、ＣＤ−ＲＯＭ等の記憶媒体から任意のパソコンへインストールしてもよいし、あるいは、通信回線を介してダウンロード等することにより、任意のパソコンへインストールしてもよい。また、警告部１０としては、例えば、パソコンに接続されているスピーカ等の音声出力装置や、ディスプレイを含む表示装置を用いることができる。また、有害輝度画像記憶部１１としては、パソコンのハードディスクを用いればよい。
【００５４】
次に、実施の形態２の撮像画像処理システム３０の動作について、図１０をも用いて説明する。図１０は本発明の実施の形態２の制御装置１３の動作を示すフローチャートである。
【００５５】
撮像光学機器２２における、撮像光学系１と、撮像素子２と、像ずらし部３と、動き検出部７と、画像記憶部４との各部材の動作は、実施の形態１の撮像光学機器１２の各部材の動作と同一であるので、その説明は省略する。撮像光学機器２２による撮像処理の際には、図３Ａおよび図３Ｂに示す第１の画像４１および第２の画像４２を取り込む。これらの、第１の画像４１および第２の画像４２の画像データである、第１の画像データおよび第２の画像データは、画像記憶部４に記憶されている。
【００５６】
これらの第１の画像データおよび第２の画像データが制御装置１３に送られ、これらのデータが有害輝度画像検出部５に入力される（ステップ１０１）。
【００５７】
次に、有害輝度画像検出部５における像ずらし演算部８は、第１の画像データおよび第２の画像データのそれぞれの被写体像が略重なり一致するようにそれぞれの画像データを演算処理する（ステップ１０２）。なお、両方の画像データには、重ねることが不可能な画角部分が存在する。具体的には、第１の画像４１の下端部分４１ａと第２の画像４２の上端部分４２ａが画角部分であり、これらの個所からは有害輝度画像データを得ることができないため、演算には用いない（図４参照）。
【００５８】
次に、差分像演算部９を用いて、ステップ１０２（像ずらし演算処理）後の第１の画像データと第２の画像データとを差分演算する（ステップ１０３）。これによって得られた有害輝度画像データは、第１の画像データおよび第２の画像データ両方のものであり、正負２つの輝度信号強度を有している。そこで、さらに、例えばＬＰＦ等を含めた画像処理を行う（ステップ１０４）。これにより、どちらか１つの画像データに対応する有害輝度画像データが得られる。ここでは、第１の画像データに対応する有害輝度画像データのみを得るような画像処理を行う。
【００５９】
次に、第１の画像データおよびそれに対応する、ステップ１０４で得た有害輝度画像データが画像補正部６に送られる。画像補正部６は、第１の画像データおよびそれに対応する有害輝度画像データを用いて、第１の画像データから有害輝度画像データを除去する（ステップ１０５）。これにより、有害輝度画像１５が除去された補正完画像４６（図８参照）が得られる。
【００６０】
なお、有害輝度画像検出部５では、ステップ１０４において得られた有害輝度画像データの輝度信号の強度を判定しており、その強度が所定のレベル以上になった場合には、そのことを伝えるための信号が警告部１０に送信される。警告部１０では、それに応じて警告が発せられる。例えば、警告部１０であるスピーカから警告音が発せられたり、警告部１０であるディスプレイに警告を示す表示がなされたりすればよい。なお、警告は、補正完画像４６が得られる前に行われるのが好ましい。
【００６１】
また、有害輝度画像記憶部１１は、ステップ１０４において得られた有害輝度画像データを記憶する。これにより、撮像された画像に対してどの程度の有害輝度画像が発生しているかを確認することができる。
【００６２】
次に、実施の形態２の撮像光学機器２２の具体的な構成について、図面を用いて説明する。図１１は本発明の実施の形態２における撮像光学機器の構成を示す斜視図である。図１１においては、撮像光学機器２２として、コンパクトタイプのＤＳＣの構成を示している。
【００６３】
図１１において、撮像光学機器２２は、撮像光学系１と、レリーズ釦１６と、ストロボ発光部１７と、光学式ビューファインダー１８と、本体１９と、デジタル画像データ出力用コネクタ２０とを備えている。
【００６４】
撮像光学系１は、被写体像を結像させるためのものである。レリーズ釦１６は、被写体像を撮影するときに操作者が押す釦である。レリーズ釦１６を押下することにより、被写体が撮像される。ストロボ発光部１７は、被写体の輝度が十分でない場合に光を発することができ、被写体光を照らし撮像するために十分な輝度を得ることができる。光学式ビューファインダー１８は、操作者が被写体の構図を確認するためのものである。本体１９は、操作者が撮像光学機器２２を保持するためのものである。データ出力用コネクタ２０は、撮像、記録された画像データを撮像光学機器２２の外部に出力するためのものである。
【００６５】
さらに、図１２は本発明の実施の形態２における他の撮像光学機器の構成を示す分解斜視図である。なお、図１２において、図１１に示した部材と同様の機能を有する部材には同一の参照符号を付し、その説明は省略する。図１２に示す撮像光学機器２２は、レンズである撮像光学系１を本体１９から取り外して、交換できるように構成されている。図１２は、撮像光学系１を、本体１９から外した状態を示している。使用時には、レンズマウント２１に撮像光学系１が嵌り込んで固定される。なお、図１２においては、撮像光学機器２２の内部に設置された撮像素子２が図示されている。このように、図１２に示す撮像光学機器２２は、撮像光学系１が本体１９に着脱可能な構成となっている。これにより、上述したように、撮像光学系１内のゴミや傷によって生じた有害輝度画像の画像データの輝度信号が大きすぎることが警告された場合等には、撮像光学系１を取り替えることにより、容易に有害輝度画像の原因を取り除くことができる。
【００６６】
次に、実施の形態２の撮像画像処理システム３０の具体的な構成について、図面を用いて説明する。図１３は本発明の実施の形態２における撮像画像処理システムの具体的な構成を示す斜視図である。
【００６７】
図１３に示すように、撮像画像処理システム３０は、図１１に示した撮像光学機器２２と、パソコンである制御装置１３とを備えている。なお、制御装置１３の本体３１には、入力装置であるキーボード３２および表示装置であるディスプレイ３３が接続されている。
【００６８】
制御装置１３には、図１０に示したフローチャートを実現するプログラムがインストールされている。撮像光学機器２２と制御装置１３とは、信号の入出力が可能なように、例えばケーブル３４で接続されており、これにより、撮像光学機器２２から制御装置１３へ画像データを送ることができるようにされている。具体的には、撮像光学機器２２のデータ出力用コネクタ２０と制御装置１３の本体３１に設けられたデータ入力用コネクタ３１ａとがケーブル３４を介して接続されている。
【００６９】
以上のように、実施の形態２の撮像画像処理システム３０によれば、撮像光学機器２２で取り込んだ画像データを制御装置１３で演算処理することができるので、撮像光学機器２２において膨大な演算処理行う必要がない。その結果、撮像光学機器２２の電源の長寿命化を図ることができる。
【００７０】
また、このような撮像画像処理システム３０の撮像光学機器２２を、ゴミ等の異物が撮像光学系１内に付着しやすい環境にある産業用生産設備等に用いた場合、撮像光学系１内が汚れていても、それを補正した画質の高い画像を得ることができる。また、ゴミ等の異物が撮像光学系１内に付着したことを容易に判別することができる。したがって、生産コストを大幅に削減することができる。
【産業上の利用可能性】
【００７１】
本発明の撮像光学機器、撮像画像処理システムおよび撮像画像処理プログラムは、ゴミなどによる有害輝度画像を補正した良好な画像を得ることのできるＤＶＣやＤＳＣあるいは携帯型モバイル機器の撮像ユニットを提供することができ、例えば、ゴミ等の異物が撮像光学系内に付着しやすい環境にある産業用生産設備等に用いる場合に特に有用である。
【図面の簡単な説明】
【００７２】
【図１】図１は本発明の実施の形態１における撮像光学機器の一構成例を示すブロック図である。
【図２Ａ】図２Ａは、本発明の実施の形態１における、像ずらし部を駆動させることによる被写体像のずれを説明するための図であり、被写体像が撮像素子の所望の位置に結像している状態を示している。
【図２Ｂ】図２Ｂは、本発明の実施の形態１における、像ずらし部を駆動させることによる被写体像のずれを説明するための図であり、被写体像が移動している状態を示している。
【図３Ａ】図３Ａは、本発明の実施の形態における、像ずらし部を駆動させて得た第１の画像を示す図である。
【図３Ｂ】図３Ｂは、本発明の実施の形態における、像ずらし部を駆動させて得た第２の画像を示す図である。
【図４】図４は、本発明の実施の形態における、被写体像が一致するように画像を重ねた状態を示す図である。
【図５】図５は、本発明の実施の形態１における、それぞれの画像を差分演算処理した状態を示す図である。
【図６】図６は、本発明の実施の形態１の、有害輝度画像データの輝度信号強度とＹ方向における位置との関係を示すグラフである。
【図７】図７は、本発明の実施の形態１における、第１の画像に対応する有害輝度画像を有する画像を示す図である。
【図８】図８は本発明の実施の形態における補正完画像を示す図である。
【図９】図９は本発明の実施の形態２における撮像画像処理システムの一構成例を示すブロック図である。
【図１０】図１０は本発明の実施の形態２における制御装置の動作を示すフローチャートである。
【図１１】図１１は本発明の実施の形態２における撮像光学機器の構成を示す斜視図である。
【図１２】図１２は本発明の実施の形態２における他の撮像光学機器の構成を示す分解斜視図である。
【図１３】図１３は本発明の実施の形態２における撮像画像処理システムの具体的な構成を示す斜視図である。
【図１４】図１４は従来の第１の撮像光学機器の一構成例を示すブロック図である。
【図１５】図１５は従来の第２の撮像光学機器の一構成例を示すブロック図である。
【図１６】図１６は従来の第３の撮像光学機器の一構成例を示すブロック図である。
【符号の説明】
【００７３】
１  撮像光学系
１ａ、１ｂ  レンズ
２  撮像素子
３  像ずらし部
４  画像記憶部
５  有害輝度画像検出部
６  画像補正部
７  動き検出部
８  像ずらし演算部
９  差分像演算部
１０  警告部
１１  有害輝度画像記憶部
１２、２２  撮像光学機器
１３  制御装置
１４  撮像光軸
１５  有害輝度画像
１６  レリーズ釦
１７  ストロボ発光部
１８  光学式ビューファインダー
１９  本体
２０  データ出力用コネクタ
２１  レンズマウント
３０  撮像画像処理システム
３１  本体
３１ａ  データ入力用コネクタ
３２  キーボード
３３  ディスプレイ
４１  第１の画像
４１ａ  下端部分
４２  第２の画像
４２ａ  上端部分
４３  画像
４４  差分演算後画像
４５  画像
４６  補正完画像
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2006022229.tif 000020
【図２Ａ】
2006022229.tif 000021
【図２Ｂ】
2006022229.tif 000022
【図３Ａ】
2006022229.tif 000023
【図３Ｂ】
2006022229.tif 000024
【図４】
2006022229.tif 000025
【図５】
2006022229.tif 000026
【図６】
2006022229.tif 000027
【図７】
2006022229.tif 000028
【図８】
2006022229.tif 000029
【図９】
2006022229.tif 000030
【図１０】
2006022229.tif 000031
【図１１】
2006022229.tif 000032
【図１２】
2006022229.tif 000033
【図１３】
2006022229.tif 000034
【図１４】
2006022229.tif 000035
【図１５】
2006022229.tif 000036
【図１６】
2006022229.tif 000037
【国際調査報告】
2006022229.tif 000038
2006022229.tif 000039
2006022229.tif 000040
2006022229.tif 000041