(57)【要約】【課題】撮像手段により被写体を撮像して得た画像データに対して復元処理を施して撮像手段の実効的な被写界深度を拡大する画像撮像装置、画像処理装置、画像処理方法およびプログラムにおいて、人物や風景等の一般シーンに対する画質低下を伴うことなく、文字やバーコード等の近接撮影被写体の撮影画質を向上させる。【解決手段】撮像手段（撮影光学系１２および撮像素子１３）において取得された被写体１１を写した画像データについて、二次元記録情報判別部１４において解析して被写体１１が二次元記録情報であるか非二次元記録情報であるかを分類する。画像処理部１６は、二次元記録情報判別部１４の判別結果を受け取り、被写体１１が二次元記録情報であるか非二次元記録情報であるかに基づいて、対応する復元処理を復元処理記憶部１５から読み出し、画像データに対して復元処理を施す。【選択図】図１
2011150396.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段により被写体を撮像して得た画像データに対して復元処理を施して前記撮像手段の実効的な被写界深度を拡大する画像撮像装置において、
被写体を撮像して画像データを取得する撮像手段と、
前記画像データを解析して被写体が二次元記録情報であるか非二次元記録情報であるかを分類する画像解析手段と、
前記二次元記録情報であると分類された被写体の画像データに対しては近距離用復元処理を行い、前記非二次元記録情報であると分類された被写体の画像データに対しては遠距離用復元処理を行う画像処理手段とを備えたことを特徴とする画像撮像装置。
【請求項２】
前記画像解析手段が、前記画像データを複数の領域に分割し、各領域毎に該領域に写っている被写体が前記二次元記録情報であるか前記非二次元記録情報であるかを分類するものであり、
前記画像処理手段が、前記複数の領域の各々について個別に前記復元処理を行うものであることを特徴とする請求項１記載の画像撮像装置。
【請求項３】
前記画像処理手段が、前記近距離用復元処理として、二値化処理を行うものであることを特徴とする請求項１または２記載の画像撮像装置。
【請求項４】
撮像手段により被写体を撮像して得た画像データに対して復元処理を施して前記撮像手段の実効的な被写界深度を拡大する画像処理装置において、
前記画像データを解析して被写体が二次元記録情報であるか非二次元記録情報であるかを分類する画像解析手段と、
前記二次元記録情報であると分類された被写体の画像データに対しては近距離用復元処理を行い、前記非二次元記録情報であると分類された被写体の画像データに対しては遠距離用復元処理を行う画像処理手段とを備えたことを特徴とする画像処理装置。
【請求項５】
前記画像解析手段が、前記画像データを複数の領域に分割し、各領域毎に該領域に写っている被写体が前記二次元記録情報であるか前記非二次元記録情報であるかを分類するものであり、
前記画像処理手段が、前記複数の領域の各々について個別に前記復元処理を行うものであることを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記画像処理手段が、前記近距離用復元処理として、二値化処理を行うものであることを特徴とする請求項４または５記載の画像処理装置。
【請求項７】
撮像手段により被写体を撮像して得た画像データに対して復元処理を施して前記撮像手段の実効的な被写界深度を拡大する画像処理方法において、
前記画像データを解析して被写体が二次元記録情報であるか非二次元記録情報であるかを分類し、
前記二次元記録情報であると分類された被写体の画像データに対しては近距離用復元処理を行い、前記非二次元記録情報であると分類された被写体の画像データに対しては遠距離用復元処理を行うことを特徴とする画像処理方法。
【請求項８】
前記画像データを複数の領域に分割し、各領域毎に該領域に写っている被写体が前記二次元記録情報であるか前記非二次元記録情報であるかを分類し、
前記複数の領域の各々について個別に前記復元処理を行うことを特徴とする請求項７記載の画像処理方法。
【請求項９】
前記近距離用復元処理として、二値化処理を行うことを特徴とする請求項７または８記載の画像処理方法。
【請求項１０】
撮像手段により被写体を撮像して得た画像データに対して復元処理を施して前記撮像手段の実効的な被写界深度を拡大する画像処理装置用のプログラムであって、
前記画像データを解析して被写体が二次元記録情報であるか非二次元記録情報であるかを分類する処理と、
前記二次元記録情報であると分類された被写体の画像データに対しては近距離用復元処理を行い、前記非二次元記録情報であると分類された被写体の画像データに対しては遠距離用復元処理を行う処理とを画像処理装置に実行させるためのプログラム。
【請求項１１】
前記画像データを複数の領域に分割し、各領域毎に該領域に写っている被写体が前記二次元記録情報であるか前記非二次元記録情報であるかを分類する処理と、
前記複数の領域の各々について個別に前記復元処理を行う処理とを有することを特徴とする請求項１０記載のプログラム。
【請求項１２】
前記近距離用復元処理として、二値化処理を行うことを特徴とする請求項１０または１１記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像手段により被写体を撮像して得た画像データに対して復元処理を施して撮像手段の実効的な被写界深度を拡大する画像撮像装置、画像処理装置、画像処理方法およびプログラムにおいて、特に文字やバーコード等の被写体を撮像した際の画質を高めるための画像撮像装置、画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
近年、携帯電話等の情報端末に対するカメラ搭載が進み、このようなカメラを用いた文字やバーコード等の撮影による情報入力・記録が頻繁に行われるようになってきている。このような目的に利用されるカメラの例として、例えば特許文献１では、標準撮影、マクロ撮影、スーパーマクロ撮影に切り替え可能な構成を有し、レンズの位置、絞りを切り替え可能なカメラを提案している。
【０００３】
一方、特別に設計された光学系と画像復元処理とを併用することで、上記のようなレンズの位置や絞りの切替えを必要とせずに、通常の光学系で撮影された場合と比較して実効的な被写界深度の拡大を可能とした画像撮像システムが提案されている。（例えば、特許文献２）
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−３２５９７２号公報
【特許文献２】特許第３２７５０１０号明細書
【特許文献３】特開２００７−２０６７３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記のような被写界深度拡大撮像システムでは、撮影距離に応じた光学系のボケ特性を考慮して画像復元処理を決定しているが、撮影距離により光学系のボケ特性は変化することから、ある特定の距離の被写体を良好に再現する復元処理を採用した場合、他の距離の被写体の再現が相対的に劣化してしまうという問題があった。
【０００６】
また、一般に文字やバーコード等の二次元記録情報は３０ｃｍ以下といった近距離で撮影されることが多く、人物や風景等の一般シーンは５０ｃｍ以上といった距離で撮影されることが多いが、被写界深度拡大撮像システムでは従来撮影系よりも被写界深度は拡大しているものの、レンズ系が固定で焦点切り替え機構を持たないため、文字やバーコード等の３０ｃｍ以下といった極端に近い距離で撮影される場合には、文字が読めない、バーコードが認識できない等、十分な画質とならないことがあった。
【０００７】
このような問題を解決するため、特許文献３では特許文献２の手法に加えて、撮影対象が情報コードの特徴を有している場合には、この特徴点に適応するようなデジタルフィルタを選択して復元処理を行う手法を提案している。しかしながら、この手法では既知の情報コードに対する復元は良好となるが、任意の文字列や未知の情報コード画像に対しては効果がなく、不鮮明な画像しか得られない場合があった。
【０００８】
本発明は、上記事情に鑑みてなされたものであり、撮像手段により被写体を撮像して得た画像データに対して復元処理を施して撮像手段の実効的な被写界深度を拡大する画像撮像装置、画像処理装置、画像処理方法およびプログラムにおいて、人物や風景等の一般シーンに対する画質低下を伴うことなく、文字やバーコード等の近接撮影被写体の撮影画質を向上させた画像撮像装置、画像処理装置、画像処理方法およびプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００９】
本発明による画像撮像装置は、撮像手段により被写体を撮像して得た画像データに対して復元処理を施して撮像手段の実効的な被写界深度を拡大する画像撮像装置において、被写体を撮像して画像データを取得する撮像手段と、画像データを解析して被写体が二次元記録情報であるか非二次元記録情報であるかを分類する画像解析手段と、二次元記録情報であると分類された被写体の画像データに対しては近距離用復元処理を行い、非二次元記録情報であると分類された被写体の画像データに対しては遠距離用復元処理を行う画像処理手段とを備えたことを特徴とするものである。
【００１０】
本発明の画像撮像装置は、被写体を撮像して画像データを取得する撮像手段と、画像データに対して画像処理を行う画像処理装置とが別体に構成されていてもよく、本発明の画像処理装置はこのように別体に構成されたものであって、撮像手段により被写体を撮像して得た画像データに対して復元処理を施して撮像手段の実効的な被写界深度を拡大する画像処理装置において、画像データを解析して被写体が二次元記録情報であるか非二次元記録情報であるかを分類する画像解析手段と、二次元記録情報であると分類された被写体の画像データに対しては近距離用復元処理を行い、非二次元記録情報であると分類された被写体の画像データに対しては遠距離用復元処理を行う画像処理手段とを備えたことを特徴とするものである。
【００１１】
本発明の画像処理方法は、撮像手段により被写体を撮像して得た画像データに対して復元処理を施して撮像手段の実効的な被写界深度を拡大する画像処理方法において、画像データを解析して被写体が二次元記録情報であるか非二次元記録情報であるかを分類し、二次元記録情報であると分類された被写体の画像データに対しては近距離用復元処理を行い、非二次元記録情報であると分類された被写体の画像データに対しては遠距離用復元処理を行うことを特徴とする方法である。
【００１２】
本発明のプログラムは、撮像手段により被写体を撮像して得た画像データに対して復元処理を施して撮像手段の実効的な被写界深度を拡大する画像処理装置用のプログラムであって、画像データを解析して被写体が二次元記録情報であるか非二次元記録情報であるかを分類する処理と、二次元記録情報であると分類された被写体の画像データに対しては近距離用復元処理を行い、非二次元記録情報であると分類された被写体の画像データに対しては遠距離用復元処理を行う処理とを画像処理装置に実行させるためのプログラムである。
【００１３】
本発明による画像撮像装置、画像処理装置、画像処理方法およびプログラムにおいては、画像データを複数の領域に分割し、各領域毎にこの領域に写っている被写体が二次元記録情報であるか非二次元記録情報であるかを分類する処理と、複数の領域の各々について個別に復元処理を行う処理とを行うようにしてもよい。
【００１４】
また、近距離用復元処理として、二値化処理を行うようにしてもよい。
【００１５】
本発明において「二次元記録情報」とは、手書きや印字に関わらず文字やバーコードやＱＲコード等、主に近距離で撮影されることが想定される情報を意味する。また、「非二次元記録情報」とは、二次元記録情報以外の情報であって、人物像や風景等、主に遠距離で撮影されることが想定される情報を意味する。
【発明の効果】
【００１６】
本発明の画像撮像装置、画像処理装置、画像処理方法およびプログラムによれば、撮像手段により被写体を撮像して得た画像データに対して復元処理を施して撮像手段の実効的な被写界深度を拡大する場合において、画像を解析して被写体が二次元記録情報であるか非二次元記録情報であるかを分類し、人物や風景等の非二次元記録情報に対してはこれまでと同様に一般シーンに対して最適な遠距離用復元処理を施し、文字やバーコード等の二次元記録情報に対しては二次元記録情報用に最適化された近距離用復元処理を施すようにしたので、人物や風景等の一般シーンに対する画質低下を伴うことなく、文字やバーコード等の近接撮影被写体の撮影画質を向上させることが可能となる。
【００１７】
また、画像データを複数の領域に分割し、各領域毎にこの領域に写っている被写体が二次元記録情報であるか非二次元記録情報であるかを分類し、複数の領域の各々について個別に復元処理を行うようにすれば、画像中に二次元記録情報と非二次元記録情報とが混在する場合に、より適切に復元処理を行うことが可能となる。
【００１８】
さらに、二次元記録情報に対する復元処理として、二値化処理を行うようにすれば、簡単な処理により二次元記録情報に対する復元処理を行うことができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１の実施の形態にかかる画像撮像装置の構成を示すブロック図
【図２】上記画像撮像装置により取得された画像の例を示す図
【図３】本発明の第２の実施の形態にかかる画像撮像装置により取得された画像の例を示す図
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態について図面を参照して詳細に説明する。図１は、本発明の第１の実施の形態にかかる画像撮像装置の構成を示すブロック図である。
【００２１】
画像撮像装置１０は、被写体１１から来た光を撮像素子１３上に結像するための撮影光学系１２、結像された光学像をデジタル情報に変換する撮像素子１３、撮影された画像データを解析して被写体が二次元記録情報か否かを判別する二次元記録情報判別部１４、複数の復元処理を記憶しておく復元処理記憶部１５、二次元記録情報判別部１４の判別結果に基づいて対応する復元処理を画像データに対して施す画像処理部１６、復元処理後の画像データを表示するモニタ等の画像表示部１７、記録媒体に画像データを記録する画像記録部１８より構成される．
撮影光学系１２は、特に限定するものではないが、被写界深度を延長する効果を持った光学系を用いることが好ましい。
【００２２】
撮像素子１３は、ＣＣＤセンサやＣＭＯＳセンサ等の固体撮像素子が好適であるが、特に限定は無く、どのようなものを用いてもよい。
【００２３】
本発明の撮像手段は、これら撮影光学系１２および撮像素子１３から構成される。
【００２４】
二次元記録情報判別部１４（本発明の画像解析手段に相当）は、撮影により得られた画像データを解析し、被写体１１が文字やバーコード等の二次元記録情報であるか否かを判別するものである。この判別手法については特に限定は無く、例えば特開２００４−３４１７６４号公報に開示される手法等、どのような手法を適用してもよい。
【００２５】
本実施の形態においては、画像中の少なくとも一部に文字やバーコード等の二次元記録情報が写っている場合にはその画像データは二次元記録情報であると分類し、画像中に文字やバーコード等の二次元記録情報が全く写っていない場合にはその画像データは非二次元記録情報であると分類する。
【００２６】
復元処理記憶部１５は、二次元記録情報に対する近距離用復元処理および非二次元記録情報に対する遠距離用復元処理の両方を記録したものであり、例えばＨＤＤやＳＳＤ等のストレージデバイスやＲＯＭ等の半導体メモリを用いることが可能である。
【００２７】
ここで、復元処理の具体的内容については特に限定するものではなく、例えば空間周波数領域におけるフィルタリング処理を適用することも可能であるし、実空間におけるカーネル処理を適用することも可能である。
【００２８】
なお、一般に文字やバーコード等の二次元記録情報は３０ｃｍ以下といった近距離で撮影されることが多く、人物や風景等は５０ｃｍ以上といった距離で撮影されることが多いことから、二次元記録情報に対する近距離用復元処理には光学系の近接撮影時の逆特性を持つ復元処理を持たせ、非二次元記録情報に対する遠距離用復元処理には光学系の遠距離撮影時の逆特性を持つ復元処理を持たせることが好ましい。
【００２９】
また、近距離用復元処理に関しては、上記で説明した復元処理の代わりに、画像内容に基づいた二値化処理を適用することも可能である。二次元記録情報は、情報の記録部と背景部の二つの画素値に分類できる場合が多いため、画像のヒストグラム分布を分析して、ヒストグラムの頻度の高い代表的な二つの値に二値化するようにしてもよい。
【００３０】
さらに、近距離用復元処理については上記以外にも、コントラスト強調処理や、エッジ強調処理等の手法を用いることも可能である。
【００３１】
画像処理部１６は、二次元記録情報判別部１４の判別結果を受け取り、被写体１１が二次元記録情報である場合には近距離用復元処理を復元処理記憶部１５から読み出し、画像データに対して復元処理を施す。また、非二次元記録情報である場合には遠距離用復元処理を復元処理記憶部１５から読み出し、画像データに対して復元処理を施す。
【００３２】
本発明の画像処理手段は、これら復元処理記憶部１５および画像処理部１６から構成される。
【００３３】
次に上記のように構成された画像撮像装置１０の作用について説明する。
【００３４】
まず、被写体１１に対して撮像手段（撮影光学系１２および撮像素子１３）により撮影が行なわれ、撮影により得られた画像データは二次元記録情報判別部１４に送られる。
【００３５】
ここで撮影により得られた画像の一例を図２に示す。画像Ｇ１中にはバーコードが写っているため、二次元記録情報判別部１４では、この画像の画像データを二次元記録情報として分類し、分類結果を画像処理部１６に送信する。
【００３６】
画像処理部１６では、二次元記録情報判別部１４での分類結果に基づいて、復元処理記憶部１５から対応する復元処理を読み出す。ここでは、画像Ｇ１は二次元記録情報として分類されたため、近距離用復元処理を復元処理記憶部１５から読み出し、画像Ｇ１の画像データに対して復元処理を施す
以上の手順により復元処理が施された画像データは、モニタ等の画像表示部１７に表示されたり、また画像記録部１８で記録メディア等に記録される。
【００３７】
上記のような構成とすることにより、人物や風景等の一般シーンに対する画質低下を伴うことなく、文字やバーコード等の近接撮影被写体の撮影画質を向上させることが可能となる。
【００３８】
次に、本発明の第２の実施の形態について説明する。第１の実施の形態の要素と同等の要素には同番号を付してあり、それらについての説明は特に必要の無い限り省略する。
【００３９】
この第２の実施の形態の画像撮像装置１０は、第１の実施の形態と比較して、二次元記録情報判別部１４および画像処理部１６の処理が異なるものである。
【００４０】
本実施の形態の二次元記録情報判別部１４は、画像データを左右２つの領域に分割し、各領域毎に被写体１１が文字やバーコード等の二次元記録情報であるか否かを判別するものである。なお、判別手法については第１の実施の形態と同様に特に限定は無く、どのような手法を適用してもよい。
【００４１】
また、画像処理部１６は、分割された各領域毎に対応する復元処理を施すものである。
【００４２】
次に上記のように構成された画像撮像装置１０の作用について説明する。
【００４３】
まず、被写体１１に対して画像取得手段（撮影光学系１２および撮像素子１３）により撮影が行なわれ、撮影により得られた画像データは二次元記録情報判別部１４に送られる。
【００４４】
ここで撮影により得られた画像の一例を図３に示す。画像Ｇ２中には机の上に置かれたパンフレットが写っている。二次元記録情報判別部１４では、画像Ｇ２を左右２つの領域Ｇ２ＲとＧ２Ｌに分割し、これらに対応する画像データ毎に個別に二次元記録情報であるか否かを分類する。
【００４５】
右側の領域Ｇ２Ｒには文字およびＱＲコードが写っているため、この領域の画像データを二次元記録情報として分類し、左側の領域Ｇ２Ｌには文字やバーコード等の二次元記録情報が全く写っていないため、この領域の画像データを非二次元記録情報として分類し、分類結果を画像処理部１６に送信する。
【００４６】
画像処理部１６では、二次元記録情報判別部１４での分類結果に基づいて、各領域毎に復元処理記憶部１５から対応する復元処理を読み出す。ここでは、領域Ｇ２Ｒは二次元記録情報として分類されたため、近距離用復元処理を復元処理記憶部１５から読み出して領域Ｇ２Ｒの画像データに対して復元処理を施す。また、領域Ｇ２Ｌは非二次元記録情報として分類されたため、遠距離用復元処理を復元処理記憶部１５から読み出して領域Ｇ２Ｌの画像データに対して復元処理を施す。
【００４７】
以上の手順により復元処理が施された画像は、モニタ等の画像表示部１７に表示されたり、また画像記録部１８で記録メディア等に記録される。
【００４８】
上記のような構成としても、第１の実施の形態と同様に、人物や風景等の一般シーンに対する画質低下を伴うことなく、文字やバーコード等の近接撮影被写体の撮影画質を向上させることが可能となる。
【００４９】
なお、本実施の形態においては、撮影により得られた画像データについて画像上で左右２分割して処理を行っているが、画像の分割態様については上記に限定されるものではなく、分割形状や分割数についてどのような態様としてもかまわない。
【００５０】
以上、本発明の画像撮像装置について詳細に説明したが、本発明は上記実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行なってもよいのは勿論である。
【符号の説明】
【００５１】
１０    画像撮像装置
１１    被写体
１２    撮影光学系
１３    撮像素子
１４    二次元記録情報判別部
１５    復元処理記憶部
１６    画像処理部
１７    画像表示部
１８    画像記録部
【図１】
2011150396.tif 000003
【図２】
2011150396.tif 000004
【図３】
2011150396.tif 000005