(57)【特許請求の範囲】
【請求項１】
被写体を撮像して該被写体の画像を取得する画像取得部と、
前記画像取得部により取得された画像に映っている像のエッジを抽出するエッジ抽出部と、
前記エッジ抽出部による前記エッジの抽出に起因して含まれた、抽出されたエッジの強度の検出値における該エッジの方向の違いに応じた違いを、該エッジの方向に基づいて補正して、該補正後の強度の検出値を、前記画像のぼけの程度を表しているぼけ評価値として検出するぼけ評価値検出部と、
前記画像取得部が前記被写体を撮像する際の焦点位置の設定を、前記ぼけ評価値検出部が検出したぼけ評価値に基づいて調整する焦点調整部と、
を備えていることを特徴とする撮像装置。
【請求項２】
前記ぼけ評価値検出部は、前記補正の前後における前記エッジの強度の値についての対応関係が前記エッジの方向毎に示されている補正テーブルを備えており、前記エッジ抽出部により抽出されたエッジの強度の補正を、該補正テーブルを用いて行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記焦点調整部は、前記ぼけ評価値と前記焦点位置のずれ量の推定値との対応関係が示されているずれ量推定テーブルを備えており、前記焦点位置の設定を、該ずれ量推定テーブルを用いて行うことを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記画像取得部が異なる焦点位置の設定の下で撮像して取得した２枚の画像の各々について前記ぼけ評価値検出部が検出したぼけ評価値に基づいて、前記焦点位置のずれの方向を検出する焦点ずれ方向検出部を更に備えており、
前記焦点調整部は、前記焦点位置の設定を、前記焦点ずれ方向検出部が検出した焦点位置のずれの方向にも更に基づいて行う、
ことを特徴とする請求項１から３のうちのいずれか一項に記載の撮像装置。
【請求項５】
前記焦点ずれ方向検出部は、前記画像取得部が前記２枚の画像の各々を撮像したときの焦点位置のずれ量を前記ぼけ評価値から推定し、該２枚の画像の各々についての該焦点位置のずれ量の推定値の大小比較の結果に基づいて、前記焦点位置のずれの方向を検出することを特徴とする請求項４に記載の撮像装置。
【請求項６】
被写体の移動方向に対向する向きの上方から該被写体を撮像して該被写体を斜視した画像を取得する画像取得部と、
前記画像取得部により取得された画像に映っている像のエッジを抽出するエッジ抽出部と、
前記エッジ抽出部により抽出されたエッジの強度を該エッジの方向に基づいて補正して、該補正後の強度を、前記画像のぼけの程度を表しているぼけ評価値として検出するぼけ評価値検出部と、
前記画像取得部が取得した第一の画像に映っている第一の被写体の像についての、該第一の画像上の位置及び前記ぼけ評価値検出部により検出されるぼけ評価値と、該画像取得部が該第一の画像の取得の際と同一の焦点位置の設定の下で取得した第二の画像に映っている、該第一の被写体とは異なる第二の被写体の像についての、該第二の画像上の位置及び該ぼけ評価値検出部により検出されるぼけ評価値とに基づいて、前記画像取得部が被写体を撮像する際の焦点位置のずれの方向を検出する焦点ずれ方向検出部と、
前記焦点位置の設定を、前記ぼけ評価値検出部が検出したぼけ評価値と前記焦点ずれ方向検出部が検出した焦点位置のずれの方向とに基づいて行う焦点調整部と、
を備えていることを特徴とする撮像装置。
【請求項７】
前記焦点ずれ方向検出部は、前記画像取得部が前記第一及び前記第二の画像の各々を撮像したときの焦点位置のずれ量を前記ぼけ評価値から推定し、該第一及び該第二の画像の各々についての該焦点位置のずれ量の推定値と、前記第一の被写体の像についての該第一の画像上の位置と、前記第二の被写体の像についての該第二の画像上の位置とに基づいて、前記焦点位置のずれの方向を検出することを特徴とする請求項６に記載の撮像装置。
【請求項８】
画像のほけの評価を行う装置が行う画像評価方法であって、
前記装置が備えている画像取得部が、カメラが被写体を撮像して獲得した該被写体の画像を取得し、
前記装置が備えているエッジ抽出部が、前記被写体の像のエッジを抽出する画像処理を前記画像に対して施し、
前記装置が備えているエッジ強度補正部が、前記エッジ抽出部による前記エッジを抽出する画像処理に起因して含まれた、抽出されたエッジの強度の検出値における該エッジの方向の違いに応じた違いを、該エッジの方向に基づいて補正し、
前記装置が備えているぼけ評価部が、前記画像のぼけの程度を、前記補正後のエッジの強度の検出値を用いて評価して評価結果を得る、
ことを特徴とする画像評価方法。
【請求項９】
カメラの焦点位置の設定の調整をコンピュータに行わせるための焦点調整制御プログラムであって、前記コンピュータを、
前記カメラが被写体を撮像して獲得した該被写体の画像を取得する画像取得手段と、
前記画像取得手段により取得された画像に映っている像のエッジを抽出するエッジ抽出手段と、
前記エッジ抽出手段による前記エッジの抽出に起因して含まれた、抽出されたエッジの強度の検出値における該エッジの方向の違いに応じた違いを、該エッジの方向に基づいて補正して、該補正後の強度の検出値を、前記画像のぼけの程度を表しているぼけ評価値として検出するぼけ評価値検出手段と、
前記カメラの焦点位置の設定を、前記ぼけ評価値検出手段により検出されたぼけ評価値に基づいて調整する焦点調整手段
として機能させるための焦点調整制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書で議論される実施態様は、被写体の高品位な画像を獲得する技術に関する。
【背景技術】
【０００２】
近年、屋外に設置した撮像装置の撮像範囲を通り過ぎる移動物体（移動体）を検知し、その移動体の模様や移動体に付されている文字などを自動認識する画像監視システムが続々と製品化されている。このような画像監視システムに使用される撮像装置の多くは、例えば屋外の柱などの上部に固定して設置される。
【０００３】
上述の画像処理システムにおいて、画像認識を精度よく行うためには、認識対象に関する情報が十分得られる画像を取得することが必要であり、そのためには、上記のような場面で移動体が鮮明に映るようにフォーカスを調整することは必須である。また、このフォーカスが経年変化などでずれると画像認識の認識率が低下してしまうため、フォーカスの修正を行う必要があり、この修正は短時間で行われることが好ましい。
【０００４】
このような画像処理システムにおいても利用することのできるフォーカス調整の技術が幾つか知られている。これらの技術について簡単に説明する。
まず、第一の技術として、フォーカスの調整を行う場合に、監視エリアにフォーカス調整用の撮像対象物を設置した上でフォーカス設定の変更と撮像とを繰り返して、撮像画像のぼけが最小となるフォーカス設定を探索するという技術が知られている。この技術は、フォーカスの調整作業中、監視エリア内で当該撮像対象物を静止させておかなければならないため、監視エリアへの立入り制限の措置等が必要である。また、経年変化によりフォーカスずれが発生した場合には、その修正のためにシステムの運用を停止する必要もある。
【０００５】
また、第二の技術として、静止物体を対象としたオートフォーカスが知られている。この技術は、フォーカス位置を変更しながら静止物体を撮像して得た複数の画像の各々のぼけ量を算出し、このぼけ量が最小になるようにフォーカス位置を調整するというものである。この技術では、フォーカス調整のための撮像対象とする静止物体は、各フォーカス位置で同一のものでなければならない。これは、ほけ量の大きさがフォーカス位置のみならず撮像対象にも依存するため、異なる撮像対象を撮像して得た複数の画像では、ぼけ量が最小の画像を撮像したときのフォーカス位置が、必ずしも最良のフォーカス位置であると限らないためである。
【０００６】
また、第三の技術として、任意の複数の撮像対象物を同一フォーカス位置で撮像対象物毎に行う撮像を、フォーカス位置を変更しながら繰り返し、得られた各画像のぼけ量に基づいてフォーカス位置を調整するという技術が知られている。この技術は、まず、同一フォーカス位置で撮像対象物毎に得た複数枚の画像の各々のぼけ量の算出結果を統計処理（例えば加算平均）して、当該フォーカス位置での撮像画像についての、撮像対象物への依存が少ない、ぼけ量の指標値を求める。そして、この指標値が最小のぼけ量を示すようにフォーカス位置を調整する。この第三の技術によるフォーカス位置の調整は、このようにして行われる。
【０００７】
なお、この他の背景技術として、車両が撮像された画像に映っている当該車両のナンバープレート部分の位置の検出を行う技術が幾つか知られている。そのうちのひとつは、プレート枠の候補の判定結果と文字領域の候補の判定結果との重複度（例えば重なり面積）から、最も確からしいプレート位置を判定するという技術である。また、そのうちの別のひとつは、撮像画像におけるナンバープレートの文字幅に対応した四辺形図形を有するモデル画像と、撮像画像との正規化相互相関の相関値から、撮像画像中におけるナンバープレートの画像の位置を決定するという技術である。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００６−２３５９２１号公報
【特許文献２】特開２００５−３３１７３８号公報
【特許文献３】特開２００４−２１９５４６号公報
【特許文献４】特開平３−２６５９８５号公報
【特許文献５】特開平７−６５２８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
前述した第三の技術では、同一フォーカス位置での複数回の撮像が、フォーカス位置を変更しながら繰り返され、更には、このようにして得られた多数の画像の各々についてぼけ量を算出してその指標値を求めるという処理が行われる。このため、この第三の技術によるフォーカス調整には、長い時間を要する。
【００１０】
また、例えば、第一のフォーカス位置での撮像対象が物体Ａばかりであり、第二のフォーカス位置での撮像対象が、物体Ａとはぼけ量が全く異なる物体Ｂばかりであるような場合には、前述の第三の技術によるフォーカス調整の精度が低下する可能性がある。このような場合には、第三の技術によって求められるフォーカス位置毎のぼけ量の指標値における撮像対象物の依存性が高くなってしまうからである。
【００１１】
上述した問題に鑑み、本明細書で後述する撮像装置は、被写体の撮像のためのフォーカスの適切な調整を短時間で行えるようにする。
【課題を解決するための手段】
【００１２】
本明細書で後述する撮像装置に、画像取得部と、エッジ抽出部と、ぼけ評価値検出部と、焦点調整部とを備えているというものがある。ここで、画像取得部は、被写体を撮像して該被写体の画像を取得する。エッジ抽出部は、画像取得部により取得された画像に映っている像のエッジを抽出する。ぼけ評価値検出部は、エッジ抽出部によるエッジの抽出に起因して含まれた、抽出されたエッジの強度の検出値における該エッジの方向の違いに応じた違いを、該エッジの方向に基づいて補正して、該補正後の強度の検出値を、画像のぼけの程度を表しているぼけ評価値として検出する。そして、焦点調整部は、画像取得部が被写体を撮像する際の焦点位置の設定を、ぼけ評価値検出部が検出したぼけ評価値に基づいて調整する。
【００１３】
また、本明細書で後述する画像評価方法に、画像のぼけの評価を行うというものがある。この画像評価方法では、まず、画像のぼけの評価を行う装置が備えている画像取得部が、カメラが被写体を撮像して獲得した該被写体の画像を取得する。次に、この装置が備えているエッジ抽出部が、前記被写体の像のエッジを抽出する画像処理を前記画像に対して施す。次に、この装置が備えているエッジ強度補正部が、エッジ抽出部によるエッジを抽出する画像処理に起因して含まれた、抽出されたエッジの強度の検出値における該エッジの方向の違いに応じた違いを、該エッジの方向に基づいて補正する。そして、この装置が備えているぼけ評価部が、この画像のぼけの程度を、補正後のエッジの強度の検出値を用いて評価して評価結果を得る。
【００１４】
また、本明細書で後述する焦点調整制御プログラムに、カメラの焦点位置の設定の調整をコンピュータに行わせるためのものがある。この焦点調整制御プログラムは、画像取得手段と、エッジ抽出手段と、ぼけ評価値検出手段と、焦点調整手段としてコンピュータを機能させるためのものである。ここで、画像取得手段は、カメラが被写体を撮像して獲得した該被写体の画像を取得する。エッジ抽出手段は、画像取得手段により取得された画像に映っている像のエッジを抽出する。ぼけ評価値検出手段は、エッジ抽出手段によるエッジの抽出に起因して含まれた、抽出されたエッジの強度の検出値における該エッジの方向の違いに応じた違いを、該エッジの方向に基づいて補正して、該補正後の強度の検出値を、その画像のぼけの程度を表しているぼけ評価値として検出する。そして、焦点調整手段は、カメラの焦点位置の設定を、ぼけ評価値検出手段により検出されたぼけ評価値に基づいて調整する。
【発明の効果】
【００１５】
本明細書で後述する撮像装置は、被写体の撮像のためのフォーカスの適切な調整を短時間で行えるという効果を奏する。
【図面の簡単な説明】
【００１６】
【図１】撮像装置の一実施例の構成図である。
【図２】ソーベルフィルタを表した図である。
【図３】エッジ方向の違いによるエッジ強度の検出値の違いを説明する図である。
【図４】エッジ方向とエッジ強度との関係の実測例である。
【図５】補正テーブルの例である。
【図６】画像監視システムの設置例を説明する図である。
【図７】画像監視システムの構成の第一の例である。
【図８】フォーカスのずれの方向の検出手法を説明する図である。
【図９】フォーカスずれ量算出部の詳細構成図である。
【図１０】エッジを表現している画素のエッジ方向毎の分類を説明する図である。
【図１１】エッジ方向に応じた正規化の前後でのエッジ強度の関係を表したグラフの例である。
【図１２】ずれ量推定テーブルで表されるエッジ強度とフォーカス位置ずれ量との対応関係を表したグラフの一例である。
【図１３】画像監視システムの構成の第二の例である。
【図１４】撮像対象物の位置関係と撮像画像上での撮像対象物の構図の関係を説明する図である。
【図１５】フォーカス調整方向検出テーブルの例である。
【図１６】コンピュータの構成の一例である。
【発明を実施するための形態】
【００１７】
これより説明する実施形態に係る撮像装置は、例えば、固定設置して所定の範囲（監視エリア）を撮像し、その監視エリアを通過する被写体の認識を自動で行う、以下［１］から［４］のような条件の下で使用される画像監視システムでの使用に好適なものである。
［１］被写体が監視エリアに入ってきてはすぐに通り過ぎていくため、同一の被写体が撮像されるのは最短で１フレームである。
［２］監視エリアに入ってくる被写体である移動体は毎回異なる。例えば、この画像監視システムを車両の通行の監視に用いる場合、監視エリアに入ってくる車両は毎回異なる。また、例えば、この画像監視システムを人物の監視に用いる場合、監視エリアに入ってくる人物は毎回異なる。
［３］監視エリア内の異なる２色の撮像対象物（例えば、文字や記号、バーコードなどが表示されている物体）の認識に十分である程度にフォーカス調整を行う。
［４］監視エリアの奥行き範囲は撮像距離に比べて十分に狭く、監視エリアの中央にフォーカスを調整すれば、監視エリアは被写界深度内に納まる。
【００１８】
後述する本実施形態に係るこの撮像装置は、上述したような条件の下でも、設置時のフォーカス調整や、経年変化などによるフォーカスずれの検出及び修正を自動的に短時間で行う機能を提供する。
【００１９】
図１について説明する。図１は撮像装置の一実施例の構成図である。
図１の撮像装置は、画像取得部１１、エッジ抽出部１２、ぼけ評価値検出部１３、及び焦点調整部１４を備えている。
【００２０】
画像取得部１１は、被写体を撮像して、その被写体の画像を取得する処理を行う。
エッジ抽出部１２は、画像取得部１１により取得された画像に映っている像のエッジを抽出する処理を行う。
【００２１】
ぼけ評価値検出部１３は、エッジ抽出部１２により抽出されたエッジの強度をそのエッジの方向に基づいて補正して、その補正後の強度を、画像のぼけの程度を表しているぼけ評価値として検出する処理を行う。
焦点調整部１４は、画像取得部１１が被写体を撮像する際の焦点位置の設定を、ぼけ評価値検出部１３が検出したぼけ評価値に基づいて調整する処理を行う。
【００２２】
このように、この撮像装置では、撮像画像から抽出される撮像対象物の像のエッジの強度を、そのエッジの方向に応じて補正した値を、ぼけ評価値として求め、このほけ評価値を用いて焦点（フォーカス）の位置の調整を行う。詳細は後述するが、このようにして求めるぼけ評価値は、撮像対象物に対する依存性が極めて低いぼけ量の評価値として使用することができる。
なお、図１に描かれているように、この撮像装置が焦点ずれ方向検出部１５を備えるようにしてもよい。
【００２３】
焦点ずれ方向検出部１５は、画像取得部１１が異なる焦点位置の設定の下で撮像して得た２枚の画像の各々についてぼけ評価値検出部１３が検出したぼけ評価値に基づいて、画像取得部１１が被写体を撮像する際の焦点位置のずれの方向を検出する処理を行う。より具体的には、焦点ずれ方向検出部１５は、画像取得部１１が２枚の画像の各々を撮像したときの焦点位置のずれ量をぼけ評価値に基づいて求め、この各画像についての焦点位置のずれ量の大小比較の結果に基づいて、焦点位置のずれの方向を検出する処理を行う。
【００２４】
なお、画像取得部１１が、被写体の移動方向に対向する向きの上方から被写体を撮像して被写体を斜視した画像を取得する場合には、焦点ずれ方向検出部１５は、画像取得部１１が被写体を撮像する際の焦点位置のずれの方向を、次のようにして検出してもよい。この場合には、焦点ずれ方向検出部１５は、画像取得部１１が取得した第一の画像と、画像取得部１１が第一の画像の取得の際と同一の焦点位置の設定で取得した第二の画像とに基づいて焦点位置のずれの方向を検出する処理を行う。より具体的には、この方向の検出は、第一の画像に映っている第一の被写体の像と、第二の画像に映っている、第一の被写体とは異なる第二の被写体の像との各々についての画像上での特徴に基づいて行われる。この方向の検出に用いられる特徴としては、例えば、それぞれの像についての、画像上の位置と、ぼけ評価値検出部１３により検出される評価値との関係がある。
【００２５】
次に、図１の画像装置におけるぼけ評価値検出部１３が検出するぼけ評価値が、撮像対象物に対する依存性が極めて低いぼけ量の評価値として使用できる理由について説明する。
【００２６】
画像のぼけの評価尺度として、エッジ強度が利用できることは広く知られている。このエッジ強度は画像中の撮像対象物の像のエッジ部分の画素の輝度値より算出される値であるが、エッジの方向が異なると、実際には同一であるはずのこのエッジ強度の値が異なる値となって検出されてしまうことがある。
【００２７】
エッジ強度は、基本的には、注目画素の周囲の隣接画素の輝度値の差分（微分値）を用いて表現される。このエッジ強度を求めるためにフィルタがしばしば使用され、このフィルタと隣接画素の輝度値との畳み込み演算を行うことでエッジ強度が求まる。このフィルタには、エッジ強度を得るために使用する隣接画素の選択の違いや、画像に含まれるノイズ成分を抑制する手法の違いなどにより、幾つかの種類のものが提案されている。
【００２８】
図２には、このようなフィルタの一例である、ソーベル（Sobel）フィルタを表している。ソーベルフィルタは、エッジの抽出を行うと共に、中央の画素に重みを付けた平均化によりノイズを低減するという特徴も備えている。
【００２９】
図２において、（１）は、縦方向のエッジ抽出に使用されるソーベルフィルタであり、注目画素に対する画像の縦方向の隣接画素の輝度値の微分値を求めて縦方向のエッジ抽出を行うものである。従って、この（１）のフィルタを用いてエッジ強度を求めると、そのエッジ強度の検出値は、縦方向のエッジに対して大きな値となるが、横方向のエッジに対しては小さな値となってしまう。
【００３０】
また、図２において、（２）は、横方向のエッジ抽出に使用されるソーベルフィルタであり、注目画素に対する画像の横方向の隣接画素の輝度値の微分値を求めて縦方向のエッジ抽出を行うものである。従って、この（２）のフィルタを用いてエッジ強度を求めると、そのエッジ強度の検出値は、横方向のエッジに対して大きな値となるが、縦方向のエッジに対しては小さな値となってしまう。
【００３１】
このように、隣接画素の輝度値の微分値を得るフィルタを用いてエッジ強度を求める場合には、どのようなフィルタを使っても、エッジ強度の検出値は、エッジの方向に依存してしまう。
【００３２】
このエッジ方向の依存性を少なくするために、縦方向のエッジ抽出用のフィルタを用いて得られる結果と、横方向のエッジ抽出用のフィルタを用いて得られる結果とを組み合わせたエッジ強度の検出が広く行われている。例えば、図２の（１）のソーベルフィルタを用いて得られた縦方向のエッジの強度をｄｙとし、（２）のソーベルフィルタを用いて得られた横方向のエッジの強度をｄｘとしたときに、下記の式の値Ｅをエッジ強度の検出結果とする。
【数１】
0005664078.tif 000002
【００３３】
この［数１］式を用いてエッジ強度を検出すれば、求まる値の、横方向のエッジと縦方向のエッジとの間での違いは吸収される。しかし、横方向及び縦方向から傾いた斜め方向のエッジについては、［数１］式を用いてエッジ強度を検出しても、その検出値の違いを吸収しきれない場合がある。
【００３４】
例えば、図３に例示した画像において、（１−１）の画像における四角形で囲まれた部分には、縦方向のエッジが存在している。一方、（２−１）の画像における四角形で囲まれた部分には、（１−１）のエッジの方向からわずかに傾いた斜め方向のエッジが存在している。なお、図３において、（１−２）は、（１−１）の画像における四角形で囲まれた部分を拡大したものであり、（２−２）は、（２−１）の画像における四角形で囲まれた部分を拡大したものである。
【００３５】
この（２−１）の９個の画素と（２−２）の９個の画素とを比較すると、上行の３個及び下行の３個の画素は、輝度値が両者で同一である。従って、この部分の縦方向のエッジの強度を、図２の（１）のソーベルフィルタを用いて求めると、エッジ強度の検出値は、（１−２）の場合と（２−２）の場合とで同一の値となる。ところが、中行の３個の画素の輝度は、（１−２）と（２−２）との間で異なっている。このため、この部分の横方向のエッジの強度を、図２の（２）のソーベルフィルタを用いて求めると、エッジ強度の検出値は、（１−２）の場合と（２−２）の場合とで異なる値となってしまう。
【００３６】
ここで図４について説明する。図４は、ある撮像対象物についての画像から検出されるエッジについての、エッジ方向とエッジ強度との関係を表したグラフである。
図４の２つのグラフにおいて、横軸は、画像から複数抽出されるエッジ各々の角度を表している。また、図４において、（１）のグラフの縦軸は、各エッジについて前掲した［数１］式を用いて求めたエッジ強度のうちの最大値を表しており、（２）のグラフの縦軸は、各エッジについて前掲した［数１］式を用いて求めたエッジ強度の平均値を表している。なお、どちらのグラフにも、異なるフォーカス位置において撮像対象物を撮像した画像からのエッジ強度の検出値を、それぞれ「ぼけ１」と「ぼけ２」として表示している。
【００３７】
この図４のどちらのグラフを見ても分かるように、本来はエッジの方向に関わらず同一値が検出されるはずであるエッジ強度が、その最大値と平均値とのどちらにおいても、エッジの方向に依存してしまっていることが分かる。しかし、この図４のグラフを参照すれば、エッジ強度の検出値がエッジの方向によってどの程度違うのかを求めることができることが分かる。
【００３８】
そこで、図１の撮像装置のぼけ評価値検出部１３は、前述したようなフィルタを用いて求めた撮像画像のエッジ強度の検出値に、そのエッジの方向に応じた変換係数を乗算して補正し、その補正後のエッジ強度を、その撮像画像についてのぼけ評価値とする。より具体的には、エッジの方向の違いとエッジ強度の検出値の違いとの関係を、予めシミュレーションにより算出しておき、若しくは予め実測しておき、その算出結果若しくは実測結果を表している、図５に例示するような変換係数テーブルを作成しておく。作成した補正テーブルはぼけ評価値検出部１３に予め備えておくようにする。その後、ぼけ評価値を求めるときには、ぼけ評価値検出部１３は、この変換係数テーブルから、エッジの方向に応じた変換係数を抽出し、前述したようなフィルタを用いて求めた撮像画像のエッジ強度の検出値に、変換係数テーブルから抽出した変換係数を乗算する。ぼけ評価値検出部１３は、このようにして画像のぼけ評価値を求める。
【００３９】
このようにして求められるフォーカス位置毎のぼけ評価値は、同一のフォーカス位置であれば、エッジの方向が異なっても、ほぼ同一の値となるので、このぼけ評価値とフォーカス位置ずれ量とは一対一に対応すると考えることができる。そこで、図１の撮像装置では、ぼけ評価値とフォーカス位置ずれ量の関係を焦点調整部１４に予め記録しておくようにして、ぼけ評価値からフォーカス位置ずれ量の推定を行い、その推定結果に応じてフォーカスの設定の調整を行う。図１の撮像装置は、このようにすることで、フォーカス位置設定を何度も変更しながら撮像を繰り返して得た複数の画像のぼけ量を比較する必要がなくなるので、フォーカス位置調整に要する時間が短縮される。
【００４０】
次に、図１の撮像装置を備えた画像監視システムについて説明する。なお、ここでは、車両が通行する道路の監視において、当該車両に取り付けられているナンバープレートの文字認識を行う画像監視システムに、この撮像装置を備えた場合の例を説明する。
【００４１】
画像監視システムでナンバープレートの文字認識を行う場合、図６に例示するように、被写体である自動車１を撮像して自動車１の画像を取得するカメラ２は、その撮像方向が、水平面に対して斜め下向きの方向に向けて設置され、ある監視エリアの撮像を行う。つまり、このように設置されたカメラ２は、自動車１の移動方向に対向する向きの上方から自動車１を撮像して自動車１を斜視した画像を取得する。
【００４２】
画像監視システムは、その監視エリア内に入ってカメラ２により撮像された自動車１のナンバープレートに描かれている文字を認識する。但し、被写体である自動車１は移動体であるため、カメラ２による撮像画像に自動車１が映るのは数フレームのみである。従って、前述したような静止物体を対象としたオートフォーカスでは、適切なフォーカス位置の設定を行うことができず、監視エリアの位置に予めフォーカスを合わせておく必要がある。
【００４３】
ここで図７について説明する。図７は、画像監視システムの構成の第一の例である。
この画像監視システムは、カメラ２が接続されている撮像部２０と、認識部３０とを備えており、カメラ２により撮像された自動車１のナンバープレートに描かれている文字を認識して、その認識結果を出力する。
【００４４】
撮像部２０は、図６のように設置されているカメラ２のフォーカス位置の調整制御や、カメラ２の撮影動作制御を行う。
撮像部２０は画像入力部２１を備えている。画像入力部２１は、撮像画像の入力を取得し、取得した撮像画像を認識部３０に転送する処理を行う。この撮像部２０とカメラ２とにより、図１の画像取得部１１が構成されている。
【００４５】
認識部３０は、ナンバープレート切り出し部３１、フォーカスずれ量算出部３２、仮調整判定部３３、フォーカス仮調整部３４、フォーカスずれ方向検出部３５、フォーカス調整部３６、ナンバープレート認識部３７、及び認識結果出力部３８を備えている。
【００４６】
ナンバープレート切り出し部３１は、画像入力部２１から転送されてくる撮像画像に自動車１が映っている場合に、自動車１のナンバープレート部分の画像を切り出す画像処理を行う。なお、本実施形態では、このナンバープレート部分の画像を撮像画像から切り出す手法は、広く知られている周知の手法（例えば、前掲した特許文献４や特許文献５に記載されている手法）を採用する。
【００４７】
フォーカスずれ量算出部３２は、ナンバープレート切り出し部３１が切り出したナンバープレート部分画像における、プレートに描かれている文字の像のエッジ情報を用いて、撮像画像の撮像時におけるカメラ２のフォーカス位置のずれ量を推定する処理を行う。このフォーカスずれ量算出部３２の詳細は後述する。
【００４８】
仮調整判定部３３は、フォーカス仮調整部３４によるフォーカス位置の仮調整が既に行われているか否かを判定する処理を行う。そして、仮調整が未だ行われていないと判定した場合（判定結果がＮｏの場合）には、フォーカス仮調整部３４にカメラ２のフォーカス位置の仮調整のための処理を行わせる。一方、仮調整が既に行われていると判定した場合（判定結果がＹｅｓの場合）には、フォーカスずれ方向検出部３５にフォーカス位置のずれの方向の検出の処理を行わせる。
【００４９】
フォーカス仮調整部３４は、予め定めておいたフォーカス位置の調整方向へ、フォーカスずれ量算出部３２が算出したフォーカス位置ずれ量よりも十分小さい量だけ、カメラ２のフォーカス位置を移動する調整の指示を、撮像部２０に与える処理を行う。撮像部２０は、この指示を受け取ると、カメラ２を制御する処理を行って、指示に応じた調整方向及び移動量だけフォーカス位置を移動させる調整を行う。
【００５０】
フォーカスずれ方向検出部３５は、フォーカス位置のずれの方向の検出処理を行う。そして、フォーカス調整部３６は、フォーカスずれ方向検出部３５が通知した調整方向へ、フォーカスずれ量算出部３２が算出したフォーカス位置ずれ量に相当する調整量だけ、カメラ２のフォーカス位置を移動する調整の指示を、撮像部２０に与える処理を行う。撮像部２０は、この指示を受け取ると、カメラ２を制御する処理を行って、指示に応じた調整方向及び移動量だけフォーカス位置を移動させる調整を行う。このようにして、図１の焦点調整部１４の機能が提供される。
【００５１】
ナンバープレート認識部３７は、ナンバープレート切り出し部３１から出力されるナンバープレート部分画像に描かれている文字に対して文字認識処理を行う。認識結果出力部３８は、ナンバープレート認識部３７による文字認識の結果を出力する処理を行う。
【００５２】
次に、フォーカスずれ方向検出部３５による、フォーカス位置のずれの方向の検出手法について、図８を参照しながら説明する。
なお、フォーカス位置の設定の調整が行われる前のカメラ２により取得された撮像画像に基づいてフォーカスずれ量算出部３２が算出したフォーカス位置ずれ量をａ１とする。また、フォーカス仮調整部３４が撮像部２０に行わせる仮調整が行われた後のフォーカス位置の設定の下でカメラ２により取得された撮像画像に基づいてフォーカスずれ量算出部３２が算出したフォーカス位置ずれ量をａ２とする。なお、図８において、［１］は、フォーカス仮調整部３４に予め定められていた調整方向が、フォーカス位置をカメラ２に近づける方向とされていた場合の例である。また、［２］は、その調整方向が、フォーカス位置をカメラ２から遠ざける方向とされていた場合の例である。
【００５３】
まず、フォーカスずれ方向検出部３５は、ａ１とａ２との大小比較を行う。
ここで、図８の［１］の場合のように、ａ２がａ１よりも小さい場合、すなわち、仮調整後の方が仮調整前よりもフォーカス位置ずれ量が小さい場合には、仮調整でのフォーカス位置の調整方向（フォーカス位置をカメラ２に近づける方向）は正しいとの判定を下す。そして、この場合には、フォーカスずれ方向検出部３５は、仮調整と同一の調整方向をフォーカス調整部３６に通知する。
【００５４】
一方、［２］の場合のように、ａ２がａ１よりも大きい場合、すなわち、仮調整前の方が仮調整後よりもフォーカス位置ずれ量が小さい場合には、仮調整でのフォーカス位置の調整方向（フォーカス位置をカメラ２から遠ざける方向）は誤っていたとの判定を下す。そして、この場合には、フォーカスずれ方向検出部３５は、仮調整での調整方向とは逆向きの調整方向（すなわち、フォーカス位置をカメラ２に近づける方向）をフォーカス調整部３６に通知する。
【００５５】
フォーカス調整部３６は、このような通知を受けた場合には、フォーカス位置を、調整前の位置から、カメラ２に近づける調整方向へ、フォーカス位置ずれ量ａ１に相当する調整量だけ、カメラ２のフォーカス位置を移動する調整の指示を、撮像部２０に与える。撮像部２０は、この指示を受け取ると、カメラ２を制御して、指示に応じた調整方向及び移動量だけフォーカス位置を移動させる調整を行う。
【００５６】
フォーカスずれ方向検出部３５は、以上のようにして、カメラ２が異なる焦点位置の設定の下で撮像して取得した２枚の画像の各々についてのぼけ評価値に基づいた、焦点位置のずれの方向の検出が行われ、図１の焦点ずれ方向検出部１５の機能が提供される。
【００５７】
次に、フォーカスずれ量算出部３２の詳細について説明する。図９は、フォーカスずれ量算出部３２の詳細構成図である。
フォーカスずれ量算出部３２は、エッジ方向分類部４１、方向別ぼけ評価値算出部４２、ぼけ評価値算出部４３、及びフォーカスずれ量出力部４４を備えている。
【００５８】
エッジ方向分類部４１は、まず、図１０のように、ナンバープレート部分画像を構成している画素のうち、ナンバープレートに描かれている文字の像のエッジを表現している画素を、そのエッジ方向毎に、所定数のグループに分類する処理を行う。
【００５９】
なお、画素のエッジ方向を示す値は、例えば下記の［数２］式により算出することができる。
【数２】
0005664078.tif 000003
【００６０】
この［数２］式において、ｄｘは水平方向（横方向）のエッジ勾配を表しており、ｄｙは垂直方向（縦方向）のエッジ勾配を表している。このｄｘ及びｄｙは、注目画素と当該注目画素に隣接する８個の隣接画素とからなる計９個の画素の輝度値と、図２に提示した２つのソーベルフィルタの係数の各々との畳み込み演算をすることで算出することができる。
【００６１】
次に、エッジ方向分類部４１は、［数２］式により算出された角度θに対し、エッジ方向のグループ毎のラベル付けを行う。このとき、エッジの強度が所定の閾値未満である画素については、エッジを表現するものではないとの判定を下し、ラベル付けは行わない。なお、エッジの強度は、例えば下記の［数３］式により算出することができる。
【数３】
0005664078.tif 000004
【００６２】
図１０の例では、画素Ａは、そのエッジ方向に基づき「方向２」のグループに分類されて「方向２」のラベルが付され、画素Ｂは、そのエッジ方向に基づき「方向１」のグループに分類されて「方向１」のラベルが付されることを表している。なお、画素Ｃは、エッジを表現している画素ではないと判定される結果、分類は行われない。
【００６３】
以上の処理を行って、ナンバープレート部分画像から、ナンバープレートに描かれている文字の像のエッジの抽出を行うエッジ方向分類部４１は、図１のエッジ抽出部１２の機能を提供する。
【００６４】
図９の説明に戻る。
方向別ぼけ評価値算出部４２は、まず、前述したエッジ方向のグループ毎に、そのグループに属する画素のエッジ強度を、前掲した［数３］式を用いて算出する処理を行う。次に、方向別ぼけ評価値算出部４２は、エッジ方向のグループ毎に、そのグループに属する画素のエッジ強度の代表値を算出する処理を行う。この代表値としては、例えば、そのグループに属する画素のエッジ強度の加算平均値を求めてもよく、あるいは、そのグループに属する画素のエッジ強度のうちの最大値を、その代表値としてもよい。
【００６５】
次に、方向別ぼけ評価値算出部４２は、以上のようにして求めたエッジ方向のグループ毎のエッジ強度の代表値を補正して、その方向についてのぼけ評価値（方向別ぼけ評価値）を算出する処理を行う。なお、この処理では、後述する事前準備により作成して方向別ぼけ評価値算出部４２に予め備えておいた補正テーブルを用いる。
【００６６】
ぼけ評価値算出部４３は、方向別ぼけ評価値算出部４２が算出した方向別ぼけ評価値に基づき、ナンバープレート部分画像が切り出された撮像画像についてのぼけ評価値を算出する処理を行う。本実施形態では、ぼけ評価値算出部４３は、前述したエッジ方向の各グループに分類された画素の数をグループ毎に計数し、その数が最大である方向についての方向別ぼけ評価値を、ナンバープレート部分画像が切り出された撮像画像についてのぼけ評価値とする。なお、この代わりに、例えば、各グループについての方向別ぼけ評価値について、各グループに分類された画素の数に応じた重み付けを行った上で、その加算平均を求め、得られた平均値を、撮像画像についてのぼけ評価値としてもよい。
【００６７】
なお、方向別ぼけ評価値算出部４２により算出した方向別ぼけ評価値は、エッジ方向に依存しない値であるので、どの方向のものを、撮影画像全体のぼけ評価値としてもよい。但し、エッジの方向によってはグループに属する画素が全く存在しない、あるいは極めて少ない場合もあり得るので、本実施形態では、ぼけ評価値算出部４３が、上述したようにしてぼけ評価値の算出を行うようにしている。
【００６８】
以上の方向別ぼけ評価値算出部４２とぼけ評価値算出部４３との組合せにより、図１のぼけ評価値検出部１３の機能が提供され、ナンバープレート部分画像から抽出された文字の像のエッジ強度が、そのエッジ方向に基づいて補正されてぼけ評価値の検出が行われる。
【００６９】
フォーカスずれ量出力部４４は、ぼけ評価値算出部４３により算出されたぼけ評価値から、撮像画像の撮像時におけるカメラ２のフォーカス位置のずれ量の推定を行って、そのずれ量の推定結果を出力する処理を行う。なお、このフォーカス位置のずれ量の推定は、ずれ量推定テーブルを用いて行い、このために、このテーブルは、フォーカスずれ量出力部４４に予め備えておくようにする。ずれ量推定テーブルは、ぼけ評価値とずれ量の推定値との関係を表しているテーブルであり、後述する事前準備により作成しておく。
【００７０】
次に、方向別ぼけ評価値算出部４２に備えておく補正テーブルと、フォーカスずれ量出力部４４に備えておくずれ量推定テーブルとを作成する事前準備について説明する。
まず、補正テーブルの作成について説明する。この補正テーブルは、エッジの方向の違いとエッジ強度の検出値の違いとの関係を表すものである。ここでは、この補正テーブルとして、補正の前後におけるエッジの強度の値についての対応関係が示されている補正テーブルを、前述したエッジの方向のグループ毎に作成する。このような補正テーブルをシミュレーションにより作成する場合には、例えば以下のようにして行う。
【００７１】
まず、エッジの方向が角度θである直線状の対象物の画像（直線画像）を作成し、この画像に対して平滑化の画像処理を行ってぼけた画像を生成する。このぼけ画像を生成する画像処理は、例えば、ガウシアンのモデルを利用した、下記の［数４］式の演算を行う処理である。
【数４】
0005664078.tif 000005
【００７２】
この［数４］式において、Ｌ（ｘ，ｙ）及びＬ’（ｘ，ｙ）は、画素（ｘ，ｙ）の輝度をそれぞれ表している。また、σは、ぼけの程度を表すパラメータであり、その値が大きいほどぼけの程度が大きくなる。
【００７３】
ここで、エッジの方向が角度θである直線画像Ｉθ,０を、［数４］式を用いてぼかした画像をＩθ,σとする。この画像Ｉθ,σを構成している各画素のエッジ強度Ｅθ,σは、図５の左側の棒グラフのように、エッジ方向の違いによって違った値となる。このエッジ強度Ｅθ,σが、図５の右側の棒グラフのように一定の値になれば、エッジ方向の違いによらないものとなる。
【００７４】
そこで、下記の［数５］式の計算を行って、エッジ強度の変換係数Ｃθ,σを用意する。
【数５】
0005664078.tif 000006
【００７５】
この変換係数Ｃθ,σを、エッジの方向が角度θであるときのエッジ強度（正規化前のエッジ強度）Ｅθ,σに乗算して得られる正規化後のエッジ強度は、エッジの方向が０°である場合と同じ強度になるように補正されたものになる。従って、この正規化後エッジ強度は、エッジの方向に依存しない値となる。
【００７６】
以上のようなシミュレーションによって求められる正規化前エッジ強度と正規化後エッジ強度との対応関係は、図１１に例示するグラフのような関係となる。そこで、このグラフに表されている対応関係を補正テーブルとして作成する。この補正テーブルをエッジ方向のグループ数分用意することで、全てのエッジ方向についてのエッジ強度を補正して、そのエッジ方向に依存しない方向によらない方向別ぼけ評価値に変換することができる。
【００７７】
なお、以上のようにして補正テーブルをシミュレーションにより作成する代わりに、実測を行って補正テーブルを作成してもよい。
また、この補正テーブルとしては、正規化後エッジ強度Ｃθ,σＥθ,σの代わりに、変換係数Ｃθ,σが用意されていてもよい。なお、この変換係数テーブルを用いる場合には、方向別ぼけ評価値算出部４２は、エッジ強度の検出値に、そのエッジの方向とエッジ強度の検出値に応じた変換係数を乗算し、算出された値を、その撮像画像についてのぼけ評価値とする。
【００７８】
次に、ずれ量推定テーブルの作成について説明する。前述したように、ずれ量推定テーブルは、ぼけ評価値とずれ量の推定値との関係を表しているテーブルである。
まず、例えば縞模様のような、ある特定の方向のエッジを持つ対象物を用意し、その対象物を、フォーカス位置設定を変化させながらカメラ２で複数回撮像する。そして、得られた各画像のエッジ強度（前述した正規化後エッジ強度）を算出し、そのエッジ強度とフォーカス位置ずれ量との対応関係を記録する。図１２は、この対応関係を表したグラフの一例である。このグラフに表されている対応関係をずれ量推定テーブルとして作成する。なお、ずれ量推定テーブルは、正規化後エッジ強度とフォーカス位置ずれ量との対応関係を表しているもののみを作成すれば十分であり、前述したエッジの方向のグループ毎の作成は不要である。
【００７９】
ずれ量推定テーブルは、例えば以上のようにして作成する。フォーカスずれ量出力部４４は、このようにして作成されたずれ量推定テーブルを参照し、エッジ強度に対応付けられているフォーカス位置の推定ずれ量を当該テーブルから取得することで、フォーカス位置ずれ量の推定を行う。
【００８０】
次に図１３について説明する。図１３は、画像監視システムの構成の第二の例である。
この第二の例において、図７に図解した第一の例におけるものと同一の機能を有している構成要素には同一の符号を付しており、これらについては詳細な説明を省略する。
【００８１】
図１３の構成は、仮調整判定部３３が画像判定部５１に置き換えられている点と、フォーカス仮調整部３４が削除されている点とにおいて、図７に図解した構成と異なっている。また、図１３におけるフォーカスずれ方向検出部５２は、フォーカス位置のずれの方向の検出処理を行うものであるが、その検出手法が、図７に図解した第一の例におけるフォーカスずれ方向検出部３５と異なっている。そこで、ここでは、この検出手法について説明する。
【００８２】
前述したように、画像監視システムのカメラ２は、図６に例示するように、その撮像方向が水平面に対して斜め下向きの方向に向けて設置されている場合には、自動車１の移動方向に対向する向きの上方から自動車１を撮像して自動車１を斜視した画像を取得する。従って、このように設置されているカメラ２で取得される撮像画像では、カメラ２の設置位置から遠くに位置している自動車１の像が画像の上側に配置される構図になり、カメラ２の設置位置から近くに位置している自動車１の像が画像の下側に配置される構図になる。この構図の関係を、図１４を用いて説明する。
【００８３】
図１４において、三角形状の撮像対象物は、丸形状の撮像対象物よりも、カメラ２からは遠くに位置している。このような位置関係の下でカメラ２により得られる撮像画像は、三角形状の撮像対象物が丸形状の撮像対象物よりも画像上で上側に配置される構図になる。
【００８４】
図１３におけるフォーカスずれ方向検出部５２は、このような撮像画像上での撮像対象物の位置関係を利用することで、フォーカス位置の仮調整を行わずに、フォーカス位置のずれの方向の検出を行う。
【００８５】
図１３において、フォーカスずれ量算出部３２は、ナンバープレート部分画像における、プレートに描かれている文字の像のエッジ情報を用いて撮像画像の撮像時におけるカメラ２のフォーカス位置のずれ量を推定する処理を、前述したようにして行う。
【００８６】
画像判定部５１は、カメラ２が、２つの被写体を撮像して撮像画像を取得したか否かを判定する処理を行う。本実施形態では、画像判定部５１は、カメラ２が、２台の自動車１の各々のナンバープレートが映っている撮像画像を取得したか否かを判定する処理を行う。なお、この２台の自動車１の各々のナンバープレートが映っている撮像画像は、１台ずつの自動車１のナンバープレートが映っている２枚の撮像画像でもよく、また、２台の自動車１の両方のナンバープレートが映っている１枚の撮像画像でもよい。ここで、所望の撮像画像が取得されたと判定した場合（判定結果がＹｅｓの場合）には、フォーカスずれ方向検出部５２にフォーカス位置のずれの方向の検出の処理を行わせる。一方、所望の撮像画像が未だ取得されていないと判定した場合（判定結果がＮｏの場合）には、撮像部２０に指示を与え、カメラ２による自動車１の撮像を行わせる。なお、このときの自動車１の撮像では、カメラ２のフォーカス位置の設定は変更しない。
【００８７】
フォーカスずれ方向検出部５２は、まず、２枚のナンバープレート部分画像のフォーカス位置ずれ量ａ１及びａ２をフォーカスずれ量算出部３２から取得し、更に、各ナンバープレート部分画像の撮像画像上での縦方向の位置を表す座標ｙ１及びｙ２を取得する。そして、図１５のフォーカス調整方向検出テーブルを参照し、ａ１とａ２との大小関係及びｙ１とｙ２との大小関係とに対応付けられているフォーカス位置の調整の方向を、当該テーブルから抽出してその検出結果として、フォーカス調整部３６に通知する。
【００８８】
図１５のフォーカス調整方向検出テーブルを参照すると、例えば、フォーカス位置ずれ量はａ１がａ２よりも小さく、撮像画像上の位置はｙ１がｙ２よりも小さい（すなわち撮像画像上においてｙ１がｙ２よりも上側に位置している）場合には、「手前」となる。すなわち、この場合には、カメラ２から遠いナンバープレートの像の方が、カメラ２に近いナンバープレートの像よりもフォーカス位置ずれ量が少なくなっているので、現在フォーカスは「奥」にずれていることが分かり、フォーカス位置の調整の方向は、「手前」、すなわち、カメラ２に近づく方向となる。
【００８９】
フォーカス調整部３６は、このような通知を受けた場合には、フォーカス位置を、調整前の位置から、カメラ２に近づける調整方向へ、フォーカス位置ずれ量に相当する調整量だけ、カメラ２のフォーカス位置を移動する調整の指示を、撮像部２０に与える。撮像部２０は、この指示を受け取ると、カメラ２を制御して、指示に応じた調整方向及び移動量だけフォーカス位置を移動させる調整を行う。
【００９０】
以上のように、図１３の画像監視システムでは、まず、カメラ２が、第一の画像と第二の画像とを同一のフォーカス位置の設定の下で取得する。ここで、第一の画像には、自動車１のナンバープレートの像を映し、第二の画像には、第一の画像に映っているものとは異なる自動車１のナンバープレートの像を映す。但し、第一の画像と第二の画像とは同一の画像でもよい。このときに、フォーカスずれ方向検出部５２は、第一の画像に映っているナンバープレートの像についての、第一の画像上の位置と、フォーカスずれ量算出部３２が算出したフォーカス位置のずれ量とを取得する。更に、フォーカスずれ方向検出部５２は、第一の画像に映っているナンバープレートの像についても、第二の画像上の位置と、フォーカスずれ量算出部３２が算出したフォーカス位置のずれ量とを取得する。そして、これらの位置の情報とフォーカス位置のずれ量の情報とに基づいて、フォーカス位置のずれの方向を検出する。図１３の画像監視システムでは、以上のようにして、フォーカス位置の仮調整を行わずに、フォーカス位置のずれの方向の検出を可能にしている。
【００９１】
なお、以上までに説明した図１の撮像装置、並びに図７及び図１３の画像監視システムの各構成要素を、標準的な構成のコンピュータを用いて構成することができる。
ここで図１６について説明する。図１６には、コンピュータの構成の一例が図解されている。
【００９２】
このコンピュータ６０は、ＭＰＵ６１、ＲＯＭ６２、ＲＡＭ６３、ハードディスク装置６４、入力装置６５、表示装置６６、インタフェース装置６７、及び記録媒体駆動装置６８を備えている。なお、これらの構成要素はバスライン６９を介して接続されており、ＭＰＵ６１の管理の下で各種のデータを相互に授受することができる。
【００９３】
ＭＰＵ（Micro Processing Unit）６１は、このコンピュータ６０全体の動作を制御する演算処理装置である。
ＲＯＭ（Read Only Memory）６２は、所定の基本制御プログラムが予め記録されている読み出し専用半導体メモリである。ＭＰＵ６１は、この基本制御プログラムをコンピュータ６０の起動時に読み出して実行することにより、このコンピュータ６０の各構成要素の動作制御が可能になる。
【００９４】
ＲＡＭ（Random Access Memory）６３は、ＭＰＵ６１が各種の制御プログラムを実行する際に、必要に応じて作業用記憶領域として使用する、随時書き込み読み出し可能な半導体メモリである。
【００９５】
ハードディスク装置６４は、ＭＰＵ６１によって実行される各種の制御プログラムや各種のデータを記憶しておく記憶装置である。ＭＰＵ６１は、ハードディスク装置６４に記憶されている所定の制御プログラムを読み出して実行することにより、各種の制御処理を行えるようになる。
【００９６】
入力装置６５は、例えばキーボード装置やマウス装置である。入力装置６５は、例えば図１の撮像装置や図７及び図１３の画像監視システムの管理者により操作されると、その操作内容に対応付けられている管理者からの各種情報の入力を取得し、取得した入力情報をＭＰＵ６１に送付する。
【００９７】
表示装置６６は例えば液晶ディスプレイであり、ＭＰＵ６１から送付される表示データに応じて各種のテキストや画像を表示する。
インタフェース装置６７は、このコンピュータ６０に接続される各種機器との間での各種情報の授受の管理を行う。例えば、図７及び図１３の画像監視システムの各構成要素をこのコンピュータ６０で構成する場合には、インタフェース装置６７には、カメラ２が接続されて、撮像画像データやカメラ２の制御データ等の授受が行われる。
【００９８】
記録媒体駆動装置６８は、可搬型記録媒体７０に記録されている各種の制御プログラムやデータの読み出しを行う装置である。ＭＰＵ６１は、可搬型記録媒体７０に記録されている所定の制御プログラムを、記録媒体駆動装置６８を介して読み出して実行することによって、後述する各種の制御処理を行うようにすることもできる。なお、可搬型記録媒体７０としては、例えばＣＤ−ＲＯＭ（Compact Disc Read Only Memory）やＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）、ＵＳＢ（Universal Serial Bus）規格のコネクタが備えられているフラッシュメモリなどがある。
【００９９】
このようなコンピュータ６０を用いて図１の撮像装置を構成するには、例えば、画像取得部１１、エッジ抽出部１２、ぼけ評価値検出部１３、焦点調整部１４、及び焦点ずれ方向検出部１５の各々が行う処理をＭＰＵ６１に行わせるための制御プログラムを作成する。また、コンピュータ６０を用いて図７及び図１３の画像監視システムを構成する場合も同様であり、図７及び図１３の画像監視システムの各構成要素で行われる処理をＭＰＵ６１に行わせるための制御プログラムを作成する。
【０１００】
なお、この制御プログラムには、前述した事前準備により作成した補正テーブル及び焦点ずれ量推定テーブルをハードディスク装置６４に記憶させる処理をＭＰＵ６１に行わせるプログラムを含ませておくようにする。また、前述したように、コンピュータ６０のインタフェース装置６７にはカメラ２を接続しておき、この制御プログラムでは、カメラ２が撮像して得た撮像画像の取り込み処理や、カメラ２のフォーカス位置の調整処理を、コンピュータ６０が行うようにしておく。
【０１０１】
なお、作成された制御プログラムはハードディスク装置６４若しくは可搬型記録媒体７０に予め格納しておく。そして、ＭＰＵ６１に所定の指示を与えてこの制御プログラムを読み出させて実行させる。こうすることで、図１の撮像装置や図７及び図１３の画像監視システムの各構成要素が各々有している機能のコンピュータ６０での提供が可能となる。
【０１０２】
なお、以上までに説明した実施形態に関し、更に以下の付記を開示する。
（付記１）
被写体を撮像して該被写体の画像を取得する画像取得部と、
前記画像取得部により取得された画像に映っている像のエッジを抽出するエッジ抽出部と、
前記エッジ抽出部により抽出されたエッジの強度を該エッジの方向に基づいて補正して、該補正後の強度を、前記画像のぼけの程度を表しているぼけ評価値として検出するぼけ評価値検出部と、
前記画像取得部が前記被写体を撮像する際の焦点位置の設定を、前記ぼけ評価値検出部が検出したぼけ評価値に基づいて調整する焦点調整部と、
を備えていることを特徴とする撮像装置。
（付記２）
前記ぼけ評価値検出部は、前記補正の前後における前記エッジの強度の値についての対応関係が前記エッジの方向毎に示されている補正テーブルを備えており、前記エッジ抽出部により抽出されたエッジの強度の補正を、該補正テーブルを用いて行うことを特徴とする付記１に記載の撮像装置。
（付記３）
前記焦点調整部は、前記ぼけ評価値と前記焦点位置のずれ量の推定値との対応関係が示されているずれ量推定テーブルを備えており、前記焦点位置の設定を、該ずれ量推定テーブルを用いて行うことを特徴とする付記１又は２に記載の撮像装置。
（付記４）
前記画像取得部が異なる焦点位置の設定の下で撮像して取得した２枚の画像の各々について前記ぼけ評価値検出部が検出したぼけ評価値に基づいて、前記焦点位置のずれの方向を検出する焦点ずれ方向検出部を更に備えており、
前記焦点調整部は、前記焦点位置の設定を、前記焦点ずれ方向検出部が検出した焦点位置のずれの方向にも更に基づいて行う、
ことを特徴とする付記１から３のうちのいずれか一項に記載の撮像装置。
（付記５）
前記焦点ずれ方向検出部は、前記画像取得部が前記２枚の画像の各々を撮像したときの焦点位置のずれ量を前記ぼけ評価値から推定し、該２枚の画像の各々についての該焦点位置のずれ量の推定値の大小比較の結果に基づいて、前記焦点位置のずれの方向を検出することを特徴とする付記４に記載の撮像装置。
（付記６）
前記画像取得部は、前記被写体の移動方向に対向する向きの上方から該被写体を撮像して該被写体を斜視した画像を取得し、
前記画像取得部が取得した第一の画像に映っている第一の被写体の像についての、該第一の画像上の位置及び前記ぼけ評価値検出部により検出されるぼけ評価値と、該画像取得部が該第一の画像の取得の際と同一の焦点位置の設定の下で取得した第二の画像に映っている、該第一の被写体とは異なる第二の被写体の像についての、該第二の画像上の位置及び該ぼけ評価値検出部により検出されるぼけ評価値とに基づいて、前記焦点位置のずれの方向を検出する焦点ずれ方向検出部を更に備えており、
前記焦点調整部は、前記焦点位置の設定を、前記焦点ずれ方向検出部が検出した焦点位置のずれの方向にも更に基づいて行う、
ことを特徴とする付記１から３のうちのいずれか一項に記載の撮像装置。
（付記７）
前記焦点ずれ方向検出部は、前記画像取得部が前記第一及び前記第二の画像の各々を撮像したときの焦点位置のずれ量を前記ぼけ評価値から推定し、該第一及び該第二の画像の各々についての該焦点位置のずれ量の推定値と、前記第一の被写体の像についての該第一の画像上の位置と、前記第二の被写体の像についての該第二の画像上の位置とに基づいて、前記焦点位置のずれの方向を検出することを特徴とする付記６に記載の撮像装置。（
（付記８）
前記第一の画像と前記第二の画像とが同一の撮像対象を撮像した画像であることを特徴とする付記６又は７に記載の撮像装置。
（付記９）
画像のほけの評価を行う画像評価方法であって、
カメラが被写体を撮像して獲得した該被写体の画像を取得し、
前記被写体の像のエッジを抽出する画像処理を前記画像に対して施し、
前記画像処理により抽出されたエッジの強度を該エッジの方向に基づいて補正し、
前記画像のぼけの程度を、前記補正後のエッジの強度を用いて評価して評価結果を得る、
ことを特徴とする画像評価方法。
（付記１０）
前記エッジの強度の補正は、該補正の前後における該エッジの強度の値についての対応関係が該エッジの方向毎に示されている補正テーブルを用いて行うことを特徴とする付記９に記載の画像評価方法。
（付記１１）
カメラの焦点位置の設定の調整をコンピュータに行わせるための焦点調整制御プログラムであって、
前記カメラが被写体を撮像して獲得した該被写体の画像を取得する画像取得処理と、
前記画像取得処理により取得された画像に映っている像のエッジを抽出するエッジ抽出処理と、
前記エッジ抽出処理により抽出されたエッジの強度を該エッジの方向に基づいて補正して、該補正後の強度を、前記画像のぼけの程度を表しているぼけ評価値として検出するぼけ評価値検出処理と、
前記カメラの焦点位置の設定を、前記ぼけ評価値検出処理により検出されたぼけ評価値に基づいて調整する焦点調整処理と、
をコンピュータに行わせることを特徴とする焦点調整制御プログラム。
（付記１２）
前記焦点調整制御プログラムは、更に、前記カメラが異なる焦点位置の設定の下で撮像して取得した２枚の画像の各々について前記ぼけ評価値検出処理により検出されたぼけ評価値に基づいて、前記焦点位置のずれの方向を検出する焦点ずれ方向検出処理を前記コンピュータに行わせ、
前記焦点調整処理は、前記焦点位置の設定を、前記焦点ずれ方向検出処理により検出された焦点位置のずれの方向にも更に基づいて行う、
ことを特徴とする付記１１に記載の焦点調整制御プログラム。
（付記１３）
前記焦点ずれ方向検出処理は、前記カメラが前記２枚の画像の各々を撮像したときの焦点位置のずれ量を前記ぼけ評価値から推定し、該２枚の画像の各々についての該焦点位置のずれ量の推定値の大小比較の結果に基づいて、前記焦点位置のずれの方向を検出することを特徴とする付記１２に記載の焦点調整制御プログラム。
（付記１４）
前記カメラは、前記被写体の移動方向に対向する向きの上方から該被写体を撮像して該被写体を斜視した画像を取得し、
前記焦点調整制御プログラムは、更に、前記カメラが取得した第一の画像に映っている第一の被写体の像についての、該第一の画像上の位置及び前記ぼけ評価値検出処理により検出されるぼけ評価値と、該カメラが該第一の画像の取得の際と同一の焦点位置の設定の下で取得した第二の画像に映っている、該第一の被写体とは異なる第二の被写体の像についての、該第二の画像上の位置及びぼけ評価値検出処理により検出されるぼけ評価値とに基づいて、前記焦点位置のずれの方向を検出する焦点ずれ方向検出処理を前記コンピュータに行わせ、
前記焦点調整処理は、前記焦点位置の設定を、前記焦点ずれ方向検出処理により検出された焦点位置のずれの方向にも更に基づいて行う、
ことを特徴とする付記１１に記載の焦点調整制御プログラム。
（付記１５）
前記焦点ずれ方向検出処理は、前記カメラが前記第一及び前記第二の画像の各々を撮像したときの焦点位置のずれ量を前記ぼけ評価値から推定し、該第一及び該第二の画像の各々についての該焦点位置のずれ量の推定値と、前記第一の被写体の像についての該第一の画像上の位置と、前記第二の被写体の像についての該第二の画像上の位置とに基づいて、前記焦点位置のずれの方向を検出することを特徴とする付記１４に記載の焦点調整制御プログラム。
【符号の説明】
【０１０３】
１  自動車
２  カメラ
１１  画像取得部
１２  エッジ抽出部
１３  ぼけ評価値検出部
１４  焦点調整部
１５  焦点ずれ方向検出部
２０  撮像部
２１  画像入力部
３０  認識部
３１  ナンバープレート切り出し部
３２  フォーカスずれ量算出部
３３  仮調整判定部
３４  フォーカス仮調整部
３５、５２  フォーカスずれ方向検出部
３６  フォーカス調整部
３７  ナンバープレート認識部
３８  認識結果出力部
４１  エッジ方向分類部
４２  方向別ぼけ評価値算出部
４３  ぼけ評価値算出部
４４  フォーカスずれ量出力部
５１  画像判定部
６０  コンピュータ
６１  ＭＰＵ
６２  ＲＯＭ
６３  ＲＡＭ
６４  ハードディスク装置
６５  入力装置
６６  表示装置
６７  インタフェース装置
６８  記録媒体駆動装置
６９  バスライン
７０  可搬型記録媒体
【図１】
0005664078.tif 000007
【図２】
0005664078.tif 000008
【図７】
0005664078.tif 000009
【図１０】
0005664078.tif 000010
【図１３】
0005664078.tif 000011
【図１４】
0005664078.tif 000012
【図１５】
0005664078.tif 000013
【図１６】
0005664078.tif 000014
【図３】
0005664078.tif 000015
【図４】
0005664078.tif 000016
【図５】
0005664078.tif 000017
【図６】
0005664078.tif 000018
【図８】
0005664078.tif 000019
【図９】
0005664078.tif 000020
【図１１】
0005664078.tif 000021
【図１２】
0005664078.tif 000022