(57)【要約】複数画像の露出を（電子的に、又は機械的に）制御８３０，８７０することによって、さらには、露出設定値を変えた複数画像２００，９００，１０００の適正に露出された領域９１０，１０１０，１０２０，１１３０から、合成画像１１００を任意に形成することによって、画像センサ１０１のダイナミックレンジを増やす装置ならびに方法。この装置及び方法の所定の実施形態は、画像処理技術３２０，４１０を利用して、さまざまな露出設定値を決め、さらに、任意の合成画像を形成するようにする。適正に露出された領域は、マシンビジョン・アプリケーション３３０に直接用いることができる。
2005508574.tif 000002
【特許請求の範囲】
【請求項１】
画像センサのダイナミックレンジを有効に増やす方法であって、
異なる露出量で撮られた一場面の複数画像を取り込み；
輝度を表す画素値に基づいて露出過度ならびに露出不足の部分に関して前記複数画像のうち選択された画像を検索し；
前記選択された画像における露出過度の部分に空間的に対応している、より低い露出で撮られた前記複数画像の別の画像における部分を分析し；
前記選択された画像における露出不足の部分に空間的に対応している、より高い露出で撮られた前記複数画像の別の画像の部分を分析し；
前記分析された部分の少なくとも一つを、マシンビジョン・アプリケーションを用いて処理することを有する方法。
【請求項２】
請求項１に記載の方法において、
前記画像センサは、デジタル・カメラとされていることを特徴とする方法。
【請求項３】
請求項１の方法において、
前記部分は、重畳部、非重畳部、又は、重畳部と非重畳部の組み合わせとされていることを特徴とする方法。
【請求項４】
画像センサのダイナミックレンジを有効に増やす方法であって、
場面の画像を得；
明る過ぎるか、または暗すぎる一つないし複数の領域を識別するために、画像を分析して、そのとき、前記領域のいずれも複数の画素を含むようにし；
明る過ぎるとして識別されるどの識別領域に対しても、低減された露出画像を得；
暗すぎるとして識別されるどの識別領域に対しても、増加された露出画像を得；
さらに、前記画像の適正に露出された領域の一つもしくは複数を処理するとともに、前記低減された、および／または、増加された露出画像において適正に露出された領域の一つもしくは複数を処理することを有する方法。
【請求項５】
請求項４に記載の方法において、
前記画像センサは、デジタル・カメラとされていることを特徴とする方法。
【請求項６】
請求項４に記載の方法において、
前記領域は、重畳部、非重畳部、又は、重畳部と非重畳部の組み合わせとされていることを特徴とする方法。
【請求項７】
請求項４に記載の方法において、
前記画像センサがより少ない露出に設定できる場合に、低減された露出においてさらに別の画像を得ることをさらに有していることを特徴とする方法。
【請求項８】
請求項４に記載の方法、
前記画像センサがより多い露出に設定できる場合に、増加された露出においてさらに別の画像を得ることをさらに有していることを特徴とする方法。
【請求項９】
請求項４に記載の方法において、
何れかの領域の平均画素値が選択された範囲内に入っていないような場合が続く限り、前記低減された露出画像および／または前記増加された露出画像要素を得ることを繰り返すことを特徴とする方法。
【請求項１０】
請求項４に記載の方法において、
明るすぎるか暗すぎるかのどちらかである一つないし複数の下位領域を識別するために、前記低減された、および／または増加された露出画像における適正に露出された領域を分析し；
明る過ぎるとして識別されるどの識別下位領域に対しても、さらに別の低減された露出画像を得；
暗すぎるとして識別されるどの識別下位領域に対しても、増加された露出画像を得；
さらに、前記画像の適正に露出された領域の一つもしくは複数を処理するとともに、前記低減された、および／または、増加された露出画像において適正に露出された下位領域の一つもしくは複数を処理することを有していることを特徴とする方法。
【請求項１１】
請求項４に記載の方法において、
前記画像センサを移動ロボットに搭載し、
前記移動ロボットの動きを計画するために、目標ならびに障害を両方含んだ複数対象物を探して、複数の場面に対して繰り返すことを特徴とする方法。
【請求項１２】
請求項５に記載の方法において、
前記カメラは、ＣＣＤまたはＣＭＯＳセンサーを有していることを特徴とする方法。
【請求項１３】
プロセッサにより実行される際、画像センサのダイナミックレンジを増やす方法を実行する命令を蓄えているコンピュータープログラム記憶媒体であって、
前記方法は、
場面の基本画像を得；
明る過ぎるか、または暗すぎる一つないし複数の領域を識別するために、基本画像を分析して、そのとき、前記領域のいずれも複数の画素を含むようにし；
明る過ぎるとして識別されるどの識別領域に対しても、低減された露出画像を得；
暗すぎるとして識別されるどの識別領域に対しても、増加された露出画像を得；
さらに、前記基本画像を処理するとともに、前記低減された、および／または、増加された露出画像において適正に露出された領域の一つもしくは複数を処理することを含んでなるコンピュータープログラム記憶媒体。
【請求項１４】
請求項１３に記載の記憶媒体において、
前記画像センサは、デジタル・カメラとされていることを特徴とする記憶媒体。
【請求項１５】
請求項１３に記載の記憶媒体において、
前記領域は、重畳部、非重畳部、又は、重畳部と非重畳部の組み合わせとされていることを特徴とする記憶媒体。
【請求項１６】
画像センサのダイナミックレンジを有効に増やすための画像検出装置であって、
複数の画像を得るために、複数回、異なる露出量で場面の画像を獲得するための手段と、
画像を複数の画像領域に分割するための手段とを備え、このとき、各領域を見れば、選択されたダイナミックレンジが分かるようにし、かつ、複数画像領域の一つもしくは複数が、マシンビジョン・アプリケーションにより処理されるように構成されている画像検出装置。
【請求項１７】
請求項１６に記載の装置において、
前記画像センサは、デジタル・カメラとされていることを特徴とする装置。
【請求項１８】
請求項１６に記載の装置において、
互いに中心がずれた少なくとも２つの画像センサを有していることを特徴とする検出装置。
【請求項１９】
請求項１８に記載の装置において、
前記マシンビジョン・アプリケーションは、画像化される対象物もしくは特徴物までの、カメラ装置からの距離および／または方位を決定するための少なくとも２つのセンサからの対応する画像・セグメントを利用していることを特徴とする装置。
【請求項２０】
請求項１６に記載の装置において、
対象物識別および位置特定、エッジ検出およびパターン認識を含む特徴抽出のための合成画像を生成するように構成されていることを特徴とする装置。
【請求項２１】
請求項１９に記載の装置において、
対象物識別および位置特定、エッジ検出およびパターン認識を含む特徴抽出のための合成画像を生成するように構成されていることを特徴とする装置。
【請求項２２】
請求項１６に記載の装置において、
前記領域は、重畳部、非重畳部、又は、重畳部と非重畳部の組み合わせとされていることを特徴とする装置。
【請求項２３】
画像センサのダイナミックレンジを有効に増やす方法であって、
複数の画像を得るために、複数回、異なる露出量で場面の画像を獲得し、
画像を複数の画像領域に分割し、このとき、各領域を見れば選択されたダイナミックレンジが分かるようにし、かつ、複数画像領域の一つもしくは複数を、マシンビジョン・アプリケーションにより処理する方法。
【請求項２４】
請求項２３に記載の方法において、
前記画像センサは、デジタル・カメラとされていることを特徴とする方法。
【請求項２５】
画像センサのダイナミックレンジを有効に増やすための画像獲得装置であって、
それぞれが異なる露出を有する一場面の複数の画像を獲得する手段と、
複数の画像領域を得るための手段とを備え、このとき、各領域は、前記複数の画像からの、良いダイナミックレンジを有する特定の画像の部分を含み、かつ、複数画像領域の一つもしくは複数が、マシンビジョン・アプリケーションにより処理されるように構成されている画像獲得装置。
【請求項２６】
請求項２５に記載の装置において、
様々な場面の複数画像を獲得するために、一つの場所から別の場所へ該装置を移動するための手段を備えていることを特徴とする装置。
【請求項２７】
請求項２５に記載の装置において、
前記画像センサは、デジタル・カメラとされていることを特徴とする装置。
【請求項２８】
請求項２５に記載の装置において、
互いに中心がずれた少なくとも２つの画像センサを有していることを特徴とする装置。
【請求項２９】
請求項２８に記載の装置において、
前記マシンビジョン・アプリケーションは、画像化される対象物もしくは特徴物までのカメラ装置からの距離および／または方位を決定するための少なくとも２つのセンサからの対応する画像・セグメントを利用していることを特徴とする装置。
【請求項３０】
請求項２５に記載の装置において、
対象物識別および位置特定、エッジ検出およびパターン認識を含む特徴抽出のための合成画像を生成するように構成されていることを特徴とする装置。
【請求項３１】
請求項２９に記載の装置において、
対象物識別および位置特定、エッジ検出およびパターン認識を含む特徴抽出のための合成画像を生成するように構成されていることを特徴とする装置。
【請求項３２】
画像センサのダイナミックレンジを有効に増やす方法であって、
異なる照明条件で撮られた一場面の複数画像を取り込み；
輝度を表す画素値に基づいて露出過度ならびに露出不足の部分に関して前記複数画像のうち選択された画像を検索し；
異なる照明条件で撮られた複数画像の他の画像内の空間的に関連づけられた部分に対応している、選択された画像内の露出過度の部分および露出不足の部分を分析し；
前記分析された部分の少なくとも一つを、マシンビジョン・アプリケーションを用いて処理することを有する方法。
【請求項３３】
請求項３２に記載の方法において、
前記画像センサは、デジタル・カメラとされていることを特徴とする方法。
【請求項３４】
請求項３２に記載の方法において、
前記部分は、重畳部、非重畳部、又は、重畳部と非重畳部の組み合わせとされていることを特徴とする方法。
【請求項３５】
請求項３２に記載の方法において、
前記異なる照明条件を、一つもしくは複数のフラッシュ光にすることを特徴とする方法。
【請求項３６】
一つ以上の画像センサのダイナミックレンジを有効に増やすための画像検出装置であって、
複数の画像を得るために、複数回、異なる照明条件の下で場面の画像を獲得するための手段と、
画像を複数の画像領域に分割するための手段とを備え、このとき、各領域を見れば、選択されたダイナミックレンジが分かるようにし、かつ、どの複数画像領域の一つもしくは複数も、マシンビジョン・アプリケーションにより処理されるように構成されている画像検出装置。
【請求項３７】
請求項３６に記載の装置において、
前記一つもしくは複数の画像センサは、一つもしくは複数のデジタル・カメラとされていることを特徴とする装置。
【請求項３８】
請求項３６に記載の装置において、
前記異なる照明条件は、一つもしくは複数のフラッシュ光とされていることを特徴とする装置。
【請求項３９】
請求項３６に記載の装置において、
互いに中心がずれた少なくとも２つの画像センサを有していることを特徴とする画像検出装置。
【請求項４０】
請求項３９に記載の装置において、
前記マシンビジョン・アプリケーションは、画像化される対象物もしくは特徴物までの、カメラ装置からの距離および／または方位を決定するための少なくとも２つのセンサからの対応する画像・セグメントを利用していることを特徴とする装置。
【請求項４１】
請求項３６に記載の装置において、
対象物識別および位置特定、エッジ検出およびパターン認識を含む特徴抽出のための合成画像を生成するように構成されていることを特徴とする装置。
【請求項４２】
請求項４０に記載の装置において、
対象物識別および位置特定、エッジ検出およびパターン認識を含む特徴抽出のための合成画像を生成するように構成されていることを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像処理の分野一般に関する。より詳しくは、本発明は、デジタル画像処理により、露出を変えて撮られた同一場面の複数画像からの情報を結合することによって、画像センサの有効ダイナミックレンジを増やすための装置と方法を提供することに関する。
【背景技術】
【０００２】
情報を抽出するために画像を分析することが必要になる多くのアプリケーションが存在する。例えば、視覚（以下に、より詳細に述べられる「マシンビジョン」の一形態）を使う移動ロボットは、自身の動き方を予め考えるために、対象物（目標および障害）を探して、一連のデジタル画像を撮りかつ分析しようとする。コンピュータおよび人間は、すべてが正常であると確信するため、セキュリティ・システムからの画像を分析する。衛星からの画像は、対象物またはパターンを探したり、あるいは異なる時間に撮られた良く似た画像を比較することにより分析される。一般に、画像のコントラスト（すなわちダイナミックレンジ）がより大きいと、エッジならびに他の詳細がよりよく定められるので、画像から引き出されることができる情報が増える。マシンビジョンでは、このより高いコントラストにより、簡略化されたエッジ検出ならびに対象物位置特定が可能になる。
【０００３】
人間の視覚システムは、広いダイナミックレンジを有しており、非常に明るい領域と非常に暗い領域の両方を含む情景ないし場面から情報を取り出すことに非常に優れている。しかしながら、高コントラストは、しばしば他の画像センサ（例えばデジタルないしアナログ・カメラ）のダイナミックレンジを圧倒し、そのために、相当な領域が飽和するか非常に暗くなる。デジタル画像の場合、飽和領域とは、最大輝度もしくはそれに近い画素を含む領域であり、その一方で、暗領域とは、最小輝度もしくはそれに近い画素を含む領域である。一般に、飽和領域は露出過度から生じ、その一方で、暗領域は露出不足から生じる。飽和領域と暗領域を効果的に分析することは、概して非常にむずかしい。高コストのカメラは、一般的により大きなダイナミックレンジを有するが、アプリケーションが多いために極端に高価である。
【０００４】
露出制御は、画像のコントラストを調整する１つの方法である。現在の自動露出装置は、概ね非常に正確である。通常の自動露出装置は、光のレベルを検出して、電子的にカメラのシャッター速度および／または開きを最適露出設定に調整するためにカメラ内の反射光露出計を使用する。シリコン・フォトダイオードが最も一般的である光電池が露出計として通常用いられる。画像センサは、一般に自分自身の露出計である。
【０００５】
これらの光平均露出制御装置が正しい公称露出を選ぶのに優れた働きをする一方、多くの画像が、露出過度の（飽和した）領域及び露出不足の（暗い）領域を依然有している。例えば、光源を含む写真映像の場合、画像の大半は、正しく露出されているように見えるかもしれないが、光源付近の領域は、露出過度（飽和した）となることが多く、明るい白色となって現れて、細部に欠ける。
【０００６】
現在市場に出ているいくつかのデジタル・カメラは、自動露出装置が強化されてきた。このような装置によって、ユーザーは、トリガーを１回押すことで、３通りの露出時間で同じショットを自動的に撮ることができる（ブラケット化すると称される）。ユーザーは、次に、これら３枚のうち最良の露出のショットを選択できる。これらの装置によって、ユーザーは、３通りの露出の間の範囲を選ぶことができる。しかしながら、画像の内の局所的に明るい領域や暗い領域によって、１回の露出をどのようにしても、効果的に全画像を取り込むことは依然として不可能になっていると言えよう。一般に、写真家は、場面のダイナミックレンジを増やすことによって、画像のコントラストを改善するために外部光またはフラッシュ電球を用いてきた。
【０００７】
与えられた仕事を達成するために何が描写されているかについての役立つ記述を作る上で、システム（つまり、機械）による一つの画像または一連の複数画像の分析にマシンビジョンを役立たせることができる。例えば、マシンビジョンには、画像から顔の特徴を抽出して、所定人物の画像が顔の特徴のデータベースにマッチするようにするとか、あるいは、２つのステレオ画像から対象物までの距離を決定して、ロボットに、対象物にぶつかることなくあとどれくらい前方へ自分が移動できるかについて判断させるようにするとかいったことが含まれるであろう。以下は、マシンビジョン処理を組み込むことができるアプリケーションの例である：
１．周囲の地図を作製して、ロボットが対象物に向かって走り込むことなく自立的に動き回るようにする；
２．所定画像を持つ人物を識別して、特定の場所に誰がいるかを判断する；
３．一つの対象物を複数画像にかけて追いかけ、当該対象物がこれら複数画像中の何処にいるかを判断する（例えば、複数画像中の何処にサッカーボールがあるかを判断して、これにより、当該サッカーボールが、前記複数画像中で、サッカーボールの形をした通知マークに置き換えられるようにする）。
４．位置、方向、および対象物の大きさを判断して、当該対象物が機械によって、自動的に操作されるようにする（例えば、ロボットアームは、対象物を組立てラインから取り出さなければならず、しかも、対象物は、多くのタイプのうちの１つで、コンベヤベルト上では様々な位置や方向のいずれかになっている可能性がある）。
５．一つの対象物を複数画像にかけて追いかけ、当該対象物が周囲の環境の中の何処にいるかを判断する（例えば、進入してくる対象物がミサイルか飛行機かを判断するために、当該対象物の外観的な特徴、位置、速度、ならびに軌跡がどうであるか）。
６．疾患のありそうな領域を見つけるために医学的画像を分析する。
【０００８】
マシンビジョン・アプリケーション（一例がロボット工学である）においては、全ての領域が充分なコントラストを有するような場面全体を見て、その中に含まれる特徴を識別し、分析する能力を有することが好ましい。視覚ロボット工学において、ロボットは、対象物、オープンスペース、パターン、壁等などを識別することによって、周りの至る所を走行する。ロボット工学的な視覚の一実施形態は、対象物までの距離を決定するために、ステレオ視用の２台のカメラを使用する。ダイナミックレンジが充分でない露出に乏しい画像では、ロボットは、道に迷うか、あるいは、適正に位置を認識して対象物や危険（例えば開いた階段吹き抜け）を避けることができなくなるかのいずれかになってしまう可能性がある。こういった理由から、視覚ロボット工学および画像検出および処理技術において、画像センサの有効ダイナミックレンジを増やす必要がある。有効ダイナミックレンジをこのように強化することは、前述のロボット・アプリケーションに加えて多数のアプリケーションに役立つことになろう。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は、コンピュータ制御可能な（電子的もしくは機械的）露出によって、画像センサの有効ダイナミックレンジを増加させる装置及び方法を目的とする。本発明は、異なる露出設定による画像センサから集められた複数画像をデジタル処理することによって、上述の従来の強化された自動露出装置の持つ限界を克服する。
【課題を解決するための手段】
【００１０】
本発明の一の態様は、画像センサのダイナミックレンジを有効に増やす方法であって、異なる露出量で撮られた一場面の複数画像を取り込み；輝度を表す画素値に基づいて露出過度ならびに露出不足の部分に関して前記複数画像のうち選択された画像を検索し；前記選択された画像における露出過度の部分に空間的に対応している、より低い露出で撮られた前記複数画像の別の画像における部分を分析し；前記選択された画像における露出不足の部分に空間的に対応している、より高い露出で撮られた前記複数画像の別の画像の部分を分析し；前記分析された部分の少なくとも一つを、マシンビジョン・アプリケーションを用いて処理することを有している方法を含んでいる。本態様は、加えて、画像センサがデジタル・カメラである方法を含む。本態様は、加えて、上記部分が重畳部、非重畳部、又は、重畳部と非重畳部の組み合わせとされている方法を含む。
【００１１】
本発明のさらなる態様は、画像センサのダイナミックレンジを有効に増やす方法であって、一場面から画像を得て；明る過ぎるか、または暗すぎる一つないし複数の領域を識別するために、画像を分析して、そのとき、前記領域のいずれも複数の画素を含むようにし；明る過ぎるとして識別されるどの識別領域に対しても、低減された露出画像を得て；暗すぎるとして識別されるどの識別領域に対しても、増加された露出画像を得て；さらに、前記画像の適正に露出された領域の一つもしくは複数を処理するとともに、前記低減された、および／または、増加された露出画像において適正に露出された領域の一つもしくは複数を処理することを有する方法を含んでいる。本態様は、加えて、画像センサがデジタル・カメラである方法を含む。本態様は、加えて、重畳部、非重畳部、又は、重畳部と非重畳部の組み合わせとされている方法を含む。本態様は、加えて、画像センサがより少ない露出に設定できる場合に、低減された露出においてさらに別の画像を得る方法を含む。本態様は、加えて、画像センサがより多い露出に設定できる場合に、増加された露出においてさらに別の画像を得る方法を含む。本態様は、加えて、何れかの領域の平均画素値が選択された範囲内に入っていないような場合が続く限り、前記低減された露出画像および／または前記増加された露出画像要素を得ることを繰り返す方法を含んでいる。
【００１２】
本態様は、加えて、明るすぎるか暗すぎるかのどちらかである一つないし複数の下位領域を識別するために、前記低減された、および／または増加された露出画像における適正に露出された領域を分析し；明る過ぎるとして識別されるどの識別下位領域に対しても、さらに別の低減された露出画像を得；暗すぎるとして識別されるどの識別下位領域に対しても、増加された露出画像を得；さらに、前記画像の適正に露出された領域の一つもしくは複数を処理するとともに、前記低減された、および／または、増加された露出画像において適正に露出された下位領域の一つもしくは複数を処理する方法を含む。本態様は、加えて、画像センサを移動ロボットに搭載し、移動ロボットの動きを計画するために、目標ならびに障害を両方含んだ複数対象物を探して、複数の場面に対して繰り返す方法を含む。本態様は、加えて、カメラがＣＣＤまたはＣＭＯＳセンサーを有している方法を含む。
【００１３】
本発明のさらなる態様は、プロセッサにより実行される際、画像センサのダイナミックレンジを増やす方法を実行する命令を蓄えているコンピュータープログラム記憶媒体であって、場面の基本画像を得て；明る過ぎるか、または暗すぎる一つないし複数の領域を識別するために、基本画像を分析して、そのとき、前記領域のいずれも複数の画素を含むようにし；明る過ぎるとして識別されるどの識別領域に対しても、低減された露出画像を得て；暗すぎるとして識別されるどの識別領域に対しても、増加された露出画像を得て；さらに、前記基本画像を処理するとともに、前記低減された、および／または、増加された露出画像において適正に露出された領域の一つもしくは複数を処理することを有しているコンピュータープログラム記憶媒体を含んでいる。本態様は、加えて、画像センサがデジタル・カメラとされている記憶媒体を含む。本態様は、加えて、領域が重畳部、非重畳部、又は、重畳部と非重畳部の組み合わせとされている記憶媒体を含む。
【００１４】
本発明のさらなる態様は、画像センサのダイナミックレンジを有効に増やすための画像検出装置であって、複数の画像を得るために、複数回、異なる露出量で場面の画像を獲得するための手段と、画像を複数の画像領域に分割するための手段とを備え、このとき、各領域を見れば、選択されたダイナミックレンジが分かるようにし、かつ、複数画像領域の一つもしくは複数が、マシンビジョン・アプリケーションにより処理されるように構成されている画像検出装置を含んでいる。
【００１５】
本態様は、加えて、画像センサがデジタル・カメラとされている装置を含む。本態様は、加えて、互いに中心がずれた少なくとも２つの画像センサを有している画像検出装置を含む。本態様は、加えて、マシンビジョン・アプリケーションが、画像化される対象物もしくは特徴物までの、カメラ装置からの距離および／または方位を決定するための少なくとも２つのセンサからの対応する画像・セグメントを利用している装置を含む。本態様は、加えて、画像検出装置が、対象物識別および位置特定を含む特徴抽出、エッジ検出およびパターン認識のための合成画像を生成する装置を含む。本態様は、加えて、対象物識別および位置特定、エッジ検出およびパターン認識を含む特徴抽出のための合成画像を生成するように構成されている装置を含む。本発明は、加えて、領域が重畳部、非重畳部、又は、重畳部と非重畳部の組み合わせとされている装置を含む。
【００１６】
本発明のさらなる態様は、画像センサのダイナミックレンジを有効に増やす方法であって、複数の画像を得るために、複数回、異なる露出量で場面の画像を獲得し、画像を複数の画像領域に分割し、このとき、各領域を見れば選択されたダイナミックレンジが分かるようにし、さらに、複数画像領域の一つもしくは複数を、マシンビジョン・アプリケーションにより処理する方法を含んでいる。本態様は、加えて、画像センサがデジタル・カメラである方法を含む。
【００１７】
本発明のさらなる態様は、画像センサのダイナミックレンジを有効に増やすための画像獲得装置であって、それぞれが異なる露出を有する一場面の複数の画像を獲得する手段と、複数の画像領域を得るための手段とを備え、このとき、各領域は、前記複数の画像からの、良いダイナミックレンジを有する特定の画像の部分を含み、かつ、複数画像領域の一つもしくは複数が、マシンビジョン・アプリケーションにより処理されるように構成されている画像獲得装置を含む。
【００１８】
本態様は、加えて、様々な場面の複数画像を獲得するために、一つの場所から別の場所へ該装置を移動するための手段を備えている装置を含む。本態様は、加えて、画像センサがデジタル・カメラとされている装置を含む。本態様は、加えて、互いに中心がずれた少なくとも２つの画像センサを有している画像検出装置を含む。本態様は、加えて、マシンビジョン・アプリケーションが、画像化される対象物もしくは特徴物までのカメラ装置からの距離および／または方位を決定するための少なくとも２つのセンサからの対応する画像・セグメントを利用している装置を含む。本態様は、加えて、対象物識別および位置特定、エッジ検出およびパターン認識を含む特徴抽出のための合成画像を生成するように構成されている装置を含む。本態様は、加えて、対象物識別および位置特定、エッジ検出およびパターン認識を含む特徴抽出のための合成画像を生成するように構成されている装置を含む。
【００１９】
本発明のさらなる態様は、画像センサのダイナミックレンジを有効に増やす方法であって、異なる照明条件で撮られた一場面の複数画像を取り込み；輝度を表す画素値に基づいて露出過度ならびに露出不足の部分に関して前記複数画像のうち選択された画像を検索し；異なる照明条件で撮られた複数画像の他の画像内の空間的に関連づけられた部分に対応している、選択された画像内の露出過度の部分および露出不足の部分を分析し；前記分析された部分の少なくとも一つを、マシンビジョン・アプリケーションを用いて処理することを有する方法を含む。本態様は、加えて、画像センサがデジタル・カメラである方法を含む。本態様は、加えて、部分が重畳部、非重畳部、又は、重畳部と非重畳部の組み合わせとされている方法を含む。本態様は、加えて、異なる照明条件を、一つもしくは複数のフラッシュ光にする方法を含む。
【００２０】
本発明のさらなる態様は、一つ以上の画像センサのダイナミックレンジを有効に増やすための画像検出装置であって、複数の画像を得るために、複数回、異なる照明条件の下で場面の画像を獲得するための手段と、画像を複数の画像領域に分割するための手段とを備え、このとき、各領域を見れば、選択されたダイナミックレンジが分かるようにし、かつ、どの複数画像領域の一つもしくは複数も、マシンビジョン・アプリケーションにより処理されるように構成されている画像検出装置を含む。
【００２１】
本態様は、加えて、一つもしくは複数の画像センサが、一つもしくは複数のデジタル・カメラとされている装置を含む。本態様は、加えて、異なる照明条件が一つもしくは複数のフラッシュ光とされている装置を含む。本態様は、加えて、互いに中心がずれた少なくとも２つの画像センサを有している画像検出装置を含む。本態様は、加えて、マシンビジョン・アプリケーションが、画像化される対象物もしくは特徴物までの、カメラ装置からの距離および／または方位を決定するための少なくとも２つのセンサからの対応する画像・セグメントを利用している装置を含む。本態様は、加えて、対象物識別および位置特定、エッジ検出およびパターン認識を含む特徴抽出のための合成画像を生成するように構成されている装置を含む。本態様は、加えて、対象物識別および位置特定、エッジ検出およびパターン認識を含む特徴抽出のための合成画像を生成するように構成されている装置を含む。
【発明を実施するための最良の形態】
【００２２】
本発明に係る既に上で述べた態様ならびにその他の態様、そして特徴及び長所は、以下の詳細な説明を参照することによってよりよく理解されることになろう。このとき、詳細な説明を、図面と関連させて読まれたい。図面ならびに関連の記載は、本発明の特定の実施形態を例示するものだが、本発明の範囲は制限しない。
【００２３】
以下に、所定の実施形態の詳細な説明により、本発明の特別な実施形態を色々説明することにする。ただし、本発明は、請求項に規定され網羅されているように、多くの異なる方法で実施することができる。本明細書中、図面を参照する際、同じ符号は類似の部材を指すものとする。
【００２４】
本発明の実施形態によれば、異なる露出時間（あるいは単に露出）で撮られた様々な画像を含んだ同一場面の複数画像からの情報を結合することによって、画像センサの有効ダイナミックレンジを増やすための方法が得られる。本実施形態には、同一場面の複数画像を得るのに十分長く効果的にじっとしていられる一つもしくは複数の画像センサ（例えばデジタル・カメラ）が含まれる。通常、コンピュータは、コンマ何秒以内に処理を終えることができるので、普通、この種のデジタル画像処理には、長い時間を必要としない。したがって、さまざまな実施形態において、画像センサは、持ち運び可能とされて地面や三脚の上に置いたり、あるいは、移動ロボットに組み込むことができる。他の実施形態によれば、画像センサを別の構成にすることができる。最初の露出設定は、コンピュータ制御にしてもよい。とは言え、自動露出装置を基本（すなわち最初の）画像のために用いることもできる。露出制御は、電子的にでも機械的にでもどちらで行ってもよく、さらには、コンピュータ制御可能な絞りを利用してもよい。
【００２５】
所定の実施形態は、画像センサによって取り込まれる画像をデジタル画像処理するコンピュータを有している。画像センサおよびコンピュータは、データを交換するために、例えば、共通アクセス可能なコンピュータ・メモリを用いて、あるいは、ネットワーク接続を介して通信を行う。一実施形態において、コンピュータは、画像センサ・ハウジング内に、必要なコンポーネントを有するプリント回路基板から構成することができる。移動ロボット工学では、ロボットは、通常少なくとも、コンピュータと、ドライブ装置と、露出制御用機構を有する画像センサ（例えばカメラ）とを備えている。
【００２６】
一実施形態において、基本画像と称される一場面の写真映像が画像センサ装置によって撮影されることから処理が開始される。上記基本画像は、飽和しているか又は殆ど飽和している領域を探して検査される。飽和しているか又は殆ど飽和している領域の一つ一つに対して、漸次一層少ない（例えば、一層暗い）露出を用いて、初め飽和していた領域の平均画素値が画素値範囲の真ん中近くの値になるまで、同一場面の画像が追加的に集められる。黒い（すなわち、露出不足）か、殆ど黒い領域の一つ一つに対して、漸次一層多い（例えば、一層明るい）露出を用いて、初め黒かった領域の平均画素値が画素値範囲の真ん中近くの値になるまで、同一場面の画像が追加的に集められる。
【００２７】
再帰露出（繰り返し露出）は、画像の十分に露出されていない領域をさらにセグメント化し分ける方法である。さまざまな露出量での追加的な画像は、全領域に対して良いコントラストを有する必要はない。関心のある全ての領域を一緒にカバーする一連の画像セグメントを得るのに、複数画像の複数部分を用いることができる。
【００２８】
もう一つの実施形態では、再帰的に（繰り返し）露出量（露出）を調整して、画像を選りすぐるのに必要なだけの多くの写真を撮る代わりに、コンピュータが、同時にあるいは順番に、異なる露出量で所定数の写真を撮るよう画像センサに指示を出すものでも構わない。本実施形態においては、各々の領域の露出を最適化する代わりに、コンピュータは、一連の画像から、各領域に対して最良の露出を選択する。コンピュータ制御型画像センサは、異なる露出量で自動的に上記写真枚数を撮る特殊化された画像検出機構を備えている。
【００２９】
明るい日中に外から出入り口を通して中を撮影するような例では、通常の自動露出画像検出装置は、建物の外側に対して適正な露出を選択する。しかしながら、この状態では、部屋の中の対象物および／または特徴物は、黒く（すなわち、露出不足）に写る。一実施形態において、コンピュータ画像処理装置は、画像を分析して、出入り口の中の全てが暗いと判断する。露出量を増やして再び写真が撮影され、画像のうち、出入り口部分が再解析される。画像の平均画素値が依然として所定の閾値を下回っている場合、出入り口の中の領域が適正に露出されるか、または、画像センサが最大露出設定に達するまで、より多めの、異なった露出量で、追加画像を撮影するように、コンピュータが画像検出装置に命令を出す。
【００３０】
このような再帰露出技術（繰り返し露出技術）から、画像の各領域に対して満足のいくコントラストを全体で有しているような一連の画像が得られる。画像セグメント化技術（画像分割技術）には、さまざまな実施形態がある。例えば、一実施形態において、領域は、各画像において適正かつ十分に露出された幾つかの特定の画素を介して、跡がたどられる。これとは異なり、多くの可能な形状、例えば、長方形、多角形（ポリゴン）、楕円、スプライン（すなわち、数式によって表せることが多い、２点以上を通る滑らかな曲線）などが、領域の境界を定めるのに用いられてもよい。本実施形態において、各画像の適正に露出されたセグメントは、次に、特定のアプリケーションにより分析することができる。マシンビジョンを利用している実施形態では、分割された（セグメント化された）領域は、重なり合ってもよいし、どの画像でも適正に露出されない空白部分さえ有していてよい。このようにして、ロボットは、引き出せる全ての情報を利用するが、画像処理アルゴリズムの統計的な性質のために、所定場面が１００%カバーされていなくても動作可能である。
【００３１】
他の実施形態では、ステレオ視といった特定の用途に必要とされているように、複数の画像センサ（例えばデジタル・カメラ）がシステム（装置）によって利用されている。露出は、それぞれのカメラによって取り込まれた画像に対して別々に解析されてもよいし、あるいは、違うカメラからの画像の対応する領域に対して露出が同じに選ばれてもよい。
【００３２】
他の実施形態では、コントラストは、日光や照明光などの光もしくはフラッシュを用いた複数画像同志の間で変更されてもよい。画像処理アプリケーションは、一般には可視光スペクトルに限られない。例えば、画像を取り込むために相補形金属酸化膜半導体（ＣＭＯＳ）デバイスを使用しているカメラは、赤外光領域において動作可能とされているため、赤外領域における露出設定を用いることができる。赤外光は、人間の目には見えないので、人間の目に見えない照明光ないしフラッシュをカメラ機構に設けることができる。画像を取り込むために電荷結合素子（ＣＣＤ）を使った他のカメラが使用可能である。
【００３３】
さらに他の実施形態では、全ての写真が同一の場面から撮影されるものである必要はない。こういった状況が起こりえるのは、画像センサもしくは場面が止まったままでいられないために各画像が僅かに異なる場面のものになるときである。この実施形態では、コンピュータがそれぞれの写真内の対象物および特徴物を相関させなければならないときに、これら対象物および特徴物が画像内の同じ場所にいないため、圧倒的に多くの画像処理が行われなければならない。複数画像中の対象物を一致させるためのオプティカルフローといったような、当該技術分野では周知の相関技術がある。さらに他の実施形態では、アナログ・カメラが画像センサとして用いられるが、この場合には、全画像が異なる露出量で撮影され、露出解析技術を駆使する前に、スキャンによってコンピュータ内にデジタル形式で読み込まれなければならない。
【００３４】
マシンビジョンのアプリケーションを用いる一実施形態において、コンピュータ上で実行される画像処理アルゴリズムによって、別々に各下位領域が分析される、あるいは、複数の画像センサ・アプリケーションの場合には、対応する下位領域が分析される。人間が画像を分析する一実施形態では、上記コンピュータ・アルゴリズムによって、複数画像の適正に露出された幾つかの領域が単一の画像に継ぎ合わされることが可能である。継ぎ合わされた斯かる画像は、ばらばらのようではあっても、画像のさまざまな領域は適正に露出され、これにより画像全体の中の対象物および／または特徴物が処理可能となる。適正に露出された複数領域は、重なり合いがあって重畳部になっていてもよいし、重なり合いがなくて非重畳部になっていてもよいし、重なり合う部分（重畳部）と重なり合わない部分（非重畳部）が組み合わされていてもよい。
【００３５】
ステレオ視を用いる一実施形態において、例えば視覚に基づくロボット工学では、コンピュータは、幾つかの画像センサのうちの一つから得られた画像中の対象物および／または特徴物を、他の画像センサから得られた画像中の対応する対象物および／または特徴物に一致させる。各画像中の対象物および／または特徴物の相対的な位置は、対象物および／または特徴物に対する該ロボットの距離および方向を判断するのに用いられてもよい。本実施形態においては、適正に露出された領域は、対象物および／または特徴物が充分なコントラストを有して、その結果、両方のステレオ・画像センサからの画像間で一致が図れるような領域とされている。
【００３６】
図１Ａは、単一の画像センサ１０１を用いて画像を検出しかつ処理する装置の一実施形態を示す図である。本実施形態において、画像センサ１０１は、ケーブル１０４を介してコンピュータ１０２に接続されている。デジタル形式で画像を取り込むどのような画像センサでも用いることができるであろうが、現在広く使われている画像センサの種類は、デジタル・カメラである。複数の画像センサ１０１であれば、ステレオ視といったような用途に使うことが可能である。図１Ａに示されるケーブル１０４は、多くの種類のインターフェースケーブル、例えばシリアルインターフェースケーブル（例えばＲＳ−２３２，ＥＩＡ−２３２又はＲＳ−４２２）、パラレルインターフェースケーブル、ＵＳＢ（Universal Serial Bus）インターフェースケーブル、ネットワーク・インターフェースケーブル（例えばイーサネット（登録商標）またはＴＣＰ／ＩＰ）、またはデバイス間でデータ通信を可能にするように多数のデバイスを接続できる他のあらゆるケーブル、のうちの一つもしくは複数とすることができる。他の実施形態では、アナログ式のカメラ・画像センサ１０１が、従来の写真用フィルム形式によって画像を取り込むのに使われる。写真のフィルム画像は、スキャンによってデジタル形式に読み込まれ、コンピュータ１０２に記憶される。ただし、この方法は、画像を直接デジタル形式で取り込む画像センサを用いる場合よりも扱いにくくて時間がかかることになろう。
【００３７】
図１Ａの実施形態に示されるコンピュータ１０２は、デスクトップ型のパーソナルコンピュータ（ＰＣ）とされているが、他の実施形態において、コンピュータ１０２は、例えば専用のプリント回路基板であってもよいし、あるいは、画像処理に必要なハードウェアだけを有する単一の集積回路であってもよい。更なる実施形態において、画像センサ１０１およびコンピュータ１０２は、一つの装置またはユニットに内蔵させることができ、その結果、場合によっては、これらを接続しているケーブル１０４が省かれることになる。更なる実施形態において、図１Ａに示されるケーブル１０４は、無線リンクに置き換えることができる。
【００３８】
図１Ａは、三脚１０３に取付けられている例えばカメラ等の画像センサ１０１を示す。三脚は、画像が取り込まれる間、カメラ１０１を固定して、できるだけ動かないようにするために写真技術で広く用いられているものである。三脚１０３を用いると良いのは、露出時間が変わることを除けば、画像が概ね同じになることが保証される点である。加えて、図１Ａは、対象物１０５が含まれる場面（光景）の一例を示している。ここで、対象物は、この例では、場面中、例えばランプならびにテーブルとすることができる。通常、複数画像処理（多重画像処理）において対象となるのは、静止対象物１０５を含む複数画像であり、この場合には、場面は、比較的短時間の間に取り込まれる。しかしながら、本願明細書において記載されている画像処理技術は、異なる時間に撮られた写真に応用することができ、その結果、異なる画像において、照明を変えるという付加的な利点が得られる。再帰露出技術は、複数画像中、別の場所に移ってしまうような対象物および／または特徴物を含んだ動的な場面にも適用することができる。この場合、複数画像間で動いてしまった対象物を相関させるための付加的な処理が必要である。
【００３９】
図１Ｂは、移動ロボット装置１１０に搭載された複数の画像センサ１０１を用いて画像を検出しかつ処理する装置の一実施形態を示す図である。図１Ｂは、２つの画像センサ１０１を有するロボット１１０を示しているが、（図１Ａに示すように）単一の画像センサ１０１だけを有するような、あるいは、２つよりも多くの画像センサ１０１（図示されない構成）を有するような他の実施形態も考えられる。図１Ｂに示される２つの画像センサ１０１は、場面の対象物１０５の複数画像を、略同じ時間か又は異なる時間に、しかも同じか又は異なる露出設定を用いて撮ることができる。
【００４０】
図１Ｂで示す一実施形態において、一つないし複数のカメラ１０１は、移動ロボット１１０に搭載することができ、この場合には、画像処理の方法は、ロボット１１０の動きを予め考えるために、目標ならびに障害のどちらも含んだ複数対象物１０５を探して、複数の場面に対して繰り返される。移動ロボット１１０は、本出願人による同時係属の特許出願（米国特許出願番号第０９/４４９１７７号）に記載されている。
【００４１】
図２は、一場面のデジタル画像を示す。このデジタル画像は、基本画像２００用として、画像センサ１０１の自動露出装置により選択された公称露出で撮られたものである。基本画像２００の多くの領域は、正しい露出を有しており、例えばドア２１０に掛かっているシャツのように、写真中、鮮明である。図２に示される基本画像２００中、シャツのデザインや、ブラインド上の柄を見ることができる。けれども、ランプ２２０の後側の領域は飽和している（つまり、明る過ぎる、言い換えれば露出過度になっている）。その一方で、ドア２３０の後の部屋と窓２４０は暗すぎる（つまり、露出不足になっている）。図２に示される基本画像２００の例では、ランプ２２０の後側の領域が唯一の明る過ぎる領域になっている。
【００４２】
図３は、画像検出処理装置の一実施形態におけるモジュール３００の線図である。本実施形態では、複数画像獲得モジュール３１０が備えられている。このモジュール３１０は、画像領域セグメント化モジュール３２０とデータ通信を行う。上記モジュール３２０は、さらに、マシンビジョン処理モジュール３３０とデータ通信を行う。上記データ通信は、多くの形式を取ることができ、ちょっと挙げてみただけでも、例えば共有アクセス可能なコンピュータ・メモリまたはネットワーク接続等が含まれる。マシンビジョン処理アルゴリズムの詳細については、例えば、B.K.P Horn, "Robot Vision," MIT Press and McGraw-Hill （1986）, Klette, Schluns & Koschan, "Computer Vision," Springer-Verlag Singapore Pte. Limited （1998）, Duda & Hart, "Pattern Classification and Scene Analysis," Jolin Wiley & Sons （1973）, and S. E. Umbaugh, "Computer Vision and Image Processing," Prentice Hall （1998）を参照されたい。
【００４３】
図４は、画像検出処理装置の更なる実施形態におけるモジュール４００の線図である。この実施形態では、複数画像獲得モジュール３１０（図３を参照）が備えられている。このモジュール３１０は、画像領域モジュール４１０とデータ通信を行う。上記モジュール４１０は、さらに、マシンビジョン処理モジュール３３０（図３を参照）とデータ通信を行う。モジュール３３０は、さらに、移動モジュール４２０とデータ通信を行う。移動モジュール４２０は、様々な場面の複数画像を集めるために、一つの場所から別の場所への装置の移動を指示する。図３に関して上で述べたように、データ通信は、多くの形式を取ることができる。
【００４４】
図５は、画像検出処理装置における幾つかの段階からなる再帰露出プロセス５００の一実施形態の流れ図である。図５に示すように、再帰露出プロセス５００は、開始段階５０２から開始される。開始段階５０２の次に、再帰露出プロセス５００は、明領域検索プロセス５１０に進む。明領域検索プロセス５１０（このプロセスは、図６を参照して後で更に詳細に述べられる）は、基本画像２００の明る過ぎる（飽和した）領域２２０のために実行される。明領域検索プロセス５１０の次に、再帰露出プロセス５００は、暗領域検索プロセス５２０に進む。暗領域検索プロセス５２０（このプロセスは、図７を参照して後で更に詳細に述べられる）は、基本画像２００の暗過ぎる（露出不足の）領域２３０，２４０のために実行される。暗領域検索プロセス５２０の次に、再帰露出プロセス５００は、全ての領域を画像処理ルーチン５３０に送るための段階に進む。斯かる画像処理ルーチンの一実施形態がオプティカルフロー解析（ optical flow analysis ）である。オプティカルフロー解析の詳細については、例えば、F. BergholmおよびS. Carlsson著「 A "theory" of optical flow 」、 Computer Visions, Graphics, and Image Processing: Image Understanding, vol. 53, pp. 171‐188, March 1992、及びS. Baker および T. Kanade著「Super Resolution Optical Flow」、 tech. report CMU-RI-TR-99‐36, Robotics Institute, Carnegie Mellon University, October 1999を参照されたい。段階５３０の後、再帰露出プロセス５００は、ＥＮＤ５４０で終了する。
【００４５】
図６は、図５に示される明領域検索プロセス５１０の段階の一実施形態を示す流れ図である。明る過ぎる領域というのは、その中では、充分な大きさ（範囲）の画素の集合が規定された閾値より大きい値を有するような領域のことである。このような明る過ぎる領域の一例は、その中では全画素が飽和しているような領域である。図６に示すように、明領域検索プロセス５１０は、開始段階６０２から開始される。開始段階６０２の後、明領域検索プロセス５１０は、判断段階６１０に進む。判断段階６１０において、他に明る過ぎる画素の集合がないと判断されれば、明領域検索プロセス５１０はＥＮＤ６４０で終了する。しかしながら、もし判断段階６１０において別の明る過ぎる画素の集合があると判断されると、明領域検索プロセス５１０は、飽和画素を有する新領域の生成段階６２０に進む。領域というのは、例えば代表的なものとして、ポリゴン又は（圧縮済み、ないし未圧縮の）画素のアレイ又はチェインコード（chain code）が考えられる。段階６２０が終了すると、明領域検索プロセス５１０は、領域処理プロセス６３０に進む。このプロセスに関しては、後で図８を参照して更に詳細に述べる。
【００４６】
図７は、図５に示される暗領域検索プロセス５２０の幾つかの段階の一実施形態を示す流れ図である。暗すぎる領域というのは、その中では、平均画素値が規定された閾値未満であるような領域のことである。一例としては、全画素が強度０、つまり真黒であるような領域であろう。図７に示すように、暗領域検索プロセス５２０は、開始段階７０２から開始される。開始段階７０２の次に、暗領域検索プロセス５２０は、判断段階７１０に進む。判断段階７１０において、他の暗すぎる画素の集合がないと判断されれば、暗領域検索プロセス５２０はＥＮＤ７３０で終了する。しかしながら、もし判断段階７１０において別の暗すぎる画素の集合があると判断されると、暗領域検索プロセス５２０は、暗い画素を有する新領域の生成段階７２０に進む。段階７２０の後、暗領域検索プロセス５２０は、領域処理プロセス６３０に進む。このプロセスに関しては、後で図８を参照して更に詳細に述べる。図２の代表的な基本画像２００をもう一度参照すると、窓２４０およびドア２３０を貫く部分が、領域処理プロセス６３０によって再処理される暗領域の例になっている。
【００４７】
図８は、図６および図７に示される、幾つかの段階からなる領域処理プロセス６３０の一実施形態を示す流れ図である。この実施形態では、明るすぎるか又は暗すぎる領域がそれぞれ解析され、図８に示される領域処理プロセス６３０によって、新しい画像が異なる露出量で生成される。図８に示すように、領域処理プロセス６３０は、開始段階８０２から開始される。開始段階８０２の次に、領域処理プロセス６３０は、判断段階８１０に進む。新しい画像の対応する領域が明るすぎると判断段階８１０で判断される場合、領域処理プロセス６３０は、判断段階８２０に進む。画像センサ１０１（例えばカメラ）が最も暗い（つまり、最も低い）露出になっているという判断が判断段階８２０でなされると、領域処理プロセス６３０は、ＥＮＤ段階８８０で終了する。しかしながら、もし画像センサ１０１が最も低い露出になっていないという判断が判断段階８２０でなされるならば、領域処理プロセス６３０は、画像センサ１０１の露出設定を下げるための露出低減段階８３０に進む。
【００４８】
低減すべき露出の量を決定するのに使える色々なアルゴリズムが存在する。例えば、一実施形態では、二次元の表引き（table lookup）が用いられ、このとき、入力値は、現領域中の平均画素値ならびに現露出設定値である。この実施形態における表引きの出力は、新しい露出設定値である。他の実施形態において、新しい露出設定値は、前の露出設定値に対する新しい露出設定値の比が、現在の平均画素値に対する所望の平均画素値の比に概ね等しくなるように算出される。幾つかの実施形態においては、画像の露出は、様々な技術により増加させることができる。例えば、画像センサ１０１が光を受ける時間を変える、画像センサ１０１レンズ開口の大きさを変える、明るさ（例えば黒）の設定を変える、コントラスト（例えば、ゲイン）の設定を変える、場面を照明するためのフラッシュまたは光を用いる、あるいはその他の、取り込み前ないし取り込み後の露出技術を用いるといった手法である。
【００４９】
段階８３０の後、領域処理プロセス６３０は画像収集段階８４０に進む。この画像収集段階は、一実施形態では、画像センサ１０１は、前の画像の取り込みと同じようにして新しい画像を取り込むのであるが、ただ、露出の設定が変更された状態で取り込む段階が含まれる。段階８４０の後、領域処理プロセス６３０は、判断段階８１０に進む。カメラの露出設定値が段階８３０において低減され、そして、新しい画像が段階８４０で収集された後、（判断段階８１０，８５０に関して上述したように）平均画素値が許容限界内にあるか、あるいは、（判断段階８２０，８６０に関して上述したように）カメラ露出設定値がその最低値または最高値であるために、もはやいかなる補償も不可能であるかのいずれかとなるまで上記のプロセスが繰り返される。この繰り返された処理の最終結果が、平均画素値が許容限度の中にあるというものであるような場合には、上記のプロセスは、（図６および図７に関して上述されている図８中の段階５１０，５２０の再帰実行で示されるように）画像内の当該領域に対して再帰的に繰り返される。言い換えるならば、すでに基本画像２００をチェックしたのと同じ方法を用いて、明領域判定プロセス５１０による明るすぎる画素の集合と、暗領域検索プロセス５２０による暗すぎる画素の集合とに関し、上記領域がチェックされる。各画素が独自の理想的な露出を持てたということが可能でも、画像の大部分は少数の露出によって最適化できる。他の実施形態では、場面の複数画像が、異なる露出からなる広範囲において収集され、画像を取り込んだ後に行われる画像処理の前に保存される。この実施形態では、画像処理は略上記の通りであるが、ただし、段階８４０で画像を収集する代わりに、所望の露出に最もぴったり対応している画像が読み出されて処理されるという点だけは別である。
【００５０】
しかしもし、判断段階８１０で領域があまり明るくないと判断されるならば、領域処理プロセス６３０は判断段階８５０に進む。判断段階８５０で領域が暗すぎると判断される場合、領域処理プロセス６３０は判断段階８６０に進む。画像センサが最も明るい露出になっているという判断が判断段階８６０でなされると、領域処理プロセス６３０は、ＥＮＤ８８２で終了する。しかしながら、もし画像センサが最も明るい露出になっていないという判断が判断段階８６０でなされるならば、領域処理プロセス６３０は、露出増加段階８７０に進む。
【００５１】
増加すべき露出の量を決定するのに使える色々なアルゴリズムが存在する。例えば、一実施形態では、二次元の表引きが用いられ、このとき、入力値は、現領域中の平均画素値ならびに現露出設定値である。この実施形態における表引きの出力は、新しい露出設定値である。他の実施形態において、新しい露出設定値は、前の露出設定値に対する新しい露出設定値の比が、現在の平均画素値に対する所望の平均画素値の比に概ね等しくなるように算出される。
【００５２】
段階８７０の後、領域処理プロセス６３０は、画像収集段階８４０に進む。段階８４０の後、領域処理プロセス６３０は、上述したように判断段階８１０に進む。
【００５３】
しかしながら、もし判断段階８５０で領域があまり暗くないと判断されるならば、領域処理プロセス６３０は図６に関して上述したように明領域検索プロセス５１０に進む。明領域検索プロセス５１０の後、領域処理プロセス６３０は、図７に関して上述したように暗領域検索プロセス５２０に進む。暗領域検索プロセス５２０の後、領域処理プロセス６３０はＥＮＤ８８４で終了する。図８のＥＮＤ８８０，８８２，８８４は同じ終了処理命令を表しているが、図８の表示を分かりやすくするというだけの理由で、３つの別々の段階として描かれている。
【００５４】
図９は、露出のレベルを下げて撮られたことを除いて、図２に示される基本画像２００の場面の一つのデジタル画像９００を示している。基本画像２００（図２を参照）のうち明る過ぎる領域２２０は、領域９１０で示すように、画像９００においては、適正に露出されている。画像９００の残りのもっと露出の低い領域９２０は処理されていないが、図９の検査により、画像９００のこの領域９２０は露出不足であるため、大半の対象物および／または特徴物を識別するような画像処理には、暗すぎることが示される。
【００５５】
図１０は、露出のレベルをもっと高くして撮られたことを除いて、図２に示される基本画像２００の場面の一つのデジタル画像１０００を示している。基本画像２００のうち暗すぎる領域２３０，２４０は、領域１０１０，１０２０で示すように、新画像１０００においては、適正に露出されている。しかしながら、図１０の検査により、画像１０００の残りの大部分の領域１０３０が露出過度であるため、大半の対象物および／または特徴物を識別するような画像処理には明るすぎることが示される。
【００５６】
図１１は、図２、図９および図１０に示される画像から継ぎ合された合成画像１１００を示す図であり、画像２００、９００および１０００のうちそれぞれ最も良い露出部分が使用されている。一実施形態においては、明るすぎる、そして暗すぎる領域を処理してしまえば、画像は、アプリケーションに依存する画像処理に対していつでも使える。アプリケーションがマシンビジョンを利用するような実施形態では、コンピュータ分析は、通常、画像毎に適正に露出された領域に応じて行われる。合成画像が必要にならない本発明の実施形態も存在するが、図１１は、仮にそのような合成画像１１００が生成された場合の実際の画像を示している。本実施形態においては、露出された３つの画像２００，９００および１０００を使用しているが、合成画像１１００の大半の領域１１３０は、基本画像２００からのものである。基本画像２００の中の明る過ぎる領域２２０は、図９に示される露出不足の画像９００の適正に露出された領域９１０と取り替えられる。基本画像２００の暗すぎる領域２３０，２４０は、図１０に示される露出過度の画像１０００の適正に露出された領域１０１０，１０２０とそれぞれ取り替えらえる。一実施形態においては、合成画像１１００は、ちょうど３つの露出だけを使って、さらなる画像処理を施さないままの、共通の要素をもたないちぐはぐでばらばらなものでも構わないが、それでも、図１１に示されているように、最初の基本画像２００に比べれば、合成画像１１００の全ての領域においてはるかに多くの詳細を見ることができる。
【００５７】
更なる実施形態では、追加的な露出が取り込まれて、これらの露出がリング様の下位領域を生成し、その際、漸次次第に大きくなるリングが一連の画像に対して表示される。このような実施形態では、明るさの推移が領域間において一層スムーズになる。更なる実施形態において、画像センサが移動可能とされているような動的な場面または例は、はるかに多くの画像処理を必要とするが、上述の方法に似た方法で分析され、処理される。これらの実施形態において、領域の形状は、異なる画像間で僅かに変化してもよい。
【００５８】
種々の実施形態に照らし合わせて、本発明の新規な特徴部分を上記の詳細な説明において示し、記載し、指摘してきたが、上述の装置ないし方法の形態や細部を様々に省略、置換、変更することは、本発明の意図から逸脱することなく当業者によりなされることが理解されよう。本発明の範囲は、前述の記載よりはむしろ、特許請求の範囲によって示される。請求項と同等の範囲や意味に含まれるいかなる変更も本願の観点の中に入る。
【図面の簡単な説明】
【００５９】
【図１Ａ】単一の画像センサを利用している画像検出装置ならびに画像処理装置の一実施形態を示す図である。
【図１Ｂ】移動ロボット装置に搭載された多数の画像センサを利用している画像検出装置ならびに画像処理装置の一実施形態を示す図である。
【図２】基本画像用として、画像センサの自動露出装置により選択された公称露出で撮られた一場面のデジタル画像を示す図である。
【図３】画像検出処理装置の一実施形態におけるモジュールの線図である。
【図４】画像検出処理装置の更なる実施形態におけるモジュールの線図である。
【図５】画像検出処理装置の再帰露出プロセスの段階の一実施形態の流れ図である。
【図６】図５に示される明領域検索プロセスの段階の一実施形態の流れ図である。
【図７】図５に示される暗領域検索プロセスの段階の一実施形態の流れ図である。
【図８】図６および７に示される領域処理プロセスの段階の一実施形態の流れ図である。
【図９】露出のレベルを下げて撮られたことを除いて、図２に示される基本画像の場面の一つのデジタル画像を示す図である。
【図１０】露出のレベルをもっと上げて撮られたことを除いて、図２に示される基本画像の場面の一つのデジタル画像を示す図である。
【図１１】図２、図９および図１０に示される画像から継ぎ合された合成画像を示す図であって、各画像のうちそれぞれ最も良い露出部分が使用されている合成画像を示す図である。
【符号の説明】
【００６０】
１０１・・・画像センサ
１０２・・・コンピュータ
１０５・・・対象物
１１０・・・移動ロボット
２００・・・基本画像
２２０・・・露出過度の領域
２３０，２４０・・・露出不足の領域
３００，４００・・・モジュール（画像検出処理装置）
３２０・・・画像領域セグメント化モジュール（画像領域を分割するモジュール）
３１０，４１０・・・画像獲得モジュール（画像を得るためのモジュール）
３３０・・・マシンビジョン処理モジュール
４２０・・・移動モジュール
５００・・・再帰露出プロセス
５１０・・・明領域検索プロセス
５２０・・・暗領域検索プロセス
５３０・・・画像処理ルーチン
８３０・・・露出低減段階
８４０・・・画像収集段階
８７０・・・露出増加段階
１１００・・・合成画像
【図３】
2005508574.tif 000003
【図４】
2005508574.tif 000004
【図５】
2005508574.tif 000005
【図６】
2005508574.tif 000006
【図７】
2005508574.tif 000007
【図８】
2005508574.tif 000008
【国際公開パンフレット】
2005508574.tif 000009
2005508574.tif 000010
2005508574.tif 000011
2005508574.tif 000012
2005508574.tif 000013
2005508574.tif 000014
2005508574.tif 000015
2005508574.tif 000016
2005508574.tif 000017
2005508574.tif 000018
2005508574.tif 000019
2005508574.tif 000020
2005508574.tif 000021
2005508574.tif 000022
2005508574.tif 000023
2005508574.tif 000024
2005508574.tif 000025
2005508574.tif 000026
2005508574.tif 000027
2005508574.tif 000028
2005508574.tif 000029
2005508574.tif 000030
2005508574.tif 000031
2005508574.tif 000032
2005508574.tif 000033
2005508574.tif 000034
2005508574.tif 000035
2005508574.tif 000036
2005508574.tif 000037
2005508574.tif 000038
2005508574.tif 000039
2005508574.tif 000040
2005508574.tif 000041
2005508574.tif 000042
【手続補正書】
【提出日】平成14年10月15日(2002.10.15)
【手続補正１】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１Ａ】
2005508574.tif 000043
【図１Ｂ】
2005508574.tif 000044
【図２】
2005508574.tif 000045
【図３】
2005508574.tif 000046
【図４】
2005508574.tif 000047
【図５】
2005508574.tif 000048
【図６】
2005508574.tif 000049
【図７】
2005508574.tif 000050
【図８】
2005508574.tif 000051
【図９】
2005508574.tif 000052
【図１０】
2005508574.tif 000053
【図１１】
2005508574.tif 000054
【国際調査報告】
2005508574.tif 000055
2005508574.tif 000056