(57)【要約】  【課題】手振れ補正を行なうために、異なる撮像条件にて撮像された複数画像間の位置ずれを検出して合成を行なう場合、画像ごとの明るさが著しく異なる場合にはブロックマッチングなどでは精度の良いマッチングを行なうことができない場合がある。  【解決手段】複数画像間における位置ずれを検出するために、エッジ検出の技術を利用して位置ずれを検出する撮像装置を提案する。また、白黒二値情報を取得することによっても、エッジ検出と同様に、画像の輪郭を抽出することができる。また、本発明の撮像装置は、手振れ補正の目的に限らず、前記複数画像間のマッチング処理全般に対して適用可能である。【選択図】            図１
2007028352.tif 000002
【特許請求の範囲】
【請求項１】
異なる撮像条件にて撮像された複数画像の画像情報を取得する画像情報取得部と、
画像のエッジを構成するエッジ情報を前記画像情報取得部にて取得した画像情報から前記画像毎に取得するエッジ情報取得部と、
前記エッジ情報取得部にて取得したエッジ情報から前記複数画像の各画素間の対応関係を示す情報である対応関係情報を取得する対応関係情報取得部と、
を有する撮像装置。
【請求項２】
対応関係情報取得部にて取得した対応関係情報を利用して対応する画素ごとに画像情報の利用を図り複数の画像の合成を行なう画像合成部を有する請求項１に記載の撮像装置。
【請求項３】
前記画像合成部は、対応する画素ごとに利用を図る画像情報として輝度情報を利用する輝度情報利用手段を有する請求項２に記載の撮像装置。
【請求項４】
前記画像情報取得部にて取得する複数画像の撮像条件は通常のブロックマッチングにてその複数画像のマッチング精度が所定の値に達しない撮像条件である請求項１から３のいずれか一に記載の撮像装置。
【請求項５】
前記撮像条件は、
撮像する複数画像の一の画像である第一画像を、適正露出の画像となるように撮像する第一撮像条件であり、
撮像する複数画像の他の一の画像である第二画像を、手振れによる画像のボケを低減させる為に、比較的速いシャッタースピードにて撮像する第二撮像条件である
請求項４に記載の撮像装置。
【請求項６】
前記異なる撮像条件での撮像は、短時間内に行なわれる請求項１から５のいずれか一に記載の撮像装置。
【請求項７】
前記エッジ情報を取得するエッジ情報取得部に代えて、白黒二値情報を取得する白黒二値情報取得部を有し、
前記対応関係情報取得部は、前記エッジ情報に代えて白黒二値情報を利用して前記複数画像の各画素間の対応関係を示す情報である対応関係情報を取得する請求項１から６のいずれか一に記載の撮像装置。
【請求項８】
異なる撮像条件にて撮像された複数画像の画像情報を取得する画像情報ステップと、
画像のエッジを構成するエッジ情報を前記画像情報取得ステップにて取得した画像情報から前記画像毎に取得するエッジ情報取得ステップと、
前記エッジ情報取得ステップにて取得したエッジ情報から前記複数画像の各画素間の対応関係を示す情報である対応関係情報を取得する対応関係情報取得ステップと、
を有する撮像方法。
【請求項９】
対応関係情報取得ステップにて取得した対応関係情報を利用して対応する画素ごとに画像情報の利用を図り複数の画像の合成を行なう画像合成ステップを有する請求項８に記載の撮像方法。
【請求項１０】
前記エッジ情報を取得するエッジ情報取得ステップに代えて、白黒二値情報を取得する白黒二値情報取得ステップを有し、
前記対応関係情報取得ステップは、前記エッジ情報に代えて白黒二値情報を利用して前記複数画像の各画素間の対応関係を示す情報である対応関係情報を取得する請求項８又は９に記載の撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、静止画を撮像する撮像装置に関し、さらに詳しくは手振れ補正における画像マッチング処理技術に関する。
【背景技術】
【０００２】
通常、デジタルカメラやカメラ付携帯電話等の撮像装置によって被写体を撮像する際は、その撮像装置を人が手で支えて撮像する場合が多い。そのため、被写体を撮像する際に、いわゆる「手振れ」などによって撮像した画像の品質が低下するという問題が存在していた。このような問題を解決するために、例えば、特許文献１においては、振れが無視しうる程度の短い露光時間によって撮像した複数の画像を、位置を合わせて重ね合わせることにより明るさを補正して振れのない画像を取得する発明が開示されている。また、例えば、適正露出であるが手振れしている可能性の高い画像と、露出不足であるが手振れによる画像のボケが低減された画像とを利用して、後者の輝度情報等を前者の輝度情報等によって補正することにより明るさを補正し、適正露出でありかつ手振れの軽減された画像を得る方法も考えられる。このような方法においては、適正露出である画像としてサイズの小さい画像を利用することも可能であるので、カメラ付携帯電話のカメラのように処理能力やメモリ容量に制限のある撮像装置においても適用することができる。
【特許文献１】特開平９−２６１５２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、このような手振れ補正を行なう場合、合成する画像と画像との間に撮像位置のずれが生じることがある。これは、画像の撮像間隔がある程度（一般的には、約１／６０秒以上）の大きさであると、その間に手振れが起こる場合があるからである。このように位置ずれが生じている場合には、その画像間の位置ずれを検出し、検出した結果に基づいて合成を行なう必要がある。位置ずれを検出する方法としては、例えば、ブロックマッチングなどがよく利用されるが、前述のように明るさの異なる画像どうしを比較する場合には精度の良いマッチングができない場合がある。
【課題を解決するための手段】
【０００４】
そこで、本発明においては、異なる撮像条件にて撮像された複数画像間における位置ずれ等を検出するために、エッジ検出の技術を利用する撮像装置を提案する。また、本発明の撮像装置は、手振れ補正の目的に限らず、前記複数画像間のマッチング処理全般に対して適用可能であることは勿論である。
【発明の効果】
【０００５】
本発明の撮像装置においては、特に明るさが著しく異なる複数画像間の位置ずれを検出する場合等において、精度の高いマッチング処理を行なうことができる。
【発明を実施するための最良の形態】
【０００６】
本発明を実施するための最良の形態について図面を用いて詳細に説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。なお、以下の実施形態と請求項の関係は次の通りである。実施形態１は、主に請求項１、４、５、６、８などについて説明する。実施形態２は、主に請求項２、９などについて説明する。実施形態３は、主に請求項３などについて説明する。実施形態４は、主に請求項７、１０などについて説明する。
（実施形態１）
【０００７】
（実施形態１：概要）本実施形態は、エッジ検出により異なる撮像条件にて撮像された複数画像の各画素間の対応関係を検出する撮像装置に関する。例えば、明るさが著しく異なるためにブロックマッチング等では精度の高いマッチング処理を行なうことができないような場合であっても、エッジ検出により精度の高いマッチング処理を行なうことができる。
【０００８】
（実施形態１：構成）本実施形態に係る撮像装置の機能ブロックを図１に例示する。撮像装置（０１００）は、「画像情報取得部」（０１０１）と、「エッジ情報取得部」（０１０２）と、「対応関係情報取得部」（０１０３）と、を有する。
【０００９】
なお、本件発明の構成要素である各部は、ハードウェア、ソフトウェア、ハードウェアとソフトウェアの両方のいずれかによって構成される。例えば、これらを実現する一例として、コンピュータを利用する場合には、ＣＰＵ、バス、メモリ、インタフェース、周辺装置などで構成されるハードウェアと、それらハードウェア上で実行可能なソフトウェアがある。ソフトウェアとしては、メモリ上に展開されたプログラムを順次実行することで、メモリ上のデータや、インタフェースを介して入力されるデータの加工、保存、出力などにより各部の機能が実現される。さらに具体的には、図１３は撮像装置のより具体的な構成を示す図であり、一例として、レンズ（１３０１）、ＣＣＤ（１３０２）、Ａ／Ｄ変換器（１３０３）、ＣＰＵ（１３０４）、一時記憶メモリ（１３０５）、記憶装置（１３０６）、画像出力ユニット（１３０７）、モニタ（１３０８）等から構成されることを示している。（明細書の全体を通じて同様である。）
【００１０】
「画像情報取得部」（０１０１）は、異なる撮像条件にて撮像された複数画像の画像情報を取得する機能を有する。「撮像条件」とは、具体的には、露光時間（「シャッタースピード」と同義）、複数画像間を撮像する撮像間隔、などが該当する。「撮像」とは、具体的には図１３を例として、被写体からの光をレンズ（１３０１）などの光学系を通してＣＣＤ（１３０２）等の撮像素子で受光し、電気信号に変換する。さらに、電気信号をＡ／Ｄ変換器（１３０３）によりデジタル信号に変換して、ＣＰＵ（１３０４）で画像情報とすることを意味する。すなわち、画像情報取得部の具体的な処理としては、さらに画像情報を一時記憶メモリ（１３０５）や記憶装置（１３０６）などの所定の記憶領域に格納することよって実現される。また、画像情報取得部は、このような処理をＣＰＵ（１３０４）に実行させるためのプログラムを含んでいてもよい。また、「画像情報」とは、画像を実現するための情報であって、具体的には、各画素のＲＧＢ値やＹＵＶ値などの数値で表される情報が挙げられる。ところで、輝度情報（Ｙ）はＲＧＢの値により表されることが一般的に知られており、おおよそ、「Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ」という式により求められる。よって、輝度情報も画像情報に含まれると言うことができる。
【００１１】
「エッジ情報取得部」（０１０２）は、画像のエッジを構成するエッジ情報を前記画像情報取得部にて取得した画像情報から前記画像毎に取得する機能を有する。「エッジ」は、物体の輪郭を意味し、画像処理においては画像の特徴を表す線として捉えることができる。一般的なエッジ検出技術に関してはよく知られている技術であるが、その仕組みを簡単に説明する。画像における輪郭は、画像の明るさ等が急激に変化するところであり、明るさの変化値は、関数の変化分を取り出す微分演算を利用して算出することができる。微分には、一次微分（グラディエント）と二次微分（ラプラシアン）がある。ただし、デジタル画像は連続ではないため厳密な微分演算を行なうことができないので、隣接する画素の差分により微分値の近似値を算出する。隣接する画素の差分は、後述する微分オペレータという係数の組を用いて画素の重み付けを行なうことにより算出する。
【００１２】
まず、一次微分（グラディエント）について説明する。画像上の画素（ｘ，ｙ）における明るさをｆ（ｘ）とすると、微分値はベクトル（Δｘ，Δｙ）として表現することができ、以下のような式となる。
【００１３】
【数１】
2007028352.tif 000003
【００１４】
【数２】
2007028352.tif 000004
また、エッジの強さは、
【００１５】
【数３】
2007028352.tif 000005
であり、エッジの方向はベクトル（Δｘ，Δｙ）の向きである。次に、二次微分（ラプラシアン）について説明する。二次微分は、一次微分をもう一度微分したもので、明るさの差分（エッジの強さ）であるΔ（ｘ，ｙ）のみを示し、
【００１６】
【数４】
2007028352.tif 000006
と、表される。また、一次微分に用いられる微分オペレータは、図２（ａ）に示すような種類がある。（数１）（数２）にて用いられているのは、「通常の差分」のオペレータである。また、二次微分に用いられる微分オペレータは、図２（ｂ）に示すような種類がある。（数４）にて用いられているのは、「ラプラシアン１」のオペレータである。以上のようにして、画像上の画素（ｘ，ｙ）における明るさの変化値を求めることができる。すなわち、エッジ情報取得部が取得する「エッジ情報」としては、画像毎に画像上の画素（ｘ，ｙ）におけるベクトル（Δｘ，Δｙ）、又はΔ（ｘ，ｙ）の値を表した情報などが該当する。また、エッジ情報取得部の具体的な処理としては、例えば、前記画像情報取得部（０１０１）にて一時記憶メモリ（１３０５）や記憶装置（１３０６）などの所定の記憶領域に格納された画像情報を読出し、上述のような計算によりベクトル（Δｘ，Δｙ）、又はΔ（ｘ，ｙ）の値を算出し、その結果を一時記憶メモリ（１３０５）や記憶装置（１３０６）などの所定の記憶領域に格納する。また、エッジ情報取得部は、このような処理をＣＰＵ（１３０４）に実行させるためのプログラムを含んでいてもよい。
【００１７】
「対応関係情報取得部」（０１０３）は、前記エッジ情報取得部（０１０２）にて取得したエッジ情報から前記複数画像の各画素間の対応関係を示す情報である対応関係情報を取得する機能を有する。「前記複数画像の各画素間の対応関係」について図３を用いて説明する。前記複数画像が、位置ずれした画像１（０３０１）と画像２（０３０２）の二つの画像である場合を一例とする。前記エッジ情報取得部にて取得したエッジ情報を比較することにより、破線で囲まれた画像１の領域（０３０３）と画像２の領域（０３０４）のエッジ情報が一致したとする。すると、これらの領域に含まれる画像１の画素（ｘ’，ｙ’）と画像２の画素（ｘ，ｙ）は被写体上における相対位置が同じ点であることが分かる。このような関係を、「前記複数画像の各画素間の対応関係」といい、「対応関係情報」とは、例えば、このように対応する画素の組み合わせを表した情報等が該当する。なお、エッジ情報が一致する領域を検出するためには、パターンマッチングなどを利用すればよい。さらに、図４に画像１と画像２の二つの画像の大きさが異なる場合を例示する。画像１（０４０１）の高さをＰｈ、幅をＰｗで表し、画像２（０４０２）の高さをＳｈ、幅をＳｗで表すとする。また、位置ずれの動き量を（Ｍｘ，Ｍｙ）とし、画像１（０４０１）の画素（ｘ’，ｙ’）に対応するのが画像２（０４０２）の画素（ｘ，ｙ）であるとすると、ｘ’＝αｘ＋Ｍｘ、ｙ’＝βｙ＋Ｍｙ、と表すことができる。ここで、αとβは画像１と画像２の水平方向、垂直方向の縮小率であり、α＝Ｐｗ／Ｓｗ、β＝Ｐｈ／Ｓｈである。画像１と画像２の被写体に関しては、被写体自体が動いておらず手振れによってのみ位置がずれているのであれば、基本的には画像中の全画素は平行移動しているだけなので、前記対応関係情報はこのような関係式によって表すこともできる。また、対応関係情報取得部の具体的な処理としては、例えば、前記エッジ情報取得部（０１０２）にて一時記憶メモリ（１３０５）や記憶装置（１３０６）などの所定の記憶領域に格納された複数画像毎のエッジ情報を読出し比較を行なうことにより、複数画像の対応する画素の組み合わせを一時記憶メモリ（１３０５）や記憶装置（１３０６）などの所定の記憶領域に格納する。また、対応関係情報取得部は、このような処理をＣＰＵ（１３０４）に実行させるためのプログラムを含んでいてもよい。
また、前記画像情報取得部（０１０１）にて取得する複数画像の撮像条件は通常のブロックマッチングにてその複数画像のマッチング精度が所定の値に達しない撮像条件あってもよい。ブロックマッチングは一般的によく知られている画像マッチング処理技術であるが、画素値（ＲＧＢ値など）や画像中における画素値の分布情報などを利用して画像中のある探索範囲内において類似部分を探索していくため、例えば、明るさの異なる画像どうしのマッチングを行なうと精度が低くなる場合がある。また、ブロックマッチングにおける類似度評価関数として、（数５）のような差分評価関数がある。例えば、画像１の画素（ｘ，ｙ）における輝度値をｆ１（ｘ，ｙ）、画像２の画素（ｘ，ｙ）における輝度値をｆ２（ｘ，ｙ）、ブロックサイズをＮ×Ｎ、探索範囲をｘ座標、ｙ座標それぞれｉ，ｊであるとすると、
【００１８】
【数５】
2007028352.tif 000007
という式で表される。ブロックマッチングにおいては、この値が最小となる領域を探すが、例えば、「マッチング精度が所定の値に達しない」とは、このような評価関数の値がある値以下にならない場合などが該当する。
【００１９】
また、前記撮像条件は、撮像する複数画像の一の画像である第一画像を、適正露出の画像となるように撮像する第一撮像条件であり、撮像する複数画像の他の一の画像である第二画像を、手振れによる画像のボケを低減させる為に、比較的速いシャッタースピードにて撮像する第二撮像条件であってもよい。このような撮像条件にて撮像を行なうと、第一画像は適正露出であるが、手振れ等によって振れが発生する可能性が高い。なぜならば、シャッタースピードが遅くなるほど手振れ等が発生する可能性は高くなり、適正露出の場合には、シャッタースピードは周辺の明るさが不足している時には、ある程度遅くなることが通常だからである。また、「比較的速いシャッタースピード」とは、第一撮像条件により制御されるシャッタースピードと比較して速い、という意味であり、より具体的には、適正露出となるシャッタースピードよりも速いシャッタースピードである。シャッタースピードが速くなるにつれて、手振れ等による振れが発生する可能性はより低くなり手振れが軽減された画像を得ることができるようになるが、露出はより不足していくため、第二画像は適正露出にて撮像された第一画像よりも暗い画像となる。図５に、第一撮像条件と第二撮像条件により制御される露光時間について例示する。一番上のグラフが適正露出の場合の露光時間を示しているとすると、（ａ）は第一画像の露光時間、すなわち第一撮像条件により制御される露光時間を示す。適正露出の場合の露光時間と同様となるので第一画像は適正露出にて撮像される。（ｂ）は第二画像の露光時間、すなわち第二撮像条件にて制御される露光時間を示す。適正露出の場合の露光時間よりも短くなるため第二画像は露出不足となる。また、このように撮像された第一画像と第二画像を利用して、露出不足であるが手振れが軽減された第二画像の画像情報を、適正露出であるが手振れしている可能性の高い第一画像の画像情報にて補正することにより手振れが軽減された適正露出の画像を得ることができる。また、補正を行なう際には、第一画像と第二画像の各画素間の対応関係を知る必要があるが、このように露出が異なる画像どうしの場合には、やはりブロックマッチングなどのマッチング技術では精度が低くなる可能性が高いため、エッジ検出により対応関係を得ることが効を奏する。なお、第一画像と第二画像の撮像の順番は問わない。
【００２０】
前記異なる撮像条件での撮像は、短時間内に行なわれるようになっていてもよい。複数画像間の撮像間隔が短いほどその間に手振れ等の振れが発生する可能性が低くなるため、画像と画像の撮像位置のずれも軽減されるというメリットがある。
【００２１】
（実施形態１：処理の流れ）図６は、本実施形態に係る撮像装置における処理の流れを示すフロー図を例示する。最初に、異なる撮像条件にて撮像された複数画像の画像情報を取得する。この処理は、画像情報取得部によって実行される（画像情報取得ステップ  Ｓ０６０１）。次に、画像のエッジを構成するエッジ情報を前記画像情報取得ステップ（Ｓ０６０１）にて取得された画像情報から前記画像毎に取得する。この処理は、エッジ情報取得部によって実行される（エッジ情報取得ステップ  Ｓ０６０２）。最後に、前記エッジ情報取得ステップ（Ｓ０６０２）にて取得されたエッジ情報から前記複数画像の各画素間の対応関係を示す情報である対応関係情報を取得する。この処理は、対応関係情報取得部によって実行される（対応関係情報取得ステップ  Ｓ０６０３）。
【００２２】
（実施形態１：効果）本実施形態に係る撮像装置においては、例えば、異なる撮像条件にて撮像されることにより明るさが著しく異なる画像間においても、エッジ検出により精度の高いマッチング処理を行なうことができる。
（実施形態２）
【００２３】
（実施形態２：概要）本実施形態は、対応関係情報取得部にて取得した対応関係情報を利用して、複数の画像の合成を行なう撮像装置に関する。
【００２４】
（実施形態２：構成）本実施形態に係る撮像装置の機能ブロックを図７に例示する。撮像装置（０７００）は、「画像情報取得部」（０７０１）と、「エッジ情報取得部」（０７０２）と、「対応関係情報取得部」（０７０３）と、「画像合成部」（０７０４）と、を有する。すなわち、実施形態１に係る撮像装置の構成に、「画像合成部」（０７０４）を加えた構成である。
【００２５】
「画像合成部」（０７０４）は、対応関係情報取得部（０７０３）にて取得した対応関係情報を利用して対応する画素ごとに画像情報の利用を図り複数の画像の合成を行なう機能を有する。「対応する画素ごとに画像情報の利用を図り」とは、前記複数画像は異なる撮像条件の下で撮像された画像であり画像情報が異なるため、一の画像の画像情報を、他の画像の画像情報により補正する場合などが想定される。例えば、前記第一画像と前記第二画像のように露出の異なる画像において対応する画素ごとに第二画像のＲＧＢ値を第一画像のＲＧＢ値により補正する場合などが該当する。また、画像合成部における具体的な処理としては、例えば、前記対応関係情報取得部（０７０３）にて一時記憶メモリ（１３０５）や記憶装置（１３０６）などの所定の記憶領域に格納された対応関係情報を読出し、さらに前記画像情報取得部（０７０１）にて一時記憶メモリ（１３０５）や記憶装置（１３０６）などの所定の記憶領域に格納された対応関係情報を読出す。読出した対応関係情報により対応する画素どうしの画素値を読出した画像情報から取得し、画素値の補正を行なう。補正した画素値を、一時記憶メモリ（１３０５）や記憶装置（１３０６）などの所定の記憶領域に格納する。また、画像合成部は、このような処理をＣＰＵ（１３０４）に実行させるためのプログラムを含んでいてもよい。
【００２６】
（実施形態２：処理の流れ）図８は、本実施形態に係る撮像装置における処理の流れを示すフロー図を例示する。最初に、異なる撮像条件にて撮像された複数画像の画像情報を取得する。この処理は、画像情報取得部によって実行される（画像情報取得ステップ  Ｓ０８０１）。次に、画像のエッジを構成するエッジ情報を前記画像情報取得ステップ（Ｓ０８０１）にて取得された画像情報から前記画像毎に取得する。この処理は、エッジ情報取得部によって実行される（エッジ情報取得ステップ  Ｓ０８０２）。次に、前記エッジ情報取得ステップ（Ｓ０８０２）にて取得されたエッジ情報から前記複数画像の各画素間の対応関係を示す情報である対応関係情報を取得する。この処理は、対応関係情報取得部によって実行される（対応関係情報取得ステップ  Ｓ０８０３）。最後に、対応関係情報取得ステップ（Ｓ０８０３）にて取得された対応関係情報を利用して対応する画素ごとに画像情報の利用を図り複数の画像の合成を行なう（画像合成ステップ  Ｓ０８０４）。
【００２７】
（実施形態２：効果）本実施形態に係る撮像装置においては、対応関係情報取得部にて取得した対応関係情報を利用して、複数の画像の合成を行なうことが可能である。
（実施形態３）
【００２８】
（実施形態３：概要）本実施形態は、複数画像の合成を行なう際に、利用を図る画像情報として輝度情報を利用することを特徴とする撮像装置に関する。
【００２９】
（実施形態３：構成）本実施形態に係る撮像装置の機能ブロックを図９に例示する。撮像装置（０９００）は、「画像情報取得部」（０９０１）と、「エッジ情報取得部」（０９０２）と、「対応関係情報取得部」（０９０３）と、「画像合成部」（０９０４）と、を有する。また、前記画像合成部（０９０４）は、「輝度情報利用手段」（０９０５）を有する。すなわち、実施形態２に係る撮像装置の構成に、「輝度情報利用手段」（０９０５）を加えた構成である。
【００３０】
「輝度情報利用手段」（０９０５）は、対応する画素ごとに利用を図る画像情報として輝度情報を利用する機能を有する。図１０は、輝度情報利用手段における輝度情報の利用例を示す。図４にて説明のように、画像１と画像２の位置ずれの動き量を（Ｍｘ，Ｍｙ）、α＝Ｐｗ／Ｓｗ、β＝Ｐｈ／Ｓｈとすると、画像１の画素（ｘ’，ｙ’）と画像２の画素（ｘ，ｙ）との関係は、ｘ’＝αｘ＋Ｍｘ、ｙ’＝βｙ＋Ｍｙと表すことができる。通常、画素の明るさは露光時間の長さに比例して変化する（例えば、露光時間が２倍になれば、画素の明るさも２倍になる）ので、画像１と画像２の露光時間の比に応じて、画像２の画像情報にて示される各画素における画素値（ＲＧＢ値など）を増加させれば、画像２の明るさは画像１と同じになる。しかしながら、ノイズも増幅されてしまうため、ここでは線形補間により画像１の画素値との平均を取ってノイズ成分を減少させる方法にて画素値の補正を行なう場合を例示する。なお、輝度はＲＧＢの値で決定されるので、画素値の補正とは、輝度を補正することと同義である。また、線形補間に関しては一般的によく知られているのでここでは詳述しない。ｘ’＝αｘ＋Ｍｘ、ｙ’＝βｙ＋Ｍｙ、にて算出されるｘ’の整数部をｋ、小数部をｕ、ｙ’の整数部をｌ、小数部をｖとし、画像１の画素（ｘ’，ｙ’）における画素値をＰｐ（ｘ’，ｙ’）とすると、Ｐｐ（ｘ’，ｙ’）＝Ｐｐ（ｋ＋ｕ，ｌ＋ｖ）＝Ｐｐ（ｋ，ｌ）（ｌ−ｕ）（ｌ−ｖ）＋Ｐｐ（ｋ＋１，ｌ）ｕ（ｌ−ｖ）＋Ｐｐ（ｋ，ｌ＋１）（ｌ−ｕ）ｌ＋Ｐｐ（ｋ＋１，ｌ＋１）ｋｌ、という式にて画素値Ｐｐ（ｘ’，ｙ’）が求められる。また、画像２の画素値を補正する際の補正量は以下のように算出する。画像１の露光時間をＴｏ、画像２の露光時間をＴｘとし、Ｔｒ＝Ｔｘ／Ｔｏとする。画像２の画素（ｘ，ｙ）における画素値をＰｓ（ｘ，ｙ）とすると、補正する画素値Ｐａ（ｘ，ｙ）は、Ｐａ（ｘ，ｙ）＝（Ｐｐ（ｘ’，ｙ’）＋Ｐｓ（ｘ，ｙ）・Ｔｒ）／２、という式で表される。これにより、画像１の画素値Ｐｐ（ｘ’，ｙ’）と画像２の画素値Ｐｓ（ｘ，ｙ）によって、画像２の画素値をＰａ（ｘ，ｙ）で補正することができる。
【００３１】
（実施形態３：処理の流れ）本実施形態に係る撮像装置における処理の流れは、実施形態２に係る撮像装置の処理の流れと同様である。ただし、画像合成ステップにて対応する画素ごとに利用を図る画像情報として輝度情報を利用することを特徴とする。
【００３２】
（実施形態３：効果）本実施形態に係る撮像装置においては、複数画像を合成する際に輝度情報を利用して合成を行なうことができる。
（実施形態４）
【００３３】
（実施形態４：概要）本実施形態は、エッジ情報に代えて白黒二値情報を取得し、白黒二値情報を利用して複数画像の各画素間の対応関係を検出することが可能な撮像装置に関する。白黒二値情報を利用することにより、エッジ検出同様に、明るさが著しく異なるためにブロックマッチング等では精度の高いマッチング処理を行なうことができないような場合であっても、精度の高いマッチング処理を行なうことができる。
【００３４】
（実施形態４：構成）本実施形態に係る撮像装置の機能ブロックを図１１に例示する。本実施形態に係る撮像装置の構成は、実施形態１から３のいずれか一に係る撮像装置の構成においてエッジ情報取得部に代えて「白黒二値情報取得部」（１１０２）を有した構成となる。図１２においては、実施形態３にて説明の撮像装置の構成においてエッジ情報取得部に代えて前記白黒二値情報取得部（１１０２）を有した構成を例示している。撮像装置（１１００）は、「画像情報取得部」（１１０１）と、「白黒二値情報取得部」（１１０２）と、「対応関係情報取得部」（１１０３）と、「画像合成部」（１１０４）と、を有する。また、前記画像合成部（１１０４）は、「輝度情報利用手段」（１１０５）を有する。
【００３５】
「白黒二値情報取得部」（１１０２）は、白黒二値情報を取得する機能を有する。「白黒二値情報」とは、画像に対して２値化を行なった結果、取得できる情報である。２値化とは、画像中の各画素の明るさがある閾値よりも明るければ黒色に変換し、閾値よりも暗ければ白色に変換する画像処理である。すなわち、画素（ｘ，ｙ）の明るさをｆ（ｘ）とし、閾値をＴとすると、ｆ（ｘ）>Ｔであれば（ｘ，ｙ）のＲＧＢ値を（２５５，２５５，２５５）とし、ｆ（ｘ）<＝Ｔであれば（ｘ，ｙ）のＲＧＢ値を（０，０，０）とする。すなわち、白黒二値情報としては、画像中の全部又は一部の画素値を２値化した後のＲＧＢ値（黒色又は白色）を表した情報などが該当する。なお、閾値Ｔは、画像ごとに異なる値である。また、白黒二値情報取得部の具体的な処理としては、例えば、前記画像情報取得部（１１０１）にて一時記憶メモリ（１３０５）や記憶装置（１３０６）などの所定の記憶領域に格納された画像情報を読出し、上述のような２値化処理を行なうことにより画像中の各画素のＲＧＢ値を（２５５，２５５，２５５）又は（０，０，０）に決定し、その結果を一時記憶メモリ（１３０５）や記憶装置（１３０６）などの所定の記憶領域に格納する。また、白黒二値情報取得部は、このような処理をＣＰＵ（１３０４）に実行させるためのプログラムを含んでいてもよい。
【００３６】
また、前記対応関係情報取得部は、前記エッジ情報に代えて白黒二値情報を利用して前記複数画像の各画素間の対応関係を示す情報である対応関係情報を取得することを特徴としてもよい。画像に対して２値化処理を行なうと、黒色に変換された領域の形が浮かび上がるため、複数画像間においてこの領域の形を比較する等によりマッチング処理を行なうことができる。
【００３７】
（実施形態４：処理の流れ）図１２は、本実施形態に係る撮像装置における処理の流れを示すフロー図を例示する。最初に、異なる撮像条件にて撮像された複数画像の画像情報を取得する。この処理は、画像情報取得部によって実行される（画像情報取得ステップ  Ｓ１２０１）。次に、画像の白黒二値情報を前記画像情報取得ステップ（Ｓ１２０１）にて取得された画像情報から前記画像毎に取得する。この処理は、白黒二値情報取得部によって実行される（白黒二値情報取得ステップ  Ｓ１２０２）。次に、前記白黒二値情報取得ステップ（Ｓ１２０２）にて取得された白黒二値情報を利用して前記複数画像の各画素間の対応関係を示す情報である対応関係情報を取得する。この処理は、対応関係情報取得部によって実行される（白黒二値対応関係情報取得ステップ  Ｓ１２０３）。最後に、白黒二値対応関係情報取得ステップ（Ｓ１２０３）にて取得された対応関係情報を利用して対応する画素ごとに画像情報の利用を図り複数の画像の合成を行なう（画像合成ステップ  Ｓ１２０４）。
【００３８】
（実施形態４：効果）本実施形態に係る撮像装置においては、例えば、異なる撮像条件にて撮像されることにより明るさが著しく異なる画像間においても、白黒二値情報を利用して精度の高いマッチング処理を行なうことができる。
【図面の簡単な説明】
【００３９】
【図１】実施形態１に係る撮像装置の機能ブロック図
【図２】エッジ検出における微分オペレータを説明する図
【図３】複数画像の各画素間の対応関係を説明する図
【図４】複数画像の各画素間の対応関係を説明する図
【図５】第一撮像条件と第二撮像条件により制御される露光時間を例示する図
【図６】実施形態１に係る撮像装置の処理の流れを示すフロー図
【図７】実施形態２に係る撮像装置の機能ブロック図
【図８】実施形態２に係る撮像装置の処理の流れを示すフロー図
【図９】実施形態３に係る撮像装置の機能ブロック図
【図１０】輝度情報利用手段における輝度情報の利用例
【図１１】実施形態４に係る撮像装置の機能ブロック図
【図１２】実施形態４に係る撮像装置の処理の流れを示すフロー図
【図１３】撮像装置の具体的な構成を例示する図
【符号の説明】
【００４０】
０１００    撮像装置
０１０１    画像情報取得部
０１０２    エッジ情報取得部
０１０３    対応関係情報取得部
０６０４    画像合成部
０８０５    輝度情報利用手段
１１０２    白黒二値情報取得部
【図１】
2007028352.tif 000008
【図２】
2007028352.tif 000009
【図３】
2007028352.tif 000010
【図４】
2007028352.tif 000011
【図５】
2007028352.tif 000012
【図６】
2007028352.tif 000013
【図７】
2007028352.tif 000014
【図８】
2007028352.tif 000015
【図９】
2007028352.tif 000016
【図１０】
2007028352.tif 000017
【図１１】
2007028352.tif 000018
【図１２】
2007028352.tif 000019
【図１３】
2007028352.tif 000020