(57)【要約】【課題】  露光条件が異なるようにして時間的に連続に撮像された複数の画像それぞれから特徴点を検出する場合、画像毎の階調の違いにより検出される特徴点が異なる。これら異なる画像間の特徴点の対応付けを行う際に、ある撮像画像で検出された特徴点と対応すべき特徴点が撮像条件の異なる他の画像内では検出されず、特徴点同士の対応を誤る場合が生じて特徴点の対応付けの正確性を落とす場合があった。【解決手段】  異なる露光条件で撮像された複数の画像それぞれから特徴点を検出する特徴点検出手段と、前記特徴点検出手段が特徴点を検出する際に、前記露光条件に基づいて前記特徴点を選択する特徴点取捨選択手段と、前記特徴点検出手段と前記特徴点選択手段に基づき前記複数の画像それぞれから抽出した特徴点について、前記複数の画像のうち異なる画像内の特徴点同士を対応付ける対応点探索手段を備えることを特徴とする。【選択図】  図１
2019219922.tif 000002
【特許請求の範囲】
【請求項１】
異なる露光条件で撮像された複数の画像それぞれの特徴点を、前記異なる露光条件に基づいて検出する検出手段と、
前記検出手段により検出された前記複数の画像それぞれの特徴点に基づいて、前記複数の画像のあいだの特徴点の対応付けをする対応付け手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記異なる露光条件に基づいて、前記検出手段が特徴点を検出する際の条件を設定する条件設定手段を更に有し、
前記検出手段は、前記条件設定手段が設定した条件に基づいて、前記特徴点を検出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記条件設定手段は、前記複数の画像の撮像時の露光条件に応じて、検出される特徴点の輝度値の上限値及び下限値を設定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記輝度値の上限値及び下限値は、所定の上限値及び所定の下限値と、前記複数の画像の撮像時の露光時間とに基づいて決定されることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記輝度値の上限値及び下限値は、所定の上限値及び所定の下限値と、前記複数の画像の撮像時の露光時間の比とに基づいて決定されることを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記輝度値の上限値が、前記所定の上限値よりも大きくなってしまう場合は、前記所定の上限値を前記輝度値の上限値とすることを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記輝度値の下限値が、前記所定の下限値よりも小さくなってしまう場合は、前記所定の下限値を前記輝度値の下限値とすることを特徴とする請求項４に記載の画像処理装置。
【請求項８】
前記条件設定手段は、露光条件を含むＬＵＴ（Ｌｏｏｋ−ｕｐ−Ｔａｂｌｅ）に基づいて前記条件を設定することを特徴とする請求項２に記載の画像処理装置。
【請求項９】
前記検出手段は、前記画像の注目画素の画素値と前記注目画素の周囲の参照画素の画素値との差に基づいて、前記特徴点を検出することを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記検出手段は、検出閾値に基づいて前記特徴点を検出し、
前記対応付け手段は、前記露光条件の露光時間の比に基づいて前記複数の画像のあいだの特徴点の対応付けをすることを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
前記対応付け手段により対応付けされた特徴点を含む複数の画像を合成する合成手段を更に含むことを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
異なる露光条件で撮像された複数の画像それぞれの特徴点を、前記異なる露光条件に基づいて検出する検出工程と、
前記検出手段により検出された前記複数の画像それぞれの特徴点に基づいて、前記複数の画像のあいだの特徴点の対応付けをする対応付け工程と、
を備えることを特徴とする画像処理方法。
【請求項１３】
コンピュータを請求項１乃至１１のいずれか一項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、異なる露光条件で撮像された複数の画像のあいだの特徴点の対応付けを行う画像処理装置及び画像処理方法、プログラムに関する。
【背景技術】
【０００２】
連続的に撮像された複数の画像それぞれから特徴点を検出し、特徴点の対応関係から位置ずれを検出する方法が知られている。特許文献１では撮像した複数の画像それぞれから特徴点を検出し、複数画像間の特徴点の対応関係に基づいて画像間の位置ずれを検出する方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４１３６０４４号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
露光条件が異なるようにして時間的に連続に撮像された複数の画像それぞれから特徴点を検出する場合、ある撮像画像で検出された特徴点に対応すべき特徴点が露光条件の異なる他の撮像画像では階調を失っていて検出されない場合がある。これら二つの撮像画像の特徴点同士の対応付けを行おうとするときに、一方の撮像画像のみで検出された特徴点がもう一方の画像の本来対応すべきでない特徴点と対応付けされてしまう場合が生じ、特徴点同士の対応付けの正確性が低減する場合があった。特許文献１ではこの課題への対応は開示されていない。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明の画像処理装置は、異なる露光条件で撮像された複数の画像それぞれの特徴点を、前記異なる露光条件に基づいて特定する特定手段と、前記特定手段により特定された前記複数の画像それぞれの特徴点に基づいて、前記複数の画像のあいだの特徴点の対応付けをする対応付け手段と、を備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、露光条件を変えながら撮像された複数の画像から特徴点を検出する際に複数の画像のいずれにおいても白とび、黒つぶれのない領域のみから特徴点を検出することができる。そのため、複数画像のあいだの特徴点同士を対応させる処理において、誤対応が起きる確率を低減させ、位置ずれ検出精度を向上させることができる。
【図面の簡単な説明】
【０００７】
【図１】ハードウェア構成図
【図２】第１の実施形態の処理フローチャート
【図３】第１の実施形態における特徴点輝度上限値決定の処理フローチャート
【図４】第１の実施形態における特徴点輝度下限値決定の処理フローチャート
【図５】第１の実施形態における特徴点輝度上限値決定方法
【図６】第１の実施形態における特徴点輝度下限値決定方法
【図７】撮像時の露光時間が異なる３フレームの画像
【図８】合成処理後画像
【図９】第２の実施形態における特徴点輝度上限値決定の処理フローチャート
【図１０】第２の実施形態における特徴点輝度上限値決定方法
【図１１】第２の実施形態における特徴点輝度下限値決定の処理フローチャート
【図１２】第２の実施形態における特徴点輝度下限値決定方法
【図１３】第３の実施形態の処理フローチャート
【図１４】特徴点検出方法
【図１５】注目画素と参照画素の露光時間と輝度値の関係
【発明を実施するための形態】
【０００８】
［実施例１］
図は本発明の第１の実施形態における画像処理装置のハードウェア構成の一例を示すブロック図である。各ブロックの機能の概要を以下に示す。
【０００９】
全体制御部１００はバスシステム１０１を介して１０２から１１０の各処理部の処理順序やデータの受け渡し等を制御する機能を備えたＣＰＵなどの装置である。
【００１０】
バスシステム１０１は１００、１０３から１１０の各処理部と接続され、各処理部からのデータ転送要求を調停し、各処理部間のデータ転送を行う。
【００１１】
画像センサ部１０２はセンサへの入射光により電荷が蓄積され、蓄積電荷を読み出すことで入射光をデジタル電気信号に変換して出力を行う装置である。
【００１２】
現像処理部１０３は画像センサ部１０２の出力データを信号処理し、ＲＧＢやＹＵＶなどのフォーマットの画像データに変換して、その変換結果を出力する。
【００１３】
メモリ１０４は画像データや特徴点データなど１００、１０３から１１０の各処理部が処理するデータを一時的に蓄えておくためのＤＲＡＭ等の記憶装置である。メモリ１０４以外にも１０１から１１０の各処理部は別途図示しないデータ記憶部を持っていてもよい。
【００１４】
特徴点検出部１０５は画像データを入力とし、対応付けする特徴点の検出を行う。検出結果は特徴点の座標データとして出力される。
【００１５】
特徴点選定部１０６は、画像撮像時の露光条件に基づいて、特徴点を選択する際の条件を設定（条件設定）する。そして、その条件設定に基づいて、特徴点検出部１０５が検出した特徴点のうち、その条件に合致する特徴点を選択し、選択された特徴点を出力する。
【００１６】
特徴量算出部１０７は特徴点選択部１０６が選択した特徴点の特徴を示す特徴量データを出力する。この特徴量データは、特徴点の画素データとその周辺画素の画素データから算出される。
【００１７】
対応点探索部１０８は、時間的に連続して撮像された画像のうち異なる画像内の特徴点同士を特徴点の特徴量データに基づいて対応付けを行う。
【００１８】
位置合わせ部１０９は対応点探索部１０８で対応付けられた異なる画像間の特徴点の座標の違いから位置ずれ量を推定し、必要に応じて各画像を変形処理することにより、連続して撮像された画像の位置合わせを行う。
【００１９】
画像合成部１１０は位置合わせ後の複数の画像データを合成処理する。すなわち、位置合わせ後の複数の画像データからダイナミックレンジの大きい１枚の画像データを生成して、その画像データを出力する。
【００２０】
図２は第１の実施形態における処理のフローチャートである。本実施形態では露光時間をフレーム毎に変化させながら動画撮影を行い、連続する入力数フレーム単位で位置合わせを行ってハイダイナミックレンジ（ワイドダイナミックレンジ）を有する合成画像を生成し出力する。以下で本フローチャートの各ステップの処理の詳細を説明する。
【００２１】
ステップＳ２００では全体制御部１００が露光時間を決定し、画像センサ部１０２に対してバスシステム１０１、現像処理部１０３を介して露光時間の設定を行う。露光時間は合成を行う撮像時刻が時間的に連続した複数フレームの画像中で時刻を追うごとに順に長くなるように設定する。本露光時間設定方法は一例であり、合成を行う撮像時刻が時間的に連続した複数フレームの画像中で時刻を追うごとに露光時間が順に短くなるように設定してもよい。その他、合成を行う複数の撮像フレームが少なくとも２種類の異なる露光時間で撮像されるような設定であればいかなる設定方法でも構わない。
【００２２】
ステップＳ２０１では１フレームの画像の撮像を行う。ここで言う１フレームの画像の撮像とは次に説明する処理を示す。まず、画像センサ部１０２がステップＳ２００において設定された露光時間の間に蓄積された電荷を読み出し、１フレーム分の画像データを現像処理部１０３へ出力する。この出力は通常ベイヤ配列などのモザイク画像である。次に現像処理部１０３はこのモザイク画像データを信号処理し、ＲＧＢやＹＵＶなど種々のフォーマットの画像データに変換するデモザイク処理を行い出力する。現像処理部１０３はその他、信号処理により撮像画像のノイズを低減する処理や、画素値の信号レベルを調節するゲインをかける処理、ホワイトバランス調整など画質を調節する処理を含んでも良い。現像処理部１０３の出力はバスシステム１０１を介してメモリ１０４に転送され保存される。
【００２３】
ステップＳ２０２ではメモリ１０４に保存された現像処理部１０３の出力画像から特徴点を検出する。特徴点は注目画素と周囲画素との輝度差が所定の閾値を超えているかいないかにより注目画素を特徴点とするか否かを判定する方法で行う。例えば既知のＦＡＳＴ  （Ｆｅａｔｕｒｅｓ  ｆｒｏｍ  Ａｃｃｅｌｅｒａｔｅｄ  Ｓｅｇｍｅｎｔ  Ｔｅｓｔ）の方法などを用いることができる。その他種々のエッジ検出フィルタによる処理結果など、注目画素の画素値とその周囲の画素の画素値に対しての演算結果に基づくいかなる方法で特徴点を検出しても良い。
【００２４】
ステップＳ２０３ではステップＳ２０１でメモリ１０４に保存された現像処理部１０３の出力画像を撮像した時の露光時間に基づき特徴点選択部１０６が特徴点検出部１０５が検出しメモリ１０４に保存されている画像データを読み出しその選択処理を行う。特徴点の選択条件の決定方法を以下で説明する。
【００２５】
本実施形態における特徴点選択部１０６は図３、図４のフローチャートに従った処理により各フレームにおける輝度範囲の上限値、下限値を決定し、決定された輝度範囲内の輝度値を有する特徴点を対応点探索する特徴点として採用する。言い換えれば、ステップＳ２０２で検出された特徴点は特徴点の候補であり、その輝度値が輝度範囲外であれば、以降の特徴点として使用されない。図３は、短露光画像１、短露光画像１より撮像時の露光時間が長い長露光画像２の２枚のフレームの特徴点の輝度上限値の決定処理を示している。図４は、短露光画像１、長露光画像２の２枚のフレームの特徴点の輝度下限値の決定処理を示している。
【００２６】
図３の処理から説明を行う。まずステップＳ３００において長露光画像２の特徴点輝度上限値Ｔｈｍａｘ＿２を白とび判定閾値Ｔｈｗｈｉｔｅとする。白とび判定閾値Ｔｈｗｈｉｔｅは画像内の画素の輝度値がＴｈｗｈｉｔｅ以上である場合にその画素を白とび画素とみなす値であり、あらかじめ所定の値を決定しておく。同様に黒つぶれ判定閾値Ｔｈｂｌａｃｋを画像内の画素の輝度値がＴｈｂｌａｃｋ以下である場合にその画素を黒つぶれ画素と見なす値として、あらかじめ所定の値に決定しておく。ステップＳ３０１では現像処理部１０３の出力画像の画素の輝度値と露光時間が、黒つぶれ、白とびと見なされない輝度値の範囲内、すなわち輝度値がＴｈｂｌａｃｋより大きくＴｈｗｈｉｔｅ未満の範囲内で比例の関係にあるか否かを判定する。比例関係の場合ステップＳ３０２へ、比例関係にない場合はステップＳ３０３へ進む。本判定は例えば、あらかじめ特徴点選択部１０６に設定した１であれば比例関係を示し、０であれば比例関係でないことを示す１ｂｉｔの値を参照して判定すればよい。ステップＳ３０２では短露光画像１の特徴点輝度上限値Ｔｈｍａｘ＿１を数１の式のように白とび判定閾値Ｔｈｗｈｉｔｅに露光時間の比を乗じることで求める。
【００２７】
【数１】
2019219922.tif 000003
【００２８】
ただし、短露光画像１の撮像時の露光時間をＴ１、長露光画像２の撮像時の露光時間をＴ２とし、Ｔ１＜Ｔ２である。
【００２９】
ステップＳ３０３ではあらかじめメモリ１０４または特徴点選択部１０６のデータ記憶部に記憶している露光時間と輝度値の関係から特徴点輝度上限値Ｔｈｍａｘ＿１を決定する。露光時間と輝度値の関係とは、現像処理部１０３の出力画像中の所定の画素の輝度値が白とび判定閾値Ｔｈｗｈｉｔｅとなる最小の露光時間がＴ２となる撮影条件をベースとして、露光時間のみを変化させた場合の露光時間と当該画素の輝度値の対応とする。露光時間から対応する輝度値を求める方法は画像センサ部１０１、現像処理部１０３の特性・処理内容から求まる計算式や、実際の測定結果から露光時間と輝度値を対応付けたＬＵＴ（Ｌｏｏｋ−ｕｐ−Ｔａｂｌｅ）を作成する方法、その他いかなる方法であっても良い。このようにして求めた露光時間と輝度値の関係を表すグラフの一例を図５に示す。図５において横軸が露光時間、縦軸が輝度値を表しており、曲線５００が露光時間と輝度値の対応を表している。このグラフ上で短露光画像１の露光時間Ｔ１に対応する輝度値を短露光画像１の特徴点輝度上限値Ｔｈｍａｘ＿１とする。
【００３０】
本実施形態ではステップＳ３０１において条件分岐するようにしているが、ステップＳ３０１とステップＳ３０２を省略して露光時間が比例関係にある場合にもステップＳ３０３の処理により短露光画像１の特徴点輝度上限値Ｔｈｍａｘ＿１を求めても良い。
【００３１】
次に図４について説明を行う。まずステップＳ４００において短露光画像１の特徴点輝度下限値Ｔｈｍｉｎ＿１を黒つぶれ判定閾値Ｔｈｂｌａｃｋとする。ステップＳ４０１では現像処理部１０３の出力画像の画素の輝度値と露光時間が黒つぶれ、白とびと見なされない輝度値の範囲内で比例の関係にあるか否かを判定し、比例関係の場合ステップＳ４０２へ、比例関係にない場合はステップＳ４０３へ進む。本判定はステップＳ３０１と同様の方法で行えば良い。ステップＳ４０２では長露光画像２の特徴点輝度下限値Ｔｈｍｉｎ＿２を数２の式のように黒つぶれ判定閾値Ｔｈｂｌａｃｋに露光時間の比を乗じることで求める。
【００３２】
【数２】
2019219922.tif 000004
【００３３】
ステップＳ４０３ではあらかじめメモリ１０４または特徴点選択部１０６のデータ記憶部に記憶している露光時間と輝度値の関係から特徴点輝度下限値Ｔｈｍｉｎ＿２を決定する。露光時間と輝度値の関係とは現像処理部１０３の出力画像中の所定の画素の輝度値が黒つぶれ判定閾値Ｔｈｂｌａｃｋとなる最大の露光時間Ｔ１となる撮影条件をベースとして、露光時間のみを変化させた場合の露光時間と当該画素の輝度値の対応とする。露光時間から対応する輝度値を求める方法はステップＳ３０３と同様の方法を用いれば良い。求めた露光時間と輝度値の関係を表すグラフの一例を図６に示す。図６において横軸が露光時間、縦軸が輝度値を表しており、曲線６００が露光時間と輝度値の対応を表している。このグラフ上で長露光画像２の露光時間Ｔ２に対応する輝度値を長露光画像２の特徴点輝度下限値Ｔｈｍｉｎ＿２とする。
【００３４】
図３の特徴点輝度上限値を求める場合と同様、本実施形態ではステップＳ４０１において条件分岐するようにしている。しかし、ステップＳ４０１とステップＳ４０２を省略して露光時間が比例関係にある場合にもステップＳ４０３の処理により長露光画像２の特徴点輝度下限値Ｔｈｍｉｎ＿２を求めても良い。
【００３５】
以降で図３、図４のフローチャートに従った処理による特徴点輝度上限値、特徴点輝度下限値の設定例を示す。以降では図７に示す３フレーム画像の位置合わせ、画像合成処理を考える。図７は露光時間を１フレーム撮像するごとに長くなるようにして撮像した時間的に連続する３フレームの風景画像を表している。図７（ａ）、図７（ｂ）、図７（ｃ）の順に露光時間を長くして撮像した画像を表している。画像センサが検出できる下限の階調を下回る領域は黒つぶれ、画像センサが検出できる上限の階調を超える領域は白とびが発生して、階調が失われる場合がある。図内で７４０の塗りつぶしパターンで表す領域は黒つぶれ判定閾値Ｔｈｂｌａｃｋ以下の輝度値の画素を示しており、７４１の塗りつぶしパターンで表す領域は白とび判定閾値Ｔｈｗｈｉｔｅ以上の輝度値の画素を表している。この黒つぶれ、白とび判定の条件に用いる当該画素の輝度値は、ＹＵＶフォーマットで表した画素の輝度を示すＹ成分の値を用いることができる。
【００３６】
図７（ａ）、図７（ｂ）、図７（ｃ）に示すように露光時間を異ならせて撮影した画像では黒つぶれ領域と白とび領域が異なることがある。それぞれの撮影画像の状態を説明する。図７（ａ）では空に浮かぶ雲７００は階調が保持されており、木々が存在する領域は黒つぶれ領域７０１となっている。図７（ｂ）は図７（ａ）より露光時間を長くして撮影しているため黒つぶれ領域７１３は図７（ａ）の黒つぶれ領域７０１より範囲が小さくなり、木々の葉の部分７１２は階調が保持されている。一方、雲７１０の左側が白とび領域７１１となっている。図７（ｃ）は図７（ｂ）よりさらに露光時間を長くして撮影しているため、黒つぶれ領域がなくなり、木々７２１の全体が階調を保持している。一方、雲が存在する領域全体が白とび領域７２０となり雲が見えなくなっている。
【００３７】
まず、図７（ａ）の画像と図７（ｂ）の画像から特徴点を検出して特徴点同士の対応付けを行う場合を考える。図７（ａ）と図７（ｂ）では図７（ｂ）の方の露光時間が長いため、図３、図４に示す処理フローにおいて図７（ａ）の画像が短露光画像１、図７（ｂ）の画像が長露光画像２に対応することとなる。黒つぶれ、白とびなどで階調が失われている領域では、特徴点を検出することができないか、フレーム間の特徴点の対応付けを行う上で信頼性の低い特徴点検出結果しか得られない。図７（ａ）の雲７００で検出された特徴点と対応すべき図７（ｂ）上の点が白とび領域７１１に含まれる場合、図７（ｂ）上では特徴点として検出されない場合がある。このとき対応点探索部１０８においてフレーム間の特徴点の対応付けを行う処理時に、前述の図７（ａ）の雲７００で検出された特徴点を本来対応すべきでない図７（ｂ）上の特徴点と対応させてしまう場合が生じ得る。同様にして、図７（ｂ）の木々の葉７１２にて検出された特徴点は対応すべき点が図７（ａ）上では黒つぶれ領域７０１となっているため、特徴点の誤対応が生じ得る。
【００３８】
本実施形態による特徴点の輝度上限値の設定方法を用いると、図７（ｂ）において白とびとみなされる画素は特徴点から除外される。さらに図７（ａ）においても図７（ａ）の画像を図７（ｂ）の撮像時と同じ露光時間で撮像したと仮定した場合に白とびと判定される値以上の輝度値の画素は特徴点から除外される。同様にして、本実施形態による特徴点の輝度下限値の設定方法を用いると、図７（ａ）において黒つぶれと見なされる画素は特徴点から除外される。さらに図７（ｂ）においても図７（ｂ）の画像を図７（ａ）の撮像時と同じ露光時間で撮像したと仮定した場合に黒つぶれと判定される値以下の輝度値の画素は特徴点から除外される。以上によって図７（ａ）、図７（ｂ）から共通に白とび、及び黒つぶれしない撮像対象のみから特徴点を検出することができるため、図７（ａ）、図７（ｂ）間の特徴点の誤対応を抑制することが出来る。
【００３９】
次に、図７（ｂ）の画像と図７（ｃ）の画像から特徴点を検出して特徴点同士の対応付けを行う場合を考える。図７（ｂ）と図７（ｃ）では図７（ｃ）の方の露光時間が長いため、図３、図４のフローチャートに従う特徴点輝度上限値、特徴点輝度下限値の決定方法において図７（ｂ）の画像が短露光画像１、図７（ｃ）の画像が長露光画像２に対応する。図７（ａ）と図７（ｂ）の特徴点同士の対応付けを行う場合と同様に、図７（ｂ）には図７（ｃ）黒つぶれ領域１３が存在し、白とびしている領域は図７（ｂ）の７１１より図７（ｃ）の７２０の方の範囲が大きくなっているため、図７（ａ）と図７（ｂ）の場合と同様に特徴点の誤対応が生じ得る。本実施形態における特徴点輝度上限値、特徴点輝度下限値の設定方法を用いると図７（ｂ）と図７（ｃ）で共通に白とび、及び黒つぶれしない撮像対象のみから特徴点を検出することができるため、図７（ｂ）、図７（ｃ）間の特徴点の誤対応を抑制することが出来る。
【００４０】
以上で説明したように図７（ａ）の画像と図７（ｂ）の画像の特徴点の対応付けを行う場合には図７（ｂ）が長露光画像２として扱われ、図７（ｂ）の画像と図７（ｃ）の画像の特徴点の対応付けを行う場合には図７（ｂ）は短露光画像１として扱われる。したがって、図７（ｂ）の画像の特徴点輝度上限値、特徴点輝度下限値は図７（ａ）と図７（ｂ）の特徴点対応付けを行う場合と、図７（ｂ）と図７（ｃ）の特徴点対応付けを行う場合とでは異なる。このようにすることで特徴点の対応付けを行う２枚の画像の組それぞれに適する特徴点輝度上限値、特徴点輝度下限値を設定することができる。
【００４１】
特徴点検出部１０５の出力特徴点のうち以上の方法により決定された特徴点輝度上限値、特徴点輝度下限値内の範囲の輝度値の画素のみが特徴点選択部１０６の出力となる。出力された取捨選択後の特徴点データはメモリ１０４に保存される。
【００４２】
続いてステップＳ２０４ではステップＳ２０２、Ｓ２０３により検出、取捨選択された後の各特徴点をメモリ１０４から読み出し、その座標周囲の輝度値勾配に基づいて当該特徴点の特徴を示す多値の値を特徴量として算出する。ここでは輝度値の勾配を用いるとしたがその他、いかなる方法により特徴量を求めても構わない。算出された特徴量データは当該特徴点データと組みにして出力され、バスシステム１０１を介してメモリ１０４に保存される。
【００４３】
ステップＳ２０５ではステップＳ２０４にて算出され、メモリ１０４に保存された特徴量と特徴点の組を読み出し、前フレームの画像と現フレームの画像間の特徴点同士の対応付けを行う。対応付けは特徴点に対応する特徴量データの類似度で行う。例えば図７（ａ）と図７（ｂ）の特徴点を対応付ける場合に、図７（ａ）で検出されたある特徴点に対し図７（ｂ）上で前記図７（ａ）から検出された特徴点と同座標の画素から所定の距離内に存在する図７（ｂ）の特徴点のうち最も特徴量の値が近い特徴点とを対応付けるようにする。このようにして求めた特徴点の対応関係を示すデータを出力する。出力データはバスシステム１０１を介してメモリ１０４に保存される。
【００４４】
ステップＳ２０６ではステップＳ２０５で対応させた特徴点同士の座標位置の差分から前フレームと現フレームの間の各特徴点位置の移動量を求める。求められた移動量をもとに２画像のうち一方の画像の各特徴点をもう一方の画像の対応する特徴点の座標に合わせるような幾何変換行列を求める。例えば、前フレームを図７（ａ）、現フレームを図７（ｂ）とし、位置合わせの基準フレームを図７（ｂ）とした場合、図７（ａ）の各特徴点と図７（ｂ）の対応する特徴点の座標が一致するように図７（ａ）に幾何変換を行うための幾何変換行列を求める。幾何変換行列の算出は既知のいかなる方法に基づいて行われても良い。求められた幾何変換行列を乗じて図７（ａ）に幾何変換処理を行い、処理後の画像を出力する。幾何変換処理後の画像はバスシステム１０１を介してメモリ１０４に保存される。
【００４５】
ステップＳ２０７ではメモリ１０４に保存された前フレームもしくは前フレームまでの複数フレームを合成済みの画像と現フレームの画像の合成処理を行う。合成処理は例えば同座標位置の画素それぞれに重みを付けて加算した値が当該座標の合成後の画素値となるように行う。この重み付け加算は階調をより維持している領域の画素の重みが大きくなるように行う。このようにすることで白とびや黒つぶれにより階調を失っている領域が小さくなるような合成画像を作成することができ、ハイダイナミックレンジ（ワイドダイナミックレンジ）効果が得られる。画像合成部１１０から出力された合成後の画像はバスシステム１０１を介してメモリ１０４に保存される。ここで保存される合成画像は現フレームまでの結果であり、Ｓ２００からＳ２０７で１フレーム処理される毎にフレームが順次、前フレームまでの合成結果画像に合成されて行く。
【００４６】
ステップＳ２０８では合成に必要な枚数のフレームを処理したかを判定し、処理していなければステップＳ２００に戻り次のフレームの処理を行う。合成に必要な枚数のフレームを処理済みであればステップＳ２０９に進む。
【００４７】
ステップＳ２０９では全体制御部１００の命令により合成処理部１１０を初期化する。ここで言う初期化とはステップＳ２０７にて順次合成されていた画像を以降合成対象とせず、次フレームを１枚目として合成処理を始めるようにすることを示している。このように入力の複数フレーム単位で合成を行い出力する。
【００４８】
ステップＳ２１０では動画撮影の完了を判定し、完了していれば一連の画像処理を終了する。動画撮影が完了していなければ、ステップＳ２００に戻り次のフレームの処理に進む。
【００４９】
図８は図７の３フレームの画像を合成して作成した１フレームの合成画像の例である。図８の雲８０１の領域に関しては図７（ａ）、図７（ｂ）の白とびしていない画素値の重みが大きくなるように合成処理が行われる。また、木々８０２の領域は図７（ｂ）、図７（ｃ）の黒つぶれしていない画素値の重みが大きくなるように合成処理が行われる。このようにすることで図８では図７の３フレームの合成処理により白とび、黒つぶれ領域のない画像が得られている。
【００５０】
本実施形態において特徴点検出部１０５、特徴点選択部１０６、特徴量算出部１０７で利用する輝度値をＹＵＶフォーマット画像のＹ成分として説明を行ったが、輝度値としてはその他あらゆる画像フォーマットにおける輝度成分値を用いて良い。また、必ずしも輝度値でなくてもよくＲＧＢフォーマット画像のＧ成分を用いるなど、その他の画素値に基づく値であっても良い。
【００５１】
本実施形態では特徴点検出部の処理の後に、特徴点選択処理を行うとしたが、この処理順序は逆であってもよい。すなわち、特徴点として検出し得る特徴点輝度上限値、特徴点輝度下限値を特徴点選択部１０６があらかじめ算出し、算出された特徴点輝度上限値、特徴点輝度下限値の範囲内の画素のみから特徴点検出部１０５が特徴点を検出するように構成しても良い。
【００５２】
本実施形態においては動画撮影を行っている場合を想定したが、複数枚を連写して１枚の静止画に合成する場合にも本発明を適用可能である。
【００５３】
本実施形態において、説明に図７の３フレームの画像合成を例として用いたが２枚以上のいかなるフレーム数の合成を行う場合においても同様に本発明を適用可能である。
【００５４】
本実施形態では露光条件を露光時間として説明をしたが、たとえば絞り値やＩＳＯ感度を露光条件としてもよい。
【００５５】
以上、露光条件を変えながら撮像された複数の画像から特徴点を検出する際に複数の画像のいずれにおいても白とび、黒つぶれのない領域のみから特徴点を検出することができる。そのため、複数画像のあいだの特徴点同士を対応させる処理において、誤対応が起きる確率を低減させ、位置ずれ検出精度を向上させることができる。
【００５６】
［実施例２］
本実施形態は第１の実施形態に対して図２のステップＳ２０３の特徴点の選択条件の決定方法のみが異なり、他の処理は第１の実施形態と共通である。したがってステップＳ２０３の特徴点の選択条件の決定方法についてのみ説明を行う。
【００５７】
図９は画像１から画像ＮのＮ枚のフレームを１枚に合成する場合の特徴点輝度上限値の決定処理を示している。ただし、Ｎは３以上の整数とする。まずステップＳ９００では現像処理部１０３の出力画像の画素の輝度値と露光時間が黒つぶれ、白とびと見なされない輝度値の範囲内で比例の関係にあるか否かを判定する。本判定は図３ステップＳ３０１と同様の方法で行えば良い。ステップＳ９０１では画像ｎの特徴点輝度上限値Ｔｈｍａｘ＿ｎを数３の式のように白とび判定閾値Ｔｈｗｈｉｔｅに露光時間の比を乗じることで求める。
【００５８】
【数３】
2019219922.tif 000005
【００５９】
ただし、Ｔｎは画像ｎ撮像時の露光時間、Ｔｍａｘは合成を行う画像１から画像Ｎの撮像時の露光時間のうちの最大値である。
【００６０】
ステップＳ９０２ではあらかじめメモリ１０４または特徴点選択部１０６のデータ記憶部に記憶している露光時間と輝度値の関係から特徴点輝度上限値Ｔｈｍａｘ＿ｎを決定する。露光時間と輝度値の関係とは具体的には現像処理部１０３の出力画像中の所定の画素の輝度値が白とび判定閾値Ｔｈｗｈｉｔｅとなる最小の露光時間がＴｍａｘとなる撮影条件をベースとして、露光時間のみを変化させた場合の露光時間と当該画素の輝度値の対応とする。露光時間から対応する輝度値を求める方法は図３ステップＳ３０３と同様の方法で行うことができるが、その他いかなる方法であっても良い。このようにして求めた露光時間と輝度値の関係を表すグラフの一例を図１０に示す。図１０において横軸が露光時間、縦軸が輝度値を表しており、曲線１０００が露光時間と輝度値の対応を表している。このグラフ上で画像ｎの露光時間Ｔｎに対応する輝度値を画像ｎの特徴点輝度上限値Ｔｈｍａｘ＿ｎとする。図は画像１から画像Ｎへ順に撮像時の露光時間が長くなっている例を示しているが、画像１から画像Ｎへ順位撮像時の露光時間が短くなるようにしても良い。その他、画像１から画像Ｎの撮像時の露光時間はいかなる大小関係になっていても構わない。
【００６１】
本実施形態ではステップＳ９００において条件分岐するようにしているが、ステップＳ９００とステップＳ９０１を省略して露光時間が比例関係にある場合にもステップＳ９０２の処理により画像ｎの特徴点輝度上限値Ｔｈｍａｘ＿ｎを求めても良い。
【００６２】
次に、図１１は画像１から画像ＮのＮ枚のフレームを１枚に合成する場合の特徴点輝度下限値の決定処理を示している。ただし、Ｎは３以上の整数とする。まずステップＳ１１００では現像処理部１０３の出力画像の画素の輝度値と露光時間が黒つぶれ、白とびと見なされない輝度値の範囲内で比例の関係にあるか否かを判定する。本判定は図４ステップＳ４０１と同様の方法で行えば良い。ステップＳ１１０１では画像ｎの特徴点輝度下限値Ｔｈｍｉｎ＿ｎを数４の式のように黒つぶれ判定閾値Ｔｈｂｌａｃｋに露光時間の比を乗じることで求める。
【００６３】
【数４】
2019219922.tif 000006
【００６４】
ただし、Ｔｎは画像ｎ撮像時の露光時間、Ｔｍｉｎは合成を行う画像１から画像Ｎの撮像時の露光時間のうちの最小値である。
【００６５】
ステップＳ１１０２ではあらかじめメモリ１０４または特徴点選択部１０６のデータ記憶部に記憶している露光時間と輝度値の関係から特徴点輝度下限値Ｔｈｍｉｎ＿ｎを決定する。露光時間と輝度値の関係とは具体的には現像処理部１０３の出画像中の所定の画素の輝度値が黒つぶれ判定閾値Ｔｈｂｌａｃｋとなる最大の露光時間がＴｍｉｎとなる撮影条件をベースとして、露光時間のみを変化させた場合の露光時間と当該画素の輝度値の対応とする。露光時間から対応する輝度値を求める方法は図４ステップＳ４０３と同様の方法で行うことができるが、その他いかなる方法であっても良い。このようにして求めた露光時間と輝度値の関係を表すグラフの一例を図１２に示す。図１２において横軸が露光時間、縦軸が輝度値を表しており、曲線１２００が露光時間と輝度値の対応を表している。このグラフ上で画像ｎの撮像時の露光時間Ｔｎに対応する輝度値を画像ｎの特徴点輝度下限値Ｔｈｍｉｎ＿ｎとする。図は画像１から画像Ｎへ順に撮像時の露光時間が長くなっている例を示しているが、画像１から画像Ｎへ順に撮像時の露光時間が短くなるようにしても良い。その他、画像１から画像Ｎの撮像時の露光時間はいかなる大小関係になっていても構わない。
【００６６】
本実施形態ではステップＳ１１００において条件分岐するようにしているが、ステップＳ１１００とステップＳ１１０１を省略して露光時間が比例関係にある場合にもステップＳ１１０２の処理により画像ｎの特徴点輝度上限値Ｔｈｍａｘ＿ｎを求めても良い。
【００６７】
本実施形態では合成を行う各フレームの特徴点輝度下限値Ｔｈｍａｘ＿ｎ、特徴点輝度下限値Ｔｈｍｉｎ＿ｎが位置合わせを行う２枚の画像の組み合わせに依らず一意に定まる。そのため１枚のフレームに対して２回以上特徴点輝度上限値Ｔｈｍａｘ＿ｎ、特徴点輝度下限値Ｔｈｍｉｎ＿ｎを求める必要がないため第１の実施形態と比較して特徴点選択部１０６の処理演算量を削減できる。
【００６８】
［実施例３］
本実施形態におけるハードウェア構成は第１の実施形態の図１と共通である。図１３は本実施形態における処理のフローチャートである。ステップＳ２００、Ｓ２０１とステップＳ２０４からＳ２１０の処理は第１の実施形態の図２と共通である。したがって第１の実施形態と差分のあるステップＳ１３００、Ｓ１３０１の処理方法についてのみ説明を行う。
【００６９】
ステップＳ１３００ではステップＳ２０１で撮像された画像の撮像時の露光時間に応じて特徴点選択部１０６が特徴点検出部１０５が特徴点検出に用いる特徴点の検出閾値を算出し出力する。出力された特徴点の検出閾値はバスシステム１０１を介してメモリ１０４に保存される。ステップＳ１３０１では特徴点検出部１０５がステップＳ１３００で算出された特徴点の検出閾値をメモリ１０４から読み出し、読み出した特徴点検出閾値に基づいて特徴点の検出を行う。検出結果の出力はバスシステム１０１を介してメモリ１０４に保存される。以下でこれら処理内容の詳細を説明する。
【００７０】
本実施形態における特徴点検出部１０５の処理は例えばＦＡＳＴ  （Ｆｅａｔｕｒｅｓ  ｆｒｏｍ  Ａｃｃｅｌｅｒａｔｅｄ  Ｓｅｇｍｅｎｔ  Ｔｅｓｔ）の方法を用いることができる。ＦＡＳＴの方法の適用例は下記である。図１４において１４００は縦横７ｘ７の正方形の画像領域を表しており１マスが１画素に相当する。１４０１に示すパターンの画素がこの画素が特徴点であるか否かを判定する対象の注目画素である。また、１４０２に示すパターンが注目画素１４０１が特徴点であるか否かを判定するために参照される参照画素である。参照画素は図１４に示すように注目画素を囲む一繋ぎの画素群である。７ｘ７正方形画像領域１４００内の番号は各参照画素の識別のためのものであり、それぞれ番号に応じて参照画素０から参照画素１５とする。まず、各参照画素に対して、注目画素と参照画素の輝度値の差の絶対値を求める。当該画素の輝度値は、ＹＵＶフォーマットで表した画素の輝度を示すＹ成分の値を用いることができる。注目画素の輝度値Ｙｔと参照画素ｎの輝度値Ｙｒ＿ｎの差の絶対値Ｄｎは例えば数５により求められる。
【００７１】
【数５】
2019219922.tif 000007
【００７２】
また、各参照画素に対して注目画素の輝度値から参照画素の輝度値を減算した値の正負の符号を示す値Ｐｎを求める。この値は例えば注目画素の輝度値から参照画素の輝度値を減算した値が０以上のとき０、０未満の場合１とすればよい。この値を求める数式を数６に示す。
【００７３】
【数６】
2019219922.tif 000008
【００７４】
隣り合う所定数以上の参照画素で対応するＤｎがすべて特徴点検出閾値以上、かつＰｎがすべて一致するものが存在する場合に注目画素を特徴点と判定する。
【００７５】
例として上記隣り合う参照画素９点以上でＤｎ、Ｐｎが上記条件を満たす場合に注目画素を特徴点と判定する場合を考える。このとき、例えば参照画素１から参照画素９の９画素でＤｎ、Ｐｎが上記条件を満たす場合、または参照画素１３から参照画素１５と参照画素０から参照画素５の９画素でＤｎ、Ｐｎが上記条件を満たす場合などに注目画素が特徴点と判定される。これらはあくまで一例であり、注目画素を特徴点と見なす判定が上記Ｄｎ、Ｐｎの条件が参照画素連続何点以上で満たされている場合に成り立つとしても構わない。また判定に用いる上記の隣り合う参照画素の組み合わせは上記した以外のいかなる組み合わせであってもよい。
【００７６】
ここで特徴点検出部１０５が読み出す撮像画像の各画素の輝度値が撮像時の露光時間と比例関係にあるとき、ある画素を注目画素として注目画素とその参照画素ｎの輝度値と撮像時の露光時間の関係の例を図１５に示す。
【００７７】
図１５のグラフで横軸が画像の撮像時の露光時間、縦軸が輝度値を表している。注目画素を表す直線が１５００、参照画素ｎを表す直線が１５０１である。１５０２は露光時間Ｔ１のときの注目画素と参照画素ｎの輝度の差分値Ｄｎ＿Ｔ１を表しており、１５０３は露光時間Ｔ２のときの注目画素と参照画素ｎの輝度の差分値Ｄｎ＿Ｔ２を表している。ただしＴ１＜Ｔ２とする。Ｄｎ＿Ｔ１とＤｎ＿Ｔ２の関係は数７となる。
【００７８】
【数７】
2019219922.tif 000009
【００７９】
したがって特徴点検出閾値がＤｎ＿Ｔ１より大きくＤｎ＿Ｔ２以下の場合、同じ注目画素が露光時間Ｔ１の場合は特徴点として検出されず、露光時間Ｔ２の場合のみ特徴点として検出される場合が生じ得る。撮像時の露光時間の異なる２フレーム間で上記要因により一方のみで特徴点として検出された画素は、対応点探索部１０８でフレーム間の特徴点の対応付けを行う処理時に、もう一方の画像中の本来対応すべきでない特徴点画素と対応付けてしまう可能性がある。このことは対応点探索処理の特徴点の対応付け精度低下を招く。
【００８０】
本実施形態においては基準となる露光時間Ｔｂに対する特徴点検出閾値Ｔｈｋｐ＿ｂをあらかじめ定めておき、特徴点選択部１０６は露光時間Ｔｎで撮像された画像の特徴点検出閾値Ｔｈｋｐ＿ｎを数８により求める。
【００８１】
【数８】
2019219922.tif 000010
【００８２】
このように画像の撮像時の露光時間に応じて特徴点検出閾値を変化させるようにすることで、上記のように露光時間の異なる画像同士の対応する画素に関して一方のみが特徴点として検出されることを防ぎ、対応点探索処理におけるフレーム間の特徴点の誤対応を抑制する。
【００８３】
本実施形態で説明したＦＡＳＴの方法による特徴点検出方法は一例であり、参照画素の
注目画素に対する配置の仕方や個数はいかなるものでもよい。また、輝度値としてはその他あらゆる画像フォーマットにおける輝度成分値を用いて良い。また、必ずしも輝度値でなくてもよくＲＧＢフォーマット画像のＧ成分を用いるなど、その他の画素値に基づく値であっても良い。さらに、必ずしもＦＡＳＴの方法を用いる必要はなく、その他種々のエッジ検出フィルタによる処理結果など、注目画素とその周囲の画素の画素値の差分値に基づく値が特徴点検出閾値を超える場合にその画素を特徴点として検出する方法であればいかなる方法を用いてもよい。
【００８４】
（他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００８５】
１００  全体制御部
１０１  バスシステム
１０２  画像センサ部
１０３  画像処理部
１０４  メモリ
１０５  特徴点検出部
１０６  特徴点選択部
１０７  特徴量算出部
１０８  対応点探索部
１０９  位置合わせ部
１１０  画像合成部
【図１】
2019219922.tif 000011
【図２】
2019219922.tif 000012
【図３】
2019219922.tif 000013
【図４】
2019219922.tif 000014
【図５】
2019219922.tif 000015
【図６】
2019219922.tif 000016
【図７】
2019219922.tif 000017
【図８】
2019219922.tif 000018
【図９】
2019219922.tif 000019
【図１０】
2019219922.tif 000020
【図１１】
2019219922.tif 000021
【図１２】
2019219922.tif 000022
【図１３】
2019219922.tif 000023
【図１４】
2019219922.tif 000024
【図１５】
2019219922.tif 000025