(57)【要約】【課題】出力画像の画質を向上させることを目的とする。【解決手段】画像データを画像処理する画像処理であって、第一露出条件、及び第二露出条件を含む２以上の露出条件の各露出条件で２以上の部分画像を取得する取得処理を行い、前記第一露出条件の部分画像をつなぐためのつなぎ条件を計算し、前記取得処理により取得される部分画像について、前記計算処理により計算されるつなぎ条件に基づいて、前記第一露出条件の２以上の部分画像から生成される第一の合成画像、及び前記つなぎ条件に基づいて、前記第二露出条件の２以上の部分画像から生成した第二の合成画像の少なくとも２つの合成画像を生成する合成処理を行い、少なくとも前記第一の合成画像、及び前記第二の合成画像に基づいて出力画像を生成する生成処理を行うことで上記課題を解決する。【選択図】図１
2016040883.tif 000002
【特許請求の範囲】
【請求項１】
画像データを画像処理する画像処理装置であって、
第一露出条件、及び第二露出条件を含む２以上の露出条件の各露出条件で２以上の部分画像を取得する取得処理を行う取得手段と、
前記第一露出条件の部分画像をつなぐためのつなぎ条件を計算する計算手段と、
前記取得手段により取得される部分画像について、前記計算手段により計算されるつなぎ条件に基づいて、前記第一露出条件の２以上の部分画像から生成される第一の合成画像、及び前記つなぎ条件に基づいて、前記第二露出条件の２以上の部分画像から生成した第二の合成画像の少なくとも２つの合成画像を生成する合成処理を行う合成手段と、
少なくとも前記第一の合成画像、及び前記第二の合成画像に基づいて出力画像を生成する生成処理を行う生成手段と
を有する画像処理装置。
【請求項２】
前記露出条件は、前記取得処理で取得される部分画像を撮像する際の絞り、シャッタースピード、及びゲインのうち、少なくともいずれか１つの設定値を含む条件である請求項１に記載の画像処理装置。
【請求項３】
前記合成処理は、３以上の部分画像から前記合成画像を生成する処理である請求項１又は２に記載の画像処理装置。
【請求項４】
前記生成処理は、３以上の前記合成画像に基づいて前記出力画像を生成する処理である請求項１乃至３のいずれかに記載の画像処理装置。
【請求項５】
前記生成処理は、前記第一の合成画像、又は前記第二の合成画像よりダイナミックレンジの広い前記出力画像を生成する処理である請求項１乃至４のいずれかに記載の画像処理装置。
【請求項６】
前記つなぎ条件は、前記合成処理の際、一方の部分画像と、他方の部分画像とをつなぐ位置、又はずれ量である請求項１乃至５のいずれかに記載の画像処理装置。
【請求項７】
撮像装置、及び画像処理装置を有する画像処理システムであって、
前記撮像装置は、
第一露出条件、及び第二露出条件を含む２以上露出条件の各露出条件で２以上の撮像画像を撮像する撮像手段を有し、
前記画像処理装置は、
前記撮像手段が撮像する際の露出条件を設定する露出条件設定手段と、
前記撮像装置から各露出条件の前記撮像画像を入力し、各露出条件の前記撮像画像に基づいて２以上の部分画像を取得する取得処理を行う取得手段と、
前記第一露出条件の部分画像をつなぐためのつなぎ条件を計算する計算手段と、
前記取得手段により取得される部分画像について、前記計算手段により計算されるつなぎ条件に基づいて、前記第一露出条件の２以上の部分画像から生成される第一の合成画像、及び前記つなぎ条件に基づいて、前記第二露出条件の２以上の部分画像から生成した第二の合成画像の少なくとも２つの合成画像を生成する合成処理を行う合成手段と、
少なくとも前記第一の合成画像、及び前記第二の合成画像に基づいて出力画像を生成する生成処理を行う生成手段と
を有する画像処理システム。
【請求項８】
画像データを画像処理する画像処理装置に行わせる画像処理方法であって、
前記画像処理装置に、第一露出条件、及び第二露出条件を含む２以上の露出条件の各露出条件で２以上の部分画像を取得する取得処理を行わせる取得手順と、
前記画像処理装置に、前記第一露出条件の部分画像をつなぐためのつなぎ条件を計算する計算手順と、
前記画像処理装置に、前記取得処理で取得される部分画像について、前記計算手順で計算されるつなぎ条件に基づいて、前記第一露出条件の２以上の部分画像から生成される第一の合成画像、及び前記つなぎ条件に基づいて、前記第二露出条件の２以上の部分画像から生成した第二の合成画像の少なくとも２つの合成画像を生成する合成処理を行わせる合成手順と、
前記画像処理装置に、少なくとも前記第一の合成画像、及び前記第二の合成画像に基づいて出力画像を生成する生成処理を行わせる生成手順と
を有する画像処理方法。
【請求項９】
画像データの画像処理を画像処理装置に実行させるためのプログラムであって、
前記画像処理装置に、第一露出条件、及び第二露出条件を含む２以上の露出条件の各露出条件で２以上の部分画像を取得する取得処理を行わせる取得手順と、
前記画像処理装置に、前記第一露出条件の部分画像をつなぐためのつなぎ条件を計算させる計算手順と、
前記画像処理装置に、前記取得処理で取得される部分画像について、前記計算手順で計算されるつなぎ条件に基づいて、前記第一露出条件の２以上の部分画像から生成される第一の合成画像、及び前記つなぎ条件に基づいて、前記第二露出条件の２以上の部分画像から生成した第二の合成画像の少なくとも２つの合成画像を生成する合成処理を行わせる合成手順と、
前記画像処理装置に、少なくとも前記第一の合成画像、及び前記第二の合成画像に基づいて出力画像を生成する生成処理を行わせる生成手順と
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、画像処理システム、及びプログラムに関する。
【背景技術】
【０００２】
従来、パノラマ画像を貼り合わせ合成で作成する方法が知られている。パノラマ画像を貼り合わせ合成で作成する場合、被写体を分割して撮影し、分割して撮影した各画像にそれぞれ露出補正を行ってから画像を合成する方法が知られている（例えば、特許文献１参照）。
【０００３】
また、白とび、及び黒つぶれのないパノラマ画像を生成するため、露出の異なる複数の分割画像を合成する方法が知られている（例えば、特許文献２参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の方法では、同一のつなぎ条件で合成した合成画像から出力画像を生成していないため、出力画像の画質が劣化する場合があった。
【０００５】
本発明の１つの側面は、出力画像の画質を向上させることを目的とする。
【課題を解決するための手段】
【０００６】
一態様における、画像データを画像処理する画像処理装置であって、第一露出条件、及び第二露出条件を含む２以上の露出条件の各露出条件で２以上の部分画像を取得する取得処理を行う取得手段と、前記第一露出条件の部分画像をつなぐためのつなぎ条件を計算する計算処理を行う計算手段と、前記取得手段により取得される部分画像について、前記計算手段により計算されるつなぎ条件に基づいて、前記第一露出条件の２以上の部分画像から生成される第一の合成画像、及び前記つなぎ条件に基づいて、前記第二露出条件の２以上の部分画像から生成した第二の合成画像の少なくとも２つの合成画像を生成する合成処理を行う合成手段と、少なくとも前記第一の合成画像、及び前記第二の合成画像に基づいて出力画像を生成する生成処理を行う生成手段と、を有することを特徴とする。
【発明の効果】
【０００７】
出力画像の画質を向上させることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る画像処理システムの全体構成の一例を示す断面図である。
【図２】本発明の一実施形態に係る画像処理システムのハードウェア構成の一例を説明するブロック図である。
【図３】本発明の一実施形態に係る画像処理システムの全体構成の別の一例を説明する概略図である。
【図４】本発明の一実施形態に係る画像処理システムによる全体処理の一例を説明するフローチャートである。
【図５】本発明の一実施形態に係る計算処理、及び合成処理の一例を示すブロック図である。
【図６】本発明の一実施形態に係る計算処理、及び合成処理の一例を示すフローチャートである。
【図７】本発明の一実施形態に係るレンズの射影関係の一例を説明する図である。
【図８】本発明の一実施形態に係るつなぎ位置の計算処理、及び計算結果の一例を説明する図である。
【図９】本発明の一実施形態に係る計算結果に基づく変換テーブル修正処理の一例を説明する図である。
【図１０】本発明の一実施形態に係る合成処理用変換テーブルに基づいた合成処理用歪み補正処理の一例を説明する図である。
【図１１】本発明の一実施形態に係るつなぎ条件計算用変換テーブルの一例を説明する図である。
【図１２】本発明の一実施形態に係る合成処理用変換テーブルに基づいた合成処理用歪み補正処理、及び合成処理で生成される合成画像の一例を示す図である。
【図１３】本発明の一実施形態に係る生成処理の一例を示す図である。
【図１４】本発明の一実施形態に係る効果の一例を説明する図である。
【図１５】本発明の一実施形態に係るマッチング処理の一例を説明する図である。
【図１６】本発明の一実施形態に係る画像処理システムの機能構成の一例を示す機能ブロック図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施の形態について説明する。
【００１０】
＜画像処理システムの概要＞
図１は、本発明の一実施形態に係る画像処理システムの全体構成の一例を示す断面図である。
【００１１】
画像処理システム１０は、撮像装置１２と、筐体１４と、シャッターボタン１８とを有する。
【００１２】
撮像装置１２は、例えば図示するように結像光学系２０Ａと、結像光学系２０Ｂと、固体撮像素子２２Ａと、固体撮像素子２２Ｂとを有する。
【００１３】
固体撮像素子２２Ａ、及び固体撮像素子２２Ｂは、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）、又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の光学センサである。
【００１４】
結像光学系２０Ａ、及び結像光学系２０Ｂは、例えば６群７枚のいわゆる魚眼レンズ等である。結像光学系２０Ａ、及び結像光学系２０Ｂは、２つの光学系で撮像する範囲が３６０°以上であることが望ましい。結像光学系２０Ａ、及び結像光学系２０Ｂは、それぞれの画角が１８０°以上であり、より望ましくは、それぞれの画角が１８５°以上、又は１９０°以上であり、重複して撮像する範囲があることが望ましい。重複して撮像する範囲は、各画像をつなぎ合わせる際、つなぎ合わせの処理の参考となる。
【００１５】
結像光学系２０Ａ、及び結像光学系２０Ｂには、プリズム、フィルタ、及び絞り等が含まれる。
【００１６】
固体撮像素子２２Ａ、及び固体撮像素子２２Ｂと、結像光学系２０Ａ、及び結像光学系２０Ｂとは、それぞれ対応する。固体撮像素子２２Ａ、及び固体撮像素子２２Ｂは、例えば図示するように、各結像光学系に入光する光が対応する固体撮像素子の受光領域の中心部に直交する位置、かつ、受光領域が対応するレンズの結合面となる位置に位置決めされる。各固体撮像素子は、受光領域を有し、受光領域に入光した光を画像信号に変換し、出力する。図１の場合、結像光学系２０Ａ、結像光学系２０Ｂ、固体撮像素子２２Ａ、及び固体撮像素子２２Ｂは、同一の仕様であり、それぞれの光軸が合致するように互いに逆向きに設置される。
【００１７】
なお、撮像装置は、固体撮像素子、及び結像光学系を２つ有する場合に限られない。撮像装置は、３以上の固体撮像素子、及び結像光学系を有してもよい。以下、図１で図示した固体撮像素子、及び結像光学系が２対の場合を例に説明する。
【００１８】
筐体１４は、撮像装置１２のコントローラ、及び電源となるバッテリ等の部品を有する。シャッターボタン１８は、筐体１４に設けられ、撮像装置１２のシャッターを切る操作を行うためのボタンである。
【００１９】
画像処理装置１００は、撮像装置１２から入力される撮像された各画像（以下、撮像画像という。）をつなぎ合わせる処理を行う。画像処理装置１００は、複数の撮像画像をつなぎ合わせて合成し、立体角４ｒａｄ（ｒａｄｉａｎ）の合成画像（以下、全天球画像という。）を生成する処理を行う。全天球画像は、撮影地点から見渡すことのできる全方位を撮影した画像である。なお、全天球画像は、水平面が３６０°撮影された、いわゆるパノラマ（ｐａｎｏｒａｍａ）画像であってもよい。
【００２０】
固体撮像素子２２Ａ、及び固体撮像素子２２Ｂの各走査方向を一致させることで、画像処理装置１００は、各処理を行いやすくすることができる。つまり、つなぎ合わせの処理が行われる箇所等で走査方向、及び順序が一致することで、各固体撮像素子の被写体、特に移動物体のつなぎ合わせの処理が行いやすくできる。例えば固体撮像素子２２Ａの画像の左上部分、及び固体撮像素子２２Ｂの画像の左下部分がつなぎ合わせの処理を行う箇所で一致する場合は、固体撮像素子２２Ａの走査方向を上から下、かつ、右から左方向とする。固体撮像素子２２Ａの画像の左上部分、及び固体撮像素子２２Ｂの画像の左下部分がつなぎ合わせの処理を行う箇所で一致する場合は、固体撮像素子２２Ｂの走査方向を下から上、かつ、左から右方向とする。つなぎ合わせ処理を行う箇所に基づいて走査方向を一致させることによって、画像処理装置１００は、つなぎ合わせの処理が行いやすくできる。
【００２１】
画像処理装置１００は、処理した画像を例えばディスプレイ装置、又は画像形成装置等の出力装置に出力する処理を行い、出力された画像は、出力装置によって出力される。画像処理装置１００は、処理した画像を例えばＳＤ（登録商標）カード、又はコンパクトフラッシュ（登録商標）等の記憶媒体に出力する処理を行う。
【００２２】
＜画像処理システムのハードウェア構成＞
図２は、本発明の一実施形態に係る画像処理システムのハードウェア構成の一例を説明するブロック図である。
【００２３】
画像処理システム１０は、画像処理装置１００と、鏡胴ユニット１０２と、を有する。
【００２４】
画像処理装置１００は、画像データ転送処理回路１２６と、ＳＤＲＡＭＣ（Ｓｙｎｃｈｒｏｎｏｕｓ  Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ  Ｃｏｎｔｒｏｌｌｅｒ）１２８とを有する。
【００２５】
また、画像処理装置１００は、ＩＳＰ（Ｉｍａｇｅ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）１０８Ａと、ＩＳＰ１０８Ｂと、ＤＭＡＣ（Ｄｉｒｅｃｔ  Ｍｅｍｏｒｙ  Ａｃｃｅｓｓ  Ｃｏｎｔｒｏｌｌｅｒ）１１０とを有する。
【００２６】
さらに、画像処理装置１００は、メモリアクセス調停回路（以下、ＡＲＢＭＥＭＣ（Ａｒｂｉｔｒａｔｉｏｎ  Ｍｅｍｏｒｙ  Ｃｏｎｔｒｏｌｌｅｒ）という。）１１２と、ＭＥＭＣ（Ｍｅｍｏｒｙ  Ｃｏｎｔｒｏｌｌｅｒ）１１４とを有する。
【００２７】
そのうえ、画像処理装置１００は、歪曲補正・画像合成処理回路１１８と、ＤＭＡＣ１２２と、画像処理回路１２４と、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１３０と、リサイズ処理回路１３２とを有する。
【００２８】
また、画像処理装置１００は、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｏｒｔｓ  Ｇｒｏｕｐ）処理回路１３４と、Ｈ．２６４処理回路１３６と、メモリカード制御処理回路１４０と、ＵＳＢ（Ｕｎｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）処理回路１４６と、ペリフェラル通信処理回路１５０とを有する。
【００２９】
ならびに、画像処理装置１００は、音声ユニット１５２と、シリアル通信処理回路１５８と、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）ドライバ１６２と、ブリッジ回路１６８とを有する。
【００３０】
画像処理装置１００には、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ  Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３８と、メモリカードスロット１４２と、フラッシュＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）１４４とが接続されている。
【００３１】
また、画像処理装置１００には、ＵＳＢコネクタ１４８と、スピーカ１５４と、マイク１５６と、無線ＮＩＣ（Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃａｒｄ）１６０と、ＬＣＤモニタ１６４と、電源スイッチ１６６とが接続されている。
【００３２】
ＩＳＰ１０８Ａ、及びＩＳＰ１０８Ｂは、入力された画像信号に基づく画像データに、ホワイトバランス、ガンマ補正、歪曲補正、及び画像合成等のいわゆる前処理を行う。
【００３３】
ＤＭＡＣ１１０、及び１２２は、メモリに対する処理の制御を行う。メモリに対する処理は、例えばメモリに画像データを書き込み、又はメモリから画像データを読み出しする処理等である。
【００３４】
ＡＲＢＭＥＭＣ１１２は、各メモリへアクセスする処理を調停する処理を行う。
【００３５】
ＭＥＭＣ１１４は、メモリを制御する処理を行う。ＭＥＭＣ１１４には、ＳＤＲＡＭ１１６が接続されている。ＳＤＲＡＭ１１６は、ＩＳＰ１０８Ａ、及びＩＳＰ１０８Ｂが処理を行う際、処理に用いるデータ等が記憶される。
【００３６】
歪曲補正・画像合成処理回路１１８は、固体撮像素子２２Ａ、及び２２Ｂから出力される画像信号を処理する。歪曲補正・画像合成処理回路１１８は、例えば、歪曲補正等の処理を行う。
【００３７】
歪曲補正・画像合成処理回路１１８には、３軸加速度センサ１２０が接続されている。３軸加速度センサ１２０は、画像処理システム１０の姿勢、及び向き等の情報を出力する。歪曲補正・画像合成処理回路１１８は、３軸加速度センサ１２０からの情報に基づいて、いわゆる天地補正処理を行ってもよい。なお、３軸加速度センサ１２０は、ジャイロセンサ等でもよい。さらに、歪曲補正・画像合成処理回路１１８が行う処理は、天地補正処理に限られない。例えば、手ぶれ補正処理等を行ってもよい。
【００３８】
画像処理回路１２４は、各種の画像処理を行う。画像処理回路１２４は、リサイズ処理回路１３２と、ＪＰＥＧ処理回路と、Ｈ．２６４処理回路１３６とに画像データを処理させる制御を行う。
【００３９】
画像データ転送処理回路１２６は、画像処理回路１２４から出力された画像データを転送する処理を行う。
【００４０】
ＳＤＲＡＭＣ１２８は、ＳＤＲＡＭ１３８の制御を行う。ＳＤＲＡＭ１３８には、画像処理装置１００で処理される画像データ等各種のデータが記憶される。
【００４１】
ＣＰＵ１３０は、各種の処理、及び各ハードウェアの制御を行う。
【００４２】
リサイズ処理回路１３２は、画像データのサイズを拡大、又は縮小する処理を行う。
【００４３】
ＪＰＥＧ処理回路１３４は、画像データをＪＰＥＧ圧縮、及び伸張するコーデック（Ｃｏｄｅｃ）処理を行う。
【００４４】
Ｈ．２６４処理回路１３６は、動画圧縮、及び伸張するコーデック処理を行う。
【００４５】
なお、静止画、及び動画のコーデック処理は、ＪＰＥＧ、及びＨ．２６４の形式に限られない。例えば、静止画のコーデック処理は、ＧＩＦ（Ｇｒａｐｈｉｃｓ  Ｉｎｔｅｒｃｈａｎｇｅ  Ｆｏｒｍａｔ）、又はＰＤＦ（Ｐｏｒｔａｂｌｅ  Ｄｏｃｕｍｅｎｔ  Ｆｏｒｍａｔ）等でもよい。また、静止画のコーデック処理は、Ｍｉｃｒｏｓｏｆｔ  Ｗｉｎｄｏｗｓ（登録商標）  Ｂｉｔｍａｐ  Ｉｍａｇｅ、又はＲＡＷ  ｉｍａｇｅ  ｆｏｒｍａｔ等圧縮処理を行わない形式でもよい。さらに、これらを組み合わせて、複数の形式でコーデックした出力を行ってもよい。
【００４６】
また、動画のコーデック処理は、ＭＰ４（ＭＰＥＧ−４  Ｐａｒｔ１４）等でもよい。また、ＡＶＩ（Ａｕｄｉｏ  Ｖｉｄｅｏ  Ｉｎｔｅｒｌｅａｖｅ）等圧縮処理を行わない形式でもよい。さらに、これらを組み合わせて、複数の形式でコーデックした出力を行ってもよい。
【００４７】
メモリカード制御処理回路１４０は、メモリカードスロット１４２に接続されているメモリカードに対する読み込み、又は書き込み等の処理の制御を行う。メモリカードスロット１４２には、メモリカード等外部の記憶媒体が接続される。
【００４８】
フラッシュＲＯＭ１４４は、ＣＰＵ１３０が実行するプログラム、及び各種のパラメータを記憶する。フラッシュＲＯＭ１４４に記憶されているプログラム、及び各種のパラメータは、メインメモリ、又はＣＰＵ１３０のレジスタ等にロードされ、ＣＰＵ１３０によって実行される。
【００４９】
ＵＳＢ処理回路１４６は、ＵＳＢコネクタ１４８を介して接続されるＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）等の外部装置とのＵＳＢによる通信を制御する。
【００５０】
ペリフェラル通信処理回路１５０は、電源スイッチ１６６による入力を制御する。
【００５１】
音声ユニット１５２は、スピーカ１５４と、マイク１５６とを制御し、音声の入出力を制御する。音声ユニット１５２は、マイク１５６からの音声入力を制御する。音声ユニット１５２は、スピーカ１５４への音声出力を制御する。
【００５２】
シリアル通信処理回路１５８は、ＰＣ等外部装置とのシリアル通信を制御する。シリアル通信処理回路１５８は、接続されている無線ＮＩＣ１６０を制御して、ネットワークを介して外部装置と通信を行う。
【００５３】
なお、外部装置との接続は、ＵＳＢ通信、及びシリアル通信に限られない。例えば、ＩＥＥＥ（Ｔｈｅ  Ｉｎｓｔｉｔｕｔｅ  ｏｆ  Ｅｌｅｃｔｒｉｃａｌ  ａｎｄ  Ｅｌｅｃｔｒｏｎｉｃｓ  Ｅｎｇｉｎｅｅｒｓ，Ｉｎｃ．）１３９４、及びＴｈｕｎｄｅｒｂｏｌｔ（登録商標）等の規格に準じた通信でもよい。また、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＮＦＣ（Ｎｅａｒ  Ｆｉｅｌｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）等の無線による通信でもよい。
【００５４】
ＬＣＤドライバ１６２は、接続されているＬＣＤモニタ１６４を制御する回路である。ＬＣＤドライバ１６２は、ＬＣＤモニタ１６４に出力する画像信号を制御する。ＬＣＤモニタ１６４は、出力された画像信号に基づいて、各種の表示を行う。
【００５５】
各要素間での送受信は、ブリッジ回路１６８を介して送受信されてもよい。
【００５６】
鏡胴ユニット１０２は、結像光学系２０Ａ、及び２０Ｂと、固体撮像素子２２Ａ、及び２２Ｂとを有する。固体撮像素子２２Ａ、及び２２Ｂは、ＣＰＵ１３０によって制御される。
【００５７】
なお、歪曲補正・画像合成処理回路１１８が行う処理は、歪曲補正等の処理に限られない。歪曲補正・画像合成処理回路１１８は、撮像画像に前処理を行ってもよい。前処理は、ホワイトバランス（Ｗｈｉｔｅ  Ｂｌａｎｃｅ）処理、シェーディング（Ｓｈａｄｉｎｇ）補正、手振れ補正、エッジ強調、及び欠陥画素補正等のいずれか少なくとも１種類以上の処理を行ってもよい。また、前処理は、オプティカル・ブラック（Ｏｐｔｉｃａｌ  Ｂｌａｃｋ）補正、リニア（Ｌｉｎｅａｒ）補正、ガンマ補正、色空間を変換する処理、及び画像フォーマットを変更する処理等のいずれか少なくとも１種類以上の処理を行ってもよい。前処理は、少なくともいずれか一方の画像を回転、及び拡大縮小等の画像を変形させる処理を行ってもよい。前処理を行うことで、画像処理装置１００は、画像の画質を向上すること、又は後段の処理で処理を行いやすくすることができる。
【００５８】
なお、歪曲補正・画像合成処理回路１１８による処理は、歪曲補正・画像合成処理回路１１８が処理を行うに限られない。例えば、歪曲補正・画像合成処理回路１１８による処理の全部又は一部を、画像処理回路１２４、又はＣＰＵ１３０等が処理を行ってもよい。また、同様に、ＩＳＰ１０８Ａ、ＩＳＰ１０８Ｂ、及び画像処理回路１２４による処理の全部又は一部は、歪曲補正・画像合成処理回路１１８、又はＣＰＵ１３０等が処理を行ってもよい。
【００５９】
なお、回路による各処理は、回路によって処理されるに限られない。例えば、各処理の一部又は全部は、ソフトウェア、又はファームウェアによって処理されてもよい。
【００６０】
また、画像処理装置１００のハードウェア構成は、図２で図示した構成に限られない。例えば音声ユニット１５２等は、必須の構成ではない。
【００６１】
さらに、画像処理装置１００は、鏡胴ユニット１０２と一体の場合に限られない。画像処理装置１００、及び鏡胴ユニット１０２は、別の装置となっている構成でもよい。
【００６２】
図３は、本発明の一実施形態に係る画像処理システムの全体構成の別の一例を説明する概略図である。
【００６３】
画像処理装置１００は、いわゆるスマートフォン（Ｓｍａｒｔｐｈｏｎｅ）、又はＰＣ等の情報処理装置であり、撮像を行う鏡胴ユニット１０２が別の装置となっている構成でもよい。
【００６４】
＜画像処理システムによる全体処理＞
図４は、本発明の一実施形態に係る画像処理システムによる全体処理の一例を説明するフローチャートである。
【００６５】
ステップＳ０４０１では、画像処理システム１０は、第一露出条件の設定の処理を行う。露出条件は、結像光学系、及び固体撮像素子に係る露出値を決定するための条件である。露出条件は、例えば絞り、シャッタースピード、ゲイン、又はこれらの組み合わせによる設定値である。露出条件は、光源、及び被写体等に基づいて決定する。
【００６６】
以下、第一露出条件を基準とし、他に２つの露出条件を設定して合計３条件での撮像処理を行う場合を例に説明する。第二露出条件は、第一露出条件を白色の被写体等の露出アンダー用に変更した、いわゆるプラス補正を行った露出条件等である。第三露出条件は、第一露出条件を黒色の被写体等の露出オーバー用に変更した、いわゆるマイナス補正を行った露出条件等である。以下、上述した第一露出条件、第二露出条件、及び第三露出条件で撮像処理を行う場合を例に説明する。
【００６７】
ステップＳ０４０２乃至ステップＳ０４０５は、第一露出条件での撮像画像を取得する取得処理の例である。
【００６８】
ステップＳ０４０２では、画像処理システム１０は、固体撮像素子２２Ａによる第一の撮像画像の撮像処理を行う。ステップＳ０４０２では、画像処理装置１００は、ステップＳ０４０１で設定した第一露出条件の画像を図１の撮像装置１２に撮像させる処理を行う。
【００６９】
ステップＳ０４０３では、画像処理システム１０は、第一の撮像画像に前処理を行う。ステップＳ０４０３では、前処理を行う場合、画像処理装置１００は、ステップＳ０４０２で撮像した第一の撮像画像を入力し、前処理を行う。即ち、前処理を行う場合、画像処理装置１００は、第一の撮像画像に前処理を行って第一の部分画像を取得する。
【００７０】
ステップＳ０４０４では、画像処理システム１０は、固体撮像素子２２Ｂによる第二の撮像画像の撮像処理を行う。ステップＳ０４０４では、画像処理装置１００は、ステップＳ０４０１で設定した第一露出条件の画像を図１の撮像装置１２に撮像させる処理を行う。
【００７１】
ステップＳ０４０５では、画像処理システム１０は、第二の撮像画像に前処理を行う。ステップＳ０４０５では、前処理を行う場合、画像処理装置１００は、ステップＳ０４０４で撮像した第二の撮像画像を入力し、前処理を行う。即ち、前処理を行う場合、画像処理装置１００は、第二の撮像画像に前処理を行って第二の部分画像を取得する。
【００７２】
ステップＳ４０２、及びステップＳ０４０３の処理は、後段の合成画像を作るための合成処理で必要となる第一の部分画像を取得する取得処理の一例である。ステップＳ４０４、及びステップＳ０４０５の処理は、後段の合成画像を作るための合成処理で必要となる第二の部分画像を取得する取得処理の一例である。なお、画像処理システム１０が３以上の部分画像を用いて合成処理を行う場合、画像処理システム１０は、ステップＳ０４０２の処理を繰り返し行う。前処理を行う場合、第一の部分画像と同様に、ステップＳ０４０３の処理が繰り返し行われる。
【００７３】
ステップＳ０４０６では、画像処理システム１０は、第一の部分画像と第二の部分画像のつなぎ条件を計算する計算処理を行う。
【００７４】
ステップＳ０４０７では、画像処理システム１０は、第一の合成画像を生成する合成処理を行う。
【００７５】
図５は、本発明の一実施形態に係る計算処理、及び合成処理の一例を示すブロック図である。
【００７６】
図６は、本発明の一実施形態に係る計算処理、及び合成処理の一例を示すフローチャートである。
【００７７】
画像処理装置１００は、少なくとも２つの部分画像を合成して合成画像を生成する。以下、第一の部分画像と、第二の部分画像とから第一の合成画像を生成する場合を例に説明する。
【００７８】
ステップＳ０５０１では、画像処理装置１００は、つなぎ条件計算用変換テーブルを用いて第一の部分画像、及び第二の部分画像に、つなぎ条件計算用歪み補正処理を行う。図４のステップＳ０４０６、及びＳ０４０７では、第一の部分画像Ｄ１は、図４のステップＳ０４０２乃至ステップＳ０４０３の取得処理で取得した第一の部分画像である。図４のステップＳ０４０６、及びＳ０４０７における第二の部分画像Ｄ２は、図４のステップＳ０４０４乃至ステップＳ０４０５の取得処理で取得した第二の部分画像である。ステップＳ０５０１では、画像処理装置１００は、第一の部分画像Ｄ１につなぎ条件計算用歪み補正処理を行って第一のつなぎ条件計算用補正画像Ｄ３を生成する処理を行う。ステップＳ０５０１では、画像処理装置１００は、第二の部分画像Ｄ２につなぎ条件計算用歪み補正処理を行って第二のつなぎ条件計算用補正画像Ｄ４を生成する処理を行う。つなぎ条件計算用歪み補正処理は、つなぎ条件計算用変換テーブルＤ６を用いて画像を補正する処理である。つなぎ条件計算用変換テーブルＤ６は、図１の結像光学系２０Ａ、及び２０Ｂのレンズの設計データなどに基づいて生成された変換テーブルのデータである。変換テーブルは、変換前の座標に対応させて変換後の座標を記憶したデータである。テーブルを用いた処理は、変換前の座標に入力された画素を、変換後の座標の位置に並び替える処理等である。
【００７９】
図７は、本発明の一実施形態に係るレンズの射影関係の一例を説明する図である。
【００８０】
図７は、図１の結像光学系２０Ａ、及び２０Ｂのレンズが、広い角度の範囲を撮像するためのレンズ、いわゆる魚眼レンズ等の場合である。
【００８１】
図７（Ａ）は、本発明の一実施形態に係るレンズへの入射角λの一例を説明する断面図である。
【００８２】
図７（Ｂ）は、本発明の一実施形態に係る像高ｈの一例を説明する図である。
【００８３】
図７（Ａ）で図示する図１の結像光学系２０Ａ、及び２０Ｂのレンズに入射角λで光が入射した場合、入射した光は、図７（Ｂ）で図示する像高ｈの位置で結像する。図１の固体撮像素子２２Ａ、及び固体撮像素子２２Ｂは、結像した光を光電変換して部分画像を撮像する。図７（Ｂ）で示すように、特に魚眼レンズ等の広角レンズで撮像された場合、撮像画像は、歪曲収差を有する。つなぎ条件計算用歪み補正処理は、歪曲収差等の歪みを補正する処理である。
【００８４】
ステップＳ０５０２では、画像処理装置１００は、第一のつなぎ条件計算用補正画像、及び第二のつなぎ条件計算用補正画像の重複する領域を用いて、つなぎ条件を求める計算処理を行う。
【００８５】
つなぎ条件は、合成処理の際、第一の部分画像Ｄ１を合成処理用歪み補正処理した第一の合成処理用補正画像Ｄ８、及び第二の部分画像Ｄ２を合成処理用歪み補正処理した第二の合成処理用補正画像Ｄ９をつなぐつなぎ位置等である。つなぎ位置は、第一のつなぎ条件計算用補正画像Ｄ３、及び第二のつなぎ条件計算用補正画像Ｄ４が重複して撮像する範囲に撮像された被写体等を用いて計算される。
【００８６】
図８は、本発明の一実施形態に係るつなぎ位置の計算処理、及び計算結果の一例を説明する図である。
【００８７】
図８（Ａ）は、本発明の一実施形態に係る第一のつなぎ条件計算用補正画像Ｄ３の一例を説明する図である。
【００８８】
図８（Ｂ）は、本発明の一実施形態に係る第二のつなぎ条件計算用補正画像Ｄ４の一例を説明する図である。
【００８９】
以下、図示するように、第一のつなぎ条件計算用補正画像Ｄ３、及び第二のつなぎ条件計算用補正画像Ｄ４に、重複領域の被写体ＴＧが撮像された場合を例に説明する。
【００９０】
第一のつなぎ条件計算用補正画像Ｄ３に、重複領域の被写体ＴＧが、撮像されている場合、第二のつなぎ条件計算用補正画像Ｄ４には、同様に重複領域の被写体ＴＧが、撮像されている。画像処理装置１００は、ずれ量（Δθ、Δφ）を計算するために、マッチング処理等によって、第二のつなぎ条件計算用補正画像Ｄ４のどの位置に重複領域の被写体ＴＧが撮像されているかを検出する。マッチング処理の詳細は、後述する。画像処理装置１００は、図８（Ｂ）で図示するように、第一のつなぎ条件計算用補正画像Ｄ３の「☆」と示されている画素の座標についてずれ量（Δθ、Δφ）を計算する。
【００９１】
ずれ量（Δθ、Δφ）は、第一のつなぎ条件計算用補正画像Ｄ３の任意の座標（θ、φ）をずれ量（Δθ、Δφ）移動させると第二のつなぎ条件計算用補正画像Ｄ４と一致する補正量を示す。画像処理装置１００は、ずれ量（Δθ、Δφ）を、図５の計算結果データＤ５として出力する。
【００９２】
ステップＳ０５０３では、画像処理装置１００は、計算処理の結果に基づいて画像が球面座標上で位置合わせされるようにつなぎ条件計算用変換テーブルを修正する変換テーブル修正処理を行う。
【００９３】
変換テーブル修正処理は、計算結果データＤ５がずれ量（Δθ、Δφ）である場合、つなぎ条件計算用変換テーブルＤ６にずれ量（Δθ、Δφ）を加算する処理等である。
【００９４】
図９は、本発明の一実施形態に係る計算結果に基づく変換テーブル修正処理の一例を説明する図である。
【００９５】
図９（Ａ）は、本発明の一実施形態に係る計算結果に基づく変換テーブル修正処理の修正前の変換テーブルの一例を説明する図である。
【００９６】
図９（Ｂ）は、本発明の一実施形態に係る計算結果に基づく変換テーブル修正処理の修正後の変換テーブルの一例を説明する図である。
【００９７】
図５のつなぎ条件計算用変換テーブルＤ６が図９（Ａ）の場合、変換テーブル修正処理は、図５のつなぎ条件計算用変換テーブルＤ６の値をずれ量（Δθ、Δφ）に基づいて修正し、修正後つなぎ条件計算用変換テーブルＤ６２を生成する処理である。
【００９８】
ステップＳ０５０４では、画像処理装置１００は、修正された変換テーブルに回転変換を行って座標を変換して合成処理用変換テーブルを生成する変換テーブル生成処理を行う。ステップＳ０５０４では、画像処理装置１００は、修正後つなぎ条件計算用変換テーブルＤ６２に基づいて、合成処理用変換テーブルＤ７を生成する処理を行う。
【００９９】
ステップＳ０５０５では、画像処理装置１００は、合成処理用変換テーブルを用いて第一の部分画像、及び第二の部分画像に、合成処理用歪み補正処理を行う。
【０１００】
ステップＳ０５０５では、画像処理装置１００は、第一の部分画像Ｄ１を合成処理用変換テーブルＤ７に基づいて歪み補正処理し、第一の合成処理用補正画像Ｄ８を生成する処理を行う。ステップＳ０５０５では、画像処理装置１００は、第二の部分画像Ｄ２を合成処理用変換テーブルＤ７に基づいて歪み補正処理し、第二の合成処理用補正画像Ｄ９を生成する処理を行う。
【０１０１】
ステップＳ０５０６では、画像処理装置１００は、合成処理用歪み補正処理で生成された第一の合成処理用補正画像、及び第二の合成処理用補正画像を合成して合成画像を生成する合成処理を行う。ステップＳ０５０６では、画像処理装置１００は、第一の合成処理用補正画像Ｄ８、及び第二の合成処理用補正画像Ｄ９を合成する合成処理によって合成画像Ｄ１０を生成する処理を行う。合成画像Ｄ１０は、全天球画像である。
【０１０２】
図１０は、本発明の一実施形態に係る合成処理用変換テーブルに基づいた合成処理用歪み補正処理、及び合成処理の一例を説明する図である。
【０１０３】
図１０（Ａ）は、合成処理用変換テーブルＤ７の一例を示す図である。
【０１０４】
図１０（Ｂ）は、合成処理用変換テーブルＤ７に基づく合成処理の一例を示す図である。
【０１０５】
合成処理用変換テーブルＤ７は、図示するように、第一の合成処理用補正画像Ｄ８、及び第二の合成処理用補正画像Ｄ９をマッピングして合成画像Ｄ１０を生成する処理ための変換テーブルである。
【０１０６】
図１０で示した合成画像Ｄ１０は、第一の合成処理用補正画像Ｄ８、及び第二の合成処理用補正画像Ｄ９の中心部分が、歪みの少ない赤道付近にマッピングされて画像が生成されている場合である。
【０１０７】
図１１は、本発明の一実施形態に係るつなぎ条件計算用変換テーブルの一例を説明する図である。
【０１０８】
ステップＳ０５０２の計算処理に用いるつなぎ条件計算用変換テーブルＤ６は、図１１で図示するように、計算処理が歪みの少ない箇所の座標で行われるように変換する変換テーブルによって、つなぎ位置の計算処理の精度を良くすることができる。合成処理用変換テーブルＤ７は、図１０（Ｂ）で図示するように、各部分画像の中心部分が合成画像Ｄ１０の歪みの少ない赤道付近にマッピングする変換テーブルであり、画質の良い合成画像Ｄ１０を生成することができる。
【０１０９】
また、合成処理用変換テーブルＤ７は、回転変換等を行って生成されることで、部分画像の互いの上下が反転している場合等をそろえることができる。
【０１１０】
図１２は、本発明の一実施形態に係る合成処理用変換テーブルに基づいた合成処理用歪み補正処理、及び合成処理で生成される合成画像の一例を示す図である。
【０１１１】
図１２（Ａ）は、本発明の一実施形態に係る第一の部分画像Ｄ１の一例を示す図である。
【０１１２】
図１２（Ｂ）は、本発明の一実施形態に係る第二の部分画像Ｄ２の一例を示す図である。
【０１１３】
図１２（Ｃ）は、本発明の一実施形態に係る図１２（Ａ）の第一の部分画像Ｄ１と、図１２（Ｂ）の第二の部分画像Ｄ２とを合成処理用変換テーブルＤ７に基づいて合成処理用歪み補正処理、及び合成処理して生成した合成画像Ｄ１０の一例を示す図である。
【０１１４】
図示するように、互いの上下が反転している図１２（Ａ）、及び図１２（Ｂ）の部分画像を回転変換することによって、図１２（Ｃ）の合成画像を生成する際に上下の向きをそろえることができる。
【０１１５】
ここで、図４に戻り、説明する。
【０１１６】
ステップＳ０４０８では、画像処理システム１０は、第二露出条件の設定の処理を行う。
【０１１７】
ステップＳ０４０９では、画像処理システム１０は、第三の部分画像と、第四の部分画像とを取得する取得処理を行う。ステップＳ０４０９では、画像処理システム１０は、第二露出条件でステップＳ０４０２乃至Ｓ０４０５の取得処理を行う。第三の部分画像は、第二露出条件で撮像された第一の撮像画像である。第三の部分画像は、前処理が行われる場合、第二露出条件で撮像された第一の撮像画像をステップＳ０４０３の前処理した画像である。第四の部分画像は、第二露出条件で撮像された第二の撮像画像である。第四の部分画像は、前処理が行われる場合、第二露出条件で撮像された第二の撮像画像をステップＳ０４０５の前処理した画像である。
【０１１８】
ステップＳ０４１０では、画像処理システム１０は、第一の合成画像と同一のつなぎ条件で第二の合成画像を生成する合成処理を行う。ステップＳ０４１０では、画像処理システム１０は、ステップＳ０４０６で求められたつなぎ条件を用いて、ステップＳ０４０７と同様の合成処理を行って、第二の合成画像を生成する。即ち、画像処理システム１０は、ステップＳ０４０９で取得した第三の部分画像、及び第四の部分画像に基づいて計算処理を行わず、ステップＳ０４０６で求められた第一の部分画像、及び第二の部分画像のつなぎ条件で第二の合成画像を生成する。
【０１１９】
ステップＳ０４１１では、画像処理システム１０は、第三露出条件の設定の処理を行う。
【０１２０】
ステップＳ０４１２では、画像処理システム１０は、第五の部分画像と、第六の部分画像とを取得する取得処理を行う。ステップＳ０４１２では、画像処理システム１０は、第三露出条件でステップＳ０４０２乃至Ｓ０４０５の取得処理を行う。第五の部分画像は、第三露出条件で撮像された第一の撮像画像である。第五の部分画像は、前処理が行われる場合、第三露出条件で撮像された第一の撮像画像をステップＳ０４０３の前処理した画像である。第六の部分画像は、第三露出条件で撮像された第二の撮像画像である。第六の部分画像は、前処理が行われる場合、第三露出条件で撮像された第二の撮像画像をステップＳ０４０５の前処理した画像である。
【０１２１】
ステップＳ０４１３では、画像処理システム１０は、第一の合成画像と同一のつなぎ条件で第三の合成画像を生成する合成処理を行う。ステップＳ０４１３では、画像処理システム１０は、ステップＳ０４１０と同様に、ステップＳ０４０６で求められたつなぎ条件で合成処理を行って第三の合成画像を生成する。即ち、画像処理システム１０は、ステップＳ０４１２で取得した第五の部分画像、及び第六の部分画像に基づいて計算処理を行わず、ステップＳ０４０６で計算された第一の部分画像、及び第二の部分画像のつなぎ条件で第三の合成画像を生成する。
【０１２２】
ステップＳ０４１４では、画像処理システム１０は、第一の合成画像、第二の合成画像、及び第三の合成画像から出力画像を生成する生成処理を行う。ステップＳ０４１４では、画像処理システム１０は、ステップＳ０４０７で生成された第一の合成画像、ステップＳ０４１０で生成された第二の合成画像、及びステップＳ０４１３で生成された第三の合成画像から出力画像を生成する。
【０１２３】
図１３は、本発明の一実施形態に係る生成処理の一例を示す図である。
【０１２４】
図１３は、撮像画像の有する画素の明るさを示すヒストグラム（Ｈｉｓｔｏｇｒａｍ）の一例である。ヒストグラムでは、横軸が明るさ、及び縦軸が画素数を示す。
【０１２５】
図１３（Ａ）は、第一露出条件のダイナミックレンジＤＲ１の一例を説明する図である。
【０１２６】
図示するように、固体撮像素子が撮像して画像で再現が可能な露出の範囲、いわゆるダイナミックレンジ（ｄｙｎａｍｉｃ  ｒａｎｇｅ）が第一露出条件のダイナミックレンジＤＲ１の場合を例に説明する。図示するように、第一露出条件のダイナミックレンジＤＲ１は、撮像画像の有する画素の明るさをすべて示すには、ダイナミックレンジが狭い。即ち、一つの第一露出条件のダイナミックレンジＤＲ１では、撮像画像の有する画素の明るさを示すのにダイナミックレンジが狭い場合があった。ダイナミックレンジが狭い場合、画像は、明るさが暗い部分でいわゆる黒つぶれ、又は明るさが明るい部分でいわゆる白飛びの画素を有してしまう場合がある。
【０１２７】
図１３（Ｂ）は、第一の合成画像、第二の合成画像、及び第三の合成画像から出力画像を生成する生成処理の一例を説明する図である。
【０１２８】
第二露出条件が第一露出条件からプラス補正された露出条件の場合、ダイナミックレンジは、例えば図示するように第二露出条件のダイナミックレンジＤＲ２となる。第二露出条件のダイナミックレンジＤＲ２は、第一露出条件のダイナミックレンジＤＲ１と比較して明るい部分を撮像できるダイナミックレンジである。即ち、第二露出条件で撮像された撮像画像から生成された第二の合成画像は、第一の合成画像と比較して、明るい部分を示すことができる。
【０１２９】
第三露出条件が第一露出条件からマイナス補正された露出条件の場合、ダイナミックレンジは、例えば図示するように第三露出条件のダイナミックレンジＤＲ３となる。第三露出条件のダイナミックレンジＤＲ３は、第一露出条件のダイナミックレンジＤＲ１と比較して暗い部分を撮像できるダイナミックレンジである。即ち、第三露出条件で撮像された撮像画像から生成された第三の合成画像は、第一の合成画像と比較して、暗い部分を示すことができる。
【０１３０】
なお、各露出条件は、図示するようにダイナミックレンジが一部重複する範囲がないように設定されてもよい。
【０１３１】
生成処理は、例えば第一の合成画像、第二の合成画像、及び第三の合成画像を組み合わせて出力画像を生成する処理である。出力画像のダイナミックレンジは、図示するように、第一の合成画像、第二の合成画像、及び第三の合成画像のダイナミックレンジで示された出力画像のダイナミックレンジＤＲ４である。出力画像が第一の合成画像、第二の合成画像、及び第三の合成画像を組み合わせて生成されるため、出力画像のダイナミックレンジＤＲ４は、第一の合成画像、第二の合成画像、及び第三の合成画像のダイナミックレンジより広くできる。生成処理によって、画像処理装置１００は、固体撮像素子のダイナミックレンジよりダイナミックレンジの広い、いわゆるＨＤＲ（Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）の出力画像を生成することができる。
【０１３２】
上述の説明では、撮像装置、及び被写体が動かない場合で生成処理を説明したが、撮像装置、及び被写体が動いた場合、生成処理は、例えば特表２００６−５２５７４７等で示される方法で実現する。
【０１３３】
なお、生成処理は、３つの合成画像から生成する処理に限られない。生成処理は、少なくとも２つの合成画像を用いる処理であればよい。つまり、生成処理は、２つの合成画像から生成する処理でもよい。また、生成処理は、４つ以上の合成画像から生成する処理でもよい。４つ以上の合成画像から生成することで、よりダイナミックレンジの広い出力画像を生成することができる。
【０１３４】
図１４は、本発明の一実施形態に係る効果の一例を説明する図である。
【０１３５】
図１４（Ａ）は、本発明の一実施形態に係る撮像状態の一例を示す図である。
【０１３６】
以下、各部分画像の撮像範囲、及び重複領域が図１４（Ａ）で図示するような場合を例に説明する。図１４（Ａ）は、各部分画像の撮像範囲、及び重複領域に重複領域の被写体ＴＧが、被写体として撮像されている場合の例である。重複領域の被写体ＴＧは、例えば近距離位置の被写体ＴＧＮの位置から遠距離位置の被写体ＴＧＦの位置に移動する等の移動する被写体の場合がある。重複領域の被写体ＴＧが移動する被写体の場合、各部分画像では、重複領域の被写体ＴＧの距離等に応じて撮像される位置が変化する。
【０１３７】
図１４（Ｂ）は、本発明の一実施形態に係る近距離位置の被写体ＴＧＮの撮像状態の一例を説明する図である。
【０１３８】
図１４（Ｃ）は、本発明の一実施形態に係る遠距離位置の被写体ＴＧＦの撮像状態の一例を説明する図である。
【０１３９】
重複領域の被写体ＴＧが、近距離位置の被写体ＴＧＮの位置である場合、重複領域の被写体ＴＧは、図１４（Ｂ）で図示するように、各部分画像の外側部分に、撮像される。重複領域の被写体ＴＧが、遠距離位置の被写体ＴＧＦの位置である場合、重複領域の被写体ＴＧは、図１４（Ｃ）で図示するように、各部分画像の内側部分に、撮像される。つまり、重複領域の被写体ＴＧの撮像される位置は、重複領域の被写体ＴＧの移動による距離の変化等によって変化する。
【０１４０】
ここで、図４のステップＳ０４０６の計算処理では、つなぎ条件は、例えば図８で説明したマッチング処理によって計算される。
【０１４１】
図１５は、本発明の一実施形態に係るマッチング処理の一例を説明する図である。
【０１４２】
図１５（Ａ）は、遠距離位置の被写体ＴＧＦ、及び近距離位置の被写体ＴＧＮが同じ部分画像に撮像された場合の一例を示す図である。
【０１４３】
図１５（Ａ）では、図１４の遠距離位置の被写体ＴＧＦ、及び近距離位置の被写体ＴＧＮ、即ち遠くにある被写体と、近くにある被写体とが、重複領域で同時に撮像され、双方の被写体は、第一の部分画像、及び第二の部分画像のそれぞれに写りこんだ状態である。
【０１４４】
マッチング処理は、例えば重複領域に写っている被写体の特徴点を一方の部分画像内で抽出し、抽出した特徴点が、他方の部分画像のどこに位置しているかを算出する処理である。例えば遠距離位置の被写体ＴＧＦが、第一の部分画像において、特徴点ＳＰ１乃至ＳＰ３を抽出された場合、マッチング処理は、第二の部分画像において、特徴点ＳＰ１乃至ＳＰ３がどこに位置しているかを算出する処理である。同様に、近距離位置の被写体ＴＧＮが第一の部分画像で特徴点ＳＰ４乃至ＳＰ７を抽出された場合、マッチング処理は、第二の部分画像で特徴点ＳＰ４乃至ＳＰ７がどこに位置しているかを算出する処理である。
【０１４５】
つなぎ条件は、例えば第一の部分画像の特徴点ＳＰ１乃至ＳＰ３と、第二の部分画像の特徴点ＳＰ１乃至ＳＰ３とが重なるように各部分画像をつなぐつなぎ位置である。各部分画像は、抽出された各特徴点が重なるように全体、又はメッシュ状のエリアごとに変形されてつながれる。なお、つなぎ条件は、図８で説明したように各部分画像をつなぐ座標の差を示すずれ量でもよい。
【０１４６】
図１５（Ｂ）は、遠距離位置の被写体ＴＧＦ、及び近距離位置の被写体ＴＧＮが同じ部分画像に撮像された場合の部分画像を合成して生成した合成画像の一例を示す図である。
【０１４７】
図１５（Ａ）で図示した各部分画像を用いて図１２で説明した合成処理等した場合、図１５（Ｂ）で図示する合成画像が生成される。
【０１４８】
図１５（Ａ）で図示したように、マッチング処理の対象となる被写体の距離等が変化する場合、被写体の撮像される位置が変化する。そのため、遠距離位置の被写体ＴＧＦ、及び近距離位置の被写体ＴＧＮが同様の被写体であっても、マッチング処理の結果、即ち、つなぎ条件は、被写体の撮像される位置等によって変化する。また、マッチング処理の際に変形等が行われる場合、被写体の周辺部分は、あわせて変形される場合が多い。したがって、変形等によってマッチング処理の結果が変化する場合もある。
【０１４９】
第一露出条件、及び第二露出条件で撮像する場合、それぞれの露出条件を設定して連写等で撮像する。即ち、露出条件がそれぞれ異なる撮像画像の場合、各撮像画像が撮像されるフレーム（ｆｒａｍｅ）は、それぞれ異なる場合が多い。撮像されるフレームがそれぞれ異なる場合、撮像画像は、同じ被写体を撮像していても被写体、又は画像処理システム１０が移動している場合、被写体を図１４で説明したように、異なって撮像する場合がある。また、撮像されるフレームが異なる場合、撮像画像には、前のフレームから次のフレームの間に新たな物体が重複領域に進入し、新しい被写体が加わってしまう場合がある。
【０１５０】
被写体が異なって撮像された場合、又は新しい被写体が加わった場合、マッチング処理の結果は、特徴点の抽出結果が変化する等によって変化する場合が多い。つなぎ条件が変化した場合、合成処理で生成される合成画像は、同一の部分画像に基づいて処理した場合でも異なる合成画像を生成する場合が多い。異なるつなぎ条件で生成された合成画像は、同一の被写体が同じ位置に撮像されていない等の図１３で説明した生成処理の際の不整合を生じる場合がある。画像処理装置１００は、第一の合成画像、及び第二の合成画像を、同一のつなぎ条件で生成することで、出力画像を生成する生成処理の際の不整合を少なくできる。
【０１５１】
＜機能構成＞
図１６は、本発明の一実施形態に係る画像処理システムの機能構成の一例を示す機能ブロック図である。
【０１５２】
画像処理システム１０は、撮像部１０Ｆ１と、画像処理装置１００とを有する。画像処理装置１００は、取得部１００Ｆ１と、計算部１００Ｆ２と、合成部１００Ｆ３と、生成部１００Ｆ４と、露出条件設定部１００Ｆ５とを有する。
【０１５３】
撮像部１０Ｆ１は、第一撮像部１０Ｆ１１と、第二撮像部１０Ｆ１２とを有する。
【０１５４】
第一撮像部１０Ｆ１１は、露出条件設定部１００Ｆ５が設定した露出条件で第一の撮像画像を撮像する撮像処理を行う。第二撮像部１０Ｆ１２は、露出条件設定部１００Ｆ５が設定した露出条件で第二の撮像画像を撮像する撮像処理を行う。第一撮像部１０Ｆ１１は、例えば図１の固体撮像素子２２Ａ、及び結像光学系２０Ａ等で実現される。第二撮像部１０Ｆ１２は、図１の固体撮像素子２２Ｂ、及び結像光学系２０Ｂ等で実現される。
【０１５５】
なお、撮像部１０Ｆ１は、３以上の撮像画像を撮像してもよい。また、撮像部１０Ｆ１は、３以上の露出条件で各撮像画像を撮像してもよい。
【０１５６】
取得部１００Ｆ１は、部分画像を取得する取得処理を行う。前処理を行う場合、取得部１００Ｆ１は、撮像画像を前処理し、前処理した画像を部分画像として取得する処理を行ってもよい。
【０１５７】
露出条件設定部１００Ｆ５が第一露出条件を設定した場合、第一の撮像画像を第一の部分画像として取得する処理を行う。前処理を行う場合、取得部１００Ｆ１は、第一の撮像画像を前処理して第一の部分画像として取得するための処理を行ってもよい。露出条件設定部１００Ｆ５が第一露出条件を設定した場合、第二の撮像画像を第二の部分画像として取得する処理を行う。前処理を行う場合、取得部１００Ｆ１は、第二の撮像画像を前処理して第二の部分画像として取得するための処理を行ってもよい。
【０１５８】
露出条件設定部１００Ｆ５が第二露出条件を設定した場合、第一の撮像画像を第三の部分画像として取得する処理を行う。前処理を行う場合、取得部１００Ｆ１は、第一の撮像画像を前処理して第三の部分画像として取得するための処理を行ってもよい。露出条件設定部１００Ｆ５が第二露出条件を設定した場合、第二の撮像画像を第四の部分画像として取得する処理を行う。前処理を行う場合、取得部１００Ｆ１は、第二の撮像画像を前処理して第四の部分画像として取得するための処理を行ってもよい。
【０１５９】
取得部１００Ｆ１は、図２のＩＳＰ１０８Ａ、及び図２のＩＳＰ１０８Ｂ等によって実現される。
【０１６０】
計算部１００Ｆ２は、第一の部分画像、及び第二の部分画像をつなぐためのつなぎ条件を求める計算処理を行う。計算部１００Ｆ２は、取得部１００Ｆ１が取得処理で取得した部分画像のうち、第一の部分画像、及び第二の部分画像を用いて計算処理を行う。計算部１００Ｆ２は、各部分画像から合成処理で合成画像を生成するに必要なつなぎ条件を計算処理で計算する処理を行う。
【０１６１】
計算部１００Ｆ２は、図２のＣＰＵ１３０、及び画像処理回路１２４等によって実現される。
【０１６２】
合成部１００Ｆ３は、第一の部分画像と、第二の部分画像とを計算部１００Ｆ２が計算したつなぎ条件に基づいて合成して第一の合成画像を生成する合成処理を行う。合成部１００Ｆ３は、第三の部分画像と、第四の部分画像とを計算部１００Ｆ２が計算したつなぎ条件に基づいて合成して第二の合成画像を生成する合成処理を行う。合成部１００Ｆ３は、計算部１００Ｆ２が計算した第一の部分画像、及び第二の部分画像をつなぐためのつなぎ条件で合成して第一の合成画像を生成する合成処理を行う。第一の合成画像と同様に、合成部１００Ｆ３は、計算部１００Ｆ２が計算した第一の部分画像、及び第二の部分画像をつなぐためのつなぎ条件で合成して第二の合成画像を生成する合成処理を行う。
【０１６３】
合成部１００Ｆ３は、合成画像を合成処理で生成する際、用いる部分画像が第三の部分画像、及び第四の部分画像の場合でも第一の部分画像、及び第二の部分画像をつなぐためのつなぎ条件に基づいて合成処理を行う。
【０１６４】
なお、合成部１００Ｆ３は、３以上の合成画像を生成してもよい。合成部１００Ｆ３は、３以上の合成画像を生成する場合でも、共通して第一の部分画像、及び第二の部分画像をつなぐためのつなぎ条件に基づいて合成処理を行う。
【０１６５】
合成部１００Ｆ３は、図２のＣＰＵ１３０、及び画像処理回路１２４等によって実現される。
【０１６６】
生成部１００Ｆ４は、少なくとも第一の合成画像、及び第二の合成画像に基づいて出力画像を生成する生成処理を行う。生成部１００Ｆ４は、２以上の合成画像に基づいて出力画像を生成する処理を行う。
【０１６７】
なお、生成部１００Ｆ４は、３以上の合成画像に基づいて出力画像を生成してもよい。
【０１６８】
生成部１００Ｆ４は、図２のＣＰＵ１３０、及び画像処理回路１２４等によって実現される。
【０１６９】
露出条件設定部１００Ｆ５は、撮像部１０Ｆ１が撮像処理する露出条件を設定する処理を行う。露出条件設定部１００Ｆ５は、図２のＣＰＵ１３０等で実現される。露出条件設定部１００Ｆ５は、露出条件を設定するために、撮像画像の明るさを計算する処理等を行ってもよい。また、各露出条件は、ユーザ等が予め絞り、シャッタースピード、及びゲイン等の各設定値を露出条件ごとにそれぞれ入力し、入力された設定値を設定することによって実現されてもよい。
【０１７０】
画像処理装置１００は、第一露出条件の撮像に基づいた第一の部分画像、及び第二の部分画像から合成処理で第一の合成画像を生成するためのつなぎ条件を計算処理によって求める。画像処理装置１００は、計算処理で計算したつなぎ条件に基づいた合成処理でつなぎ条件に基づいて第一の合成画像を生成する。
【０１７１】
画像処理装置１００は、第二露出条件の撮像に基づいた第三の部分画像、及び第四の部分画像から第二の合成画像を生成するため、第一の部分画像、及び第二の部分画像のつなぎ条件に基づいて合成処理で第二の合成画像を生成する。
【０１７２】
第一の合成画像、及び第二の合成画像は、同一のつなぎ条件に基づいて合成処理で生成される。画像処理装置１００は、第一の合成画像、及び第二の合成画像を生成するための部分画像の撮像されるフレームが異なる場合でもつなぎ条件が同一のため、マッチング処理結果の変化の影響を少なくできる。したがって、画像処理装置１００は、第一の合成画像、及び第二の合成画像を同一のつなぎ条件で生成することで、出力画像を生成する生成処理の際の不整合を少なくでき、生成処理で生成される出力画像の画質を向上させることができる。
【０１７３】
なお、各処理の全部、又は一部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、及びＪａｖａ（登録商標）等のレガシープログラミング言語、又はオブジェクト指向プログラミング言語等で記述されたコンピュータが実行できるプログラムによって実現されてもよい。プログラムは、ＲＯＭ、又はＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）等の記憶媒体に格納して頒布することができる。プログラムは、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）等の記憶媒体に格納して頒布することができる。プログラムは、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、又はＤＶＤ−ＲＷ等の記憶媒体に格納して頒布することができる。プログラムは、ブルーレイディスク、ＳＤ（登録商標）カード、又はＭＯ等装置可読な記憶媒体に格納して、又は電気通信回線を通じて頒布することができる。
【０１７４】
なお、実施形態における画像は、静止画に限られない。例えば画像は、動画でもよい。
【０１７５】
また、実施形態の各処理の一部又は全部は、例えばフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）等のプログラマブル・デバイス（ＰＤ）で実現されてもよい。さらに、実施形態の各処理の一部又は全部は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）で実現されてもよい。
【０１７６】
以上、本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【符号の説明】
【０１７７】
１０  画像処理システム
１０Ｆ１  撮像部
１０Ｆ１１  第一撮像部
１０Ｆ１２  第二撮像部
１２  撮像装置
１４  筐体
１８  シャッターボタン
２０Ａ、２０Ｂ  結像光学系
２２Ａ、２２Ｂ  固体撮像素子
１００  画像処理装置
１００Ｆ１  取得部
１００Ｆ２  計算部
１００Ｆ３  合成部
１００Ｆ４  生成部
１００Ｆ５  露出条件設定部
１０２  鏡胴ユニット
１２６  画像データ転送処理回路
１２８  ＳＤＲＡＭＣ
１０８Ａ、１０８Ｂ  ＩＳＰ
１１０、１２２  ＤＭＡＣ
１１２  ＡＲＢＭＥＭＣ
１１４  ＭＥＭＣ
１１８  歪曲補正・画像合成処理回路
１２４  画像処理回路
１３０  ＣＰＵ
１３２  リサイズ処理回路
１３４  ＪＰＥＧ処理回路
１３６  Ｈ．２６４処理回路
１４０  メモリカード制御処理回路
１４６  ＵＳＢ処理回路
１５０  ペリフェラル通信処理回路
１５２  音声ユニット
１５８  シリアル通信処理回路
１６２  ＬＣＤドライバ
１６８  ブリッジ回路
１３８  ＳＤＲＡＭ
１４２  メモリカードスロット
１４４  フラッシュＲＯＭ
１４８  ＵＳＢコネクタ
１５４  スピーカ
１５６  マイク
１６０  無線ＮＩＣ
１６４  ＬＣＤモニタ
１６６  電源スイッチ
Ｄ１  第一の部分画像
Ｄ２  第二の部分画像
Ｄ３  第一のつなぎ条件計算用補正画像
Ｄ４  第二のつなぎ条件計算用補正画像
Ｄ５  計算結果データ
Ｄ６  つなぎ条件計算用変換テーブル
Ｄ６２  修正後つなぎ条件計算用変換テーブル
Ｄ７  合成処理用変換テーブル
Ｄ８  第一の合成処理用補正画像
Ｄ９  第二の合成処理用補正画像
Ｄ１０  合成画像
ＤＲ１  第一露出条件のダイナミックレンジ
ＤＲ２  第二露出条件のダイナミックレンジ
ＤＲ３  第三露出条件のダイナミックレンジ
ＤＲ４  出力画像のダイナミックレンジ
ＴＧ  重複領域の被写体
ＴＧＦ  遠距離位置の被写体
ＴＧＮ  近距離位置の被写体
ＳＰ１、ＳＰ２、ＳＰ３、ＳＰ４、ＳＰ５、ＳＰ６、ＳＰ７  特徴点
【先行技術文献】
【特許文献】
【０１７８】
【特許文献１】特開平１１−２０５６４８号公報
【特許文献２】特開２０１２−８０４３２号公報
【図１】
2016040883.tif 000003
【図２】
2016040883.tif 000004
【図３】
2016040883.tif 000005
【図４】
2016040883.tif 000006
【図５】
2016040883.tif 000007
【図６】
2016040883.tif 000008
【図７】
2016040883.tif 000009
【図８】
2016040883.tif 000010
【図９】
2016040883.tif 000011
【図１０】
2016040883.tif 000012
【図１１】
2016040883.tif 000013
【図１３】
2016040883.tif 000014
【図１４】
2016040883.tif 000015
【図１５】
2016040883.tif 000016
【図１６】
2016040883.tif 000017
【図１２】
2016040883.tif 000018