(57)【要約】【課題】合成画像におけるカメラ画像領域間の整合性を確保するキャリブレーションのための調整作業をユーザが手際よく行うことができるようにする。【解決手段】予め設定された処理条件により撮像画像から生成した合成元画像を合成して合成画像を生成するスティッチング処理部３１と、合成画像を表示する画面を生成して表示入力装置４に出力する画面生成部３２と、画面上でのタッチ操作の検出結果に基づいて、調整対象となるカメラ画像領域を判定すると共に、タッチ操作の操作形態に応じた調整項目を判定するタッチ操作判定部３３と、調整対象となるカメラ画像領域に関する暫定的な処理条件を設定する処理条件設定部３４と、を備え、スティッチング処理部は、暫定的な処理条件により調整対象となるカメラ画像領域に対応するカメラの撮像画像から合成元画像を生成して、この合成元画像を合成して合成画像を更新する。【選択図】図３
2018137786.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラごとの画像に対して画像合成処理を行って合成画像を出力する画像処理装置であって、
予め設定された処理条件に基づいて、前記カメラごとの撮像画像からそれぞれ複数の合成元画像を生成して、その複数の合成元画像に対して画像合成処理を行って、プレビュー用の合成画像を生成する画像処理部と、
前記プレビュー用の合成画像を表示するプレビュー表示画面を生成して表示入力装置に出力する画面生成部と、
前記表示入力装置に表示された前記プレビュー表示画面上での同時タッチ検出数及び前記プレビュー表示画面におけるタッチ検出位置に基づいて、前記プレビュー表示画面を構成する前記カメラごとの撮像画像のうち前記タッチ検出位置に対応するカメラの画像領域を調整対象とするのか、前記プレビュー表示画面を構成する全てのカメラの画像領域を一体的な調整対象とするのか、を判定するとともに、前記同時タッチ点の前記プレビュー表示画面上における操作形態に応じた調整項目を判定するタッチ操作判定部と、
このタッチ操作判定部の判定結果に基づいて、前記調整対象となるカメラ画像領域に関する暫定的な処理条件を設定する処理条件設定部と、
を備え、
前記画像処理部は、前記暫定的な処理条件に基づいて、前記調整対象となるカメラ画像領域に対応する前記カメラの撮像画像から合成元画像を生成して、この合成元画像に対して前記画像合成処理を行って前記プレビュー用の合成画像を更新することを特徴とする画像処理装置。
【請求項２】
前記タッチ操作判定部は、１本又は２本の指でタッチ操作が行われた場合には、タッチ操作が行われた１つの前記カメラ画像領域を調整対象とし、３本以上の指でタッチ操作が行われた場合には、全ての前記カメラ画像領域を調整対象とすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
さらに、２つの前記カメラ画像領域間の画像調整を行う画像調整部を備え、
前記タッチ操作判定部は、タッチ操作の操作形態が、２本の指による異なる前記カメラ画像領域に対するタッチ操作である場合には、そのタッチ操作が行われた２つのカメラ画像領域間の画像調整を行うものとすることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記タッチ操作判定部は、１本又は２本の指でタッチ操作が行われた場合に、そのタッチ操作が行われた１つの前記カメラ画像領域を調整対象として、タッチ操作の操作形態に応じた調整項目を判定することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記タッチ操作判定部は、タッチ操作の操作形態が、１本の指による横方向のスワイプ操作である場合には、１つの前記カメラ画像領域を調整対象としてパン調整を行うものとし、タッチ操作の操作形態が、１本の指による縦方向のスワイプ操作である場合には、１つの前記カメラ画像領域を調整対象としてチルト調整を行うものとし、タッチ操作の操作形態が、２本の指による回転操作である場合には、１つの前記カメラ画像領域を調整対象としてローリング調整を行うものとし、タッチ操作の操作形態が、２本の指によるピンチ操作である場合には、１つの前記カメラ画像領域を調整対象としてズーム調整を行うものとすることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記画像処理部は、前記プレビュー用の合成画像における調整対象外の前記カメラ画像領域の色合いを初期の色合いから変更する画像処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記画像処理部は、前記調整対象外のカメラ画像領域に対して少なくとも輝度を変更する画像処理を行うことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記タッチ操作判定部は、３本以上の指でタッチ操作が行われる場合に、全ての前記カメラ画像領域を調整対象として、タッチ操作の操作形態に応じた調整項目を判定することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記タッチ操作判定部は、タッチ操作の操作形態が、３本以上の指による横方向のスワイプ操作である場合には、全ての前記カメラ画像領域を調整対象としてパン調整を行うものとし、タッチ操作の操作形態が、３本以上の指による縦方向のスワイプ操作である場合には、全ての前記カメラ画像領域を調整対象としてチルト調整を行うものとし、タッチ操作の操作形態が、３本以上の指による回転操作である場合には、全ての前記カメラ画像領域を調整対象としてローリング調整を行うものとし、タッチ操作の操作形態が、３本以上の指によるピンチ操作である場合には、全ての前記カメラ画像領域を調整対象としてズーム調整を行うものとすることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
さらに、前記プレビュー用の合成画像において調整対象となる前記カメラ画像領域とこれに隣り合う前記カメラ画像領域との間の繋ぎ目部分の整合性が高いジャストフィット状態を検知するジャストフィット検知部を備え、
前記画像処理部は、前記ジャストフィット検知部でジャストフィット状態が検知されると、そのタイミングでの前記プレビュー用の合成画像を所定の範囲で継続して出力することを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
さらに、２つの前記カメラ画像領域間の画像調整を行う画像調整部を備え、
この画像調整部は、２つの前記カメラ画像領域に対して同時にタッチ操作が行われた場合に、その２つのカメラ画像領域におけるタッチ領域の色合いおよび明るさの少なくともいずれかが一致するように画像調整を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
前記画像処理部は、通常時には、前記画像合成処理の前段で前記合成元画像に対して視差補正処理を行い、前記プレビュー表示画面を表示する際には、前記合成元画像に対して前記視差補正処理を行わないことを特徴とする請求項１に記載の画像処理装置。
【請求項１３】
請求項１から請求項１２のいずれかに記載の前記画像処理装置と、前記複数のカメラと、前記表示入力装置とを備えた撮像システム。
【請求項１４】
複数のカメラごとの画像に対して画像合成処理を行って生成した合成画像におけるカメラ画像領域間の整合性を確保するキャリブレーション方法であって、
予め設定された処理条件に基づいて、前記カメラごとの撮像画像からそれぞれ複数の合成元画像を生成して、その複数の合成元画像に対して画像合成処理を行って、プレビュー用の合成画像を生成し、
このプレビュー用の合成画像を表示するプレビュー表示画面を生成して表示入力装置に出力し、
前記表示入力装置に表示された前記プレビュー表示画面上での同時タッチ検出数及び前記プレビュー表示画面におけるタッチ検出位置に基づいて、前記プレビュー表示画面を構成する前記カメラごとの撮像画像のうち前記タッチ検出位置に対応するカメラの画像領域を調整対象とするのか、前記プレビュー表示画面を構成する全てのカメラの画像領域を一体的な調整対象とするのか、を判定するとともに、前記同時タッチ点の前記プレビュー表示画面上における操作形態に応じた調整項目を判定し、
この判定結果に基づいて、前記調整対象となるカメラ画像領域に関する暫定的な処理条件を設定し、
この暫定的な処理条件に基づいて、前記調整対象となるカメラ画像領域に対応する前記カメラの撮像画像から合成元画像を生成して、この合成元画像に対して前記画像合成処理を行って前記プレビュー用の合成画像を更新することを特徴とするキャリブレーション方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のカメラごとの画像に対して画像合成処理を行って合成画像を出力する画像処理装置及びこれを備えた撮像システム、ならびに合成画像におけるカメラ画像領域間の整合性を確保するキャリブレーション方法に関するものである。
【背景技術】
【０００２】
複数のカメラにより撮像された画像を合成して１つの合成画像を生成する、いわゆるスティッチング処理を行うことで、１台のカメラでは得ることができない広角画像をシームレスな状態で生成することができる。このようなスティッチング処理では、隣り合う２つのカメラを、各々の撮像エリアが一部重複するように配置して、２つのカメラの撮像エリアの重複部分に対応する境界部の画像領域を重ね合わせ、また、適宜にトリミングを行って画像を合成する。
【０００３】
一方、２つのカメラの撮像エリアの重複部分に、カメラからの距離が大きく異なる被写体が存在する、すなわち、遠景となる被写体と近影となる被写体とが存在すると、２つのカメラの各撮像画像の間には、遠景となる被写体の像と近影となる被写体の像との位置関係がずれた状態、いわゆる視差が発生し、合成画像に、近影の像が２重に現れたり、近影の像の一部が消失したりする不具合が発生する。そこで、スティッチングでは、視差に起因する画像の不具合を抑制する視差補正が行われる。
【０００４】
このような視差補正に関するものとして、従来、エッジや特徴量に基づくブロックマッチングにより、２つのカメラの各撮像画像に現れる被写体の像の位置関係を取得して、この情報に基づいて画像を変形させる視差補正を行う技術が知られている（特許文献１参照）。特にこの技術では、視差補正時の画像の変形度合いを規定するスティッチングポイントをフレームごとに変化させて、フレームごとに適切な合成画像を生成するようにしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−５０８４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
さて、複数のカメラが搭載されたカメラユニットでは、カメラを構成する光学系を組み付ける際に、位置や角度などの機構的配置に誤差が発生する。この機構的配置の誤差は、画像合成処理で得られた合成画像において、カメラごとの画像領域が適切に整合しない状態を招き、合成画像の品質を低下させる原因となる。
【０００７】
一方、製品出荷後に機構的配置自体をユーザが調整することは難しい。また、機構的配置の誤差は、設置された環境の違いにより変化し、また、時間が経過することでも変化する。このため、画像処理の処理条件を変更することで、合成画像におけるカメラ画像領域間の整合性を確保するキャリブレーションを行い、特に、撮影の直前などの適宜なタイミングで、キャリブレーションのための調整作業をユーザが手際よく行うことができる技術が望まれる。
【０００８】
しかしながら、前記従来の技術では、合成画像におけるカメラ画像領域間の整合性を確保するキャリブレーションに関する開示はなんらなく、キャリブレーションのための調整作業を手際よく行いたいという要望に応えることができない。
【０００９】
そこで、本発明は、合成画像におけるカメラ画像領域間の整合性を確保するキャリブレーションのための調整作業をユーザが手際よく行うことができる画像処理装置及びこれを備えた撮像システムならびにキャリブレーション方法を提供することを主な目的とする。
【課題を解決するための手段】
【００１０】
本発明の画像処理装置は、複数のカメラごとの画像に対して画像合成処理を行って合成画像を出力する画像処理装置であって、予め設定された処理条件に基づいて、前記カメラごとの撮像画像からそれぞれ複数の合成元画像を生成して、その複数の合成元画像に対して画像合成処理を行って、プレビュー用の合成画像を生成する画像処理部と、前記プレビュー用の合成画像を表示するプレビュー表示画面を生成して表示入力装置に出力する画面生成部と、前記表示入力装置に表示された前記プレビュー表示画面上でユーザが行ったタッチ操作の検出結果に基づいて、前記プレビュー用の合成画像における調整対象となるカメラ画像領域を判定するとともに、タッチ操作の操作形態に応じた調整項目を判定するタッチ操作判定部と、このタッチ操作判定部の判定結果に基づいて、前記調整対象となるカメラ画像領域に関する暫定的な処理条件を設定する処理条件設定部と、を備え、前記画像処理部は、前記暫定的な処理条件に基づいて、前記調整対象となるカメラ画像領域に対応する前記カメラの撮像画像から合成元画像を生成して、この合成元画像に対して前記画像合成処理を行って前記プレビュー用の合成画像を更新する構成とする。
【００１１】
また、本発明の撮像システムは、前記画像処理装置と、前記複数のカメラと、前記表示入力装置とを備えた構成とする。
【００１２】
また、本発明のキャリブレーション方法は、複数のカメラごとの画像に対して画像合成処理を行って生成した合成画像におけるカメラ画像領域間の整合性を確保するキャリブレーション方法であって、予め設定された処理条件に基づいて、前記カメラごとの撮像画像からそれぞれ複数の合成元画像を生成して、その複数の合成元画像に対して画像合成処理を行って、プレビュー用の合成画像を生成し、このプレビュー用の合成画像を表示するプレビュー表示画面を生成して表示入力装置に出力し、前記表示入力装置に表示された前記プレビュー表示画面上でユーザが行ったタッチ操作の検出結果に基づいて、前記プレビュー用の合成画像における調整対象となるカメラ画像領域を判定するとともに、タッチ操作の操作形態に応じた調整項目を判定し、この判定結果に基づいて、前記調整対象となるカメラ画像領域に関する暫定的な処理条件を設定し、この暫定的な処理条件に基づいて、前記調整対象となるカメラ画像領域に対応する前記カメラの撮像画像から合成元画像を生成して、この合成元画像に対して前記画像合成処理を行って前記プレビュー用の合成画像を更新する構成とする。
【発明の効果】
【００１３】
本発明によれば、合成画像におけるカメラ画像領域間の整合性を確保するキャリブレーションを、表示入力装置に表示されるプレビュー表示画面上でユーザがタッチ操作を行うことで実施することができる。これにより、キャリブレーションのための調整作業をユーザが直感的な操作で手際よく行うことができる。
【図面の簡単な説明】
【００１４】
【図１】本実施形態に係る撮像システムの全体構成図
【図２】画像処理装置３で生成されて表示入力装置４で表示される合成画像を示す説明図
【図３】画像処理装置３の概略構成を示す機能ブロック図
【図４】画像処理装置３で行われるスティッチング処理の概要を説明する説明図
【図５】視差補正を実施しない場合および視差補正を実施した場合の画像の状態を模式的に示す説明図
【図６】カメラ画像領域１２の調整の要領を説明する説明図
【図７】タッチ操作の操作形態に応じた調整項目の一覧を示す説明図
【図８】横向きのカメラ１の各カメラ画像領域１２を個別に調整する場合のタッチ操作を示す説明図
【図９】上向きのカメラ１のカメラ画像領域１２を個別に調整する場合のタッチ操作を示す説明図
【図１０】全てのカメラ画像領域１２を一体的に調整する場合のタッチ操作を示す説明図
【図１１】全てのカメラ画像領域１２を一体的に調整する場合のタッチ操作を示す説明図
【図１２】ユーザのタッチ操作に応じて画像処理装置３で行われる処理の手順を示すフロー図
【図１３】ユーザのタッチ操作に応じて画像処理装置３で行われる処理の手順を示すフロー図
【図１４】ユーザのタッチ操作に応じて画像処理装置３で行われる処理の手順を示すフロー図
【図１５】調整対象となるカメラ画像領域１２の視認性を向上させる画像処理を説明する説明図
【図１６】調整対象となるカメラ画像領域１２のジャストフィット状態をユーザに認識させる制御を説明する説明図
【図１７】カメラ画像領域１２の色合いおよび明るさを調整する際のタッチ操作を示す説明図
【発明を実施するための形態】
【００１５】
前記課題を解決するためになされた第１の発明は、複数のカメラごとの画像に対して画像合成処理を行って合成画像を出力する画像処理装置であって、予め設定された処理条件に基づいて、前記カメラごとの撮像画像からそれぞれ複数の合成元画像を生成して、その複数の合成元画像に対して画像合成処理を行って、プレビュー用の合成画像を生成する画像処理部と、前記プレビュー用の合成画像を表示するプレビュー表示画面を生成して表示入力装置に出力する画面生成部と、前記表示入力装置に表示された前記プレビュー表示画面上でユーザが行ったタッチ操作の検出結果に基づいて、前記プレビュー用の合成画像における調整対象となるカメラ画像領域を判定するとともに、タッチ操作の操作形態に応じた調整項目を判定するタッチ操作判定部と、このタッチ操作判定部の判定結果に基づいて、前記調整対象となるカメラ画像領域に関する暫定的な処理条件を設定する処理条件設定部と、を備え、前記画像処理部は、前記暫定的な処理条件に基づいて、前記調整対象となるカメラ画像領域に対応する前記カメラの撮像画像から合成元画像を生成して、この合成元画像に対して前記画像合成処理を行って前記プレビュー用の合成画像を更新する構成とする。
【００１６】
これによると、合成画像におけるカメラ画像領域間の整合性を確保するキャリブレーションを、表示入力装置に表示されるプレビュー表示画面上でユーザがタッチ操作を行うことで実施することができる。これにより、キャリブレーションのための調整作業をユーザが直感的な操作で手際よく行うことができる。
【００１７】
また、第２の発明は、前記タッチ操作判定部は、１本又は２本の指でタッチ操作が行われた場合には、タッチ操作が行われた１つの前記カメラ画像領域を調整対象とし、３本以上の指でタッチ操作が行われた場合には、全ての前記カメラ画像領域を調整対象とする構成とする。
【００１８】
これによると、各カメラ画像領域を個別に調整することができ、また、全てのカメラ画像領域を一体的に調整することができる。
【００１９】
また、第３の発明は、さらに、２つの前記カメラ画像領域間の画像調整を行う画像調整部を備え、前記タッチ操作判定部は、タッチ操作の操作形態が、２本の指による異なる前記カメラ画像領域に対するタッチ操作である場合には、そのタッチ操作が行われた２つのカメラ画像領域間の画像調整を行うものとする構成とする。
【００２０】
これによると、２つのカメラ画像領域間の画像調整を簡単に行うことができる。
【００２１】
また、第４の発明は、前記タッチ操作判定部は、１本又は２本の指でタッチ操作が行われた場合に、そのタッチ操作が行われた１つの前記カメラ画像領域を調整対象として、タッチ操作の操作形態に応じた調整項目を判定する構成とする。
【００２２】
これによると、各カメラ画像領域を個別に調整することができる。
【００２３】
また、第５の発明は、前記タッチ操作判定部は、タッチ操作の操作形態が、１本の指による横方向のスワイプ操作である場合には、１つの前記カメラ画像領域を調整対象としてパン調整を行うものとし、タッチ操作の操作形態が、１本の指による縦方向のスワイプ操作である場合には、１つの前記カメラ画像領域を調整対象としてチルト調整を行うものとし、タッチ操作の操作形態が、２本の指による回転操作である場合には、１つの前記カメラ画像領域を調整対象としてローリング調整を行うものとし、タッチ操作の操作形態が、２本の指によるピンチ操作である場合には、１つの前記カメラ画像領域を調整対象としてズーム調整を行うものとする構成とする。
【００２４】
これによると、カメラ画像領域の各々を対象にしたパン調整、チルト調整、ローリング調整、およびズーム調整をユーザが簡単に行うことができる。
【００２５】
また、第６の発明は、前記画像処理部は、前記プレビュー用の合成画像における調整対象外の前記カメラ画像領域の色合いを初期の色合いから変更する画像処理を行う構成とする。
【００２６】
これによると、プレビュー表示画面において調整対象となるカメラ画像領域の視認性を向上させることができるため、調整対象となるカメラ画像領域をユーザが直感的に把握することができる。
【００２７】
また、第７の発明は、前記画像処理部は、前記調整対象外のカメラ画像領域に対して少なくとも輝度を変更する画像処理を行う構成とする。
【００２８】
これによると、調整対象外のカメラ画像領域の輝度を変更することで、調整対象となるカメラ画像領域の視認性を向上させることができる。この場合、例えば、調整対象外のカメラ画像領域の輝度を下げることで、調整対象外のカメラ画像領域をグレーアウトで暗く表示することができる。
【００２９】
また、第８の発明は、前記タッチ操作判定部は、３本以上の指でタッチ操作が行われる場合に、全ての前記カメラ画像領域を調整対象として、タッチ操作の操作形態に応じた調整項目を判定する構成とする。
【００３０】
これによると、全てのカメラ画像領域を一体的に調整することができる。
【００３１】
また、第９の発明は、前記タッチ操作判定部は、タッチ操作の操作形態が、３本以上の指による横方向のスワイプ操作である場合には、全ての前記カメラ画像領域を調整対象としてパン調整を行うものとし、タッチ操作の操作形態が、３本以上の指による縦方向のスワイプ操作である場合には、全ての前記カメラ画像領域を調整対象としてチルト調整を行うものとし、タッチ操作の操作形態が、３本以上の指による回転操作である場合には、全ての前記カメラ画像領域を調整対象としてローリング調整を行うものとし、タッチ操作の操作形態が、３本以上の指によるピンチ操作である場合には、全ての前記カメラ画像領域を調整対象としてズーム調整を行うものとする構成とする。
【００３２】
これによると、カメラ画像領域の全てを対象にしたパン調整、チルト調整、ローリング調整、およびズーム調整をユーザが簡単に行うことができる。
【００３３】
また、第１０の発明は、さらに、前記プレビュー用の合成画像において調整対象となる前記カメラ画像領域とこれに隣り合う前記カメラ画像領域と間の繋ぎ目部分の整合性が高いジャストフィット状態を検知するジャストフィット検知部を備え、前記画像処理部は、前記ジャストフィット検知部でジャストフィット状態が検知されると、そのタイミングでの前記プレビュー用の合成画像を所定の範囲で継続して出力する構成とする。
【００３４】
これによると、プレビュー表示画面において、調整対象となるカメラ画像領域が所定の範囲でタッチ操作に連動せずに静止した状態で表示されるようになるため、ジャストフィット状態をユーザが直感的に把握することができることから、調整操作を迅速に行うことができる。
【００３５】
また、第１１の発明は、さらに、２つの前記カメラ画像領域間の画像調整を行う画像調整部を備え、この画像調整部は、２つの前記カメラ画像領域に対して同時にタッチ操作が行われた場合に、その２つのカメラ画像領域におけるタッチ領域の色合いおよび明るさの少なくともいずれかが一致するように画像調整を行う構成とする。
【００３６】
これによると、異なるカメラ画像領域同士で、本来であれば色合いや明るさが一致すべき部分において明るさや色合いに差異が生じている場合に、その部分でタッチ操作を行うことで、色合いや明るさを簡単に一致させることができる。
【００３７】
また、第１２の発明は、前記画像処理部は、通常時には、前記画像合成処理の前段で前記合成元画像に対して視差補正処理を行い、前記プレビュー表示画面を表示する際には、前記合成元画像に対して前記視差補正処理を行わない構成とする。
【００３８】
これによると、プレビュー表示画面を表示する場合に視差補正処理を行なわないため、画像処理の負荷を軽減して、プレビュー表示画面を円滑に表示させることができる。
【００３９】
また、第１３の発明は、第１から第１２の発明のいずれかに係る前記画像処理装置と、前記複数のカメラと、前記表示入力装置とを備えた撮像システムである。
【００４０】
これによると、第１の発明と同様に、合成画像におけるカメラ画像領域間の整合性を確保するキャリブレーションのための調整作業をユーザが手際よく行うことができる。
【００４１】
また、第１４の発明は、複数のカメラごとの画像に対して画像合成処理を行って生成した合成画像におけるカメラ画像領域間の整合性を確保するキャリブレーション方法であって、予め設定された処理条件に基づいて、前記カメラごとの撮像画像からそれぞれ複数の合成元画像を生成して、その複数の合成元画像に対して画像合成処理を行って、プレビュー用の合成画像を生成し、このプレビュー用の合成画像を表示するプレビュー表示画面を生成して表示入力装置に出力し、前記表示入力装置に表示された前記プレビュー表示画面上でユーザが行ったタッチ操作の検出結果に基づいて、前記プレビュー用の合成画像における調整対象となるカメラ画像領域を判定するとともに、タッチ操作の操作形態に応じた調整項目を判定し、この判定結果に基づいて、前記調整対象となるカメラ画像領域に関する暫定的な処理条件を設定し、この暫定的な処理条件に基づいて、前記調整対象となるカメラ画像領域に対応する前記カメラの撮像画像から合成元画像を生成して、この合成元画像に対して前記画像合成処理を行って前記プレビュー用の合成画像を更新する構成とする。
【００４２】
これによると、第１の発明と同様に、合成画像におけるカメラ画像領域間の整合性を確保するキャリブレーションのための調整作業をユーザが手際よく行うことができる。
【００４３】
以下、本発明の実施の形態を、図面を参照しながら説明する。
【００４４】
図１は、本実施形態に係る撮像システムの全体構成図である。図２は、画像処理装置３で生成されて表示入力装置４で表示される合成画像を示す説明図である。
【００４５】
本撮像システムは、図１に示すように、複数のカメラ１を有するカメラユニット２と、画像処理装置３と、表示入力装置４と、を備えている。
【００４６】
カメラユニット２には、光軸が略垂直方向上向きとなるように配置された１つの上向きのカメラ１と、光軸が略水平方向の放射状となるように周方向に等間隔をおいて配置された６つの横向きのカメラ１との合計７つのカメラ１が搭載されている。各カメラ１は、広角な画角（例えば１２０°）を有するものであり、隣り合う２つのカメラ１同士で撮像エリアが一部重複するように配置される。
【００４７】
画像処理装置３では、図２に示すように、各カメラ１により撮像された撮像画像を合成して１つの合成画像１１を生成するスティッチング処理が行われ、合成画像１１には、各カメラ１により撮像された各撮像画像に基づくカメラ画像領域１２が結合された状態で現れる。また、スティッチング処理は撮像画像のフレームごとに行われ、このフレームごとの合成画像が表示入力装置４に出力されて、表示入力装置４に合成画像が動画で表示される。
【００４８】
なお、本実施形態では、画像処理装置３において、合成画像がリアルタイムに生成されて表示入力装置４に出力されて、ユーザが合成画像をリアルタイムで閲覧することができるが、この画像処理装置３で生成した合成画像を、画像処理装置３が備える情報記憶部や、画像処理装置３に接続された情報記憶装置に記憶するようにしてもよい。
【００４９】
表示入力装置４は、表示パネル（表示装置）とタッチパネル（位置入力装置）とを組み合わせた、いわゆるタッチパネルディスプレイであり、画像処理装置３から出力される合成画像の画面を表示するとともに、その画面上でユーザがタッチ操作を行うことで、合成画像における各カメラ画像領域１２に対して各種の調整を行うことができる。
【００５０】
ここで、カメラユニット２では、カメラ１を構成する光学系を組み付ける際や、カメラ１自体を基台に組み付ける際に、位置や角度などの機構的配置に誤差が発生する。この機構的配置の誤差は、画像合成処理で得られた合成画像において、各カメラ画像領域１２が適切に整合しない状態を招き、合成画像の品質を低下させる原因となる。
【００５１】
そこで、本実施形態では、合成画像における各カメラ画像領域１２間の整合性を確保するキャリブレーションとして、画像処理装置３で行われる画像処理の処理条件を変更することで、合成画像１１において隣り合うカメラ画像領域１２同士の繋ぎ目部分が概ね整合するように、カメラ画像領域１２の位置、角度、および大きさを調整する操作をユーザが行う。
【００５２】
また、合成画像１１では、異なるカメラ画像領域１２同士で、本来であれば色合いや明るさが一致すべき部分において明るさや色合いに差異が生じる場合がある。そこで、本実施形態では、合成画像におけるカメラ画像領域１２間の整合性を確保するキャリブレーションとして、カメラ１の撮像条件を変更することで、カメラ画像領域１２の色合いおよび明るさを調整する操作をユーザが行う。
【００５３】
また、本実施形態では、このような合成画像におけるカメラ画像領域１２間の整合性を確保するキャリブレーションのための調整作業を、表示入力装置４におけるタッチ操作で行い、不具合のあるカメラ画像領域１２で所定のタッチ操作を行うことで、キャリブレーションが実施される。
【００５４】
次に、画像処理装置３の概略構成について説明する。図３は、画像処理装置３の概略構成を示す機能ブロック図である。図４は、画像処理装置３で行われるスティッチング処理の概要を説明する説明図である。
【００５５】
カメラは、レンズ部２１と、イメージセンサ部２２と、信号処理部２３と、制御部２４と、を備えている。
【００５６】
イメージセンサ部２２は、レンズ部２１を介して被写体を撮像して、画像信号を出力する。信号処理部２３は、イメージセンサ部２２から出力される画像信号に対して所要の信号処理を実施して、撮像画像を出力する。制御部２４は、イメージセンサ部２２および信号処理部２３の動作を制御する。
【００５７】
画像処理装置３は、スティッチング処理部（画像処理部）３１と、画面生成部３２と、タッチ操作判定部３３と、処理条件設定部３４と、画像調整部３５と、を備えている。スティッチング処理部３１は、視差補正量算出部４１と、パノラマ画像生成部４２と、プレビュー出力切換部４３と、視差補正部４４と、画像合成部４５と、ジャストフィット検知部４６と、を備えている。
【００５８】
なお、ここでは、２つのカメラ１の撮像画像を処理する部分のみを示しているが、図１に示したように、本実施形態では、７つのカメラ１が設けられており、視差補正量算出部４１は、隣り合う２つのカメラ１の組み合わせごとに設けられ、また、パノラマ画像生成部４２、プレビュー出力切換部４３および視差補正部４４はカメラ１ごとに設けられる。
【００５９】
視差補正量算出部４１では、視差補正時の画像の変形度合いを規定する視差補正量をフレームごとに算出する処理が行われる。具体的には、図４に示すように、平行化（円柱への投影）、処理領域切り出し、および視差算出の各処理が行われる。視差算出処理では、２つの撮像画像間のブロックマッチングにより視差（ずれ量）を算出する。すなわち、２つの撮像画像を少しずつずらしながら２つの撮像画像間の差分を算出し、その差分が最も小さくなる位置関係から視差を求める。
【００６０】
パノラマ画像生成部４２では、カメラ１からそれぞれ出力される撮像画像に対してパノラマ化（球への投影）を行って、パノラマ画像（合成元画像）を生成する処理が行われる。このパノラマ画像生成部４２では、まず、予め設定された制御パラメータ（処理条件）に基づいてパノラマ画像を生成し、ユーザのタッチ操作に応じて、処理条件設定部３４において暫定的な制御パラメータが設定されると、その暫定的な制御パラメータに基づいてパノラマ画像を生成する。
【００６１】
プレビュー出力切換部４３では、通常時には、パノラマ画像生成部４２で生成したパノラマ画像を視差補正部４４に出力し、プレビュー表示画面を表示する際には、パノラマ画像生成部４２で生成したパノラマ画像を画像合成部４５に出力する。これにより、プレビュー表示画面を表示する際には、視差補正処理を行なわずに画像合成処理が行われる。
【００６２】
視差補正部４４では、視差補正量算出部４１から出力される視差補正量に基づいて、パノラマ画像生成部４２で生成したパノラマ画像に対して視差補正を行って、視差補正画像を生成する処理が行われる。
【００６３】
画像合成部４５では、通常時には、視差補正部４４で生成した複数の視差補正画像に対して画像合成処理を行って合成画像を生成する処理が行われる。また、プレビュー表示画面を表示する際には、パノラマ画像生成部４２で生成した複数のパノラマ画像に対して画像合成処理を行ってプレビュー用の合成画像を生成する処理が行われる。このプレビュー用の合成画像は、通常時の合成画像より解像度が低くなっている。
【００６４】
なお、プレビュー表示画面を表示する際には、タッチ操作に応じて調整対象となるカメラ画像領域１２のみが変化することから、調整対象となるカメラ画像領域１２を元の合成画像に重畳することで、新たな合成画像に生成することができる。
【００６５】
ジャストフィット検知部４６では、合成画像において調整対象となるカメラ画像領域１２とこれに隣り合うカメラ画像領域１２と間の繋ぎ目部分の整合性が高いジャストフィット状態を検知する。
【００６６】
ここで、ジャストフィット状態を検知するには、まず、隣り合うカメラ画像領域１２の繋ぎ目部分に位置する画素同士、すなわち、カメラ画像領域１２の境界線を挟んで隣り合う画素同士で、画素値の差分の絶対値を求め、その差分の絶対値を加算して、差分の絶対値の和を求める。そして、その差分の絶対値の和の大小により、隣り合うカメラ画像領域１２の位置ずれの程度（誤差）を判断し、差分の絶対値の和が、周辺で最小値となるときにジャストフィット状態と判定する。
【００６７】
このようにしてジャストフィット検知部４６でジャストフィット状態が検知されると、そのタイミングでの合成画像を所定の範囲で継続して出力する。これにより、プレビュー表示画面において、調整対象となるカメラ画像領域１２が所定の範囲でタッチ操作に連動せずに静止した状態で表示されるようになる。
【００６８】
画面生成部３２では、通常時には、画像合成部４５において視差補正画像に対して画像合成処理を行って生成した合成画像を表示する正規の表示画面を生成して表示入力装置４に出力する処理が行われる。また、画像合成部４５においてパノラマ画像に対して画像合成処理を行って生成したプレビュー用の合成画像を表示するプレビュー表示画面を生成して表示入力装置４に出力する処理が行われる。
【００６９】
タッチ操作判定部３３では、表示入力装置４に表示されたプレビュー表示画面上でユーザが行ったタッチ操作の検出結果を表示入力装置４から取得して、そのタッチ操作の検出結果に基づいて、合成画像１１における調整対象となるカメラ画像領域１２を判定するとともに、タッチ操作の操作形態に応じた調整項目（パン調整、チルト調整、ローリング調整、ズーム調整）を判定する。
【００７０】
本実施形態では、１本又は２本の指でタッチ操作が行われた場合には、タッチ操作が行われた１つのカメラ画像領域１２を調整対象とし、各カメラ画像領域１２を個別に調整する個別調整が行われる。また、３本以上の指でタッチ操作が行われた場合には、全てのカメラ画像領域１２を調整対象とし、全てのカメラ画像領域１２を一体的に調整する全体調整が行われる。
【００７１】
また、タッチ操作の操作形態が、２本の指による異なるカメラ画像領域１２に対するタッチ操作である場合に、タッチ操作が行われた２つのカメラ画像領域１２を調整対象として、その２つのカメラ画像領域１２間の画像調整を行うものと判定する。
【００７２】
処理条件設定部３４では、タッチ操作判定部３３の判定結果に基づいて、調整対象となるカメラ画像領域１２に関する暫定的な処理条件を設定する処理が行われる。本実施形態では、処理条件として、パノラマ画像生成部４２でのパノラマ画像（合成元画像）の生成に関する制御パラメータを設定する。
【００７３】
この処理条件設定部３４において、暫定的な処理条件が設定されると、スティッチング処理部３１において、その暫定的な処理条件に基づいて、調整対象となるカメラ画像領域１２に対応するカメラ１の撮像画像から合成元画像を生成して、この合成元画像に対して画像合成処理を行ってプレビュー用の合成画像を更新する。
【００７４】
画像調整部３５では、２つのカメラ画像領域１２間の画像調整が行われる。本実施形態では、２つのカメラ画像領域１２におけるタッチ領域の色合いおよび明るさの少なくともいずれかが一致するように画像調整を行う。この画像調整は、タッチ操作の操作形態が、２本の指による異なるカメラ画像領域１２に対するタッチ操作である場合に実施される。
【００７５】
また、本実施形態では、２つのカメラ画像領域１２におけるタッチ領域の色合いおよび明るさが一致するように、カメラ１の撮像条件、すなわち、色合いおよび明るさに関する制御パラメータが設定され、この制御パラメータが画像調整部３５からカメラ１の制御部２４に出力され、制御部２４において、制御パラメータに基づいてイメージセンサ部２２および信号処理部２３が制御される。
【００７６】
なお、図３に示した画像処理装置３は、汎用的な情報処理装置で構成することができ、この画像処理装置３の各部は、メモリに記憶された画像処理用のプログラムをプロセッサに実行させることで実現することができる。また、画像処理装置３の少なくとも一部を、画面処理専用のハードウェア（画面処理回路）により実現することもできる。
【００７７】
次に、視差補正部４４で行われる視差補正について説明する。図５は、視差補正を実施しない場合および視差補正を実施した場合の画像の状態を模式的に示す説明図である。なお、ここでは、説明の便宜上、隣り合う２つのカメラ１の画像を処理する例を示す。
【００７８】
図５（Ａ）は、隣り合う２つのカメラ１による撮像状況を示している。この図５（Ａ）に示す例では、人物とその背景となる山とが２つのカメラ１により同時に撮像される。
【００７９】
図５（Ｂ−１），（Ｂ−２）は、２つのカメラ１による撮像画像を示している。この図５（Ｂ−１），（Ｂ−２）に示すように、２つのカメラ１による撮像画像には、２つのカメラ１の撮像エリアの重複部分に対応する境界部の画像領域に、山を表す遠景の像と人物を表す近影の像とが現れる。ここで、遠景となる山と近影となる人物とでは、カメラ１からの距離が大きく異なり、２つの撮像画像では、遠景の像と近影の像との位置関係がずれた状態となる。
【００８０】
図５（Ｃ−１），（Ｃ−２）は、２つのカメラ１による撮像画像に対して遠景の像を基準にした単純合成を行って得られた合成画像を示している。前記のように、２つの撮像画像では遠景の像と近影の像との位置関係がずれているため、遠景の像を基準にして２つの撮像画像を単純に合成すると、図５（Ｃ−１），（Ｃ−２）に示すように、合成画像に、近影の像が２重に現れたり、近影の像の一部が消失したりする不具合が発生する。
【００８１】
ここで、遠景の像を基準にしたときの近影の像のずれは、２つのカメラ１の各撮像画像の間の視差を表している。２つのカメラ１にそれぞれ現れる遠景の像の位置関係は、近影がない状態で予め求めておくことができ、この情報に基づいて画像合成が行われる。したがって、近影の像がない状態では２つのカメラ１の撮像画像には視差は存在せず、近影の像が現れると、２つのカメラ１の撮像画像間に視差が発生する。
【００８２】
このように、２つのカメラ１の撮像画像における境界部の画像領域に遠景の像と近影の像とが現れる状態では、２つの撮像画像間に発生する視差が原因で、合成画像に近影の像が２重に現れるなどの不具合が発生する。そこで、この不具合を解消するための視差補正が必要となり、この視差補正には代表的には２種類の補正方式がある。図５（Ｃ−３）は、第１の補正方式による場合であり、図５（Ｃ−４）は、第２の補正方式による場合である。
【００８３】
図５（Ｃ−３）に示すように、第１の補正方式は、２つのカメラ１の撮像画像の間で遠景の像と近影の像との位置関係が整合するように、２つのカメラ１の撮像画像に対して、主に近影の像が現れる画像領域を横方向にずらすように画像を変形させる視差補正を行った上で画像合成するものである。
【００８４】
図５（Ｃ−４）に示すように、第２の補正方式は、近影の像が現れる画像領域を避けるように屈曲したスティッチング境界を設定し、このスティッチング境界に沿って２つのカメラ１の撮像画像を切り出すトリミングを行った上で画像合成するものである。
【００８５】
このように視差補正を行うことで適切な画像を生成することができ、本実施形態では、第１の補正方式、すなわち、２つのカメラ１の撮像画像の間で遠景の像と近影の像との位置関係が整合するように、２つのカメラ１の撮像画像に対して、主に近影の像が現れる画像領域を横方向にずらすように画像を変形させる視差補正を行う。
【００８６】
次に、カメラ画像領域１２の調整の要領について説明する。図６は、カメラ画像領域１２の調整の要領を説明する説明図である。
【００８７】
本実施形態では、プレビュー表示画面を表示する際に、パノラマ画像生成部４２において、カメラ１から取得した撮像画像に対してパノラマ化（球への投影）を行ってパノラマ画像（合成元画像）を生成し、このパノラマ画像から所要の領域を切り出して画像合成を行う。このとき、パノラマ化における投影位置（投影領域の中心位置）および投影サイズ（投影領域の大きさ）に応じて、合成画像１１上での各カメラ画像領域１２の位置および大きさが規定される。
【００８８】
一方、各カメラ１では被写体を広角で撮像することで、撮像画像５１には、最終的に合成画像上に表示されるカメラ画像領域１２に対応する使用領域５２の外側に、余白領域５３が形成されており、この余白領域５３の範囲内で、パノラマ化における投影位置および投影サイズを調整することができる。
【００８９】
ここで、本実施形態では、タッチ操作により、パン調整、チルト調整、ローリング調整およびズーム調整を行うことができる。
【００９０】
図６（Ａ）に示すように、パン調整（水平方向位置調整）では、カメラ画像領域１２を横方向に移動させることができ、このとき、画像の水平方向の投影位置を調整する処理が行われる。図６（Ｂ）に示すように、チルト調整（垂直方向位置調整）では、カメラ画像領域１２を縦方向に移動させることができ、このとき、画像の縦方向の投影位置を調整する処理が行われる。図６（Ｃ）に示すように、ローリング調整（回転方向位置調整）では、カメラ画像領域１２を回転させることができ、このとき、画像の回転方向の投影位置を調整する処理が行われる。図６（Ｄ）に示すように、ズーム調整（拡大縮小調整）では、カメラ画像領域１２を拡大したり縮小したりすることができ、このとき、画像の投影サイズを調整する処理が行われる。
【００９１】
また、本実施形態では、処理条件設定部３４において、タッチ操作に応じて、投影位置および投影サイズに関する設定値が、パノラマ画像（合成元画像）の生成に関する制御パラメータとして設定され、この制御パラメータに基づいて、パノラマ画像生成部４２において、パノラマ化における投影位置および投影サイズの調整が行われる。
【００９２】
ここで、各カメラ画像領域１２に関して、パン調整、チルト調整、ローリング調整およびズーム調整の各調整項目に関する制御パラメータが予め設定されており、パン調整、チルト調整、ローリング調整およびズーム調整のいずれかに関するタッチ操作が行われると、調整対象となるカメラ画像領域１２の該当する調整項目に関する制御パラメータが更新される。
【００９３】
次に、タッチ操作の操作形態に応じた調整項目について説明する。図７は、タッチ操作の操作形態に応じた調整項目の一覧を示す説明図である。
【００９４】
本実施形態では、１本又は２本の指でタッチ操作が行われた場合には、タッチ操作が行われた１つのカメラ画像領域１２を調整対象として、各カメラ画像領域１２を個別に調整する個別調整を行うことができる。また、３本以上の指でタッチ操作が行われた場合には、全てのカメラ画像領域１２を調整対象として、全てのカメラ画像領域１２を一体的に調整する全体調整を行うことができる。
【００９５】
また、本実施形態では、調整対象となるカメラ画像領域１２を横方向に移動させるパン調整（水平方向位置調整）と、調整対象となるカメラ画像領域１２を縦方向に移動させるチルト調整（垂直方向位置調整）と、調整対象となるカメラ画像領域１２を回転させるローリング調整（回転方向位置調整）と、調整対象となるカメラ画像領域１２を拡大したり縮小したりするズーム調整（拡大縮小調整）と、を行うことができる。
【００９６】
以下に、タッチ操作の操作形態に応じた調整項目を具体的に説明する。
【００９７】
まず、各カメラ画像領域１２を個別に調整する場合について説明する。図８は、横向きのカメラ１の各カメラ画像領域１２を個別に調整する場合のタッチ操作を示す説明図である。図９は、上向きのカメラ１のカメラ画像領域１２を個別に調整する場合のタッチ操作を示す説明図である。
【００９８】
本実施形態では、１本又は２本の指でタッチ操作が行われた場合に、タッチ操作が行われた１つのカメラ画像領域１２を調整対象として、そのカメラ画像領域１２を個別に調整することができる。
【００９９】
まず、横向きのカメラ１に関するカメラ画像領域１２の場合には、図８（Ａ）に示すように、画面に触れた１本の指を横方向（画面の左右方向）にスライドさせるスワイプ操作により、操作対象となるカメラ画像領域１２を横方向に移動させるパン調整（水平方向位置調整）を行うことができる。
【０１００】
また、図８（Ｂ）に示すように、画面に触れた１本の指を縦方向（画面の上下方向）にスライドさせるスワイプ操作により、操作対象となるカメラ画像領域１２を縦方向に移動させるチルト調整（垂直方向位置調整）を行うことができる。
【０１０１】
また、図８（Ｃ）に示すように、画面に触れた２本の指を円を描くように動かす回転操作により、操作対象となるカメラ画像領域１２を回転させるローリング調整（回転方向位置調整）を行うことができる。
【０１０２】
また、図８（Ｄ）に示すように、画面に触れた２本の指の間隔を広げたり狭めたりするように指を動かすピンチ操作（ピンチイン操作、ピンチアウト操作）により、操作対象となるカメラ画像領域１２を拡大したり縮小したりするズーム調整（拡大縮小調整）を行うことができる。
【０１０３】
一方、上向きのカメラ１に関するカメラ画像領域１２の場合には、図９（Ａ−１）に示すように、画面に触れた１本の指を横方向（画像の左右方向）にスライドさせるスワイプ操作により、カメラ画像領域１２に現れる像を横方向に移動させることができる。
【０１０４】
ここで、上向きのカメラ１に関するカメラ画像領域１２では、合成画像１１上の横方向の移動が、図９（Ａ−２）に示すように、投影球体６１上で投影領域６２を緯線方向に回転させることに相当する。このため、横方向のスワイプ操作が行われると、画像の回転方向の投影位置を調整するローリング調整（回転方向位置調整）が実施される。
【０１０５】
また、図９（Ｂ−１）に示すように、画面に触れた１本の指を縦方向（画像の上下方向）にスライドさせるスワイプ操作により、カメラ画像領域１２に現れる像を縦方向に移動させることができる。
【０１０６】
ここで、上向きのカメラ１に関するカメラ画像領域１２では、合成画像１１上の縦方向の移動が、図９（Ｂ−２）に示すように、投影球体６１上で投影領域６２を経線方向に移動させることに相当する。このため、縦方向のスワイプ操作が行われると、画像の縦方向の投影位置を調整するチルト調整（径方向位置調整）が実施される。
【０１０７】
次に、全てのカメラ画像領域１２を一体的に調整する場合について説明する。図１０および図１１は、全てのカメラ画像領域１２を一体的に調整する場合のタッチ操作を示す説明図である。
【０１０８】
本実施形態では、３本以上の指でタッチ操作が行われた場合に、全てのカメラ画像領域１２を調整対象として、全てのカメラ画像領域１２を一体的に調整することができる。
【０１０９】
まず、図１０（Ａ−１）に示すように、画面に触れた３本以上の指を横方向（画面の左右方向）にスライドさせるスワイプ操作により、全てのカメラ画像領域１２を横方向に移動させるパン調整（水平方向位置調整）を行うことができる。このとき、横向きのカメラ１に関するカメラ画像領域１２の移動に応じて、上向きのカメラ１に関するカメラ画像領域１２に現れる像が横方向に移動する。
【０１１０】
この場合、スワイプ操作を大きく行うことで、横向きのカメラ１に関するカメラ画像領域１２が循環するように表示される。これにより、例えば、図１０（Ａ−１）に示す状態では左右の端に位置していたカメラ画像領域１２を、図１０（Ａ−２）に示すように、画面の中心に配置することができる。
【０１１１】
また、図１０（Ｂ−１）に示すように、画面に触れた３本以上の指を縦方向（画面の上下方向）にスライドさせるスワイプ操作により、全てのカメラ画像領域１２を縦方向に移動させるチルト調整（垂直方向位置調整）を行うことができる。
【０１１２】
この場合、スワイプ操作を大きく行うことで、カメラ画像領域１２が縦方向に循環するように表示される。これにより、例えば、図１０（Ｂ−１）に示す状態では画面の上端に位置していた上向きのカメラ１に関するカメラ画像領域１２を、図１０（Ｂ−２）に示すように、画面の中心に配置することができる。この場合、上向きのカメラ１に関するカメラ画像領域１２を挟んで、横向きのカメラ１に関するカメラ画像領域１２がそれぞれ２つに分割された状態で表示される。
【０１１３】
また、図１１（Ａ）に示すように、画面に触れた３本以上の指を円を描くように動かす回転操作により、全てのカメラ画像領域１２を回転させるローリング調整（回転方向位置調整）を行うことができる。
【０１１４】
また、図１１（Ｂ）に示すように、画面に触れた３本以上の指の間隔を広げたり狭めたりするように指を動かすピンチ操作（ピンチイン操作、ピンチアウト操作）により、全てのカメラ画像領域１２を拡大したり縮小したりするズーム調整（拡大縮小調整）を行うことができる。
【０１１５】
次に、ユーザのタッチ操作に応じて画像処理装置３で行われる処理の手順について説明する。図１２、図１３および図１４は、ユーザのタッチ操作に応じて画像処理装置３で行われる処理の手順を示すフロー図である。
【０１１６】
まず、タッチ操作判定部３３において、タッチ操作が検出されたか否かを判定する（ＳＴ１０１）。ここで、タッチ操作が検出された場合には（ＳＴ１０１でＹｅｓ）、視差補正を解除する（ＳＴ１０２）。そして、１本指による操作か否かを判定する（ＳＴ１０３）。
【０１１７】
ここで、１本指による操作である場合には（ＳＴ１０３でＹｅｓ）、次に、操作対象が上向きのカメラ１に関するカメラ画像領域１２であるか否かを判定する（ＳＴ１０４）。
【０１１８】
ここで、操作対象が上向きのカメラ１に関するカメラ画像領域１２でない、すなわち、操作対象が横向きのカメラ１に関するカメラ画像領域１２である場合には（ＳＴ１０４でＮｏ）、次に、横方向のスワイプ操作か否かを判定する（ＳＴ１０５）。ここで、横方向のスワイプ操作である場合には（ＳＴ１０５でＹｅｓ）、処理条件設定部３４において、指の動きに応じてパン調整（水平方向位置調整）を実施し、パンの制御パラメータを更新する（ＳＴ１０６）。
【０１１９】
また、横方向のスワイプ操作でない場合には（ＳＴ１０５でＮｏ）、次に、縦方向のスワイプ操作か否かを判定する（ＳＴ１０７）。ここで、縦方向のスワイプ操作である場合には（ＳＴ１０７でＹｅｓ）、処理条件設定部３４において、指の動きに応じてチルト調整（垂直方向位置調整）を実施し、チルトの制御パラメータを更新する（ＳＴ１０８）。
【０１２０】
一方、操作対象が上向きのカメラ１に関するカメラ画像領域１２である場合には（ＳＴ１０４でＹｅｓ）、次に、横方向のスワイプ操作か否かを判定する（ＳＴ１０９）。ここで、横方向のスワイプ操作である場合には（ＳＴ１０９でＹｅｓ）、処理条件設定部３４において、指の動きに応じてローリング調整（回転方向位置調整）を実施し、ローリングの制御パラメータを更新する（ＳＴ１１０）。
【０１２１】
また、横方向のスワイプ操作でない場合には（ＳＴ１０９でＮｏ）、次に、縦方向のスワイプ操作か否かを判定する（ＳＴ１１１）。ここで、縦方向のスワイプ操作である場合には（ＳＴ１１１でＹｅｓ）、処理条件設定部３４において、指の動きに応じてチルト調整（垂直方向位置調整）を実施し、チルトの制御パラメータを更新する（ＳＴ１１２）。
【０１２２】
一方、１本指による操作でない場合には（ＳＴ１０３でＮｏ）、次に、２本指による操作か否かを判定する（ＳＴ１１３）。
【０１２３】
ここで、２本指による操作である場合には（ＳＴ１１３でＹｅｓ）、次に、回転操作か否かを判定する（ＳＴ１１４）。ここで、回転操作である場合には（ＳＴ１１４でＹｅｓ）、処理条件設定部３４において、指の動きに応じてローリング調整（回転方向位置調整）を実施し、ローリングの制御パラメータを更新する（ＳＴ１１５）。
【０１２４】
また、回転操作でない場合には（ＳＴ１１４でＮｏ）、次に、ピンチ操作か否かを判定する（ＳＴ１１６）。ここで、ピンチ操作である場合には（ＳＴ１１６でＹｅｓ）、処理条件設定部３４において、指の動きに応じてズーム調整（拡大縮小調整）を実施し、ズームの制御パラメータを更新する（ＳＴ１１７）。
【０１２５】
一方、２本指による操作でない場合には（ＳＴ１１３でＮｏ）、３本以上の指による操作と判断して、次に、横方向のスワイプ操作か否かを判定する（ＳＴ１１８）。ここで、横方向のスワイプ操作である場合には（ＳＴ１１８でＹｅｓ）、処理条件設定部３４において、指の動きに応じてパン調整（水平方向位置調整）を実施し、パンの制御パラメータを更新する（ＳＴ１１９）。
【０１２６】
また、横方向のスワイプ操作でない場合には（ＳＴ１１８でＮｏ）、次に、縦方向のスワイプ操作か否かを判定する（ＳＴ１２０）。ここで、縦方向のスワイプ操作である場合には（ＳＴ１２０でＹｅｓ）、処理条件設定部３４において、指の動きに応じてチルト調整（垂直方向位置調整）を実施し、チルトの制御パラメータを更新する（ＳＴ１２１）。
【０１２７】
一方、縦方向のスワイプ操作でない場合には（ＳＴ１２０でＮｏ）、次に、回転操作か否かを判定する（ＳＴ１２２）。ここで、回転操作である場合には（ＳＴ１２２でＹｅｓ）、処理条件設定部３４において、指の動きに応じてローリング調整（回転方向位置調整）を実施し、ローリングの制御パラメータを更新する（ＳＴ１２３）。
【０１２８】
また、回転操作でない場合には（ＳＴ１２２でＮｏ）、次に、ピンチ操作か否かを判定する（ＳＴ１２４）。ここで、ピンチ操作である場合には（ＳＴ１２４でＹｅｓ）、処理条件設定部３４において、指の動きに応じてズーム調整（拡大縮小調整）を実施し、ズームの制御パラメータを更新する（ＳＴ１２５）。
【０１２９】
このようにして、ユーザのタッチ操作に応じて、パン、チルト、ローリング、ズームの制御パラメータが更新されると、スティッチング処理部３１のパノラマ画像生成部４２において、更新された制御パラメータに基づいてパノラマ画像を生成する処理を行い、次に、画像合成部４５において、パノラマ画像を合成する処理を行い、ここで生成した合成画像をプレビュー表示画面に表示する（ＳＴ１２６）。
【０１３０】
次に、調整対象となるカメラ画像領域１２の視認性を向上させる画像処理について説明する。図１５は、調整対象となるカメラ画像領域１２の視認性を向上させる画像処理を説明する説明図である。
【０１３１】
本実施形態では、画像合成部４５において、合成画像１１において調整対象外のカメラ画像領域１２の色合いを初期の色合いから変更して、調整対象となるカメラ画像領域１２を際立たせる視認性向上の画像処理が行われる。特に本実施形態では、調整対象外のカメラ画像領域１２に対して少なくとも輝度を変更する画像処理が行われる。図１５に示す例では、調整対象外のカメラ画像領域１２に対して輝度を下げる画像処理が行われ、調整対象外のカメラ画像領域１２がグレーアウトで暗く表示されている。
【０１３２】
これにより、合成画像１１を表示するプレビュー表示画面において、調整対象となるカメラ画像領域１２が目立つようになり、調整対象となるカメラ画像領域１２をユーザが直感的に把握することができる。
【０１３３】
次に、調整対象となるカメラ画像領域１２のジャストフィット状態をユーザに認識させる制御について説明する。図１６は、調整対象となるカメラ画像領域１２のジャストフィット状態をユーザに認識させる制御を説明する説明図である。
【０１３４】
本実施形態では、プレビュー表示画面でカメラ画像領域１２を調整するタッチ操作が行われると、そのタッチ操作に応じて、スティッチング処理部３１の処理条件（パノラマ画像生成に関する制御パラメータ）が定期的に更新され、これに応じて合成元画像が更新されて、その合成元画像を合成した合成画像がスティッチング処理部３１から定期的に出力される。これにより、プレビュー表示画面では合成画像が動画で表示され、このとき、操作対象となるカメラ画像領域１２が指の動きに連動して変化するアニメーションが実行される。
【０１３５】
また、本実施形態では、ジャストフィット検知部４６において、操作対象となるカメラ画像領域１２とこれに隣り合うカメラ画像領域１２との間における繋ぎ目部分の整合性が高いジャストフィット状態を検知する。そして、ジャストフィット検知部４６でジャストフィット状態が検知されると、操作対象となるカメラ画像領域１２のアニメーション、すなわち、指の動きに連動するカメラ画像領域１２の動きを停止する。
【０１３６】
このとき、画像合成部４５では、ジャストフィット状態が検知されたタイミングで取得した合成元画像（パノラマ画像）に基づく合成画像を所定の範囲で継続して出力する。これにより、プレビュー表示画面において、操作対象となるカメラ画像領域１２が、指の動きに連動せずに静止した状態で表示される。
【０１３７】
また、アニメーションの停止は所定の範囲で行われ、その範囲外となると、アニメーションの停止を解除する。この場合、アニメーションの停止を解除するタイミングを距離で規定することができる。すなわち、ジャストフィット状態の位置からタッチ位置までの距離が所定の距離より大きくなると、アニメーションの停止を解除する。また、アニメーションの停止を解除するタイミングを時間で規定することができる。すなわち、ジャストフィット状態が検知されてから所定の時間（例えば１秒間）が経過すると、アニメーションの停止を解除する。
【０１３８】
図１６に示す例は、画面に触れた１本の指を縦方向（画像の上下方向）にスライドさせるスワイプ操作を行う場合である。図１６（Ａ）に示すように、指を動かすと、指の動きに応じて操作対象となるカメラ画像領域１２が縦方向に移動する。そして、図１６（Ｂ）に示すタイミングで、ジャストフィット状態が検知されると、図１６（Ｃ）に示すように、指をさらに動かしても、操作対象となるカメラ画像領域１２は静止したままである。そして、図１６（Ｄ）に示すように、指をさらに動かすと、指の動きに応じて操作対象となるカメラ画像領域１２が縦方向に移動する。
【０１３９】
このように本実施形態では、調整対象となるカメラ画像領域１２のジャストフィット状態が検知されると、そのカメラ画像領域１２のアニメーションが停止するため、ジャストフィット状態をユーザが直感的に把握することができ、調整操作を迅速に行うことができる。
【０１４０】
なお、本実施形態では、操作対象となるカメラ画像領域１２のアニメーションを停止することで、ジャストフィット状態をユーザに認識させるようにしたが、ジャストフィット状態をユーザに認識させる方法はこれに限定されるものではない。例えば、ジャストフィットのタイミングで、カメラ画像領域１２をフラッシュ（点滅）させるようにしてもよい。また、ジャストフィットのタイミングで、カメラ画像領域１２を取り囲む枠線を表示するようにしてもよい。
【０１４１】
次に、カメラ画像領域１２の色合いおよび明るさを調整する際のタッチ操作について説明する。図１７は、カメラ画像領域１２の色合いおよび明るさを調整する際のタッチ操作を示す説明図である。
【０１４２】
本実施形態では、２本の指で２つのカメラ画像領域１２に対して同時にタッチ操作が行われた場合に、そのタッチ操作が行われた２つのカメラ画像領域１２を調整対象として、その２つのカメラ画像領域１２間の画像調整が画像調整部３５で行われる。
【０１４３】
特に本実施形態では、タッチ操作が行われた２つのカメラ画像領域１２におけるタッチ領域７１（タッチ位置を中心とした所定の範囲）の色合いおよび明るさが一致するように画像調整が行われる。図１７に示す例では、２つのカメラ画像領域１２における空の色合いおよび明るさが一致するように、２つのカメラ画像領域１２における空の領域でタッチ操作が行われている。
【０１４４】
これにより、２つのカメラ画像領域１２同士で、本来であれば色合いや明るさが一致すべき領域で、明るさや色合いに差異が生じている場合に、その領域でタッチ操作を行うことで、２つのカメラ画像領域１２の色合いや明るさを簡単に一致させることができる。
【０１４５】
この画像調整では、調整対象となる２つのカメラ画像領域１２におけるタッチ領域の色合いおよび明るさに関する情報を取得し、この情報に基づいて、２つのカメラ画像領域１２におけるタッチ領域の色合いおよび明るさが一致するように、２つのカメラ画像領域１２の撮像元のカメラ１が制御される。
【０１４６】
このとき、２つのカメラ画像領域１２におけるタッチ領域の色合いおよび明るさが一致するように、カメラ１の撮像条件、すなわち、色合いおよび明るさに関する制御パラメータを調整する。具体的には、色合い（ホワイトバランス）に関する制御パラメータとして、信号処理部２３におけるホワイトバランスゲイン値を調整する。また、明るさ（露出）に関する制御パラメータとして、イメージセンサ部２２におけるシャッタ値（シャッタ速度）およびセンサゲイン値、ならびに信号処理部２３におけるデジタルゲイン値を調整する。
【０１４７】
なお、本実施形態では、２本の指で２つのカメラ画像領域１２に対して同時にタッチ操作を行うことで、２つのカメラ画像領域１２の画像調整を行うようにしたが、３本以上の指で３つ以上のカメラ画像領域１２に対して同時にタッチ操作を行えば、３つ以上のカメラ画像領域１２の画像調整を行うことができる。また、本実施形態では、色合いおよび明るさの両方が一致するように制御したが、色合いおよび明るさのいずれか一方、例えば色合いのみが一致するように制御してもよい。
【０１４８】
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
【０１４９】
例えば、前記の実施形態では、複数のカメラを備えたカメラユニットと別に設けられた画像処理装置（ＰＣを含む）で、画像合成処理などを行って合成画像を出力するようにしたが、画像処理装置を内蔵するカメラユニット（撮像装置）として構成することもできる。
【０１５０】
また、前記の実施形態では、上向きのカメラおよび横向きのカメラを備えた構成としたが、上向きのカメラの代わりに下向きのカメラを備えた構成としてもよい。また、上向きのカメラおよび下向きのカメラの両方を備えた構成としてもよい。
【０１５１】
また、前記の実施形態では、プレビュー表示画面を表示する際に、プレビュー出力切換部において、入力された合成元画像（パノラマ画像）を画像合成部に出力して、合成元画像を視差補正部に入力しないようにしたが、合成元画像を視差補正部に入力した上で、視差補正量を０とすることで、実質的に視差補正処理を行わないようにしてもよい。
【０１５２】
また、前記の実施形態では、通常の合成画像を生成する画像処理装置において、合成画像におけるカメラ画像領域間の整合性を確保するキャリブレーションを実施するようにしたが、キャリブレーション専用の装置として構成し、また、情報処理装置にキャリブレーション専用のプログラムをインストールして、キャリブレーションを実施するようにしてもよい。
【産業上の利用可能性】
【０１５３】
本発明に係る画像処理装置及びこれを備えた撮像システムならびにキャリブレーション方法は、合成画像におけるカメラ画像領域間の整合性を確保するキャリブレーションのための調整作業をユーザが手際よく行うことができる効果を有し、複数のカメラごとの画像に対して画像合成処理を行って合成画像を出力する画像処理装置及びこれを備えた撮像システム、ならびに合成画像におけるカメラ画像領域間の整合性を確保するキャリブレーション方法などとして有用である。
【符号の説明】
【０１５４】
１  カメラ
２  カメラユニット
３  画像処理装置
４  表示入力装置
１１  合成画像
１２  カメラ画像領域
３１  スティッチング処理部（画像処理部）
３２  画面生成部
３３  タッチ操作判定部
３４  処理条件設定部
３５  画像調整部
４１  視差補正量算出部
４２  パノラマ画像生成部
４３  プレビュー出力切換部
４４  視差補正部
４５  画像合成部
４６  ジャストフィット検知部
【図１】
2018137786.tif 000003
【図２】
2018137786.tif 000004
【図３】
2018137786.tif 000005
【図４】
2018137786.tif 000006
【図５】
2018137786.tif 000007
【図６】
2018137786.tif 000008
【図７】
2018137786.tif 000009
【図８】
2018137786.tif 000010
【図９】
2018137786.tif 000011
【図１０】
2018137786.tif 000012
【図１１】
2018137786.tif 000013
【図１２】
2018137786.tif 000014
【図１３】
2018137786.tif 000015
【図１４】
2018137786.tif 000016
【図１５】
2018137786.tif 000017
【図１６】
2018137786.tif 000018
【図１７】
2018137786.tif 000019