【手続補正書】
【提出日】平成29年11月21日(2017.11.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のカメラごとの画像に対して画像合成処理を行って合成画像を出力する画像処理装置であって、
予め設定された処理条件に基づいて、前記カメラごとの撮像画像からそれぞれ複数の合成元画像を生成して、その複数の合成元画像に対して画像合成処理を行って、プレビュー用の合成画像を生成する画像処理部と、
前記プレビュー用の合成画像を表示するプレビュー表示画面を生成して表示入力装置に出力する画面生成部と、
前記表示入力装置に表示された前記プレビュー表示画面上でユーザが行ったタッチ操作の検出結果に基づいて、前記プレビュー用の合成画像における調整対象となるカメラ画像領域が、前記合成画像を構成する前記カメラ画像領域のうちタッチ操作が行われた一部の前記カメラ画像領域なのか、前記合成画像を構成する全ての前記カメラ画像領域なのか、を判定するとともに、タッチ操作の操作形態に応じた調整項目を判定するタッチ操作判定部と、
このタッチ操作判定部の判定結果に基づいて、前記調整対象となるカメラ画像領域に関する暫定的な処理条件を設定する処理条件設定部と、
を備え、
前記画像処理部は、前記暫定的な処理条件に基づいて、前記調整対象となるカメラ画像領域に対応する前記カメラの撮像画像から合成元画像を生成して、この合成元画像に対して前記画像合成処理を行って前記プレビュー用の合成画像を更新することを特徴とする画像処理装置。
【請求項２】
前記タッチ操作判定部は、１本又は２本の指でタッチ操作が行われた場合には、タッチ操作が行われた１つの前記カメラ画像領域を調整対象とし、３本以上の指でタッチ操作が行われた場合には、全ての前記カメラ画像領域を調整対象とすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
さらに、２つの前記カメラ画像領域間の画像調整を行う画像調整部を備え、
前記タッチ操作判定部は、タッチ操作の操作形態が、２本の指による異なる前記カメラ画像領域に対するタッチ操作である場合には、そのタッチ操作が行われた２つのカメラ画像領域間の画像調整を行うものとすることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記タッチ操作判定部は、１本又は２本の指でタッチ操作が行われた場合に、そのタッチ操作が行われた１つの前記カメラ画像領域を調整対象として、タッチ操作の操作形態に応じた調整項目を判定することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記タッチ操作判定部は、タッチ操作の操作形態が、１本の指による横方向のスワイプ操作である場合には、１つの前記カメラ画像領域を調整対象としてパン調整を行うものとし、タッチ操作の操作形態が、１本の指による縦方向のスワイプ操作である場合には、１つの前記カメラ画像領域を調整対象としてチルト調整を行うものとし、タッチ操作の操作形態が、２本の指による回転操作である場合には、１つの前記カメラ画像領域を調整対象としてローリング調整を行うものとし、タッチ操作の操作形態が、２本の指によるピンチ操作である場合には、１つの前記カメラ画像領域を調整対象としてズーム調整を行うものとすることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記画像処理部は、前記プレビュー用の合成画像における調整対象外の前記カメラ画像領域の色合いを初期の色合いから変更する画像処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記画像処理部は、前記調整対象外のカメラ画像領域に対して少なくとも輝度を変更する画像処理を行うことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記タッチ操作判定部は、３本以上の指でタッチ操作が行われる場合に、全ての前記カメラ画像領域を調整対象として、タッチ操作の操作形態に応じた調整項目を判定することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記タッチ操作判定部は、タッチ操作の操作形態が、３本以上の指による横方向のスワイプ操作である場合には、全ての前記カメラ画像領域を調整対象としてパン調整を行うものとし、タッチ操作の操作形態が、３本以上の指による縦方向のスワイプ操作である場合には、全ての前記カメラ画像領域を調整対象としてチルト調整を行うものとし、タッチ操作の操作形態が、３本以上の指による回転操作である場合には、全ての前記カメラ画像領域を調整対象としてローリング調整を行うものとし、タッチ操作の操作形態が、３本以上の指によるピンチ操作である場合には、全ての前記カメラ画像領域を調整対象としてズーム調整を行うものとすることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
さらに、前記プレビュー用の合成画像において調整対象となる前記カメラ画像領域とこれに隣り合う前記カメラ画像領域と間の繋ぎ目部分の整合性が高いジャストフィット状態を検知するジャストフィット検知部を備え、
前記画像処理部は、前記ジャストフィット検知部でジャストフィット状態が検知されると、そのタイミングでの前記プレビュー用の合成画像を所定の範囲で継続して出力することを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
さらに、２つの前記カメラ画像領域間の画像調整を行う画像調整部を備え、
この画像調整部は、２つの前記カメラ画像領域に対して同時にタッチ操作が行われた場合に、その２つのカメラ画像領域におけるタッチ領域の色合いおよび明るさの少なくともいずれかが一致するように画像調整を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
前記画像処理部は、通常時には、前記画像合成処理の前段で前記合成元画像に対して視差補正処理を行い、前記プレビュー表示画面を表示する際には、前記合成元画像に対して前記視差補正処理を行わないことを特徴とする請求項１に記載の画像処理装置。
【請求項１３】
請求項１から請求項１２のいずれかに記載の前記画像処理装置と、前記複数のカメラと、前記表示入力装置とを備えた撮像システム。
【請求項１４】
複数のカメラごとの画像に対して画像合成処理を行って生成した合成画像におけるカメラ画像領域間の整合性を確保するキャリブレーション方法であって、
予め設定された処理条件に基づいて、前記カメラごとの撮像画像からそれぞれ複数の合成元画像を生成して、その複数の合成元画像に対して画像合成処理を行って、プレビュー用の合成画像を生成し、
このプレビュー用の合成画像を表示するプレビュー表示画面を生成して表示入力装置に出力し、
前記表示入力装置に表示された前記プレビュー表示画面上でユーザが行ったタッチ操作の検出結果に基づいて、前記プレビュー用の合成画像における調整対象となるカメラ画像領域が、前記合成画像を構成する前記カメラ画像領域のうちタッチ操作が行われた一部の前記カメラ画像領域なのか、前記合成画像を構成する全ての前記カメラ画像領域なのか、を判定するとともに、タッチ操作の操作形態に応じた調整項目を判定し、
この判定結果に基づいて、前記調整対象となるカメラ画像領域に関する暫定的な処理条件を設定し、
この暫定的な処理条件に基づいて、前記調整対象となるカメラ画像領域に対応する前記カメラの撮像画像から合成元画像を生成して、この合成元画像に対して前記画像合成処理を行って前記プレビュー用の合成画像を更新することを特徴とするキャリブレーション方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本発明の画像処理装置は、複数のカメラごとの画像に対して画像合成処理を行って合成画像を出力する画像処理装置であって、予め設定された処理条件に基づいて、前記カメラごとの撮像画像からそれぞれ複数の合成元画像を生成して、その複数の合成元画像に対して画像合成処理を行って、プレビュー用の合成画像を生成する画像処理部と、前記プレビュー用の合成画像を表示するプレビュー表示画面を生成して表示入力装置に出力する画面生成部と、前記表示入力装置に表示された前記プレビュー表示画面上でユーザが行ったタッチ操作の検出結果に基づいて、前記プレビュー用の合成画像における調整対象となるカメラ画像領域が、前記合成画像を構成する前記カメラ画像領域のうちタッチ操作が行われた一部の前記カメラ画像領域なのか、前記合成画像を構成する全ての前記カメラ画像領域なのか、を判定するとともに、タッチ操作の操作形態に応じた調整項目を判定するタッチ操作判定部と、このタッチ操作判定部の判定結果に基づいて、前記調整対象となるカメラ画像領域に関する暫定的な処理条件を設定する処理条件設定部と、を備え、前記画像処理部は、前記暫定的な処理条件に基づいて、前記調整対象となるカメラ画像領域に対応する前記カメラの撮像画像から合成元画像を生成して、この合成元画像に対して前記画像合成処理を行って前記プレビュー用の合成画像を更新する構成とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
また、本発明のキャリブレーション方法は、複数のカメラごとの画像に対して画像合成処理を行って生成した合成画像におけるカメラ画像領域間の整合性を確保するキャリブレーション方法であって、予め設定された処理条件に基づいて、前記カメラごとの撮像画像からそれぞれ複数の合成元画像を生成して、その複数の合成元画像に対して画像合成処理を行って、プレビュー用の合成画像を生成し、このプレビュー用の合成画像を表示するプレビュー表示画面を生成して表示入力装置に出力し、前記表示入力装置に表示された前記プレビュー表示画面上でユーザが行ったタッチ操作の検出結果に基づいて、前記プレビュー用の合成画像における調整対象となるカメラ画像領域が、前記合成画像を構成する前記カメラ画像領域のうちタッチ操作が行われた一部の前記カメラ画像領域なのか、前記合成画像を構成する全ての前記カメラ画像領域なのか、を判定するとともに、タッチ操作の操作形態に応じた調整項目を判定し、この判定結果に基づいて、前記調整対象となるカメラ画像領域に関する暫定的な処理条件を設定し、この暫定的な処理条件に基づいて、前記調整対象となるカメラ画像領域に対応する前記カメラの撮像画像から合成元画像を生成して、この合成元画像に対して前記画像合成処理を行って前記プレビュー用の合成画像を更新する構成とする。