(57)【要約】【課題】重複領域を有する複数の画像を精度よく貼り合わせることができる。【解決手段】直変換領域画像に対しては、EEPROMに記憶されているカメラ初期条件情報（各カメラモジュールの向きの情報）に基づいて、貼り合わせ合成（射影変換およびワーピング）が行われる。重複領域画像に対しては、求めた合成条件で貼り合わせ合成が行われる。バッファ領域画像に対しては、直変換領域画像の射影変換の条件と重複領域画像の射影変換の条件とから求められる値（例えば、中間の値）を用いて、貼りあわせ合成が行われる。本開示は、例えば、カメラなどの撮像装置に用いられる信号処理回路に適用することができる。【選択図】図９
2016066842.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラモジュールによりそれぞれの撮影範囲に重複領域を有するように取得された複数の撮影画像を、前記重複領域の画像、重複しない領域である直変換領域の画像、および、前記重複領域と前記直変換領域との間に設けられるバッファ領域の画像にそれぞれ切り分ける画像切り分け部と、
前記画像切り分け部により切り分けられた前記重複領域の画像、前記直変換領域の画像、および前記バッファ領域の画像をそれぞれ貼り合わせ合成する貼り合わせ合成部と
を備える信号処理回路。
【請求項２】
前記貼り合わせ合成部は、前記複数のカメラモジュールの初期条件を示す情報であるカメラ初期条件情報に基づいて、前記直変換領域の画像を貼り合わせ合成し、
前記重複領域の画像を用いて推定された合成条件に基づいて、前記重複領域の画像を貼り合わせ合成し、
前記カメラ初期条件と前記合成条件とに基づいて、前記バッファ領域の画像を貼り合わせ合成する
請求項１に記載の信号処理回路。
【請求項３】
前記貼り合わせ合成部は、前記カメラ初期条件と前記合成条件とを用いて求められる値に基づいて、前記バッファ領域の画像を貼り合わせ合成する
請求項２に記載の信号処理回路。
【請求項４】
前記バッファ領域の画像は、X,Y方向に数段階分割されている
請求項２に記載の信号処理回路。
【請求項５】
前記重複領域の画像を用いて前記合成条件を推定する合成条件推定部
をさらに備える請求項２に記載の信号処理回路。
【請求項６】
複数のカメラモジュールと、
複数のカメラモジュールによりそれぞれの撮影範囲に重複領域を有するように取得された複数の撮影画像を、前記重複領域の画像、重複しない領域である直変換領域の画像、および、前記重複領域と前記直変換領域との間に設けられるバッファ領域の画像にそれぞれ切り分ける画像切り分け部と、
前記画像切り分け部により切り分けられた前記重複領域の画像、前記直変換領域の画像、および前記バッファ領域の画像をそれぞれ貼り合わせ合成する貼り合わせ合成部と
を備える信号処理回路と
を搭載する撮像装置。
【請求項７】
複数のカメラモジュールによりそれぞれの撮影範囲に重複領域を有するように取得された複数の撮影画像、および前記撮影画像の解像度よりも高い解像度を有する前記重複領域の画像を記憶する記憶部と、
前記重複領域の画像を用いて前記合成条件を推定する合成条件推定部と、
前記合成条件推定部により推定された合成条件に基づいて、前記複数の撮影画像を貼り合わせ合成する貼り合わせ合成部と
を備える信号処理回路。
【請求項８】
前記重複領域の画像は、RAWデータであり、
前記合成条件推定部は、前記重複領域の画像のRAWデータを用いて前記合成条件を推定する
請求項７に記載の信号処理回路。
【請求項９】
前記重複領域の画像は、高フレームレートの画像であり、
前記合成条件推定部は、前記重複領域の高フレームレートの画像を用いて前記合成条件を推定し、フレーム補間を伴うフレーム間同期を推定する
請求項７に記載の信号処理回路。
【請求項１０】
前記高フレームレートの画像を用いて、一方の撮影画像のフレーム補間を行うフレーム補間部を
さらに備え、
前記フレーム補間部は、前記合成条件推定部により推定されたフレーム間同期に基づき、前記高フレームレートの画像を用いて、一方の撮影画像のフレーム補間を行う
請求項９に記載の信号処理回路。
【請求項１１】
前記記憶部は、露出条件の異なる複数の重複領域の画像を記憶し、
前記合成条件推定部は、前記露出条件の異なる複数の重複領域の画像を用いて前記合成条件を推定する
請求項７に記載の信号処理回路。
【請求項１２】
前記記憶部は、解像度の異なる複数の重複領域の画像を記憶し、
前記合成条件推定部は、前記解像度の異なる複数の重複領域の画像を用いて前記合成条件を推定する
請求項７に記載の信号処理回路。
【請求項１３】
先に送信されてくる前記複数の撮影画像の低解像度データおよび前記重複領域の画像を受け取り、後に送信されてくる前記複数の撮影画像の高解像度データを受け取る受け取り部をさらに備え、
前記貼り合わせ合成部は、前記合成条件推定部により推定された合成条件に基づいて、前記複数の撮影画像の低解像度データを貼り合わせ合成し、その後、前記複数の撮影画像の高解像度データを貼り合わせ合成する
請求項７に記載の信号処理回路。
【請求項１４】
複数のカメラモジュールと、
前記複数のカメラモジュールによりそれぞれの撮影範囲に重複領域を有するように取得された複数の撮影画像、および前記撮影画像の解像度よりも高い解像度を有する前記重複領域の画像を記憶する記憶部と、
前記重複領域の画像を用いて前記合成条件を推定する合成条件推定部と、
前記合成条件推定部により推定された合成条件に基づいて、前記複数の撮影画像を貼り合わせ合成する貼り合わせ合成部と
を備える信号処理回路と
を搭載する撮像装置。
【請求項１５】
前記重複領域の画像は、高フレームレートの画像であり、
前記合成条件推定部は、前記重複領域の高フレームレートの画像を用いて前記合成条件を推定し、フレーム補間を伴うフレーム間同期を推定する
請求項１４に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、信号処理回路および撮像装置に関し、特に、重複領域を有する複数の画像を精度よく貼り合わせることができるようにした信号処理回路および撮像装置に関する。
【背景技術】
【０００２】
2つ以上のカメラモジュールを用い、撮影画像を貼り合わせ合成（スティッチング）処理することにより、撮影画角を拡大する手法がある。このような手法においては、各カメラの撮影範囲を部分的に重複（オーバラップ）させるよう、カメラの向きが固定配置されるため、撮影範囲には、隣の撮影範囲との重複領域が存在する。
【０００３】
例えば、特許文献１には、両画面の重複領域内に、対応する特徴点の対を抽出し、お互いの特徴点の座標が近くなるよう、画像の向きや倍率などの合成条件（レジストレーション条件）を計算し、その結果を基に両画像を変形させ、一枚の画にスティッチングする技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許３３０２２３６号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、スティッチング後の撮影画角を広くするために重複領域を小さくする場合、特徴点の誤差が重複領域の反対側に大きく表れてしまうことがあった。特に、動画像の場合、その誤差がフレーム毎に変換すると全体画像の画角が小刻みに変動し、視聴上の不快感をもたらすことがあった。
【０００６】
本開示は、このような状況に鑑みてなされたものであり、重複領域を有する複数の画像を精度よく貼り合わせることができるものである。
【課題を解決するための手段】
【０００７】
本技術の第１の側面の信号処理回路は、複数のカメラモジュールによりそれぞれの撮影範囲に重複領域を有するように取得された複数の撮影画像を、前記重複領域の画像、重複しない領域である直変換領域の画像、および、前記重複領域と前記直変換領域との間に設けられるバッファ領域の画像にそれぞれ切り分ける画像切り分け部と、前記画像切り分け部により切り分けられた前記重複領域の画像、前記直変換領域の画像、および前記バッファ領域の画像をそれぞれ貼り合わせ合成する貼り合わせ合成部とを備える。
【０００８】
前記貼り合わせ合成部は、前記複数のカメラモジュールの初期条件を示す情報であるカメラ初期条件情報に基づいて、前記直変換領域の画像を貼り合わせ合成し、前記重複領域の画像を用いて推定された合成条件に基づいて、前記重複領域の画像を貼り合わせ合成し、前記カメラ初期条件と前記合成条件とに基づいて、前記バッファ領域の画像を貼り合わせ合成することができる。
【０００９】
前記貼り合わせ合成部は、前記カメラ初期条件と前記合成条件とを用いて求められる値に基づいて、前記バッファ領域の画像を貼り合わせ合成することができる。
【００１０】
前記バッファ領域の画像は、X,Y方向に数段階分割されている。
【００１１】
前記重複領域の画像を用いて前記合成条件を推定する合成条件推定部をさらに備えることができる。
【００１２】
本技術の第１の側面の撮像装置は、複数のカメラモジュールと、複数のカメラモジュールによりそれぞれの撮影範囲に重複領域を有するように取得された複数の撮影画像を、前記重複領域の画像、重複しない領域である直変換領域の画像、および、前記重複領域と前記直変換領域との間に設けられるバッファ領域の画像にそれぞれ切り分ける画像切り分け部と、前記画像切り分け部により切り分けられた前記重複領域の画像、前記直変換領域の画像、および前記バッファ領域の画像をそれぞれ貼り合わせ合成する貼り合わせ合成部とを備える信号処理回路とを搭載する。
【００１３】
本技術の第２の側面の信号処理回路は、複数のカメラモジュールによりそれぞれの撮影範囲に重複領域を有するように取得された複数の撮影画像、および前記撮影画像の解像度よりも高い解像度を有する前記重複領域の画像を記憶する記憶部と、前記重複領域の画像を用いて前記合成条件を推定する合成条件推定部と、前記合成条件推定部により推定された合成条件に基づいて、前記複数の撮影画像を貼り合わせ合成する貼り合わせ合成部とを備える。
【００１４】
前記重複領域の画像は、RAWデータであり、前記合成条件推定部は、前記重複領域の画像のRAWデータを用いて前記合成条件を推定する。
【００１５】
前記重複領域の画像は、高フレームレートの画像であり、前記合成条件推定部は、前記重複領域の高フレームレートの画像を用いて前記合成条件を推定し、フレーム補間を伴うフレーム間同期を推定することができる。
【００１６】
前記高フレームレートの画像を用いて、一方の撮影画像のフレーム補間を行うフレーム補間部をさらに備え、前記フレーム補間部は、前記合成条件推定部により推定されたフレーム間同期に基づき、前記高フレームレートの画像を用いて、一方の撮影画像のフレーム補間を行うことができる。
【００１７】
前記記憶部は、露出条件の異なる複数の重複領域の画像を記憶し、前記合成条件推定部は、前記露出条件の異なる複数の重複領域の画像を用いて前記合成条件を推定することができる。
【００１８】
前記記憶部は、解像度の異なる複数の重複領域の画像を記憶し、前記合成条件推定部は、前記解像度の異なる複数の重複領域の画像を用いて前記合成条件を推定することができる。
【００１９】
先に送信されてくる前記複数の撮影画像の低解像度データおよび前記重複領域の画像を受け取り、後に送信されてくる前記複数の撮影画像の高解像度データを受け取る受け取り部をさらに備え、前記貼り合わせ合成部は、前記合成条件推定部により推定された合成条件に基づいて、前記複数の撮影画像の低解像度データを貼り合わせ合成し、その後、前記複数の撮影画像の高解像度データを貼り合わせ合成することができる。
【００２０】
本技術の第２の側面の撮像装置は、複数のカメラモジュールと、前記複数のカメラモジュールによりそれぞれの撮影範囲に重複領域を有するように取得された複数の撮影画像、および前記撮影画像の解像度よりも高い解像度を有する前記重複領域の画像を記憶する記憶部と、前記重複領域の画像を用いて前記合成条件を推定する合成条件推定部と、前記合成条件推定部により推定された合成条件に基づいて、前記複数の撮影画像を貼り合わせ合成する貼り合わせ合成部とを備える信号処理回路とを搭載する。
【００２１】
前記重複領域の画像は、高フレームレートの画像であり、前記合成条件推定部は、前記重複領域の高フレームレートの画像を用いて前記合成条件を推定し、フレーム補間を伴うフレーム間同期を推定することができる。
【００２２】
本技術の第１の側面においては、複数のカメラモジュールによりそれぞれの撮影範囲に重複領域を有するように取得された複数の撮影画像が、前記重複領域の画像、重複しない領域である直変換領域の画像、および、前記重複領域と前記直変換領域との間に設けられるバッファ領域の画像にそれぞれ切り分けられる。そして、切り分けられた前記重複領域の画像、前記直変換領域の画像、および前記バッファ領域の画像がそれぞれ貼り合わせ合成される。
【００２３】
本技術の第２の側面においては、複数のカメラモジュールによりそれぞれの撮影範囲に重複領域を有するように取得された複数の撮影画像、および前記撮影画像の解像度よりも高い解像度を有する前記重複領域の画像が記憶される。そして、前記重複領域の画像を用いて前記合成条件が推定され、推定された合成条件に基づいて、前記複数の撮影画像が貼り合わせ合成される。
【発明の効果】
【００２４】
本技術によれば、重複領域を有する複数の画像を貼り合わせることができる。特に、本技術によれば、重複領域を有する複数の画像を精度よく貼り合わせることができる。
【００２５】
なお、本明細書に記載された効果は、あくまで例示であり、本技術の効果は、本明細書に記載された効果に限定されるものではなく、付加的な効果があってもよい。
【図面の簡単な説明】
【００２６】
【図１】本技術を適用した撮像装置のカメラモジュールの外観構成例を示す図である。
【図２】撮像装置の構成例を示すブロック図である。
【図３】画像処理部の機能構成例を示すブロック図である。
【図４】一般的な貼りあわせ合成処理について説明する図である。
【図５】特徴点抽出におけるエラーの影響について説明する図である。
【図６】撮影画像における分割領域の例を説明する図である。
【図７】分割された画像の例を示す図である。
【図８】本技術の貼りあわせ合成処理を説明する図である。
【図９】本技術の貼りあわせ合成処理を説明する図である。
【図１０】図３の画像処理部の画像処理を説明するフローチャートである。
【図１１】合成条件推定処理を説明するフローチャートである。
【図１２】合成処理を説明するフローチャートである。
【図１３】画像処理部の他の機能構成例を示すブロック図である。
【図１４】画像データを説明する図である。
【図１５】図１３の画像処理部の画像処理を説明するフローチャートである。
【図１６】画像処理部の他の機能構成例を示すブロック図である。
【図１７】画像データを説明する図である。
【図１８】図１６の画像処理部の画像処理を説明するフローチャートである。
【図１９】合成条件推定処理を説明するフローチャートである。
【図２０】画像処理システムの構成例を示すブロック図である。
【図２１】送信側の画像処理部の他の機能構成例を示すブロック図である。
【図２２】受信側の画像処理部の他の機能構成例を示すブロック図である。
【図２３】画像データを説明する図である。
【図２４】図２１の画像処理部の画像処理を説明するフローチャートである。
【図２５】図２２の画像処理部の画像処理を説明するフローチャートである。
【図２６】画像処理部の他の機能構成例を示すブロック図である。
【図２７】画像データを説明する図である。
【図２８】図２６の画像処理部の画像処理を説明するフローチャートである。
【図２９】合成条件推定処理を説明するフローチャートである。
【図３０】本技術を適用した電子機器の構成例を示すブロック図である。
【発明を実施するための形態】
【００２７】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（３領域分割の例）
２．第２の実施の形態（RAWデータ使用の例）
３．第３の実施の形態（複数露出条件の例）
４．第４の実施の形態（伝送の例）
５．第５の実施の形態（高フレームレート画像の例）
６．第６の実施の形態（コンピュータ）
【００２８】
＜第１の実施の形態（３領域分割の例）＞
＜カメラモジュールの外観構成例＞
図１は、本技術の撮像装置のカメラモジュールの外観構成例を示す図である。図１Ａは、斜視図であり、図１Ｂは、前方向から見た図であり、図１Ｃは、下方向から見た図である。例えば、図１Ａの例において、丸を囲むものがレンズ孔であり、レンズ外形が示されている。また、右側から出ている長いものがフレーキー基板である。
【００２９】
撮像装置１は、２台のカメラモジュール１１−１および１１−２を有しており、それらを、図１Ｃに示されるように、レンズの画角開始点を重ならせつつ、撮影範囲の一部がオーバラップするよう、接着固定して構成されている。なお、以下どの実施の形態においても、撮像装置１においては、このような構成の２台のカメラモジュール１１−１および１１−２により、レンズの画角開始点を重ならせつつ、撮影範囲の一部がオーバラップするように撮影される。
【００３０】
カメラモジュール１１−１および１１−２は、水平画角80度であり、この２つのカメラモジュール１１−１および１１−２のオーバラップ領域は、水平方向に8度とされる。この場合、貼り合わせ合成処理（スティッチング）後の水平画角は、約150度となる。
【００３１】
なお、以下、カメラモジュール１１−１および１１−２を区別する必要がない場合、単にカメラモジュール１１と称する。また、カメラモジュール１１は、２台に限らず、３台以上の複数台であってもよい。
【００３２】
＜撮像装置の構成例＞
図２は、本技術を適用した撮像装置の構成例を示すブロック図である。図２の例においては、２つ以上のカメラモジュールを用い、撮影画像を貼り合わせ合成（スティッチング）処理することにより、撮影画角を拡大する撮像装置の例が示されている。
【００３３】
図２の撮像装置１は、上述したカメラモジュール１１を構成する光学部２１および固体撮像素子（撮像デバイス）２２、並びにカメラ信号処理回路であるDSP回路３１を備える。また、撮像装置１は、EEPROM３２、画像処理部３３、メモリ３４、表示部３５、記録部３６、操作部３７、電源部３８、およびネットワークI/F３９も備える。DSP回路３１、EEPROM３２、画像処理部３３、メモリ３４、表示部３５、記録部３６、操作部３７、電源部３８、ネットワークI/F３９は、バスライン４０を介して相互に接続されている。
【００３４】
光学部２１は、レンズ群などからなり、被写体からの入射光（像光）を取り込んで固体撮像素子２２の撮像面上に結像する。固体撮像素子２２は、光学部２１によって撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。
【００３５】
EEPROM３２は、カメラモジュール１１の向きの情報など、画像に付与されるカメラモジュールの初期条件を示す情報（カメラ初期条件情報と称する）を記憶する。カメラモジュール１１の向きの情報は、例えば、x,y,zの各軸上の回転によるpitch,yaw,rollで示される。これらの情報は、例えば、工場出荷時に記録された値であったり、あるいは、校正用の特定のチャートを撮影した画像から解析した値などである。
【００３６】
画像処理部３３は、例えば、画像処理専用のLSIで構成され、画像に対して、貼り合わせ合成に関する処理を行い、例えば、パノラマ画像を生成する。メモリ３４は、例えば、フレームメモリなどで構成され、DSP回路３１からの画像や、画像処理部３３により処理される画像などが保存する。
【００３７】
表示部３５は、例えば、液晶パネルや有機EL(Electro Luminescence)パネル等のパネル型表示装置からなり、固体撮像素子２２で撮像された動画または静止画を表示する。記録部３６は、固体撮像素子２２で撮像された動画または静止画を、ビデオテープやDVD(Digital Versatile Disk)等の記録媒体に記録する。
【００３８】
操作部３７は、ユーザによる操作の下に、撮像装置１が有する様々な機能について操作指令を発する。電源部３８は、DSP回路３１、EEPROM３２、画像処理部３３、メモリ３４、表示部３５、記録部３６、操作部３７、およびネットワークI/F３９の動作電源となる各種の電源を、これら供給対象に対して適宜供給する。
【００３９】
ネットワークI/F３９は、他の撮像装置１やサーバなどと、無線やインターネットを介して通信を行う。
【００４０】
＜画像処理部の構成例＞
図３は、画像処理部の機能構成例を示すブロック図である。
【００４１】
図３の例において、画像処理部３３は、画像切り分け処理部５１、合成条件推定処理部５２、画像合成処理部５３、および表示制御部５４を含むように構成される。
【００４２】
DSP回路３１からの撮影画像は、メモリ３４に記録される。画像切り分け処理部５１は、メモリ３４から撮影画像を読み出し、読み出した撮影画像を、直変換領域、重複領域、バッファ領域に切り分け、分割する。画像切り分け処理部５１は、EEPROM３２に記憶されているカメラ初期条件情報に基づいて、直変換領域画像、重複領域画像、バッファ領域画像をメモリ３４に記録する。
【００４３】
合成条件推定処理部５２は、直変換領域画像、重複領域画像、バッファ領域画像をメモリ３４から読み出し、そのうちの重複領域画像を用いて、合成条件を推定する。合成条件推定処理部５２は、推定された合成条件と、直変換領域画像、重複領域画像、およびバッファ領域画像とを画像合成処理部５３に供給する。
【００４４】
画像合成処理部５３は、例えば、GPUなど並列演算処理機能を有する演算装置で構成される。画像合成処理部５３は、EEPROM３２に記憶されているカメラ初期条件情報に基づいて、直変換領域画像についての合成処理を行う。画像合成処理部５３は、合成条件推定処理部５２からの合成条件を用いて、重複領域画像についての合成処理を行う。さらに、画像合成処理部５３は、カメラ初期条件および合成条件を用いて、バッファ領域画像についての合成処理を行い、合成画像を生成する。画像合成処理部５３は、生成された合成画像を、メモリ３４に記録するとともに、表示制御部５４に出力する。
【００４５】
表示制御部５４は、合成画像を、LCDなどの表示部に表示させる。
【００４６】
＜一般的な合成処理＞
次に、図４を参照して、パノラマ画像（合成画像）を生成するための一般的な貼りあわせ合成処理について説明する。図４の例において、黒点は、特徴点を表している。
【００４７】
図４Ａの例においては、被写体の例として、左からＡ，Ｂ，Ｃの文字と、それらの文字の下にある水平ラインが示されている。また、図４Ａの例においては、これらの被写体に対して、カメラモジュール１１−１の撮影領域７１−１（点線）と、カメラモジュール１１−２の撮影領域７１−２（点線）が示されている。図４Ａの撮影領域７１−１および７１−２に示されるように、例えば、両方の撮影領域の上下が一致していない。
【００４８】
図４Ｂの撮影画像７２−１は、撮影領域７１−１でカメラモジュール１１−１により撮影された画像である。図４Ｂの撮影画像７２−２は、撮影領域７１−２でカメラモジュール１１−２により撮影された画像である。
【００４９】
これらの撮影画像７２−１および７２−２が入力されて、貼り合わせ合成（スティッチング）処理が行われる。例えば、まず、撮影画像７２−１および７２−２において、カメラモジュール固有のディスト―ション、シェーディングといった画像の歪みが補正され、補正された画像が各カメラモジュール１１−１および１１−２の撮影向きに合わせて、射影変形される。
【００５０】
次に、図４Ｂに示されるように、撮影画像７２−１および７２−２において重複されている領域である重複領域内の特徴点（例えば、図中４の黒点）が抽出されて、対応する点が探索される。そして、対応する点同士の位置が近似になるよう、合成条件が解析される。その後、射影変形された各画像を、円筒面など所望の投影方式に合わせて、画像が変形（ワーピング）される。
【００５１】
最後に、重複領域の輝度信号の不連続性をなだらかにするなど、ダブった画像信号が目立たないよう、ブレンディングと呼ばれる処理が行われる。以上のような一般的な貼り合わせ合成処理の結果、図４Ｃに示されるように、合成画像７３が生成される。
【００５２】
＜本技術の概要＞
次に、図５を参照して、特徴点抽出におけるエラーの影響について説明する。図５Ａに示されるように、撮影画像８１−１および８１−２における重複領域内で抽出された特徴点（図中４の黒点）が比較的正しい（ほぼエラーなし）場合はよい。
【００５３】
しかしながら、貼り合わせ合成後の撮影画角を広くするために重複領域を小さくすることがある。このとき、図５Ｂに示されるように、撮影画像８２−１および８２−２における重複領域内で抽出された特徴点（図中４の黒点）にエラー（誤差）があると、図５Ｃに示される合成画像８３のように、特徴点の誤差が重複領域の反対側に大きく表れてしまうことがある。
【００５４】
特に、動画像の場合、その誤差がフレーム毎に変化すると、全体画像の画角が小刻みに変動し、視聴上の不快感をもたらしてしまう。
【００５５】
そこで、本技術においては、図６に示されるように、撮影画像９１−１は、直変換領域９１−１ａ、バッファ領域９１−１ｂ、重複領域９１−１ｃに分割されて、画像処理部３３に入力される。同様に、撮影画像９１−２は、直変換領域９１−２ａ、バッファ領域９１−２ｂ、重複領域９１−２ｃに分割されて、画像処理部３３に入力される。
【００５６】
ここで、重複領域は、各カメラモジュール間の撮影範囲で重複する領域のことである。直変換領域は、重複しない領域で、貼り合わせ合成の際には、その画像だけで変換される領域のことである。バッファ領域は、重複しない領域で、重複領域と直変換領域との間に設定される領域である。
【００５７】
各領域の割り当ては、レンズの光学設計や被写体に応じて適正な値に変更される。例えば、重複領域９１−１ｃおよび９１−２ｃを撮影画角の10%とした場合、直変換領域９１−１ａおよび９１−２ａが50%で、バッファ領域９１−１ｂおよび９１−２ｂが40%となる。本技術においては、できるだけ重複領域が狭く設定される。
【００５８】
画像処理部３３には、撮影画像９１−１として、図７に示されるように、直変換領域画像１０１−１、バッファ領域画像１０２−１、重複領域画像１０３−１が入力される。また、画像処理部３３においては、撮影画像９１−２として、図７に示されるように、直変換領域画像１０１−２、バッファ領域画像１０２−２、重複領域画像１０３−２が入力される。
【００５９】
そして、画像処理部３３においては、分割された領域に対して、その領域に応じた貼り合わせ合成に関する処理が行われる。以下、本技術の貼り合わせ合成について詳細を説明する。
【００６０】
図８の例においては、EEPROM３２に記憶されているカメラ初期条件情報から求められた貼り合わせ合成のテンプレート１１１−１および１１１−２が示されている。
【００６１】
直変換領域画像１０１−１および１０１−２に対しては、EEPROM３２に記憶されているカメラ初期条件情報（各カメラモジュールの向きの情報）に基づいて、貼り合わせ合成（射影変換およびワーピング）が行われる。この結果、直変換領域画像１０１−１および１０１−２は、図９Ａに示されるように、テンプレート１１１−１および１１１−２に収まるように合成される。
【００６２】
重複領域画像１０３−１および１０３−２に対しては、図４を参照して上述したように、重複領域画像１０３−１および１０３−２から取得される合成条件に基づいて、貼り合わせ合成が行われる。この結果、重複領域画像１０３−１および１０３−２は、図９Ｂに示されるように、テンプレート１１１−１および１１１−２における重複領域に、少なくともそれらの特徴点が入るように収まるように合成される。
【００６３】
なお、直変換領域画像１０１−１および１０１−２に対する処理と、重複領域画像１０３−１および１０３−２に対する処理とは、並列で行うことができるので、これらの画像処理は、例えば、GPUなど並列演算処理機能を有する演算装置で行われるとよい。
【００６４】
バッファ領域画像１０２−１および１０２−２に対しては、直変換領域画像１０１−１および１０１−２の射影変換の条件と重複領域画像１０３−１および１０３−２の射影変換の条件とから求められる値（例えば、中間の値）を用いて、貼りあわせ合成が行われる。この結果、バッファ領域画像１０２−１の画像は、図９Ｃに示されるように、直変換領域画像１０１−１と重複領域画像１０３−１を繋ぐようにその間に収められるように合成される。同様に、バッファ領域画像１０２−２の画像は、図９Ｃに示されるように、直変換領域画像１０１−２と重複領域画像１０３−２を繋ぐようにその間に収められるように合成される。
【００６５】
なお、バッファ領域画像１０２−１および１０２−２を、X,Y方向に数段階分割することで、直変換領域画像１０１−１および１０１−２の射影変換の条件と重複領域画像１０３−１および１０３−２の射影変換の条件の差をなだらかにすることができる。
【００６６】
＜画像処理の例＞
次に、図１０のフローチャートを参照して、撮像装置１の画像処理の１つである貼り合わせ合成処理について説明する。
【００６７】
DSP回路３１は、撮影された輝度信号を画像に変換し、メモリ３４に保存させる。メモリ３４は、ステップＳ１１において、２つの撮像画像を保存する。この２つの撮影画像は、カメラモジュール１１−１および１１−２でそれぞれ撮像された画像である。
【００６８】
画像切り分け処理部５１は、ステップＳ１２において、メモリ３４から２つの撮影画像を読み出し、EPROM３２に記憶されているカメラ初期条件情報に基づいて、読み出した撮影画像を、直変換領域、重複領域、およびバッファ領域に分割する。画像切り分け処理部５１は、分割された直変換領域画像、重複領域画像、およびバッファ領域画像をメモリ３４に記録する。
【００６９】
合成条件推定処理部５２は、直変換領域画像、重複領域画像、およびバッファ領域画像をメモリ３４から読み出し、ステップＳ１３において、そのうちの重複領域画像を用いて合成条件推定処理を行う。この合成条件推定処理の詳細は、図１１を参照して後述する。
【００７０】
ステップＳ１３により合成条件が推定され、合成条件推定処理部５２は、推定された合成条件と、直変換領域画像、重複領域画像、およびバッファ領域画像とを画像合成処理部５３に供給する。
【００７１】
ステップＳ１４において、画像合成処理部５３は、直変換領域画像を用いて、EEPROM３２に記憶されているカメラ初期条件情報に基づく合成処理を行う。この合成処理の詳細は、図１２を参照して後述する。
【００７２】
ステップＳ１４により、直変換領域画像１０１−１および１０１−２が図９Ａに示されたように合成される。
【００７３】
ステップＳ１５において、画像合成処理部５３は、重複領域画像を用いて、ステップＳ１６により推定された合成条件に基づく合成処理を行う。なお、この合成処理は、用いられる画像と基づく条件が異なるだけであり、後述する図１２の合成処理と基本的に同じであるので、その詳細な説明は省略される。
【００７４】
ステップＳ１５により、重複領域画像１０３−１および１０３−２が図９Ｂに示されたように合成される。
【００７５】
なお、ステップＳ１４およびＳ１５の処理は、並行で行われてもよい。
【００７６】
ステップＳ１６において、画像合成処理部５３は、バッファ領域画像を用いて、直変換領域と重複領域との合成条件（例えば、中間の条件）に基づく合成処理を行う。なお、この合成処理も、用いられる画像と基づく条件が異なるだけであり、後述する図１２の合成処理と基本的に同じであるので、その詳細な説明は省略される。
【００７７】
ステップＳ１６により、バッファ領域画像１０２−１および１０２−２が図９Ｃに示されたように合成される。すなわち、バッファ領域画像１０２−１は、図９Ｃに示されるように、直変換領域画像１０１−１と重複領域画像１０３−１を繋ぐようにその間に収められるように合成される。同様に、バッファ領域画像１０２−２は、図９Ｃに示されるように、直変換領域画像１０１−２と重複領域画像１０３−２を繋ぐようにその間に収められるように合成される。
【００７８】
以上のようにして、合成画像が生成されるので、ステップＳ１７において、画像合成処理部５３は、生成された合成画像を、メモリ３４に記録するとともに、表示制御部５４に出力する。表示制御部５４は、合成画像を表示部３５に表示させる。
【００７９】
次に、図１１のフローチャートを参照して、図１０のステップＳ１３の合成条件推定処理について説明する。
【００８０】
合成条件推定処理部５２は、ステップＳ３１において、重複領域画像を用いて、特徴点を抽出する。合成条件推定処理部５２は、ステップＳ３２において、抽出された特徴点をマッチングして、合成条件を推定する。
【００８１】
次に、図１２のフローチャートを参照して、図１０のステップＳ１４の合成処理について説明する。なお、この処理は、直変換領域画像の場合の例であり、直変換領域画像を用いて、EEPROM３２に記憶されているカメラ初期条件情報に基づいて行われる。
【００８２】
画像合成処理部５３は、ステップＳ５１において、カメラ初期条件情報に基づき、直変換領域画像を用いて、射影変換を行う。ステップＳ５２において、画像合成処理部５３は、射影変換を行う。画像合成処理部５３は、ステップＳ５３において、画像合成を行う。以上の処理により、図９Ａに示されたように直変換領域画像が合成される。
【００８３】
以上のように、画像を３つの領域に分けて、各領域に対応する合成処理を行うようにしたので、貼りあわせ合成後の画角を固定することができ、貼りあわせ後の画像の精度を向上させることができる。
【００８４】
重複領域とバッファ領域の計算容量を低減することができる。さらに、画像を分けることで並行処理が可能になるので、処理の高速化を図ることができる。
【００８５】
＜第２の実施の形態（RAWデータ使用の例）＞
＜画像処理部の構成例＞
図１３は、画像処理部の機能構成の他の例を示すブロック図である。
【００８６】
図１３の画像処理部３３は、表示制御部５４を備える点が、図３の画像処理部と共通している。図１３の画像処理部３３は、画像切り分け処理部５１が除かれた点と、合成条件推定処理部５２が合成条件推定処理部１５１に入れ替わった点と、画像合成処理部５３が画像合成処理部１５２に入れ替わった点とが、図３の画像処理部３３と異なっている。
【００８７】
DSP回路３１からの撮影画像は、メモリ３４に記録される。また、その際、DSP回路３１は、重複領域画像のRAWデータもメモリ３４に記録する。
【００８８】
合成条件推定処理部１５１は、撮影画像と重複領域画像（RAWデータ）をメモリ３４から読み出し、そのうちの重複領域画像のRAWデータを用いて、合成条件を推定する。合成条件推定処理部１５１は、推定された合成条件と撮影画像とを画像合成処理部１５２に供給する。
【００８９】
画像合成処理部１５２は、合成条件推定処理部１５１からの合成条件を用いて、撮影画像についての合成処理を行い、合成画像を生成する。画像合成処理部１５２は、生成された合成画像を、メモリ３４に記録するとともに、表示制御部５４に出力する。
【００９０】
図１３の画像処理部３３においては、図１４の撮影画像１６１−１および１６１−２に追加して、重複領域画像のRAWデータ１６２−１および１６２−２も記録されている。したがって、合成条件推定処理部５２は、重複領域画像のRAWデータを用いて合成条件を生成することができる。これにより、合成条件の精度を向上させることができる。
【００９１】
＜画像処理の例＞
次に、図１５のフローチャートを参照して、図１３の画像処理部３３により実行される貼り合わせ合成処理について説明する。
【００９２】
DSP回路３１は、撮影された２つの撮影画像とそれらの重複領域画像のRAWデータを、メモリ３４に保存させる。メモリ３４は、ステップＳ１５１において、２つの撮像画像と重複領域の画像RAWデータとを保存する。
【００９３】
合成条件推定処理部１５１は、撮影画像と重複領域画像（RAWデータ）をメモリ３４から読み出し、ステップＳ１５２において、そのうちの重複領域画像のRAWデータを用いて合成条件推定処理を行う。この合成条件推定処理の詳細は、用いたデータがRAWデータであることが異なるだけであり、上述した図１１の合成条件推定処理と基本的に同じであるので、その詳細な説明は省略される。
【００９４】
ステップＳ１５２により合成条件が推定され、合成条件推定処理部１５１は、推定された合成条件と、撮影画像を画像合成処理部１５２に供給する。
【００９５】
ステップＳ１５３において、画像合成処理部１５２は、撮影画像を用いて、ステップＳ１５２により推定された合成条件に基づく合成処理を行う。なお、この合成処理は、用いられる画像と基づく条件が異なるだけであり、上述した図１２の合成処理と基本的に同じであるので、その詳細な説明は省略される。
【００９６】
以上のようにして、合成画像が生成されるので、ステップＳ１５４において、画像合成処理部１５２は、生成された合成画像を、メモリ３４に記録するとともに、表示制御部５４に出力する。表示制御部５４は、合成画像を表示部３５に表示させる。
【００９７】
以上のように、撮影画像以外に、重複領域画像のRAWデータを保存しておき、重複領域画像のRAWデータに基づく合成条件が生成されることとなる。これにより、合成条件の精度を向上させることができる。
【００９８】
なお、第２の実施の形態においては、撮影画像を合成処理に用いる例を説明したが、第２の実施の形態の技術は、第１の実施の形態のように、撮影画像を３つの領域に分けて、各領域に対応する合成処理を行うようにする場合にも適用することができる。
【００９９】
＜第３の実施の形態（複数露出条件の例）＞
＜画像処理部の構成例＞
図１６は、画像処理部の機能構成の他の例を示すブロック図である。
【０１００】
図１６の画像処理部３３は、画像合成処理部１５２および表示制御部５４を備える点が、図１３の画像処理部と共通している。図１６の画像処理部３３は、合成条件推定処理部１５１が合成条件推定処理部１７１に入れ替わった点が、図３の画像処理部３３と異なっている。
【０１０１】
DSP回路３１からの撮影画像は、メモリ３４に記録される。また、その際、DSP回路３１は、カメラモジュール１１のブラケット撮影により、露出条件違い（以下、露出違いとも称する）の複数の重複領域画像のRAWデータもメモリ３４に記録する。
【０１０２】
合成条件推定処理部１７１は、撮影画像と露出違いの複数の重複領域画像（RAWデータ）をメモリ３４から読み出し、そのうちの露出違いの複数の重複領域画像のRAWデータを用いて、合成条件を推定する。合成条件推定処理部１７１は、推定された合成条件と撮影画像とを画像合成処理部１５２に供給する。
【０１０３】
画像合成処理部１５２は、合成条件推定処理部１７１からの合成条件を用いて、撮影画像についての合成処理を行い、合成画像を生成する。画像合成処理部１５２は、生成された合成画像を、メモリ３４に記録するとともに、表示制御部５４に出力する。
【０１０４】
図１６の画像処理部３３においては、図１７に示されるように、撮影画像１８１−１および撮影画像１８１−２に追加して、露出違いの重複領域画像のRAWデータ１８２−１ａ乃至１８２−１ｃおよび露出違いの重複領域画像のRAWデータ１８２−２ａ乃至１８２−２ｃも記録されている。
【０１０５】
したがって、合成条件推定処理部５２により露出違いの複数の重複領域画像のRAWデータに基づく合成条件が生成されることとなる。すなわち、特徴点が明確に取得できる。これにより、合成条件の精度を向上させることができる。
【０１０６】
なお、露出違いの重複領域画像のRAWデータではなく、露出違いの重複領域画像を保存して合成条件推定処理に用いられるようにしてもよい。また、露出条件違いではなく、解像度違いの重複領域画像のデータであってもよい。この場合も、解像度の異なる複数枚の画像で、特徴点を明確にすることが可能である。さらに、異なるものは、露出条件や解像度だけでなく、他の撮影条件であってもよいし、画像の品質であってもよい。
【０１０７】
＜画像処理の例＞
次に、図１８のフローチャートを参照して、図１６の画像処理部３３により実行される貼り合わせ合成処理について説明する。
【０１０８】
DSP回路３１は、撮影された２つの撮影画像と露出違いの複数の重複領域画像のRAWデータを、メモリ３４に保存させる。メモリ３４は、ステップＳ１８１において、２つの撮像画像と露出違いの複数の重複領域画像のRAWデータとを保存する。
【０１０９】
合成条件推定処理部１７１は、撮影画像と露出違いの複数の重複領域画像（RAWデータ）をメモリ３４から読み出し、ステップＳ１８２において、そのうちの露出違いの重複領域画像のRAWデータを用いて合成条件推定処理を行う。この合成条件推定処理の詳細は、図１９を参照して後述される。
【０１１０】
ステップＳ１８２により合成条件が推定され、合成条件推定処理部１７１は、推定された合成条件と、撮影画像を画像合成処理部１５２に供給する。
【０１１１】
ステップＳ１８３において、画像合成処理部１５２は、撮影画像を用いて、ステップＳ１１２により推定された合成条件に基づく合成処理を行う。なお、この合成処理は、用いられる画像と基づく条件が異なるだけであり、上述した図１２の合成処理と基本的に同じであるので、その詳細な説明は省略される。
【０１１２】
以上のようにして、合成画像が生成されるので、ステップＳ１８４において、画像合成処理部１５２は、生成された合成画像を、メモリ３４に記録するとともに、表示制御部５４に出力する。
【０１１３】
次に、図１９のフローチャートを参照して、図１８のステップＳ１８２の合成条件推定処理について説明する。なお、図１９の例においては、露出違いの重複領域画像を、単に露出画像と称する。
【０１１４】
合成条件推定処理部１７１は、ステップＳ１９１において、１つの露出画像を選択する。合成条件推定処理部１７１は、ステップＳ１９２において、選択した露出画像を用いて、特徴点を抽出する。
【０１１５】
合成条件推定処理部１７１は、ステップＳ１９３において、抽出した特徴点の数が十分であるか否かを判定する。ステップＳ１９３において、十分ではないと判定された場合、処理は、ステップＳ１９１に戻る。ステップＳ１９３において、十分であると判定された場合、処理は、ステップＳ１９４に進む。
【０１１６】
合成条件推定処理部１７１は、ステップＳ１９４において、抽出された特徴点をマッチングして、合成条件を推定する。
【０１１７】
以上のように、撮影画像以外に、露出違いの複数の重複領域画像のRAWデータを保存しておき、露出違いの複数の重複領域画像のRAWデータに基づく合成条件が生成されることとなる。これにより、第２の実施の形態の場合よりもさらに合成条件の精度を向上させることができる。
【０１１８】
なお、第３の実施の形態においても、撮影画像を合成処理に用いる例を説明したが、第３の実施の形態の技術は、第１の実施の形態のように、撮影画像を３つの領域に分けて、各領域に対応する合成処理を行うようにする場合にも適用することができる。
【０１１９】
＜第４の実施の形態（伝送の例）＞
＜システムの構成例＞
図２０は、本技術を適用した画像処理システムの構成例を示す図である。
【０１２０】
図２０の画像処理システムは、送信側の撮像装置１−１および受信側の撮像装置１−２により構成されている。例えば、両者は互いに遠く離れた場所に設置されている。
【０１２１】
撮像装置１−１および１−２は、図２の撮像装置１と基本的に同様に構成されている。撮像装置１−１の画像処理部３３−１は、撮影画像を、撮像装置１−２に送信する。この送信の際に、例えば、先立って、画像全体は低解像度で送信され、重複領域画像のみがRAWデータで送信される。また、後追いで、画像全体の高解像度データが送信される。
【０１２２】
撮像装置１−２の画像処理部３３−２は、撮像装置１−１からの撮影画像を受ける。画像処理部３３−２は、先立って受け取った重複領域画像のRAWデータを用いて、合成条件を生成し、生成された合成条件を用いて、後追いで受けた撮影画像の高解像度データで、合成処理を行う。
【０１２３】
以上のように行うことで、図２０の画像処理システムにおいては、作業効率を上げるとともに、貼り込み合成の精度を上げることができる。
【０１２４】
なお、図２０の画像処理システムにおいて、受信側は、必ずしも撮像装置でなくてもよく、画像処理部３３−２を備えた画像処理装置などであってもよい。また、図２０の例においては、重複領域画像のRAWデータが受け渡しされる例を示したが、重複領域画像の高解像度データであってもよい。
【０１２５】
＜画像処理部の構成例＞
図２１は、送信側の画像処理部の機能構成の他の例を示すブロック図である。
【０１２６】
図２１の画像処理部３３−１は、画像切り分け処理部５１、合成条件推定処理部５２、画像合成処理部５３、および表示制御部５４を除かれた点と、ファイル転送部２１１−１および２１１−２が追加された点が、図１３の画像処理部３３と異なっている。
【０１２７】
DSP回路３１からの撮影画像は、低解像度、高解像度で、メモリ３４に記録される。また、その際、DSP回路３１は、重複領域画像のRAWデータもメモリ３４に記録する。
【０１２８】
ファイル転送部２１１−１は、ファイル転送部２１１−２の伝送に先立ち、撮影画像の低解像度データと、重複領域画像のRAWデータ、およびEEPROM３２のカメラ初期条件情報とをひとまとめにして、ネットワークI/F３９を介して、画像処理部３３−２に送信する。
【０１２９】
ファイル転送部２１１−２は、ファイル転送部２１１−１の伝送に後追いで、撮影画像の高解像度データを、ネットワークI/F３９を介して、画像処理部３３−２に送信する。
【０１３０】
図２２は、受信側の画像処理部の機能構成の他の例を示すブロック図である。
【０１３１】
図２２の画像処理部３３−２は、表示処理部５４を備える点は、図１３の画像処理部３３と共通している。図２２の画像処理部３３−２は、合成条件推定処理部５２が合成条件推定処理部２３２に、画像合成処理部５３が画像合成処理部２３３および２３５に入れ替わった点が、図１３の画像処理部３３と異なっている。
【０１３２】
また、図２２の画像処理部３３−２は、画像切り分け処理部５１を除かれた点と、ファイル受信部２３１−１および２３１−２、並びにプレビュ表示処理部２３４が追加された点が、図１３の画像処理部３３と異なっている。
【０１３３】
すなわち、ファイル受信部２３１−１は、ネットワークI/F３９を介して、画像処理部３３−１からの撮影画像の低解像度データと、重複領域画像のRAWデータ、およびカメラ初期条件情報を受信し、メモリ３４に記録する。
【０１３４】
後追いで、ファイル受信部２３１−２は、ネットワークI/F３９を介して、画像処理部３３−２からの撮影画像の高解像度データを受信し、メモリ３４に記録する。
【０１３５】
合成条件推定処理部２３２は、カメラ初期条件情報、撮影画像の低解像度データ、重複領域画像のRAWデータをメモリ３４から読み出し、そのうちの重複領域画像のRAWデータを用いて、合成条件を推定する。合成条件推定処理部２３２は、推定された合成条件と、撮影画像の低解像度データとを画像合成処理部２３３に供給する。
【０１３６】
画像合成処理部２３３は、合成条件を用いて、撮影画像の低解像度データについての合成処理を行い、合成画像を生成する。画像合成処理部２３３は、生成された合成画像を、メモリ３４に記録するとともに、プレビュ表示制御部２３４に出力する。画像合成処理部２３３は、合成条件をメモリ３４に記録する。
【０１３７】
プレビュ表示制御部２３４は、撮影画像の低解像度データについての合成画像を表示部３５に表示させる。撮影画像の低解像度データについての合成画像は、サムネイル（プレビュ画像）のような高解像度の必要のない閲覧用に用いられる。
【０１３８】
画像合成処理部２３５は、メモリ３４から、撮影画像の高解像度データと合成条件を読み出し、読み出した合成条件で、撮影画像の高解像度データについて合成処理を行い、合成画像を生成する。画像合成処理部２３５は、生成した合成画像を、表示制御部５４に出力する。表示制御部５４は、合成画像を表示部３５に表示させる。
【０１３９】
図２１および図２２の画像処理部３３−１および３３−２においては、図２３に示されるように、撮影画像の低解像度データ２５１−１および２５１−２に追加して、重複領域画像のRAWデータ２５２−１および２５２−２も記録されて、伝送されてくる。その後、図示せぬ撮影画像の高解像度データが記録されて、伝送されてくる。
【０１４０】
したがって、先に、重複領域画像のRAWデータで合成条件を生成し、低解像度データでプレビュ表示までしておくことができる。これにより、作業効率のアップと合成条件の精度を向上させることができる。また、合成処理成功確率を向上させることができる。
【０１４１】
＜画像処理の例＞
次に、図２４のフローチャートを参照して、図２１の送信側の画像処理部３３−１により実行される画像処理について説明する。
【０１４２】
DSP回路３１は、撮影画像の低解像度データおよび高解像度データと、重複領域画像のRAWデータをメモリ３４に記録する。メモリ３４は、ステップＳ２１１において、撮影画像の低解像度データおよび高解像度データと、重複領域画像のRAWデータを記録する。
【０１４３】
ファイル転送部２１１−１は、ステップＳ２１２において、撮影画像の低解像度データと、重複領域画像のRAWデータ、およびEEPROM３２のカメラ初期条件情報とをまとめて、ネットワークI/F３９を介して、画像処理部３３−２に送信する。
【０１４４】
ファイル転送部２１１−２は、ステップＳ２１２の処理の後、ステップＳ２１３において、撮影画像の高解像度データを、ネットワークI/F３９を介して、画像処理部３３−２に送信する。
【０１４５】
次に、図２５のフローチャートを参照して、図２２の受信側の画像処理部３３−２により実行される貼り合わせ合成処理について説明する。
【０１４６】
ファイル受信部２３１−１は、ステップＳ２３１において、画像処理部３３−１からの撮影画像の低解像度データと、重複領域画像のRAWデータ、およびカメラ初期条件情報をネットワークI/F３９を介して受信し、メモリ３４に記録する。
【０１４７】
ファイル受信部２３１−２は、ステップＳ２３２において、画像処理部３３−２からの撮影画像の高解像度データをネットワークI/F３９を介して受信し、メモリ３４に記録する。
【０１４８】
合成条件推定処理部２３２は、カメラ初期条件情報、撮影画像の低解像度データ、重複領域画像のRAWデータをメモリ３４から読み出し、ステップＳ２３３において、そのうちの重複領域画像のRAWデータを用いて、合成条件を推定する。この合成条件推定処理の詳細は、用いたデータがRAWデータであることが異なるだけであり、上述した図１１の合成条件推定処理と基本的に同じであるので、その詳細な説明は省略される。
【０１４９】
画像合成処理部２３３は、ステップＳ２３４において、撮影画像の低解像度データを用いて、合成条件に基づくプレビュ画像の合成処理を行い、合成画像を生成する。なお、この合成処理は、用いられる画像と基づく条件が異なるだけであり、上述した図１２の合成処理と基本的に同じであるので、その詳細な説明は省略される。一方、画像合成処理部２３３は、生成されたプレビュ合成画像を、メモリ３４に記録するとともに、プレビュ表示制御部２３４に出力する。プレビュ表示制御部２３４は、プレビュ合成画像を表示部３５に表示させる。
【０１５０】
ステップＳ２３５において、画像合成処理部２３３は、撮影画像高解像度データを用いて、合成条件に基づく画像の合成処理を行い、合成画像を生成する。なお、この合成処理は、用いられる画像と基づく条件が異なるだけであり、上述した図１２の合成処理と基本的に同じであるので、その詳細な説明は省略される。一方、画像合成処理部１５２は、生成された合成画像を、メモリ３４に記録するとともに、ステップＳ２３６において、表示制御部５４に出力する。表示制御部５４は、合成画像を表示部３５に表示させる。
【０１５１】
以上ように、撮影画像を転送する場合、先に、重複領域画像のRAWデータで合成条件を生成し、低解像度データでプレビュ表示までしておくことができる。これにより、作業効率のアップと合成条件の精度を向上させることができる。また、合成処理成功確率を向上させることができる。
【０１５２】
なお、第４の実施の形態においても、撮影画像を合成処理に用いる例を説明したが、第２の実施の形態の技術は、第１の実施の形態のように、撮影画像を３つの領域に分けて、各領域に対応する合成処理を行うようにする場合にも適用することができる。
【０１５３】
ところで、上記第２の実施の形態においては、重複領域画像として、RAWデータを使用して合成条件を推定する例を説明したが、次に、重複領域画像として、高フレームレート画像を使用して合成条件を推定する例について説明する。なお、これは、カメラ間の動画の撮影開始時刻を、１フレームの時間よりも高精度に同期させる機能がカメラに備わっていない場合に有効な方法である。
【０１５４】
＜第５の実施の形態（高フレームレート画像の例）＞
＜画像処理部の構成例＞
図２６は、画像処理部の機能構成の他の例を示すブロック図である。
【０１５５】
図２６の画像処理部３３は、画像合成処理部１５２および表示制御部５４を備える点が、図１３の画像処理部３３と共通している。図２６の画像処理部３３は、合成条件推定処理部１５１が合成条件推定処理部３１１に入れ替わった点とフレーム補間同期調整部３１２が追加された点が、図１３の画像処理部３３と異なっている。
【０１５６】
また、図２６の画像処理部３３は、メモリ３４に記録される重複領域画像のRAWデータが、重複領域画像の高フレームレート画像に入れ替わった点が、図１３の画像処理部３３と異なっている。
【０１５７】
すなわち、DSP回路３１からの撮影画像は、メモリ３４に記録される。また、その際、DSP回路３１は、重複領域画像の高フレームレート画像もメモリ３４に記録する。
【０１５８】
合成条件推定処理部３１１は、撮影画像と重複領域画像（高フレームレート画像）をメモリ３４から読み出し、撮影画像と重複領域画像（高フレームレート画像）を用いて、特徴点をマッチングし、誤差を求め、合成条件を推定する。
【０１５９】
その際、合成条件推定処理部３１１は、一方のカメラの撮影画像の特徴点と、他方の重複領域の高フレームレート画像の特徴点とをマッチングする。合成条件推定処理部３１１は、マッチングの誤差に基づいて、マッチング誤差が１番小さかった他方のカメラの重複領域のフレームと、一方のカメラの撮影画像のフレームの時間差を解析する。合成条件推定処理部３１１は、時間差があった場合、フレーム補間同期調整部３１２に、他方のカメラの撮影画像の後続するフレームについてフレーム補間を行わせ、他方のカメラの撮影画像として、メモリ３４に格納させる。これにより、マッチング誤差が１番小さかったフレームを起点に、２つのカメラの撮影画像を同期させることができる。
【０１６０】
そして、合成条件推定処理部３１１は、同期された両方の撮影画像を用いて、特徴点をマッチングし、誤差を求め、合成条件を推定し、推定された合成条件と撮影画像とを、画像合成処理部１５２に供給する。
【０１６１】
フレーム補間同期調整部３１２は、合成条件推定処理部３１１の制御のもと、他方のカメラの撮影画像の後続するフレームについてフレーム補間を行い、他方のカメラの撮影画像として、メモリ３４に格納する。
【０１６２】
画像合成処理部１５２は、合成条件推定処理部３１１からの合成条件を用いて、撮影画像についての合成処理を行い、合成画像を生成する。画像合成処理部１５２は、生成された合成画像を、メモリ３４に記録するとともに、表示制御部５４に出力する。
【０１６３】
次に、図２７を参照して、図２６の画像処理部３３の合成処理について説明する。なお、以下、説明の便宜上、上述した一方のカメラモジュールをメインカメラと称し、フレーム補間が行われる他方のカメラモジュールをスレーブカメラと称する。カメラモジュール１１−１および１１−２どちらのフレーム補間を行うようにするかは、例えば、カメラ初期条件情報の１つの情報としてEEPROM３２に記録されている。また、図２７の各画像における丸は時計を表し、丸の中の線は、時刻を示す。線が同じ位置の場合、同じ時刻であることを示す。
【０１６４】
図２６の画像処理部３３においては、図２７に示されるように、例えば、i番目のフレームのメインカメラの撮影画像３３１−１とスレーブカメラの撮影画像３３１−２に追加して、スレーブカメラの重複領域画像の高フレームレート画像３３２−２が記録されている。図２７の例においては、高フレームレート画像３３２−２が、撮影画像３３１−１および３３１−２の２倍のフレームレートの例が示されている。
【０１６５】
なお、図２７には、i+1番目のフレームのメインカメラの撮影画像３３３−１と、スレーブカメラの撮影画像３３３−２も示されている。すなわち、高フレームレート画像３３２−２ａは、i番目のフレームのスレーブカメラの撮影画像３３１−２と同時刻の画像で、高フレームレート画像３３２−２ｂは、スレーブカメラの撮影画像３３１−２より１/２フレーム後の時刻の画像で、高フレームレート画像３３２−２ｃは、スレーブカメラの撮影画像３３１−２より１フレーム後の時刻の画像（すなわち、高フレームレート画像３３２−２と同時刻の画像）である。
【０１６６】
まず、メインカメラの撮影画像３３１−１と、スレーブカメラの重複領域の高フレームレート画像３３２−２とが用いられて、特徴点がマッチングされて、誤差が求められる。求められた誤差が最小のフレーム（図２７の場合、高フレームレート画像３３２−２ｂ）が求められる。
【０１６７】
そして、誤差が最小のフレーム（図２７の場合、高フレームレート画像３３２−２ｂ）と、メインカメラの撮影画像のフレーム（撮影画像３３１−１）とが同時刻でない場合、高フレームレート画像３３２−２ｂの時刻（１／２フレーム後の時刻）で作り直された撮影画像３３４−２がスレーブカメラのi番目のフレームとして用いられて、これ以降のスレーブカメラのフレームも補間される。
【０１６８】
その後、以上のようなフレーム補間の結果が用いられて、合成条件が生成される。これにより、合成条件の時間方向の精度を向上させることができる。
【０１６９】
なお、上述した重複領域の高フレームレート撮影は、撮影開始の初期部分のみに限定してもかまわない。あるいは、重複領域の高フレームレート撮影は、撮影開始の初期部分および一定時間ごとに限定してもかまわない。
【０１７０】
＜画像処理の例＞
次に、図２８のフローチャートを参照して、図２６の画像処理部３３により実行される貼り合わせ合成処理について説明する。
【０１７１】
DSP回路３１は、撮影された２つの撮影画像と、一方のカメラモジュールの重複領域画像の高フレームレート画像を、メモリ３４に保存させる。メモリ３４は、ステップＳ３１１において、２つの撮像画像と一方のカメラモジュールの重複領域画像の高フレームレート画像とを保存する。
【０１７２】
合成条件推定処理部１７１は、撮影画像と重複領域画像（高フレームレート画像）をメモリ３４から読み出し、ステップＳ３１２において、撮影画像と重複領域画像（高フレームレート画像）を用いて合成条件推定処理を行う。この合成条件推定処理の詳細は、図２９を参照して後述される。
【０１７３】
ステップＳ３１２により合成条件が推定され、合成条件推定処理部１７１は、推定された合成条件と、撮影画像を画像合成処理部１５２に供給する。
【０１７４】
ステップＳ３１３において、画像合成処理部１５２は、撮影画像を用いて、ステップＳ３１２により推定された合成条件に基づく合成処理を行う。なお、この合成処理は、用いられる画像と基づく条件が異なるだけであり、上述した図１２の合成処理と基本的に同じであるので、その詳細な説明は省略される。
【０１７５】
以上のようにして、合成画像が生成されるので、ステップＳ３１４において、画像合成処理部１５２は、生成された合成画像を、メモリ３４に記録するとともに、表示制御部５４に出力する。
【０１７６】
次に、図２９のフローチャートを参照して、図２８のステップＳ３１２の合成条件推定処理について説明する。
【０１７７】
合成条件推定処理部３１１は、ステップＳ３３１において、メインカメラの撮影画像の重複領域の特徴点を抽出し、ステップＳ３３２において、スレーブカメラの重複領域の１つのフレームを選択する。合成条件推定処理部３１１は、ステップＳ３３３において、選択したフレームを用いて、特徴点を抽出する。
【０１７８】
合成条件推定処理部３１１は、ステップＳ３３４において、メインカメラの撮影画像の重複領域の特徴点と、スレーブカメラの重複領域のフレームの特徴点とをマッチングし、誤差を求める。
【０１７９】
合成条件推定処理部３１１は、ステップＳ３３５において、マッチング解析する重複領域のフレームがなくなったか否かを判定する。ステップＳ３３５において、まだマッチング解析する重複領域のフレームがなくなっていないと判定された場合、処理は、ステップＳ３３２に戻り、それ以降の処理が繰り返される。
【０１８０】
ステップＳ３３５において、もうマッチング解析する重複領域のフレームがなくなったと判定された場合、処理は、ステップＳ３３６に進む。ステップＳ３３６において、合成条件推定処理部３１１は、マッチング誤差が最小のフレームは、メインカメラの撮影画像のフレームと同時刻であるか否かを判定する。
【０１８１】
ステップＳ３３６において、マッチング誤差が最小のフレームは、メインカメラの撮影画像のフレームと同時刻ではないと判定された場合、処理は、ステップＳ３３７に進む。
【０１８２】
ステップＳ３３７において、フレーム補間同期調整部３１２は、合成条件推定処理部３１１の制御のもと、スレーブカメラの撮影画像の後続するフレームを、特徴点のマッチング誤差が最小になった時点を起点にフレーム補間する。
【０１８３】
具体的には、図２７を参照して上述したように、誤差が最小のフレーム（図２７の場合、高フレームレート画像３３２−２ｂ）と、メインカメラの撮影画像のフレーム（撮影画像３３１−１）とが同時刻でない場合、高フレームレート画像３３２−２ｂの時刻（１／２フレーム後の時刻）でスレーブカメラのi番目の撮影画像を作り直す。
【０１８４】
そして、スレーブカメラのi番目のフレームとして、作り直された撮影画像３３４−２が用いられて、スレーブカメラの撮影画像の後続するフレームがフレーム補間される。フレーム補間された画像は、撮影画像としてメモリ３４に格納され、その後処理は、ステップＳ３３８に進む。
【０１８５】
一方、ステップＳ３３６において、マッチング誤差が最小のフレームは、メインカメラの撮影画像のフレームと同時刻であると判定された場合、処理は、ステップＳ３３８に進む。
【０１８６】
ステップＳ３３８において、合成条件推定処理部３１１は、フレーム補間により同期された撮影画像を用いて、特徴点をマッチングし、誤差を求め、合成条件を推定する。推定された合成条件と撮影画像とは、画像合成処理部１５２に供給される。
【０１８７】
以上のように、撮影画像以外に、重複領域の高フレームレート画像を保存しておき、露出重複領域の高フレームレート画像に基づく合成条件が生成されることとなる。これにより、合成条件の時間方向の精度を向上させることができる。
【０１８８】
なお、第５の実施の形態においても、撮影画像を合成処理に用いる例を説明したが、第５の実施の形態の技術は、第１の実施の形態のように、撮影画像を３つの領域に分けて、各領域に対応する合成処理を行うようにする場合にも適用することができる。
【０１８９】
また、上記説明においては、撮像装置を例に説明したが、重複領域を有する画像を貼り合わせ合成できる画像処理部を有するものであれば、本技術は、画像処理装置にも適用することができる。
【０１９０】
なお、上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。
【０１９１】
＜第６の実施の形態（コンピュータ）＞
＜コンピュータの構成例＞
図３０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１９２】
コンピュータ４００において、CPU(Central Processing Unit) ４０１、ROM(Read Only Memory)４０２、RAM(Random Access Memory)４０３は、バス４０４により相互に接続されている。
【０１９３】
バス４０４には、さらに、入出力インタフェース４０５が接続されている。入出力インタフェース４０５には、入力部４０６、出力部４０７、記憶部４０８、通信部４０９、およびドライブ４１０が接続されている。
【０１９４】
入力部４０６は、キーボード、マウス、マイクロホンなどよりなる。出力部４０７は、ディスプレイ、スピーカなどよりなる。記憶部４０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部４０９は、ネットワークインタフェースなどよりなる。ドライブ４１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体４１１を駆動する。
【０１９５】
以上のように構成されるコンピュータでは、CPU４０１が、例えば、記憶部４０８に記憶されているプログラムを入出力インタフェース４０５及びバス４０４を介してRAM４０３にロードして実行することにより、上述した一連の処理が行われる。
【０１９６】
コンピュータ（CPU４０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体４１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１９７】
コンピュータでは、プログラムは、リムーバブル記録媒体４１１をドライブ４１０に装着することにより、入出力インタフェース４０５を介して、記憶部４０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部４０９で受信し、記憶部４０８にインストールすることができる。その他、プログラムは、ROM４０２や記憶部４０８に、あらかじめインストールしておくことができる。
【０１９８】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１９９】
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２００】
また、本開示における実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０２０１】
さらに、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２０２】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２０３】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２０４】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２０５】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有するのであれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例また修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０２０６】
なお、本技術は以下のような構成も取ることができる。
（１）  複数のカメラモジュールによりそれぞれの撮影範囲に重複領域を有するように取得された複数の撮影画像を、前記重複領域の画像、重複しない領域である直変換領域の画像、および、前記重複領域と前記直変換領域との間に設けられるバッファ領域の画像にそれぞれ切り分ける画像切り分け部と、
前記画像切り分け部により切り分けられた前記重複領域の画像、前記直変換領域の画像、および前記バッファ領域の画像をそれぞれ貼り合わせ合成する貼り合わせ合成部と
を備える信号処理回路。
（２）  前記貼り合わせ合成部は、前記複数のカメラモジュールの初期条件を示す情報であるカメラ初期条件情報に基づいて、前記直変換領域の画像を貼り合わせ合成し、
前記重複領域の画像を用いて推定された合成条件に基づいて、前記重複領域の画像を貼り合わせ合成し、
前記カメラ初期条件と前記合成条件とに基づいて、前記バッファ領域の画像を貼り合わせ合成する
前記（１）に記載の信号処理回路。
（３）  前記貼り合わせ合成部は、前記カメラ初期条件と前記合成条件とを用いて求められる値に基づいて、前記バッファ領域の画像を貼り合わせ合成する
前記（２）に記載の信号処理回路。
（４）  前記バッファ領域の画像は、X,Y方向に数段階分割されている
前記（２）に記載の信号処理回路。
（５）  前記重複領域の画像を用いて前記合成条件を推定する合成条件推定部
をさらに備える前記（２）乃至（４）のいずれかに記載の信号処理回路。
（６）  複数のカメラモジュールと、
複数のカメラモジュールによりそれぞれの撮影範囲に重複領域を有するように取得された複数の撮影画像を、前記重複領域の画像、重複しない領域である直変換領域の画像、および、前記重複領域と前記直変換領域との間に設けられるバッファ領域の画像にそれぞれ切り分ける画像切り分け部と、
前記画像切り分け部により切り分けられた前記重複領域の画像、前記直変換領域の画像、および前記バッファ領域の画像をそれぞれ貼り合わせ合成する貼り合わせ合成部と
を備える信号処理回路と
を搭載する撮像装置。
（７）  複数のカメラモジュールによりそれぞれの撮影範囲に重複領域を有するように取得された複数の撮影画像、および前記撮影画像の解像度よりも高い解像度を有する前記重複領域の画像を記憶する記憶部と、
前記重複領域の画像を用いて前記合成条件を推定する合成条件推定部と、
前記合成条件推定部により推定された合成条件に基づいて、前記複数の撮影画像を貼り合わせ合成する貼り合わせ合成部と
を備える信号処理回路。
（８）  前記重複領域の画像は、RAWデータであり、
前記合成条件推定部は、前記重複領域の画像のRAWデータを用いて前記合成条件を推定する
前記（７）に記載の信号処理回路。
（９）  前記重複領域の画像は、高フレームレートの画像であり、
前記合成条件推定部は、前記重複領域の高フレームレートの画像を用いて前記合成条件を推定し、フレーム補間を伴うフレーム間同期を推定する
前記（７）に記載の信号処理回路。
（１０）前記高フレームレートの画像を用いて、一方の撮影画像のフレーム補間を行うフレーム補間部を
さらに備え、
前記フレーム補間部は、前記合成条件推定部により推定されたフレーム間同期に基づき、前記高フレームレートの画像を用いて、一方の撮影画像のフレーム補間を行う
前記（９）に記載の信号処理回路。
（１１）  前記記憶部は、露出条件の異なる複数の重複領域の画像を記憶し、
前記合成条件推定部は、前記露出条件の異なる複数の重複領域の画像を用いて前記合成条件を推定する
前記（７）に記載の信号処理回路。
（１２）  前記記憶部は、解像度の異なる複数の重複領域の画像を記憶し、
前記合成条件推定部は、前記解像度の異なる複数の重複領域の画像を用いて前記合成条件を推定する
前記（７）に記載の信号処理回路。
（１３）  先に送信されてくる前記複数の撮影画像の低解像度データおよび前記重複領域の画像を受け取り、後に送信されてくる前記複数の撮影画像の高解像度データを受け取る受け取り部をさらに備え、
前記貼り合わせ合成部は、前記合成条件推定部により推定された合成条件に基づいて、前記複数の撮影画像の低解像度データを貼り合わせ合成し、その後、前記複数の撮影画像の高解像度データを貼り合わせ合成する
前記（７）に記載の固体撮像装置。
（１４）  複数のカメラモジュールと、
前記複数のカメラモジュールによりそれぞれの撮影範囲に重複領域を有するように取得された複数の撮影画像、および前記撮影画像の解像度よりも高い解像度を有する前記重複領域の画像を記憶する記憶部と、
前記重複領域の画像を用いて前記合成条件を推定する合成条件推定部と、
前記合成条件推定部により推定された合成条件に基づいて、前記複数の撮影画像を貼り合わせ合成する貼り合わせ合成部と
を備える信号処理回路と
を搭載する撮像装置。
（１５）  前記重複領域の画像は、高フレームレートの画像であり、
前記合成条件推定部は、前記重複領域の高フレームレートの画像を用いて前記合成条件を推定し、フレーム補間を伴うフレーム間同期を推定する
前記（１４）に記載の撮像装置。
【符号の説明】
【０２０７】
１,１−１，１−２  撮像装置，  １１,１１−１，１１−２  カメラモジュール，  ２１  光学部，  ２２  固体撮像素子，  ３１  DSP回路，  ３２  EEPROM，  ３３，  ３３−１，３３−２  画像処理部，  ３４  メモリ，  ３５  表示部，  ３６  記録部，  ３７  操作部，  ３８  電源部，  ３９  ネットワークI/F，  ４０  バスライン，  ５１  画像切り分け処理部，  ５２  合成条件推定処理部，  ５３  画像合成処理部，  ５４  表示制御部，  １５１  合成条件推定処理部，  １５２  画像合成処理部，  １７１  合成条件推定処理部，  ２１１−１，２１１−２  ファイル転送部，  ２３１−１，２３１−２  ファイル受信部，  ２３２  合成条件推定処理部，  ２３３  画像合成処理部，  ２３４  プレビュ表示制御部，  ２３５  画像合成処理部，３１１  合成条件推定処理部，  ３１２  フレーム補間同期調整部３１２
【図１】
2016066842.tif 000003
【図２】
2016066842.tif 000004
【図３】
2016066842.tif 000005
【図４】
2016066842.tif 000006
【図５】
2016066842.tif 000007
【図６】
2016066842.tif 000008
【図７】
2016066842.tif 000009
【図８】
2016066842.tif 000010
【図９】
2016066842.tif 000011
【図１０】
2016066842.tif 000012
【図１１】
2016066842.tif 000013
【図１２】
2016066842.tif 000014
【図１３】
2016066842.tif 000015
【図１４】
2016066842.tif 000016
【図１５】
2016066842.tif 000017
【図１６】
2016066842.tif 000018
【図１７】
2016066842.tif 000019
【図１８】
2016066842.tif 000020
【図１９】
2016066842.tif 000021
【図２０】
2016066842.tif 000022
【図２１】
2016066842.tif 000023
【図２２】
2016066842.tif 000024
【図２３】
2016066842.tif 000025
【図２４】
2016066842.tif 000026
【図２５】
2016066842.tif 000027
【図２６】
2016066842.tif 000028
【図２７】
2016066842.tif 000029
【図２８】
2016066842.tif 000030
【図２９】
2016066842.tif 000031
【図３０】
2016066842.tif 000032