(57)【要約】【課題】本発明は、静止画及び動画のいずれにおいても、複数の画像を連結する処理速度を高めると共に、複数の画像の連結部分が目立たない画像処理を実現することを目的とする。【解決手段】上記目的を達成するために、本発明に係る画像処理装置は、複数の画像を入力する画像入力部と、画像入力部が入力した複数の画像の一部を連結領域として互いに重ね合わせて、複数の画像を連結する画像連結部とを備え、画像連結部は、連結領域を互いに重ね合わされる複数のサブ領域に分割し、連結領域における色の差異の変化が緩やかになるように、サブ領域ごとの混合比率を変化させて、サブ領域を互いに重ね合わせるブレンディング処理部を備える。【選択図】図１
2015080117.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像を入力する画像入力部と、
前記画像入力部が入力した前記複数の画像の一部を連結領域として互いに重ね合わせて、前記複数の画像を連結する画像連結部とを備え、
前記画像連結部は、前記連結領域を、互いに重ね合わされる複数のサブ領域に分割し、前記連結領域における色の差異の変化が緩やかになるように、前記サブ領域ごとの混合比率を変化させて、前記サブ領域を互いに重ね合わせるブレンディング処理部を備える画像処理装置。
【請求項２】
前記ブレンディング処理部は、前記複数の画像を連結する連結方向に前記連結領域を分割して前記複数のサブ領域を設定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ブレンディング処理部は、前記複数の画像の混合比率を、一方の画像の前記複数のサブ領域における比率が、前記連結領域の先端に近づくにつれて減少すると共に、他方の画像の前記複数のサブ領域における比率が、前記連結領域の先端に近づくにつれて減少するように決定するものであることを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記ブレンディング処理部は、前記サブ領域のＲＧＢ値を前記混合比率に基づいて算出することを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。
【請求項５】
前記画像連結部は、前記複数の画像を補正する画像補正部をさらに備え、
前記画像補正部は、前記複数の画像を仮想球体の球面上にそれぞれ投影して複数の球体投影画像を取得し、前記複数の球体投影画像を仮想の円柱周面上にそれぞれ投影して複数の円柱投影画像を取得することによって、前記複数の画像を補正するものであり、
前記ブレンディング処理部は、前記画像補正部によって補正した前記複数の画像を連結するものであることを特徴とする請求項１から請求項４のいずれか１項に記載の画像処理装置。
【請求項６】
前記複数の画像を撮像する撮像部と、
請求項１から請求項５のいずれか１項に記載の画像処理装置とを備える撮像装置。
【請求項７】
複数の画像を入力する画像入力ステップと、
前記画像入力ステップにおいて入力した前記複数の画像の一部を連結領域として互いに重ね合わせて、前記複数の画像を連結する画像連結ステップとを含み、
前記画像連結ステップは、前記連結領域を、互いに重ね合わされる複数のサブ領域に分割し、前記連結領域における色の差異の変化が緩やかになるように、前記サブ領域ごとの混合比率を変化させて、前記サブ領域を互いに重ね合わせるブレンディング処理ステップを含む画像処理方法。
【請求項８】
コンピュータに、
複数の画像を入力する画像入力ステップと、
前記画像入力ステップにおいて入力した前記複数の画像の一部を連結領域として互いに重ね合わせて、前記複数の画像を連結する画像連結ステップとを実行させるための画像処理プログラムであって、
前記画像連結ステップは、前記連結領域を、互いに重ね合わされる複数のサブ領域に分割し、前記連結領域における色の差異の変化が緩やかになるように、前記サブ領域ごとの混合比率を変化させて、前記サブ領域を互いに重ね合わせるブレンディング処理ステップを含む画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、画像処理方法及び画像処理プログラムに関し、特に、複数の画像を連結する画像処理装置、撮像装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来、複数の画像を連結してパノラマ画像を得る画像処理装置及び撮像装置が知られている（例えば、特許文献１及び特許文献２）。パノラマ画像を得るための複数の画像は、単一又は複数のカメラによって撮影される。撮影された複数の画像は、例えば、隣り合う画像の端部同士を重ねた状態で連結されて、単一のパノラマ画像が生成される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−６１２３７号公報
【特許文献２】特表２００１−５０１３４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、連結する複数の画像は、それぞれ撮影する被写体の明るさや光源状態が異なる条件下で撮影される場合がある。また、複数の画像を複数のカメラによって撮影する場合には、カメラの個体差によるホワイトバランス、露出等の差異も発生し得る。したがって、画像の色合いや明るさが、画像ごとに異なってしまう場合がある。色合いや明るさが異なる画像を連結すると、画像を連結するつなぎ目が目立ってしまう。よって、色合いや明るさの異なる画像を連結するためには、連結領域（ステッチング部分）にボケを加える処理を施したり、連結用に別画像を生成して、この別画像を介して画像を連結したりすることが考えられる。しかしながら、このような対処では演算処理速度が遅くなる。特に動画では、フレームレートの低下や、連結部分のボケがフレームごとに異なることに起因した違和感などが生じてしまう。
【０００５】
上記に鑑みて本発明は、静止画及び動画のいずれにおいても、複数の画像を連結する処理速度を高めると共に、複数の画像の連結部分が目立たない画像処理を実現することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明に係る画像処理装置は、複数の画像を入力する画像入力部と、画像入力部が入力した複数の画像の一部を連結領域として互いに重ね合わせて、複数の画像を連結する画像連結部とを備え、画像連結部は、連結領域を、互いに重ね合わされる複数のサブ領域に分割し、連結領域における色の差異の変化が緩やかになるように、サブ領域ごとの混合比率を変化させて、サブ領域を互いに重ね合わせるブレンディング処理部を備える。
【０００７】
「色」とは、無彩色及び有彩色を含むものをいい、例えば、ＲＧＢ値によって表現され得る。「色の差異」には、色相の差異、彩度の差異又は明度の差異が含まれる。
【０００８】
本発明に係る画像処理装置によれば、連結領域における色の差異の変化が緩やかになるように、サブ領域ごとの混合比率を変化させて、サブ領域を互いに重ね合わせるブレンディング処理部を備えることから、複数の画像の連結部分が目立たない画像処理を実現することができる。また、ブレンディング処理部は、サブ領域ごとの画像の混合比率を変化させることによって、連結領域における色の差異の変化を緩やかにしている。したがって、例えば、ボケを施すために透明度を示す係数（アルファ値）を別途演算処理する必要がない。また、連結用の別画像を生成する必要もない。よって、画像連結処理における処理速度を高めることができる。
【０００９】
このように、本発明に係る画像処理装置によれば、静止画及び動画のいずれにおいても、複数の画像を連結する処理速度を高めると共に、複数の画像の連結部分が目立たない画像処理を実現することができる。
【００１０】
例えば、ブレンディング処理部は、複数の画像を連結する連結方向に連結領域を分割して複数のサブ領域を設定する。これにより、連結領域における色の差異の変化を連結方向に緩やかにすることができる。
【００１１】
一例として、ブレンディング処理部は、複数の画像の混合比率を、一方の画像の複数のサブ領域における比率が、連結領域の先端に近づくにつれて減少すると共に、他方の画像の複数のサブ領域における比率が、連結領域の先端に近づくにつれて減少するように決定するものである。これにより、連結領域における色の差異を連結方向に漸次的に変化させることができる。
【００１２】
ブレンディング処理部は、サブ領域のＲＧＢ値を混合比率に基づいて算出してもよい。これにより、サブ領域における画像のブレンドを容易に実行することができる。
【００１３】
例えば、画像連結部は、複数の画像を補正する画像補正部をさらに備え、画像補正部は、複数の画像を仮想球体の球面上にそれぞれ投影して複数の球体投影画像を取得し、複数の球体投影画像を仮想の円柱周面上にそれぞれ投影して複数の円柱投影画像を取得することによって、複数の画像を補正するものであり、ブレンディング処理部は、画像補正部によって補正した複数の画像を連結するものであってもよい。これにより、複数の画像の遠近感異常（遠近感が正確に表現されない現象）及び歪みを補正して、複数の画像をスムーズに連結することができる。
【００１４】
本発明に係る撮像装置は、複数の画像を撮像する撮像部と、前述の画像処理装置を備える。これにより、本発明に係る撮像装置によれば、前述の画像処理装置と同様に、静止画及び動画のいずれにおいても、複数の画像を連結する処理速度を高めると共に、複数の画像の連結部分が目立たない画像処理を実現することができる。
【００１５】
本発明に係る画像処理方法は、複数の画像を入力する画像入力ステップと、画像入力ステップにおいて入力した複数の画像の一部を連結領域として互いに重ね合わせて、複数の画像を連結する画像連結ステップとを含み、画像連結ステップは、連結領域を、互いに重ね合わされる複数のサブ領域に分割し、連結領域における色の差異の変化が緩やかになるように、サブ領域ごとの混合比率を変化させて、サブ領域を互いに重ね合わせるブレンディング処理ステップを含む。これにより、本発明に係る画像処理方法によれば、前述の画像処理装置と同様に、静止画及び動画のいずれにおいても、複数の画像を連結する処理速度を高めると共に、複数の画像の連結部分が目立たない画像処理を実現することができる。
【００１６】
本発明に係る画像処理プログラムは、コンピュータに、複数の画像を入力する画像入力ステップと、画像入力ステップにおいて入力した複数の画像の一部を連結領域として互いに重ね合わせて、複数の画像を連結する画像連結ステップとを実行させるための画像処理プログラムであって、画像連結ステップは、連結領域を、互いに重ね合わされる複数のサブ領域に分割し、連結領域における色の差異の変化が緩やかになるように、サブ領域ごとの混合比率を変化させて、サブ領域を互いに重ね合わせるブレンディング処理ステップを含む。これにより、本発明に係る画像処理プログラムによれば、前述の画像処理装置と同様に、静止画及び動画のいずれにおいても、複数の画像を連結する処理速度を高めると共に、複数の画像の連結部分が目立たない画像処理を実現することができる。
【発明の効果】
【００１７】
本発明に係る画像処理装置によれば、連結領域における色の差異の変化が緩やかになるように、サブ領域ごとの混合比率を変化させて、サブ領域を互いに重ね合わせるブレンディング処理部を備えることから、複数の画像の連結部分が目立たない画像処理を実現することができる。また、ブレンディング処理部は、サブ領域ごとの画像の混合比率を変化させることによって、連結領域における色の差異の変化を緩やかにしている。したがって、例えば、ボケを施すために透明度を示す係数（アルファ値）を別途演算処理する必要がない。また、連結用の別画像を生成する必要もない。よって、画像連結処理における処理速度を高めることができる。
【００１８】
このように、本発明に係る画像処理装置によれば、静止画及び動画のいずれにおいても、複数の画像を連結する処理速度を高めると共に、複数の画像の連結部分が目立たない画像処理を実現することができる。
【図面の簡単な説明】
【００１９】
【図１】本実施形態に係る撮像装置の構成図である。
【図２】本実施形態に係る撮像部の位置関係を表すイメージ図である。
【図３】本実施形態に係る前処理部の処理の流れを示すフローチャートである。
【図４】本実施形態に係る前処理部が処理する仮画像の説明図である。
【図５】本実施形態に係る球体円柱投影のイメージ図である。
【図６】本実施形態に係る球体円柱投影による座標変換のイメージ図である。
【図７】本実施形態に係る撮影時の処理の流れを示すフローチャートである。
【図８】本実施形態に係る画像補正部と画像連結部が処理する画像の説明図である。
【図９】本実施形態に係る撮像装置によって画像を連結した連結領域を示す画像写真である。
【図１０】図９の部分拡大写真である。
【図１１】図９及び図１０に示した連結領域を含むパノラマ写真の一部である。
【図１２】本実施形態に係る撮像装置を使用せずに、画像を連結した連結領域を示す画像写真である。
【図１３】図１２に示した連結領域を含むパノラマ写真の一部である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態を添付の図により説明する。
＜構成＞
図１に本実施形態に係る撮像装置１の構成図を示す。撮像装置１は、一例として、撮影した複数の画像を連結してパノラマ画像を生成する多眼カメラである。撮像装置１は、撮像部２と、画像入力部３と、制御部４と、前処理部５と、画像補正部２２と、画像連結部６と、記憶部７と、出力部１０と、入力部１１とを備えている。
【００２１】
撮像部２は、パノラマ画像を構成する複数の画像を撮像するものである。撮像部２は、レンズや絞り等を備える撮像光学系１４と撮像素子１５を備えている。撮像素子１５は、ＣＣＤやＣＭＯＳ等のイメージセンサである。撮像素子１５は、カラーフィルタ、アンプ、及びＡ／Ｄコンバータ等を備え、撮像光学系１４によって捉えられた像を光電変換し、デジタル画像信号を画像入力部３に出力する。本実施形態では、撮像部２において、撮像光学系１４と撮像素子１５を備える撮像機構が３組（第１の撮像部２Ａ，第２の撮像部２Ｂ，第３の撮像部２Ｃ）設けられている。
【００２２】
図２に、撮像部２の位置関係を表すイメージ図を示す。第１の撮像部２Ａと第２の撮像部２Ｂと第３の撮像部２Ｃは、中心軸２Ｘを基準として左右回転方向Ｒに回転し、且つ上下方向Ｈにずれて設置されている。第１の撮像部２Ａは、第２の撮像部２Ｂに対して角度ａ１分、反時計回りに回転し、高さｈ１分、低い位置に設置されている。第３の撮像部２Ｃは、第２の撮像部２Ｂに対して角度ａ２分、時計回りに回転し、第２の撮像部２Ｂに対して高さｈ２分、高い位置に設置されている。
【００２３】
したがって、第１の撮像部２Ａは、第２の撮像部２Ｂの撮影領域から角度ａ１分回転した位置を撮影し、第３の撮像部２Ｃは、第２の撮像部２Ｂの撮影領域から角度ａ２分回転した位置を撮影する。上下のズレ分（高さｈ１，ｈ２）は、実際には左右のズレ分（角度ａ１，ａ２）と比較して僅かである。第１の撮像部２Ａと第２の撮像部２Ｂと第３の撮像部２Ｃが撮像した各画像を左右回転方向Ｒに連結することによって、第１の撮像部２Ａの撮影領域から第３の撮像部２Ｃの撮影領域までが連続したパノラマ画像が生成される。
【００２４】
なお、第１の撮像部２Ａの撮像光学系１４と、第２の撮像部２Ｂの撮像光学系１４と、第３の撮像部２Ｃの撮像光学系１４は、入射瞳の位置で位置合わせされている。すなわち、上下にずれて設置された第１の撮像部２Ａの撮像光学系１４と、第２の撮像部２Ｂの撮像光学系１４と、第３の撮像部２Ｃの撮像光学系１４の入射瞳位置は一致している。
【００２５】
第１の撮像部２Ａと第２の撮像部２Ｂと第３の撮像部２Ｃの位置関係は相対的に固定されているため、上下のズレ分（高さｈ１，ｈ２）と左右のズレ分（角度ａ１，ａ２）は、撮影時に変動しない。
【００２６】
画像入力部３は、複数の画像を制御部４に入力するものであり、撮像部２から入力されたデジタル画像信号を制御部４に出力する。制御部４は、撮像装置１の各処理を制御する。前処理部５は、撮影前の有効画像領域及び連結領域の設定を実行する。画像補正部２２は、撮像部２が撮像した画像を補正し、画像連結部６は、補正された画像を連結する。画像入力部３と、制御部４と、前処理部５と、画像補正部２２と、画像連結部６は、ＣＰＵ等の演算手段によって実現し、メインメモリ、フラッシュメモリ、ハードディスク等の記憶手段と協働して機能する。
【００２７】
前処理部５は、仮画像読み込み部１６と、仮画像補正部１７と、有効画像領域設定部１８と、連結領域設定部１９とを備えている。前処理部５によって処理される画像は設定用の画像であるため、仮画像と呼ぶ。仮画像読み込み部１６は、撮像部２が撮像した複数の仮画像を画像入力部３及び制御部４を介して読み込む。仮画像補正部１７は、仮画像読み込み部１６が読み込んだ仮画像の遠近感異常及び歪みを補正する。本実施形態において、仮画像補正部１７は、球体円柱投影による補正を行う。
【００２８】
球体円柱投影による補正とは、球体投影と円柱投影とを組み合わせた補正方法であり、撮像した画像の遠近感異常及び歪みを解消するために、複数の画像を仮想球体の球面上に投影し、球面に投影した画像を平面展開するために、仮想の円柱周面上にさらに投影する補正方法である。
【００２９】
仮画像補正部１７は、複数の仮画像を仮想球体の球面上にそれぞれ投影して複数の球体投影画像を取得し、複数の球体投影画像を仮想の円柱周面上にそれぞれ投影して複数の円柱投影画像を取得することによって、撮像した複数の仮画像を補正する。有効画像領域設定部１８は、撮像した複数の仮画像において、パノラマ画像として使用する有効画像領域を設定する。連結領域設定部１９は、撮像した複数の画像を連結する連結領域を設定する。
【００３０】
画像補正部２２と画像連結部６は、前処理部５による有効画像領域及び連結領域の設定が完了した後、パノラマ画像の撮影時に機能する。画像補正部２２は、画像入力部３と制御部４を介して入力された複数の画像の遠近感異常及び歪みを補正する。本実施形態において、画像補正部２２は、球体円柱投影による補正を行う。画像補正部２２は、撮像した複数の画像を仮想球体の球面上にそれぞれ投影して複数の球体投影画像を取得し、複数の球体投影画像を仮想の円柱周面上にそれぞれ投影して複数の円柱投影画像を取得することによって、撮像した複数の画像を補正する。
【００３１】
画像連結部６は、ブレンディング処理部２４と、連結領域及び非連結領域結合部２８と、画像整形部２９とを備えている。ブレンディング処理部２４は、連結領域決定部２５とブレンディング実行部２６を備えている。連結領域決定部２５は、連結領域を、互いに重ね合わされる複数のサブ領域に分割する。本実施形態では、複数の画像を連結する連結方向に連結領域を分割して複数のサブ領域を設定する。ブレンディング実行部２６は、連結領域における色の差異の変化が緩やかになるように、サブ領域ごとの混合比率を変化させて、サブ領域を互いに重ね合わせる。
【００３２】
本実施形態では、ブレンディング処理部２４は、複数の画像の混合比率を、一方の画像の複数のサブ領域における比率が、連結領域の先端に近づくにつれて減少すると共に、他方の画像の複数のサブ領域における比率が、連結領域の先端に近づくにつれて減少するように決定する。また、一例として、ブレンディング処理部２４は、サブ領域のＲＧＢ値を画像の混合比率に基づいて算出する。
【００３３】
連結領域及び非連結領域結合部２８は、ブレンディング処理部２４によって複数のサブ領域に分割され重ね合わされた連結領域と、連結領域以外の画像部分である非連結領域とを結合して単一画像を生成する。画像整形部２９は、生成された単一画像を前処理部５によって設定された有効画像領域に整形する。
【００３４】
記憶部７は、メインメモリ、フラッシュメモリ、ハードディスク等の記憶手段によって構成されている。記憶部７は、画像連結用設定データ記憶部３１と、撮像画像記憶部３２と、画像補正用データ記憶部３３と、補正済み画像記憶部３４と、ブレンディング処理済み画像記憶部３５と、結合処理済み画像記憶部３６と、整形処理済み画像記憶部３７とを備えている。
【００３５】
画像連結用設定データ記憶部３１は、前処理部５によって設定した内容を画像連結用設定データとして記憶する。画像連結用設定データには、有効画像領域のサイズ及び位置を示すデータと、連結領域のサイズ及び位置を示すデータと、複数のサブ領域の設定データが含まれる。
【００３６】
撮像画像記憶部３２は、撮像部２によって撮像され、画像入力部３と制御部４を介して入力された複数の画像を記憶する。画像補正用データ記憶部３３は、仮画像補正部１７及び画像補正部２２によって画像を補正する際に用いるデータを記憶するものであり、座標変換テーブルを保持し、各種パラメータ及び各種設定値を記憶する。補正済み画像記憶部３４は、画像補正部２２によって補正された補正済み画像を記憶する。ブレンディング処理済み画像記憶部３５は、ブレンディング処理部２４によって処理された画像を記憶する。結合処理済み画像記憶部３６は、連結領域及び非連結領域結合部２８によって生成された単一画像を記憶する。整形処理済み画像記憶部３７は、画像整形部２９によって整形された画像を記憶する。
【００３７】
出力部１０は、撮像装置１からの信号を外部へ出力するものである。出力部１０には、ディスプレイ等の表示装置、プリンタ等の印刷装置、他のコンピュータ等への送信装置等が含まれる。本実施形態において、出力部１０は、ディスプレイ等の表示装置を備えている。入力部１１は、外部からの信号を撮像装置１に入力するものである。入力部１１には、タッチパネル、シャッターボタン、各種入力ボタン、キーボード等の入力手段が含まれる。本実施形態において、入力部１１は、動画撮影開始指示及び動画撮影停止指示ボタンと、静止画撮影用シャッターボタンとを兼用する撮影指示入力ボタンを備えている。
【００３８】
＜処理の流れ＞         
［前処理部５の処理シーケンス］
次に、撮像装置１によって実行される画像処理の流れについて説明する。まず、通常の撮影を開始する前に、パノラマ画像として使用する有効画像領域のサイズ及び位置と、連結領域のサイズ及び位置を、前処理部５によって設定しておく。
【００３９】
入力部１１の撮影指示入力ボタンを押すと、第１の撮像部２Ａと第２の撮像部２Ｂと第３の撮像部２Ｃは、同時に静止画の撮像を開始する。ここでの撮像は、有効画像領域及び連結領域を設定するための撮像であるため、仮撮像と呼ぶ。仮撮像によって得られた仮画像は、画像入力部３及び制御部４を介して前処理部５に入力される。前処理部５はこの仮画像を用いて、有効画像領域及び連結領域の設定を実行する。前処理部５の処理シーケンスを図３に示し、図４に、前処理部５が処理する仮画像の説明図を示す。
【００４０】
図３のステップＳ１において、仮画像読み込み部１６は、入力された仮画像を読み込む。図４のステップＳ１に例示するように、第１の撮像部２Ａによって撮像された第１の仮画像４１と第２の撮像部２Ｂによって撮像された第２の仮画像４２と第３の撮像部２Ｃによって撮像された第３の仮画像４３が読み込まれる。
【００４１】
図３のステップＳ２において、仮画像補正部１７は、読み込んだ複数の仮画像４１，４２，４３を補正する。本実施形態では、前述のように、球体円柱投影による補正を行う。球体円柱投影による補正について、以下に説明する。現在用いられているレンズは、２次元のものを２次元に投影する性質を有している。したがって、通常の写真撮影に使われる平面投影では、立体物の被写体の場合、撮像画像の端部の遠近感異常及び歪みが発生し、平面的な被写体の場合、撮像画像の端部の遠近感異常が発生する。このため、個々の画像の遠近感異常及び歪みという問題に加えて、画像を一致させて連結することができなくなるという問題が生じ得る。そこで、画像を球体投影することによって、個々の画像の遠近感異常及び歪みを補正し、画像を一致させてスムーズに連結できるようにする。また、球体投影した球面画像を円柱投影によって平面画像に展開する。
【００４２】
球体円柱投影のイメージ図を図５に示す。球体投影を行う仮想球体７０の半径は、撮像光学系１４の射出瞳から撮像素子１５までの光軸上の距離Ｌ（以下、「射出瞳距離」という。）と等しく設定されている。なお、本実施形態では、第１の撮像部２Ａから第３の撮像部２Ｃのそれぞれにおいて、各射出瞳距離Ｌは同じである。仮想球体７０の外側に第１の球面７５，第２の球面７６，第３の球面７７と接して表現されている第１の平面７１、第２の平面７２及び第３の平面７３は、撮像された画像が投影されるイメージ平面を示している。補正前の第１の仮画像４１は、第１の平面７１に投影される平面画像であり、補正前の第２の仮画像４２は、第２の平面７２に投影される平面画像であり、補正前の第３の仮画像４３は、第３の平面７３に投影される平面画像である。
【００４３】
補正前の仮画像４１，４２，４３が、球体投影されると、第１の仮画像４１は第１の球面７５に投影され、第２の仮画像４２は第２の球面７６に投影され、第３の仮画像４３は第３の球面７７に投影される。すなわち、補正前の第１の仮画像４１を構成する画素７８は、球面７５上の対応する画素７９に変換される。球体投影による補正だけでは画像の四隅が上手く連結できないため、球面７５，７６，７７に投影することによって得られた球体投影画像を円柱投影によって平面展開する。これにより、画素７９は、円柱投影によってさらに画素８０に座標変換される。画素８０は第１の平面７１上に位置している。
【００４４】
球体円柱投影による座標変換についてさらに以下に説明する。図６に球体円柱投影による座標変換のイメージ図を示す。（ａ）図に仮想球体７０の正面図を示し、（ｂ）図に仮想球体７０の右側面図を示す。平面投影面（イメージ平面）８１は、図５における第１の平面７１から第３の平面７３に対応している。
【００４５】
以下に、「球体投影演算ステップ」について説明する。イメージ平面８１上の点Ｐｎと仮想球体７０の中心点Ｃとの間に直線を引き、仮想球体７０と直線の交点Ｓｎを定める。この交点Ｓｎ、すなわち、図６における点Ｓ１，Ｓ２，Ｓ３がイメージ平面８１から仮想球体７０の球面上にマッピングされた画素７９（図５に示す）に対応し、図６におけるＰ１，Ｐ２，Ｐ３が補正前の画素７８（図５に示す）に対応している。
【００４６】
点Ｃ（０，０，Ｌ）を中心とした仮想球体７０の方程式は
【数１】
2015080117.tif 000003
上記式（１）におけるパラメータＬは、仮想球体７０の半径を示し、本実施形態において、仮想球体７０の半径は、前述の射出瞳距離と等しくなるように設定されている。
【００４７】
一方、任意の仮想球体７０の球面上の点Ｓ（ｘ２，ｙ２，ｚ２）（仮想球体７０と直線の交点）と中心点Ｃを結ぶ直線の方程式は
【数２】
2015080117.tif 000004
から、
【数３】
2015080117.tif 000005
となる。
直線の式をｔとおき、
【数４】
2015080117.tif 000006
イメージ平面８１上では、ｚ＝０となり、その条件でｔは、式（６）から以下のように定まる。
【数５】
2015080117.tif 000007
式（７）と式（４），式（５），及び式（６）を用いて、イメージ平面８１上の点Ｐ（ｘ，ｙ，ｚ（＝０））と点Ｐから点Ｃに向かって伸びる直線が仮想球体７０と交わる点座標Ｓ（ｘ２，ｙ２，ｚ２）の関係が求められる。
【００４８】
次に、「円柱投影演算ステップ」について説明する。交点Ｓｎと、この交点Ｓｎによって表される球体投影画像を仮想円柱の周面上に投影して平面展開した時のイメージ平面８１上の点Ｐｎ´との関係を求める。点Ｐｎ´、すなわち、図６における点Ｐ１´，Ｐ２´，Ｐ３´が補正後の画素８０（図５に示す）に対応している。
【００４９】
仮想円柱の中心線上の点Ｑ（０，ｙｃ，Ｌ）とイメージ平面８１上の点Ｐ（ｘｐ，ｙｐ，０）を結ぶ直線の方程式は、
【数６】
2015080117.tif 000008
となる。
【数７】
2015080117.tif 000009
これらを仮想球体７０の方程式
【数８】
2015080117.tif 000010
に代入し
【数９】
2015080117.tif 000011
から
【数１０】
2015080117.tif 000012
となる。
式（９），式（１０）及び式（１１）より、交点Ｓｎ（イメージ平面８１上の座標Ｐｎ´とｙ軸への円柱投影座標Ｑｎを結ぶ直線と、仮想球体７０との交点）が求められる。
【００５０】
逆トレーシング又は逆追跡方式を採用して、前述の円柱投影演算ステップを実行後に前述の球体投影演算ステップを実行することにより、補正後の座標Ｐｎ´から、補正前の座標Ｐｎを特定して対応付けることができる。
【００５１】
まず、円柱投影演算ステップを実行して、円柱投影した時のイメージ平面８１上の各点Ｐｎ´の座標に対応する仮想球体７０上の点Ｓｎの座標を特定して、互いに対応付ける。次に、球体投影演算ステップを実行して、円柱投影演算ステップによって求めた点Ｓｎの座標から補正前のイメージ平面８１上の点Ｐｎの座標を特定して対応付ける。これにより、補正後の画素の座標（点Ｐｎ´の座標）と補正前の画素の座標（点Ｐｎの座標）を対応付けることができる。
【００５２】
画像補正用データ記憶部３３に保持された座標変換テーブルには、この補正後の画素の座標と補正前の画素の座標の対応関係が格納されている。座標変換テーブルを用いて座標を変換することにより、球体円柱投影による補正を高速に実行することができる。なお、画像補正用データ記憶部３３は、パラメータＬに代入される射出瞳距離を示す値と、撮像素子１５の画素数及び１画素のサイズを記憶している。撮像素子１５の画素数及び１画素のサイズは、ｘ，ｙの値を決定するために用いられる。
【００５３】
例えば、撮像素子１５の画素数が６４０×４８０ピクセルの場合、座標変換テーブルを、ＴＡＢＬＥ［６４０］［４８０］のような２次元配列で整数値のｘ，ｙをメンバーに持つテーブルとして表現してもよい。この場合、座標変換後（補正後）の画像の座標（Ｘ，Ｙ）と座標変換前（補正前）の画像の座標（ａ，ｂ）との対応関係は、ＴＡＢＬＥ［Ｘ］［Ｙ］．ｘ＝ａ（座標値），ＴＡＢＬＥ［Ｘ］［Ｙ］．ｙ＝ｂ（座標値）と示すことができる。このように、座標変換テーブルを用いることによって、補正後の画像の座標（Ｘ，Ｙ）を高速に決定することができる。仮画像補正部１７は、画像補正用データ記憶部３３から座標変換テーブルを読み出して、球体円柱投影による画像補正を実行する。
【００５４】
仮画像補正部１７による画像補正が完了すると、図３のステップＳ３において有効画像領域設定部１８によって有効画像領域が設定される。前述のように、第１の撮像部２Ａから第３の撮像部２Ｃは互いに上下方向にずれているため、撮像された画像も上下方向にずれている。したがって、長方形等に整形されたパノラマ画像を得るためには、撮像した画像において使用できる有効画像領域を設定する必要がある。
【００５５】
図４のステップＳ３−１における枠線４５は、有効画像領域の上下方向のサイズを及び位置を示すものである。枠線４５からはみ出た上下端部の画像は使用しないため、不使用上下端部４１ｃ，４２ｃ，４３ｃとしてカットする。有効画像領域の上下方向のサイズ及び位置の設定は、第１の撮像部２Ａから第３の撮像部２Ｃの上下方向のズレ分（図２に示す高さｈ１，高さｈ２）の値に基づいて決定してもよい。
【００５６】
また、より自然に画像を連結するために、画像をどの位置でどの程度重ね合わせて連結するのかを設定する必要がある。このとき、重ね合わせた領域をすべて画像合成する必要はない。画像合成する領域は少ない方が連結部分は滑らかになり処理速度も上がる。したがって、使用しない画像の端部を不使用連結端部４１ｂ，４２ｂ，４３ｂとしてカットする。図３のステップＳ３−２に示すように、枠線４５に囲まれた領域のうち、不使用連結端部４１ｂ，４２ｂ，４３ｂを除いた領域が、有効画像領域４１ａ，４２ａ，４３ａである。有効画像領域４１ａ，４２ａ，４３ａの連結方向Ｗのサイズ及び位置の設定は、第１の撮像部２Ａから第３の撮像部２Ｃの左右回転方向Ｒのズレ分（図２に示す角度ａ１，角度ａ２）の値に基づいて決定してもよい。有効画像領域４１ａ，４２ａ，４３ａの設定は、予め決められた設定値（例えば、ｄａｔａ配列）によって設定してもよい。
【００５７】
また、補正後の仮画像４１，４２，４３を出力部１０の表示装置に表示させて、仮画像４１，４２，４３の重ね合わせの位置を調整しながら、仮画像４１，４２，４３を重ね合わせた状態を目視して、より自然に見える位置で仮画像４１，４２，４３が連結できるように、有効画像領域４１ａ，４２ａ，４３ａを設定してもよい。
【００５８】
次いで、図３のステップＳ４において、連結領域設定部１９によって、有効画像領域４１ａ，４２ａ，４３ａに複数のサブ領域に分割された連結領域を設定する。図４のステップＳ４に示すように、有効画像領域４１ａ，４２ａ，４３ａにおいて、隣合う画像を重ね合わせる部分を連結領域４６とし、連結領域４６以外の部分を非連結領域４７とする。連結領域４６は、連結方向Ｗに沿って複数のサブ領域に分割される。本実施形態では、説明のため、一例として８個のサブ領域に分割している。
【００５９】
サブ領域をＳＵＢＤＳＴと示し、ＳＵＢＤＳＴに相当するｒｅｃｔ変数を必要数定義する。第１の画像の有効画像領域４１ａでは、連結領域４６においてＳＵＢＤＳＴ［０］からＳＵＢＤＳＴ［７］が設定される。第２の画像の有効画像領域４２ａでは、有効画像領域４１ａと連結する連結領域４６において、ＳＵＢＤＳＴ［８］からＳＵＢＤＳＴ［１５］が設定され、第３の画像の有効画像領域４３ａと連結する連結領域４６において、ＳＵＢＤＳＴ［１６］からＳＵＢＤＳＴ［２３］が設定される。有効画像領域４３ａでは、連結領域４６においてＳＵＢＤＳＴ［２４］からＳＵＢＤＳＴ［３１］が設定される。一例として、１個のサブ領域のサイズは、１ピクセル〜２ピクセルである。
【００６０】
図３のステップＳ５において、画像連結用設定データ記憶部３１が、前処理部５によって設定した内容を画像連結用設定データとして記憶する。画像連結用設定データには、有効画像領域のサイズ及び位置を示すデータと、連結領域のサイズ及び位置を示すデータと、複数のサブ領域（ＳＵＢＤＳＴ［０］〜ＳＵＢＤＳＴ［３１］）の設定データが含まれる。
【００６１】
前処理部５による設定が完了すると、撮像装置１によるパノラマ画像の撮影を実行することができる。前述のように、第１の撮像部２Ａと第２の撮像部２Ｂと第３の撮像部２Ｃの位置関係は相対的に固定されているため、上下のズレ分（図２，高さｈ１，ｈ２）と左右のズレ分（図２に示す角度ａ１，ａ２）は、変動しない。したがって、前処理部５による設定が完了すると、第１の撮像部２Ａと第２の撮像部２Ｂと第３の撮像部２Ｃの配置を変更しない限り、再度、前処理部５による設定を行う必要はない。
【００６２】
［撮影時の処理シーケンス］
撮影時の処理シーケンスを図７に示し、図８に処理する画像の説明図を示す。入力部１１の撮影指示入力ボタンを押すと、撮像部２が撮像を開始する。図７のステップＳ１０において、画像入力部３と制御部４を介して、撮像部２が撮像した複数の画像を読み込む。図８のステップＳ１０に例示するように、第１の撮像部２Ａによって撮像された第１の画像５１と、第２の撮像部２Ｂによって撮像された第２の画像５２と、第３の撮像部２Ｃによって撮像された第３の画像５３が読み込まれる。
【００６３】
図７のステップＳ１１において、撮像画像記憶部３２が画像５１，５２，５３を記憶する。ステップＳ１２において、画像補正部２２は、撮像画像記憶部３２から画像５１，５２，５３を読み出して補正する。ここで、画像補正部２２は、画像補正用データ記憶部３３から前述の座標変換テーブルを読み出して、球体円柱投影による補正を実行し、画像５１，５２，５３の遠近感異常及び歪みを補正する。球体円柱投影による補正は、前処理部５において仮画像補正部１７が実行した前述の補正と同様である。
【００６４】
図７のステップＳ１３において、補正済み画像記憶部３４が補正した複数の画像５１，５２，５３を記憶する。ステップＳ１４において、連結領域決定部２５が、補正済み画像記憶部３４から補正した複数の画像５１，５２，５３を読み出すと共に、画像連結用設定データ記憶部３１から画像連結用設定データを読み出す。ステップＳ１５において、画像連結用設定データに基づいて、画像５１，５２，５３における有効画像領域及び連結領域を決定する。
【００６５】
図８のステップＳ１５−１及びステップＳ１５−２に示すように、有効画像領域のサイズ及び位置を示すデータに基づいて、不使用連結端部５１ｂ，５２ｂ，５３ｂがカットされる。なお、本実施形態においては、画像の連結処理後に、使用しない上下端部のカットを実行するように構成しているため、不使用連結端部５１ｂ，５２ｂ，５３ｂ以外の画像部分５１ａ，５２ａ，５３ａは、有効画像領域に加えて、後にカットされる不使用上下端部６７（図８に示すステップＳ２２）を含んでいる。
【００６６】
図７のステップＳ１６において、連結領域決定部２５は、連結領域のサイズ及び位置を示すデータと、複数のサブ領域の設定データに基づいて、連結領域を複数のサブ領域に分割する。図８のステップＳ１６に示すように、画像部分５１ａ，５２ａ，５３ａのそれぞれについて、連結領域５６と非連結領域５７が決定される。連結領域５６は、複数のサブ領域ＳＵＢＤＳＴ［０］〜ＳＵＢＤＳＴ［３１］に分割される。
【００６７】
図７のステップＳ１７において、ブレンディング実行部２６は、画像の混合比率をサブ領域ごとに変化させて、サブ領域ＳＵＢＤＳＴ［０］〜ＳＵＢＤＳＴ［３１］を互いに重ね合わせる。図８のステップＳ１７に示すように、第１の画像５１の連結領域４６と、第２の画像５２の連結領域５６がサブ領域ごとに重ねられ、第２の画像５２の連結領域５６と第３の画像５３の連結領域５６がサブ領域ごとに重ねられる。重ねられた後のサブ領域をＤＳＴとする。
【００６８】
第１の画像５１の連結領域５６と第２の画像５２の連結領域５６では、サブ領域ＳＵＢＤＳＴ［０］とサブ領域ＳＵＢＤＳＴ［８］が重なってサブ領域ＤＳＴ［０］となり、サブ領域ＳＵＢＤＳＴ［１］とサブ領域ＳＵＢＤＳＴ［９］が重なってサブ領域ＤＳＴ［１］となり、サブ領域ＳＵＢＤＳＴ［２］とサブ領域ＳＵＢＤＳＴ［１０］が重なってサブ領域ＤＳＴ［２］となる。ＳＵＢＤＳＴ［３］〜ＳＵＢＤＳＴ［７］も同様にＳＵＢＤＳＴ［１１］〜ＳＵＢＤＳＴ［１５］と重なってサブ領域ＤＳＴ［３］〜ＤＳＴ［７］となる。このとき、サブ領域ＤＳＴ［０］〜ＤＳＴ［７］は、第１の画像５１と第２の画像５２が重み付けられてブレンドされている。
【００６９】
本実施形態では、サブ領域ＤＳＴ［０］における第１の画像５１の占める割合は、８／９であり、第２の画像５２の占める割合は、１／９である。サブ領域ＤＳＴ［１］における第１の画像５１の占める割合は、７／９であり、第２の画像５２の占める割合は、２／９である。サブ領域ＤＳＴ［２］における第１の画像５１の占める割合は、６／９であり、第２の画像５２の占める割合は、３／９である。サブ領域ＤＳＴ［３］における第１の画像５１の占める割合は、５／９であり、第２の画像５２の占める割合は、４／９である。サブ領域ＤＳＴ［４］における第１の画像５１の占める割合は、４／９であり、第２の画像５２の占める割合は、５／９である。サブ領域ＤＳＴ［５］における第１の画像５１の占める割合は、３／９であり、第２の画像５２の占める割合は、６／９である。サブ領域ＤＳＴ［６］における第１の画像５１の占める割合は、２／９であり、第２の画像５２の占める割合は、７／９である。サブ領域ＤＳＴ［７］における第１の画像５１の占める割合は、１／９であり、第２の画像５２の占める割合は、８／９である。
【００７０】
このように、ブレンディング実行部２６は、第１の画像５１と第２の画像５２の混合比率を、第１の画像５１のサブ領域における比率が、連結領域５６の先端（ＳＵＢＤＳＴ［７］側）に近づくにつれて減少するように決定する。また、ブレンディング実行部２６は、第１の画像５１と第２の画像５２の混合比率を、第２の画像５２の複数のサブ領域における比率が、連結領域５６の先端（ＳＵＢＤＳＴ［８］側）に近づくにつれて減少するように決定している。本実施形態では、ブレンディング実行部２６は、第１の画像５１の比率と第２の画像５２の比率をサブ領域ごとに１／９（すなわち、１／（サブ領域の個数＋１））ずつ一定の割合で減少させている。
【００７１】
ここで、第１の画像５１と第２の画像５２は、決定された混合比率でブレンドされるため、透明度を示すアルファ値を使用する必要がない。例えば、第１の画像５１が黒色画像で、第２の画像５２が白色画像の場合、黒のＲＧＢ値（０，０，０）と白のＲＧＢ値（２５５，２５５，２５５）とを混合比率に対応させて増減させればよい。サブ領域ＤＳＴ［０］における第１の画像５１の占める割合は、８／９であり、第２の画像５２の占める割合は、１／９であるから、ＲＧＢ値にそれぞれの割合を乗じて加算すると、サブ領域ＤＳＴ［０］のＲＧＢ値は（２２７，２２７，２２７）（小数点第１位を四捨五入）となり、薄いグレーの画像が得られる。他のサブ領域ＤＳＴのＲＧＢ値も同様に算出することにより、第１の画像５１と第２の画像５２をサブ領域ごとに異なる比率でブレンドする。
【００７２】
前述した第１の画像５１と第２の画像５２の連結領域５６における処理と同様に、第２の画像５２の連結領域５６と第３の画像５３の連結領域５６では、サブ領域ＳＵＢＤＳＴ［１６］〜サブ領域ＳＵＢＤＳＴ［２３］とサブ領域ＳＵＢＤＳＴ［２４］〜サブ領域ＳＵＢＤＳＴ［３１］が、重ね合わされてブレンドされる。第１の画像５１と第２の画像５２の連結と同様に、第２の画像５２と第３の画像５３の混合比率を、第２の画像５２のサブ領域における比率が、連結領域５６の先端（ＳＵＢＤＳＴ［２３］側）に近づくにつれて減少すると共に、第３の画像５３の複数のサブ領域における比率が、連結領域５６の先端（ＳＵＢＤＳＴ［２４］側）に近づくにつれて減少するように決定している。以上のように、ブレンディング処理部２４は、連結領域５６を複数に分割してブレンドする多段ブレンディングを実行している。
【００７３】
図７のステップＳ１８において、ブレンディング処理済み画像記憶部３５が、ブレンドした連結領域６０，６１の画像と非連結領域５７の画像を記憶する。図８のステップＳ１８に示すように、第１の画像５１の非連結領域５７（非連結領域［０］）と、ブレンドした連結領域６０（ＤＳＴ［０］〜ＤＳＴ［７］）と、第２の画像５２の非連結領域５７（非連結領域［１］）と、ブレンドした連結領域６１（ＤＳＴ［８］〜ＤＳＴ［１５］）が記憶される。
【００７４】
図７のステップＳ１９において、連結領域及び非連結領域結合部２８は、ブレンドした連結領域６０，６１の画像と非連結領域５７の画像をブレンディング処理済み画像記憶部３５から読み出して、単一画像を生成する。図８のステップＳ１９に示すように、第１の画像５１の非連結領域５７（非連結領域［０］）と、第１の画像の連結領域５６と第２の画像５２の連結領域５６をブレンドした連結領域６０（ＤＳＴ［０］〜ＤＳＴ［７］）と、第２の画像５２の非連結領域５７（非連結領域［１］）と、第２の画像５２の連結領域５６と第３の画像５３の連結領域５６をブレンドした連結領域６１（ＤＳＴ［８］〜ＤＳＴ［１５］）が、連続する領域［０］〜領域［１８］によって構成される単一画像６２に生成される。
【００７５】
図７のステップＳ２０において、結合処理済み画像記憶部３６が生成した単一画像６２を記憶する。ステップＳ２１において、画像整形部２９は、結合処理済み画像記憶部３６から単一画像６２を読み出し、画像連結用設定データ記憶部３１から画像連結用設定データを読み出する。ステップＳ２２において、画像整形部２９は、有効画像領域のサイズ及び位置を示すデータに基づいて単一画像を整形する。図８のステップＳ２２に示すように、枠６６に囲まれた領域が有効画像領域であり、枠６６からはみ出した不使用上下端部６７はカットされる。
【００７６】
図７のステップＳ２３において、整形処理済み画像記憶部３７は、整形した単一画像６３を記憶する。ステップＳ２４において、静止画の場合は、画像連結部６による画像連結処理は終了し、出力部１０を介して整形した単一画像６３を出力することができる。動画の場合は、動画撮影が終了するまで、ステップＳ１０からステップＳ２３までの処理が連続的に繰り返される。整形処理済み画像記憶部３７は、整形した単一画像６３を例えば、ＡＶＩ形式等で記憶し、動画撮影中又は動画撮影後に、出力部１０を介して出力することができる。
【００７７】
以上に説明した撮像装置１によれば、連結領域６０，６１における色の差異の変化が緩やかになるように、サブ領域ごとの混合比率を変化させて、サブ領域を互いに重ね合わせるブレンディング処理部２４を備えることから、複数の画像５１，５２，５３の連結部分が目立たない画像処理を実現することができる。
【００７８】
図９及び図１０に、本実施形態に係る撮像装置１によって第１の画像５１と第２の画像５２を連結した連結領域６０の一例を示し、図１１に図９及び図１０に示した連結領域６０を含むパノラマ画像の一部を示す。図１０は図９の部分拡大写真である。図９から図１１に示す画像連結においては、ブレンディング処理部２４が、連結領域６０を前述した８個ではなく１６個のサブ領域に分割してブレンドされているが、画像連結部６による画像連結処理は前述したものと同様である。
【００７９】
また、図１２に、本実施形態に係る撮像装置１を使用せずに、第１の画像５１と第２の画像５２を連結した連結領域８４を示し、図１３に、図１２に示した連結領域８４を含むパノラマ画像の一部を示す。図１２では、連結領域８４をサブ領域に分割せず、第１の画像５１と第２の画像５２を１／２ずつの割合でブレンドしている。したがって、図１３に示すように、点線囲みで示す画像連結部分において、第１の画像５１と第２の画像５２における色の明度の差異が強く表れてしまい、連結部分が目立ってしまっている。
【００８０】
これに対して、図９及び図１０では、連結領域６０における色の差異の変化が緩やかであるため、図１１に示すように、点線囲みで示す画像連結部分において、連結部分が目立たない。したがって、撮像装置１によれば、連結部分がより自然に見える単一画像６３を得ることができる。
【００８１】
また、ブレンディング処理部２４は、サブ領域ごとの画像の混合比率を変化させることによって、連結領域６０，６１における色の差異の変化を緩やかにしている。したがって、例えば、ボケを施すために透明度を示す係数（アルファ値）を別途演算処理する必要がない。また、連結用の別画像を生成する必要もない。よって、画像連結処理における処理速度を高めることができる。
【００８２】
このように、本実施形態に係る撮像装置１によれば、静止画及び動画のいずれにおいても、複数の画像５１，５２，５３を連結する処理速度を高めると共に、複数の画像５１，５２，５３の連結部分が目立たない画像処理を実現することができる。
【００８３】
ブレンディング処理部２４は、複数の画像５１，５２，５３を連結する連結方向Ｗに連結領域５６を分割して複数のサブ領域を設定する。これにより、連結した連結領域６０，６１における色の差異の変化を連結方向Ｗに緩やかにすることができる。
【００８４】
ブレンディング処理部２４は、複数の画像５１，５２，５３の混合比率を、一方の画像の複数のサブ領域における比率が、連結領域５６の先端に近づくにつれて減少すると共に、他方の画像の複数のサブ領域における比率が、連結領域５６の先端に近づくにつれて減少するように決定するものである。これにより、連結領域６０，６１における色の差異を連結方向に漸次的に変化させることができる。
【００８５】
図９から図１１には、１６個のサブ領域に分割された連結領域６０を示しているが、前述した８個のサブ領域のブレンドと同様に、第１の画像５１の比率と第２の画像５２の比率が、それぞれの連結領域５６（図８に示す）の端部に近づくにつれて、サブ領域ごとに１／（サブ領域の個数＋１）ずつ一定の割合で減少している。すなわち、図１０に示すサブ領域［１］における第１の画像５１の占める割合は、１６／１７であり、第２の画像５２の占める割合は、１／１７であり、サブ領域［２］における第１の画像５１の占める割合は、１５／１７であり、第２の画像５２の占める割合は、２／１７であり、サブ領域［３］における第１の画像５１の占める割合は、１４／１７であり、第２の画像５２の占める割合は、３／１７であり、（中略）サブ領域［１６］における第１の画像５１の占める割合は、１／１７であり、第２の画像５２の占める割合は、１６／１７である。
【００８６】
第１の画像５１の比率と第２の画像５２の比率が、それぞれの連結領域５６（図８に示す）の端部に近づくにつれて減少することにより、図９及び図１０に示すように、連結領域６０において自然なグラデーションが形成され、連結部分をより自然に見せることができる。
【００８７】
前述の実施形態において、ブレンディング処理部２４は、サブ領域のＲＧＢ値を混合比率に基づいて算出している。これにより、サブ領域における画像のブレンドを容易に実行することができる。
【００８８】
前述の実施形態において、撮像装置１は画像補正部２２を備え、画像補正部２２は、複数の画像５１，５２，５３を仮想球体７０の球面７５，７６，７７上にそれぞれ投影して複数の球体投影画像を取得し、複数の球体投影画像を仮想の円柱周面上にそれぞれ投影して複数の円柱投影画像を取得することによって、複数の画像５１，５２，５３を補正している。これにより、複数の画像５１，５２，５３の遠近感異常及び歪みを補正して、複数の画像５１，５２，５３をスムーズに連結することができる。
【００８９】
また、本実施形態によれば、前処理部５によって予め設定された連結領域５６を連結すればよいため、パターンマッチング等の負荷の高い処理を行う必要がない。例えば、高フレームレート・ビデオ（一例として、３０フレーム／秒）に対して、１／３０秒ごとに合成ポイントを更新する処理は、現在のＰＣでも十分な処理速度で実施することは難しい。これに対して、本実施形態によれば、より低負荷且つ高速に画像の連結処理を行うことができる。
【００９０】
＜他の実施形態＞
以上、本発明の実施形態について述べたが、本発明は既述の実施形態に限定されるものではなく、本発明の技術的思想に基づいて各種の変形及び変更が可能である。例えば、前述の実施形態において、撮像部２を備える撮像装置１について説明したが、これに限定されない。本発明を撮像部２を備えない画像処理装置として実現してもよい。前述の撮像装置１は、パノラマ画像を撮影する多眼カメラとして実現され得るが、これに限定されない。複数の画像５１，５２，５３を連結してパノラマ画像以外の単一画像６３を生成してもよい。前述の実施形態において、撮像装置１は第１の撮像部２Ａから第３の撮像部２Ｃを備え、３枚の画像５１，５２，５３を連結しているが、これに限定されない。例えば、２個の撮像部２又は４個以上の撮像部２を備え、２枚又は４枚以上の画像を連結するように構成してもよい。前述の実施形態では、８個又は１６個に分割されたサブ領域について説明したが、これに限定されず、他の個数のサブ領域を設定してもよい。
【００９１】
サブ領域における画像５１，５２，５３の混合比率は、前述の実施形態における比率に限定されず、他の混合比率を用いてもよい。前述の撮像装置１では、ＲＧＢ値を調整することによって、サブ領域における画像５１，５２，５３のブレンドを実行しているが、これに限定されず、ＲＧＢ値以外の色の表現値を用いてサブ領域における画像５１，５２，５３のブレンドを実行してもよい。前述の撮像装置１では、画像５１，５２，５３が連結された後に画像整形部２９によって、不使用上下端部６７をカットしているがこれに限定されない。一例として、前述のステップＳ１５（図７に示す）において、画像５１，５２，５３を連結する前に、不使用連結端部５１ｂ，５２ｂ，５３ｂと共に不使用上下端部６７をカットしておいてもよい。この場合、画像整形部２９は不要になる。前述の撮像装置１において、ホワイトバランス調整等の各種画像処理を、画像連結処理と共に実行してもよい。
【符号の説明】
【００９２】
１  撮像装置
２  撮像部
３  画像入力部
６  画像連結部
２２  画像補正部
２４  ブレンディング処理部
４６，５６，６０，６１  連結領域
５１，５２，５３  複数の画像
７０  仮想球体
【図１】
2015080117.tif 000013
【図２】
2015080117.tif 000014
【図３】
2015080117.tif 000015
【図４】
2015080117.tif 000016
【図５】
2015080117.tif 000017
【図６】
2015080117.tif 000018
【図７】
2015080117.tif 000019
【図８】
2015080117.tif 000020
【図９】
2015080117.tif 000021
【図１０】
2015080117.tif 000022
【図１１】
2015080117.tif 000023
【図１２】
2015080117.tif 000024
【図１３】
2015080117.tif 000025