(57)【要約】【課題】  画像の特徴に応じて重複領域を重み付き加算することにより、複数の画像をより自然に合成する。【解決手段】  本発明に係る画像処理装置は、一部重複するように取得された複数の画像を、重複領域において前記複数の画像を合成する領域を特定する位置を取得する取得手段と、  前記領域を特定する位置近傍の、前記複数の画像におけるエッジを検出する検出手段と、  前記領域を特定する位置近傍において、前記複数の画像を構成する各画素の画素値をブレンドすることで、前記複数の画像を合成して出力画像を作成する合成手段を有し、  前記合成手段は、前記領域を特定する位置と前記エッジとの相関に応じて前記複数の画像を合成する領域を制御するためのパラメータを設定することを特徴とする。【選択図】  図１３
2017050857.tif 000002
【特許請求の範囲】
【請求項１】
一部重複するように取得された複数の画像を、重複領域において前記複数の画像を合成する領域を特定する位置を取得する取得手段と、
前記領域を特定する位置近傍の、前記複数の画像におけるエッジを検出する検出手段と、
前記領域を特定する位置近傍において、前記複数の画像を構成する各画素の画素値をブレンドすることで、前記複数の画像を合成して出力画像を作成する合成手段を有し、
前記合成手段は、前記領域を特定する位置と前記エッジとの相関に応じて前記複数の画像を合成する領域を制御するためのパラメータを設定することを特徴とする画像処理装置。
【請求項２】
前記合成手段は、前記領域を特定する位置と前記エッジとが一致している場合、を特定していない場合よりも、前記複数の画像を合成する領域の幅を小さく設定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記領域を特定する位置は、線によって示されることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記合成手段は、領域ごとに前記領域を特定する位置と前記エッジとの一致度を評価するための評価値を算出し、前記評価値に応じて前記パラメータを設定することを特徴とする請求項１乃至３の何れか一項に記載の画像処理装置。
【請求項５】
前記パラメータは、前記結合線の近傍におけるブレンドする幅を制御するためのパラメータであることを特徴とする請求項１乃至４の何れか一項に記載の画像処理装置。
【請求項６】
前記合成手段は、前記領域を特定する位置を示す線の位置および方向と、前記エッジの位置と方向との一致度を、前記相関として算出することを特徴とする請求項３に記載の画像処理装置。
【請求項７】
前記検出手段は、前記領域を特定する位置を示す線の方向に分割される２つの部分領域の特性の差を、前記エッジとして検出することを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
【請求項８】
前記検出手段は、画素値の変化の度合いを表す量を前記エッジとして検出することを特徴とする請求項１乃至６の何れか一項に記載の画像処理装置。
【請求項９】
前記検出手段は、周波数特性を前記エッジとして検出することを特徴とする請求項１乃至６の何れか一項に記載の画像処理装置。
【請求項１０】
前記合成手段は、領域ごとに、前記特徴量が表す部分領域の特性の差が大きい場合は、前記ブレンドする幅を大きくし、前記特徴量が表す部分領域の特性の差が小さい場合は、前記ブレンドする幅を大きくするパラメータを設定することを特徴とする請求項７に記載の画像処理装置。
【請求項１１】
前記合成手段は、ブレンドする幅の上限を取得する最大ブレンド幅取得手段を有し、
前記合成手段は、前記パラメータを前記最大ブレンド幅以下に設定することを特徴とする請求項１乃至１０のいずれか一項に記載の画像処理装置。
【請求項１２】
前記最大ブレンド幅取得手段は、ユーザによる指示に基づいて前記最大ブレンド幅を設定することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記画像は、画素の表す領域ごとに撮影視点からの距離を表す距離情報を有し、
前記検出手段は、前記複数の画像における前記領域を特定する位置を示す線の位置及び方向に関わる距離情報におけるエッジを検出することを特徴とする請求項１乃至１２のいずれか一項に記載の画像処理装置。
【請求項１４】
コンピュータを、請求項１乃至請求項１３のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１５】
一部重複するように取得された複数の画像を、重複領域において前記複数の画像を合成する領域を特定する位置を取得する取得工程と、
前記領域を特定する位置近傍の、前記複数の画像におけるエッジを検出する検出工程と、
前記領域を特定する位置近傍において、前記複数の画像を構成する各画素の画素値をブレンドすることで、前記複数の画像を合成して出力画像を作成する合成工程を有し、
前記合成工程は、前記領域を特定する位置と前記エッジとの相関に応じて前記複数の画像を合成する領域を制御するためのパラメータを設定することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の一部が重複している複数の画像を合成して広視野角（パノラマ）画像を生成する処理に関する。
【背景技術】
【０００２】
同じ被写体を含むように一部重複して撮影された複数の画像を合成し１枚の広視野角（パノラマ）画像を生成する場合、境界部を滑らかに接合する必要がある。そこで、少なくとも２つの隣接する画像の重複領域では、対応する各画素の画素値をブレンド（重み付け加算）することにより合成する。特許文献１には、隣接する画像の重複領域において、ブロックごとに、２つの画像間の移動量を算出し、移動量に応じた重み付け割合を用いて２つの画像の各画素の画素値を重み付け加算することにより合成する方法を開示している。画像間の移動量が大きい画素については、位置ずれが起こりやすいため一方の画素の重みを大きくし、画像間の移動量が小さい画素については０．５ずつの重みにして、２つの画像における各画素の画素値を重み付け加算する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１９３０６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら特許文献１の方法では、重複領域において、２つの画像間に位置ずれが生じている場合、対応する画素の画素値を重み付け加算してしまうと、エッジ部では多重像が生じたり、鮮鋭性が劣化したりする。一方、重複領域において平坦部では、重み付け加算するための重みが切り替わることで、境界線で色が不連続に変化する等のアーティファクトが発生する場合がある。そこで本発明は、画像の特徴に応じて重複領域を重み付き加算することにより、複数の画像をより自然に合成することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するため本発明に係る画像処理装置は、一部重複するように取得された複数の画像を、重複領域において前記複数の画像を合成する領域を特定する位置を取得する取得手段と、前記領域を特定する位置近傍の、前記複数の画像におけるエッジを検出する検出手段と、前記領域を特定する位置近傍において、前記複数の画像を構成する各画素の画素値をブレンドすることで、前記複数の画像を合成して出力画像を作成する合成手段を有し、前記合成手段は、前記領域を特定する位置と前記エッジとの相関に応じて前記複数の画像を合成する領域を制御するためのパラメータを設定することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、画像の特徴に応じて重複領域を重み付き加算することにより、複数の画像をより自然に合成することができる。
【図面の簡単な説明】
【０００７】
【図１】画像処理装置のハードウェア構成を示す模式図
【図２】画像処理装置の機能構成を示すブロック図
【図３】画像処理装置が行う処理の流れを示すフローチャート
【図４】第１実施形態の画像を撮像したときのカメラの位置関係を示す図
【図５】出力画像の座標系における補正画像の写像範囲を示す図
【図６】結合線と出力画像に使用される画像の関係を示した図
【図７】第１実施形態で画像合成部が行う処理の流れを示すフローチャート
【図８】結合線画像とエッジ画像の結合線近傍領域の例を表す図
【図９】出力画像において補正画像が使われる範囲を示す図
【図１０】結合線の位置とブレンド幅を変えて処理を行ったときの結果を示した表
【図１１】結合線の左右で画像の特徴が異なるときの例を表す図
【図１２】結合線画像の例を表す図
【図１３】画像合成部の機能構成を示すブロック図
【図１４】第２実施形態で画像合成部が行う処理の流れを示すフローチャート
【図１５】第５実施形態の画像合成部の機能構成を示すブロック図
【図１６】第５実施形態で画像合成部が行う処理の流れを示すフローチャート
【図１７】第２実施形態で小領域の特徴量が異なる場合の例を示す図
【図１８】結合線画像とエッジ画像の結合線近傍領域の例を表す図
【発明を実施するための形態】
【０００８】
以下、添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。
【０００９】
＜第１実施形態＞
図１は、本実施形態に適用可能な画像処理装置のハードウェア構成を示す図である。画像処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、ＨＤＤ１０４を有する。さらに、出力インタフェース（Ｉ／Ｆ）１０５、入力インタフェース（Ｉ／Ｆ）１０７、撮像インタフェース（Ｉ／Ｆ）１０９、汎用インタフェース（Ｉ／Ｆ）１１１、汎用システムバス１１３を有している。ＣＰＵ１０１は画像処理装置１００内の各部を統括的に制御するプロセッサである。ＲＡＭ１０２は、ＣＰＵ１０１の主メモリ、ワークエリア等として機能する。ＲＯＭ１０３は、ＣＰＵ１０１によって実行されるプログラム群を格納している。ＨＤＤ１０４は、ＣＰＵ１０１によって実行されるアプリケーションや、画像処理に用いられるデータ等を記憶する。出力Ｉ／Ｆ１０５は、例えばＤＶＩやＨＤＭＩ（登録商標）等の画像出力インタフェースであり、液晶ディスプレイなどの出力装置１０６を接続する。入力Ｉ／Ｆ１０７は、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェースであり、ユーザが各種の指示操作を行うためのキーボードやマウスなどの入力装置１０８を接続する。撮像Ｉ／Ｆ１０９は、例えば、３Ｇ／ＨＤ−ＳＤＩやＨＤＭＩ（登録商標）等の画像入力インタフェースであり、撮像によりデジタルの画像データを取得する撮像装置（カメラ）１１０を接続する。汎用Ｉ／Ｆ１１１も入力Ｉ／Ｆ同様ＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェースであり、必要に応じて外部記憶１１２を接続する。
【００１０】
本実施形態では、画像処理装置１００は撮像装置１１０に外部接続することで、撮像装置１１０が撮影して得られた複数のデジタルな画像データを受け取り、各種画像処理を施すことによりパノラマ画像を生成する形態を例に説明する。なおパノラマ画像とは、複数の画像を連結した大きな画像であり、レンズに応じた画角よりも広視野角で撮影した場合に得られる画像と同等の画像である。本実施形態では、２つの画像データを左右に接合することで、水平方向に大きな画像を生成する方法について説明する。ここでは２つの撮像装置１１０がそれぞれ所定の被写体を撮影する。画像処理装置１００は例えば、パーソナルコンピュータによって実現される。ただし画像処理装置１００は、デジタルカメラやカメラ付情報端末に内蔵された画像処理専用の回路として実現することもできる。
【００１１】
図２は、本実施形態における画像処理装置１００の機能構成を示すブロック図である。ＣＰＵ１０１は、ＲＯＭ１０３又はＨＤＤ１０４に格納されたプログラムを読み出してＲＡＭ１０２をワークエリアとして実行することで、図２に示す各機能ブロックとしての役割を果たす。なお、全ての機能ブロックの役割をＣＰＵ１０１が果たす必要はなく、各機能ブロックに対応する専用の処理回路を設けるようにしてもよい。画像処理装置１００は、画像入力部２０２、画像補正部２０３、位置関係推定部２０４、写像部２０５、結合線決定部２０６、画像合成部２０７、画像出力部２０８と、入力端子２０１、出力端子２０９を有する。画像入力部２０２は、パノラマ画像を生成するための一部を重複するように撮像することによって得られた複数の画像を入力する。
【００１２】
画像補正部２０３は、各画像に対して各種の補正処理を施す。ここでは、レンズによる光学歪みを補正する。位置関係推定部２０４は、各画像における特徴点を対応付けることで、入力された各画像に対応するカメラの相対的な位置関係を推定する。ここで各カメラの位置を推定するのは、各画像を同じ座標系に写像するためである。従って、カメラの位置関係が予め分かっている場合や、各画像に投影された空間上の位置が分かっている場合は、位置関係推定部２０４は必要としない。
【００１３】
写像部２０５は、一部重複するように撮像して得られた複数の画像を結合するため、各画像を同じ座標系に写像する。結合線決定部２０６は、一部重複するように撮像した複数の画像を結合するための境界となる結合線を決定する。写像部２０５により写像した各画像の重複領域を特定し、重複領域内に結合線を設定する。本実施形態では、結合線近傍の領域において、重複する領域を有する複数の画像の対応する画素の画素値をブレンドする。従って結合線決定部２０６は、複数の画像に対応する画素をブレンドする領域の基準となる位置を決定していることになる。
【００１４】
画像合成部２０７は、結合線に基づいて各画像を結合しつつ、境界となる結合線近傍では対応する複数の画像における各画素の画素値をブレンドし、画像を合成する。ここで得られる出力画像は、前述の通りパノラマ画像として知られる、通常のカメラの画角で撮影した場合よりも広い範囲を撮影した画像である。画像出力部２０８は、画像合成部２０７による合成の結果得られる出力画像を、外部へ出力する。
【００１５】
図３は、本実施形態における画像処理装置１００が実行するフローチャートである。ＣＰＵ１０１は、図３に示すフローチャートに沿ったプログラムを読み出し実行する。
【００１６】
ステップＳ３０１において画像入力部２０２は、入力端子２０１から入力された複数の画像を取得する。ここでは、図４に示すように配置された２つのカメラ（撮像装置１１０）がほぼ同じタイミングで、異なる方向を撮像することにより、得られる画像を入力する場合を例に説明する。図４に示すように、カメラ１およびカメラ２は、一部重複する領域を含むように設定された方向を撮像している。
【００１７】
次いでステップＳ３０２において画像補正部２０４が各画像に対して補正処理を行う。一般的に撮影によって得られた画像はレンズによる光学歪みの影響を受けている。画像補正部２０３は、撮像装置１１０におけるレンズの光学歪みを補正し、画像データを光学歪みの影響を抑制した補正画像に変換する。この補正処理としては、撮像時に使用されたレンズの特性に基づいて画像を構成する各画素の再配置を行うなど、公知の方法を用いることができる。
【００１８】
ステップＳ３０３において位置関係推定部２０４は、各画像を撮影した撮像装置の位置関係を推定する。２つの撮像装置から入力された各画像には一部、同じ被写体を含む重複領域がある。そこで各補正画像の重複領域においてそれぞれ特徴点を抽出し、複数画像データ間の特徴点を対応付ける。対応付けされた特徴点を対応点と呼ぶ。この対応点に基づいて、各カメラの相対的な位置関係を求める。位置関係は、各カメラが同位置にあると近似し、カメラ光軸の向いている方向をオイラー角（φ、θ、ψ）により表現する。
【００１９】
次にステップＳ３０４において写像部２０５は、推定されたカメラの位置関係に基づき、各補正画像を出力画像座標系に写像する。出力画像座標系とは、生成されるパノラマ画像に対応する座標系である。図５は、図４に示す条件で撮影された各画像を、出力画像座標系に写像した結果を示す。カメラ１から取得された画像は補正画像１に、カメラ２から取得された画像は補正画像２に変換され、写像されている。重複領域５０３は、カメラ１から取得された画像およびカメラ２から取得された画像の両方が写像された領域である。このように、複数の入力された画像が１つの出力画像座標系に集合する。なお出力画像座標系は、写真で一般的に用いられる透視投影に限らず、用途に応じて正距円筒図法系（エクイレクタングラー）などの座標系でもよい。
【００２０】
次いでステップＳ３０５において結合線決定部２０６は、出力画像における重複領域において、複数の画像をつなげるための結合線の位置を決定する。ここで結合線とは、重複領域において、いずれの写像を主として用いるかを定める境界線である。すなわち、結合線によって、複数の画像を合成する領域の位置を特定する。結合線は、例えば図６の実線で示す結合線のように決定される。なお結合線は、繋ぎ目、継ぎ目、接合面、シームなどと呼称されることもある。本実施形態において結合線は、公知技術である画素値の変化をエネルギーコストとしたグラフカットの手法を用いて取得するものとする。
【００２１】
ステップＳ３０６において画像合成部２０７は、写像された各補正画像をステップＳ３０５において決定された結合線に基づいて合成し、１枚のパノラマ画像を生成する。画像合成部２０７は、結合線の位置で画像の境界が目立ち不連続に見えるのを抑制するために、境界処理を行う。画像合成部２０７は、結合線近傍で重複した補正画像の写像同士を混合することにより、境界処理を行う。画像合成部２０７が実行する処理の詳細は後述する。ステップＳ３０７において画像出力部２０８は、ステップＳ３０６において生成されたパノラマ画像を、ＨＤＤ１０４や出力装置１０６、外部記憶１１３などに出力する。これにて本実施形態において画像処理装置１００が行うパノラマ画像の生成処理は完了する。
【００２２】
次に、画像合成部２０７が実行するステップＳ３０６の処理の詳細を説明する。出力画像を生成する際、重複領域において結合線より左側の領域５０１では補正画像１、右側の領域５０２では補正画像２の情報（画素値）を主に参照し、出力画像における画素値を決定する。ただし重複部分では、補正画像１と２の両方の情報が利用可能である。そこで結合線の近傍では、境界処理として補正画像１と２両方の情報を用いたブレンド処理を行って出力画像を合成する。この処理によって、出力画像において補正画像１と補正画像２を結合することにより結合線付近で不自然に色が変化するのを目立ちにくくすることができる。本実施形態の画像合成部２０７のブロック図を図１３に示す。また図７は、画像合成部２０７が行うステップＳ３０６における合成処理の詳細なフローチャートである。
【００２３】
ステップＳ７０１において結合線取得部１３０２は、結合線の位置を特定し、出力画像座標系における結合線画像を作成する。本実施形態では、結合線に位置する画素が白色（例えば画素値２５５）、そうでない位置の画素は黒色（画素値０）で表された図１２のような画像を生成する。
【００２４】
次にステップＳ７０２においてブレンド前画像合成部１３０３がステップＳ３０４で得られた結合線に基づき画素ごとに用いる補正画像を選択し、出力画像座標系に画像を生成する。すなわち結合線の左側では補正画像１から各画素の画素値を、右側では補正画像２から各画素の画素値を選択する。ただしこの時点では境界線近傍にブレンド処理は施されていない。ここで生成された画像を、ここではブレンド前出力画像と呼ぶ。
【００２５】
ステップＳ７０３において特徴量検出部１３０４は、ステップＳ７０２で得られたブレンド前出力画像においてエッジ抽出処理を行う。つまりここでは特徴量とはエッジ成分である。エッジ抽出処理は公知の技術を用いることができる。例えばブレンド前画像にラプラシアンフィルタ処理を施した後、所定の閾値との比較による二値化処理を行う方法が考えられる。このようにして得られる画像は、出力画像座標系において出力画像と同じサイズであり、エッジの方向によらずエッジ部分が白色（画素値２５５）、それ以外が黒色（画素値０）で表された画像である。これを以下、エッジ画像と呼ぶ。
【００２６】
続くステップＳ７０４〜Ｓ７０８では、ブレンド幅決定部１３０５が出力画像の結合線の近傍の各領域において、エッジ成分と結合線との一致の度合い（以下、一致度）を算出する。ステップＳ７０４において、一致度を表す変数ｓｃｏｒｅに０を代入して初期化する。ステップＳ７０５〜Ｓ７０８は、結合線近傍の領域内の各画素において繰り返し行う処理である。領域とは例えば、結合線画像をＮ×Ｎのブロックに分割したうち、結合線を含むブロックとする。ステップＳ７０６では、ステップＳ７０１で得られた結合線画像とステップＳ７０３で得られたエッジ画像それぞれにおける注目画素位置で、各画素の画素値を比較する。もし画素値が一致していれば、すなわち結合線の位置にエッジがあれば、ステップＳ７０７に移動しｓｃｏｒｅ（一致度を表す評価値）を増加させる。本実施形態では、結合線とエッジ成分が重なっていればｓｃｏｒｅに５を加え、領域のそれ以外の点ではｓｃｏｒｅに１を加えるが、値はこれに限らない。もし画素値が一致していなければステップＳ７０７をスキップする。この処理を領域内の全画素について行う。
【００２７】
図８に、結合線画像とエッジ画像それぞれの部分的な領域の図を示す。この領域は、５画素×５画素（Ｎ＝５）のブロックである。結合線画像における領域８０１とエッジ画像における領域８０２は対応する。各画素の画素値を比較し、ステップＳ７０４〜Ｓ７０８を繰り返すと、この領域のｓｃｏｒｅは４２になる。なお、ｓｃｏｒｅの値は領域の面積（画素数）で割ることにより正規化してもよい。結合線画像では結合線が白色、それ以外の部分は黒色であり、エッジ画像はエッジ部分が白色、そうでない部分は黒色と定めた。ｓｃｏｒｅは結合線とエッジ成分が重なっているときに大きくなるが、結合線以外の画素でもエッジ成分が多く存在するときｓｃｏｒｅは伸びず、そうでないときに比べ相対的に小さくなる。従ってｓｃｏｒｅが高いということは、結合線とシーンを表す画像のエッジとが一致する、あるいは沿うように存在することを表している。
【００２８】
領域内で全ての画素について処理を終えたらステップＳ７０９に移動し、所定の閾値ｔｈと一致度ｓｃｏｒｅを比較する。もしｓｃｏｒｅ＞ｔｈであれば、ステップＳ７１０に移動し、この領域では、ブレンド処理を行う範囲（ブレンド幅）を小さくする。ブレンド幅を示すフラグを「小」に設定する。逆にｓｃｏｒｅ≦ｔｈであればステップＳ７１１に移動し、この領域でのブレンド幅を大きくする。すなわちブレンド幅を示すラグ「大」に設定する。このときの閾値ｔｈの値は任意であるが、本実施形態では領域８０１と領域８０２とが完全に一致したときｓｃｏｒｅ＝４５、領域８０２にエッジ成分が全くない場合ｓｃｏｒｅ＝２０、全画素エッジ成分である場合ｓｃｏｒｅ＝２５であることを参照し、ｔｈ＝４０を閾値として設定する。ステップＳ７１２に移動し、全ての結合線近傍の領域でＳ７０４〜Ｓ７１２の処理が行われるまでこれを繰り返す。
【００２９】
ステップＳ７１３では、ブレンド処理部１３０６が決定したブレンド幅フラグを用いてブレンド処理を行う。本実施形態ではまず、図９に示すように、結合線を境界に、出力画像において各補正画像が用いられる範囲を分離する。画像９０１が補正画像１の情報を用いる範囲を示し、画像９０２が補正画像２の情報を用いる範囲を示す。ただし白色部分が各補正画像を用いる範囲である。画像９０１を、補正画像１の各画素に対する重みを決定するためのマップ、画像９０２を、補正画像２の各画素に対する重みを決定するためのマップとして利用する。以降、画像９０１を補正画像１の画素ごとに参照するか否かを示すマップＭ１とし、画像９０２を補正画像２の画素ごとに祖の画素値を参照するか否かを示すマップＭ２とする。ここで結合線はＭ１における白色部分、Ｍ２における白色部分のいずれにも含まれるように分離する。次に、マップＭ１及びＭ２における白画素を増やすことにより白色部分を膨張させる膨張処理を行う。具体的には白色部分と黒色部分の境界に位置する黒画素の一部を、白画素に変換する。このとき、フラグが「小」の領域よりも「大」の領域の方が黒画素から白画素に変換する画素の数が多くなるように、膨張処理の回数を変える。ここでは、５画素×５画素の注目領域のフラグが「小」である場合、白色部分と黒色部分の境界に位置する黒画素を５つ検出し、５つの黒画素を白画素に変換し、膨張処理を終える。注目領域のフラグが「大」である場合、白色部分と黒色部分の境界に位置する黒画素を５つ検出し、検出した５つの黒画素を白画素に変換する。この黒画素の検出と白画素への変換処理を、白画素に隣接する黒画素がなくなるまでくり返す。つまりフラグが「大」の場合は、領域内のすべての黒画素を白画素に変換する。あるいは領域ごとに１回の処理で白画素に変換する黒画素の量を変えてもよい。以上のように、領域ごとに、マップＭ１およびＭ２でも白画素である画素の数が、ブレンド幅を制御するためのフラグを参照して決定されていることになる。フラグ大の領域では、フラグ小の領域に比べて、重複している白色部分の幅が大きい。画像９０１及び９０２の矢印は、白画素が矢印の方向に膨張するようにステップ７１３における処理によって黒画素の一部が白画素に変更されていくことを表す。矢印の長さが異なるのは、領域ごとに設定されたフラグによって膨張の度合いが異なることを概念的に表す。ここでは黒画素を白画素に変更する処理を説明したが、黒画素（画素値が０）を画素値１〜２４４の値に変更してもよい。なお膨張処理は上記のものに限らず、一般に知られるフィルタを用いた膨張（Ｄｉｌａｔｅ）処理を用いることもできる。
【００３０】
膨張処理が終わったら、出力画像Ｒの座標（ｘ、ｙ）に対して、対応するマップの各画素の画素値をＭ１（ｘ、ｙ）、Ｍ２（ｘ、ｙ）、補正画像１と２を構成する各画素の画素値をそれぞれＩ１（ｘ、ｙ）、Ｉ２（ｘ、ｙ）として、
【００３１】
【数１】
2017050857.tif 000003
として出力画像の画素値Ｒ（ｘ、ｙ）を決定する。上記式（１）によれば、補正画像１のみを参照する画素（Ｍ１（ｘ、ｙ）＝２５５、Ｍ２（ｘ、ｙ）＝０）については、補正画像１の画素値Ｉ１（ｘ、ｙ）がＲ（ｘ、ｙ）として出力される。一方補正画像２のみを参照する画素（Ｍ１（ｘ、ｙ）＝０、Ｍ２（ｘ、ｙ）＝２５５）については、補正画像２の画素値Ｉ２（ｘ、ｙ）がＲ（ｘ，ｙ）として出力される。また、補正画像１に対応するマップＭ１と補正画像２に対応するマップＭ２のいずれにおいても白画素である場合、補正画像１の画素値Ｉ１（ｘ、ｙ）と補正画像２の画素値Ｉ２（ｘ、ｙ）との平均値がＲ（ｘ，ｙ）として出力される。このように出力画像では、結合線近傍では、一部画素において補正画像１の画素および補正画像２の画素の両方から算出され、ブレンドされることになる。上述の通り、エッジと結合線との一致度が高いブロックはブレンド幅が狭く、エッジと結合線の一致度が低いブロックはブレンド幅が広く設定される。
【００３２】
上記処理による効果を説明する。説明のための具体例として図１０を参照する。図１０は、ある２つの画像と結合線が与えられたときに、異なるブレンド幅を用いて境界処理を行ったときの結果を整理した表である。画像１００１は、ある２つの画像に対する、出力画像座標系における重複領域の一部である。画像１００１では２つの画像が重ねて表示されている。２つの入力画像は撮像時のカメラ位置が異なっていたために、シーン内のオブジェクトの位置が必ずしも一致しておらず、位置ズレが発生している。そのため画像１００１では多重像のように表示されている。このような位置ズレは、図４に示すようにカメラが角度を持って非平行に配置されていた場合において特に発生しやすい。
【００３３】
結合線が、［１］結合線が画像のエッジに沿って設定されている場合と、［２］結合線が画像の平坦部に設定されている場合を仮定して考える。さらにぞれぞれの場合において、比較的大きなブレンド幅と、比較的小さなブレンド幅を用いてブレンド処理を行った場合について示している。まず表の上段、［１］結合線が画像のエッジに沿って設定されている場合に着目する。画像１００２は、結合線近傍で比較的大きなブレンド幅でブレンド処理された画像である。ブレンド処理では、重複している２つの画像における画素の画素値が共に使用される。しかしながら位置ズレが発生しているため、画素位置が同じ画素間では、同じ被写体に対応していない。このため画像１００２では、比較的広い範囲で異なる被写体に対応する画素値をブレンドすることになり、多重像として現れている。また、エッジの鮮鋭性も劣化する。
【００３４】
一方画像１００３は、結合線近傍で比較的小さなブレンド幅でブレンド処理された画像である。画像１００３では２つの入力画像の画素値を用いる範囲が画像１００２よりも小さく、使用する画像の切り替わりが急峻に行われる。結果、画像１００２より多重像が知覚されにくくなっている。特に、両画像の矢印によって示した部分を比べれば両者の差は明らかである。
【００３５】
表の下段、［２］結合線が画像の平坦部に設定されている場合に着目する。画像１００４は、結合線近傍で比較的大きなブレンド幅でブレンド処理された画像である。画像１００４では、結合線付近で画像が滑らかに変化し、画像の切り替わりが知覚されにくい。反対に画像１００５は、結合線近傍で比較的小さなブレンド幅でブレンド処理された画像である。画像１００５では、本来色の変化が少ない領域であるにも関わらず、結合線付近で色が不自然に変化しているのが知覚される。これはカメラの個体差や照明条件、撮影条件の違いに起因し、撮影画像がわずかに異なる色等で記録されていたものが、使用される画像の急峻な切り替わりによって顕在化したものである。両画像の矢印によって示した部分の比較によって両者の差が分かる。
【００３６】
この例からも明らかなように、適切なブレンド処理は、画像の結合線の位置や画像の特徴によって変化する。特に、本実施形態のように入力された複数の画像間でシーンが位置ズレを持っている場合、結合線を必ずしもシーンが一致した箇所に設定できるとは限らない。そこで本実施形態は、境界を表す結合線の位置、および方向と画像のエッジ成分の位置および方向との一致度に基づいて、ブレンド幅を決定する。結合線がシーン内のエッジと一致していれば、ブレンド幅を小さく設定することによってその境界に多重像が現れるのを抑制することが可能である。また一方で、シーン内にエッジがない部分等やエッジが境界線と一致しない場合についてはブレンド幅を比較的大きくすることで、カメラ個体差等による画像の不自然な色の変化を隠蔽できる。
【００３７】
以上の通り本実施形態によれば、複数の画像を結合する場合に、境界領域において複数の画像をブレンドする幅を制御することにより、多重像や鮮鋭性の劣化を抑制しつつ、画像の切り替わりが知覚されにくい高品質な合成画像を得ることができる。
【００３８】
＜第１実施形態の変形例＞
上記実施形態は、次にあげるような変形例としても好適に実施できる。
【００３９】
ステップＳ７０４〜Ｓ７０８は、出力画像の各領域において、画像のエッジ成分と結合線との一致度を算出することが目的である。したがって、この目的を達するためであれば方法は上述のフローには限らない。例えば、ステップＳ７０４の前にブレンド前出力画像、エッジ画像の両画像に、画像サイズを小さくすべく解像度変換処理を加えてもよい。これによって、エッジ抽出処理の際のノイズの影響や、わずかなズレのために結合線とエッジ成分が実質的に一致しているにもかかわらず正しく一致度の判定がなされないといった誤判定を抑制することができる。さらに画像サイズが小さくなることにより処理時間を小さくすることができる。
【００４０】
また、領域について算出する評価値は、複数の評価値候補を算出した後に、もっとも高い値を評価値として決定するような構成でもよい。例えばエッジ画像と結合線画像とがわずかにズレているために、本来であればエッジと結合線が類似しているにも関わらず一致度を示す評価値が小さくなってしまう場合がある。そこで、エッジ画像と結合線画像を、複数の方向に数画素ずつずらした場合の一致度を評価値候補として算出し、最高値を採用するようにしてもよい。
【００４１】
第１実施形態のエッジ抽出処理は、方向を問わず、全方向のエッジ成分が抽出される処理を用いた。しかし、エッジ抽出処理にはエッジの方向ごとに抽出できる方法があり、これを採用してもかまわない。例えば、ｘ軸方向（水平方向）のエッジ成分を抽出する処理を行い、結合線とのｘ軸方向の一致度を計算する。その後、ｙ軸方向（鉛直方向）のエッジ成分を抽出する処理を行い、結合線とのｙ軸方向の一致度を計算する。これにより結合線がエッジの方向とおおむね同方向であるかどうかを判定することができる。第１実施形態では画像におけるエッジの方向と結合線の方向が異なるにもかかわらず、エッジ成分が存在するというだけで一致度に寄与してしまう場合があった。しかしながらエッジの方向毎に一致度を評価することにより、エッジ成分と結合線が沿うものであるのか否かをより正しく判定できるようになる。
【００４２】
上述の実施形態では一致度を示す評価値を算出する領域をＮ×Ｎの正方形のブロックとして扱っていた。しかしエッジ成分あるいは結合線に沿った形状に応じて一致度を評価することにより、領域内での結合線の占める面積比率を大きくできる利点がある。例えば、ｘ軸方向（横線方向）のエッジ成分に対しては横に長い矩形を領域にする等である。ｘ軸方向のエッジ成分を抽出後、横に長い矩形を領域としてｘ軸方向の一致度を計算する。またｙ軸方向のエッジ成分に対しては、縦に長い矩形を領域としてｙ軸方向の一致度を計算する。このようにすれば、エッジ成分の方向に合わせた領域を採用できる。
【００４３】
また、ブレンド幅を決定する単位は、矩形領域に限らない。例えばまず、結合線画像をＮ×Ｎの正方形ブロック状に分割する。次に、結合線を対象に膨張処理（Ｄｉｌａｔｅ）を行う。各Ｎ×Ｎのブロック領域のうち、膨張処理を経た結合線を含むブロックの、画素値が０でない画素（結合線の膨張に係る画素）のみを領域としてカウントする。このようにすると、結合線の方向に沿った領域が得られる。なおこの場合の結合線に対する膨張処理は結合線近傍の領域を得るための処理であって、以降の処理に用いる結合線は膨張処理を行わない状態の結合線を対象とすることに注意されたい。ブレンド幅を決定する単位の領域は、領域が小さい方が画像に対して細かくブレンド幅を制御することができる。ブロック領域が大きく、領域内の画像の特徴量に偏りがある場合にも、当該領域に１種類のブレンド幅フラグを与えてしまうためである。例えば図１８に示すように画像下側ではエッジ成分が存在するが上側では存在しない場合、図１８の領域はｓｃｏｒｅ＝３３と計算され、ｓｃｏｒｅ≦ｔｈ（＝４０）によりブレンド幅は大に設定される。しかしこの領域を１８０２と１８０３に分けて考えれば、１８０２にはブレンド幅大が、１８０３にはブレンド幅小が設定されるのが望ましい。このような状況を抑制するためには、画像の特徴量を正しく検出できる範囲で領域を小さく取るとよい。または、所定の領域を、結合線の方向に画像の特徴量の偏りがあるか否かに応じてさらに小さく分割するようにすることもできる。例えば、図１８において、初めに画像の特徴量の偏りの可能性を調べるため、結合線に対応する画素のエッジ成分を調べる。すると結合線上で上から２画素にはエッジ成分がないが、下から３画素はエッジ成分がある。そこで結合線の方向に偏りが存在する可能性があると見なし、結合線に垂直な線でブロックを分割する。その後、分割後の領域でそれぞれ特徴量を算出し、ブレンド幅フラグを設定する。もし、結合線に対応する画素のエッジ成分に偏りが見られない場合（ほとんどがエッジまたは非エッジ画素のいずれかの場合、あるいはエッジ成分と非エッジ成分が結合線の方向に偏らずまだらに存在する場合）は、分割を行わず所定の領域に対しブレンド幅フラグを設定する。このようにしてより細かくブレンド幅の制御を行うことができる。なお、この例に代えて公知の特徴量の偏り検出方法、分割方法を用いてもよい。
【００４４】
上述の実施形態では一致度を計算する際、結合線に従いブレンド前出力画像を生成し、それを対象に計算を行っていた。すなわち、重複部分の写像のうち実際に用いられる方の画像に対してのみ一致度を計算していた。しかし、重複している写像の複数に対して一致度を計算し、その情報を用いてブレンド幅制御に用いるようにしてもよい。
【００４５】
また、第１実施形態では、画像の特徴量としてエッジ成分を抽出し、結合線との一致度を画素の比較により計算した。しかしエッジ成分と結合線の一致度はその計算方法に限らない。他の例としては、結合線画像とエッジ画像とのテンプレートマッチングを用いる方法がある。このとき得られたテンプレートマッチングでの一致度を用いてもよい。また、注目領域における、結合線画像の周波数特性とエッジ画像の周波数特性を比較し、その一致の度合いによってブレンド幅を制御してもよい。
【００４６】
＜第２実施形態＞
第１実施形態では、画像の特徴量としてエッジ成分を抽出し、結合線との一致度を計算した。第２実施形態では、画像の特徴量として結合線近傍での画素値の変化の度合いを参照する方法について説明する。なお第１実施形態と同様の構成についてはその説明を省略する。第２実施形態では、図３に示すフローチャートのステップＳ３０６が第１実施形態と異なる。そこで第２実施形態におけるステップＳ３０６を詳細に説明する。
【００４７】
図１４は、第２実施形態におけるステップＳ３０６の詳細なフローチャートである。図７と同一の処理については同じ番号を付している。ステップＳ１４０１において画像合成部１３０４は、ブレンド前出力画像の結合線近傍の領域のうち、結合線で分割される２つの小領域各々において各画素の画素値の平均値を算出する。ここで得られる２つの平均値を、処理対象とする領域の特徴量として出力する。
【００４８】
ステップＳ１４０２においてブレンド幅決定部１３０５は、領域ごとに平均値の差を比較する。領域内の２つの平均値の差が所定の閾値より大きい場合、ブレンド幅を小さく設定する。領域内の２つの平均値の差が所定の閾値以下である場合、ブレンド幅を大きく設定する。これは領域において、結合線によって分割される２つの領域において画素値の傾向が大きく異なっていれば、結合線がシーンの境界と重なっているとみなすことを意味する。なお本実施形態では、平均値の差により領域内の特徴量を算出したが、合計値や、最大画素値と最小画素値との比、画素値の分布（ヒストグラム）の形状などを用いることもできる。
【００４９】
また領域における結合線によって分割される各小領域の比較については、画素値以外にも周波数特性を用いてもよい。領域における２つの小領域において周波数特性の傾向が異なっていれば、結合線がシーンの境界と重なっているとみなし、ブレンド幅を小さくする。図１７に例を示す。図１７は、あるテクスチャ部分に結合線が存在する部分の模式図である。（ａ）では結合線の結合線の左右の小領域でテクスチャの特性は同じであるが、（ｂ）ではテクスチャの周期は同一であるものの、方向が異なっている。この（ｂ）のように結合線で分けられる小領域での傾向や特性が異なっていれば、結合線の位置に明示的なエッジが存在しなくとも、実質的なシーンのエッジが存在しうると見なせる。このように小領域の特徴量の差から実質的なエッジを見出し、ブレンド幅の制御に用いることができる。
【００５０】
＜第３実施形態＞
第３実施形態では、第１実施形態と第２実施形態を組み合わせた形態を例に説明する。画像におけるエッジ成分が結合線と一致しており、かつ結合線で分割される２つの小領域でシーンの特徴が異なっている場合には、特にブレンド幅を小さくしてもよい。
【００５１】
図１１は、エッジ成分が結合線と一致しており、かつ結合線で分割される２つの小領域でシーンの特徴が異なっているような特徴を満たす画像の一例である。図１１は結合線とエッジ成分とが一致している。且つ、結合線の左側はエッジ成分をほとんど持たないが、右側にはエッジ成分を持ち、結合線で分割される２つの小領域でシーンの特徴が異なっている。この特徴は言い換えれば、左側が低周波領域、右側が高周波領域である。このような場合に特にブレンド幅を小さくする。これにより、２つの画像を結合する際に、急峻に切り替える方が多重像や先鋭性低下を防ぐことができる領域をより正確に判定することができる。
【００５２】
＜第４実施形態＞
第４実施形態では、ブレンド前出力画像における結合線近傍の領域を周波数変換し、その周波数特性によってブレンド幅を制御する。注目領域が低周波成分を主に含む場合は、結合線とシーンのエッジとが一致する可能性は低い領域と見なして、ブレンド幅を大きく設定する。一方注目領域が高周波成分を主に含む場合には、低周波成分が主である領域であった場合に比べブレンド幅を小さく設定する。このようにしても、前述の実施形態と同様の効果が期待できる。
【００５３】
また、重複領域における結合線近傍の領域について、それぞれの写像の、対応点の一致度によってブレンド幅を制御してもよい。第１実施形態におけるステップＳ３０３では、位置関係推定部２０４が各補正画像から特徴点を抽出し、複数画像間の特徴点の対応付けを行い、対応点を決定している。各カメラの相対的な位置関係、すなわち出力画像の座標系での画像の相対位置関係はこの対応点に基づき推定されている。ところが相対位置関係は通常複数の特徴点から決められるので、個々の対応点に関しては出力画像座標系上で必ずしも一致した座標に写像されるとは限らず、座標上誤差を持って写像される。もしこのときの対応点の誤差が少なければ、シーンは比較的ズレが少なく一致していると言える。この場合、ブレンド処理を施すと却って鮮鋭性が低下して見える場合があるので、ブレンド幅を比較的小さく設定するようにすればよい。
【００５４】
＜第５実施形態＞
上述の実施形態では、結合線の位置と画像の特徴量に応じて所定のブレンド幅を変更しつつ処理を行った。しかし、各入力画像の位置関係や画像間の色が十分正確に一致している場合には、ブレンド処理に関して、境界部を滑らかにする効果に対し鮮鋭性の低下の弊害の影響が大きくなる。そこで第５実施形態では、小さなブレンド幅を基本として、結合線の位置と特徴量に応じてブレンド幅を大きくする方法について述べる。
【００５５】
図１５に、本実施形態の画像合成部の機能構成を示すブロック図を、図１６に画像合成部が行う処理のフローチャートを示す。ただし既に説明したものと同一の処理については同じ番号を付し、以下の説明においても省略する。
【００５６】
ブレンド幅上限取得部１５０１は、ブレンド幅の上限値を取得する。本実施形態のＳ１６０１におけるブレンド幅の上限値は、ブレンド幅拡大回数を行う回数ＭＡＸ＿ｄｉｌａｔｅに対応する。このブレンド幅の上限値ＭＡＸ＿ｄｉｌａｔｅは、後述するようにユーザが任意に定められると好適である。ただし、簡単には所定の定数をＭＡＸ＿ｄｉｌａｔｅとして設定してもよい。さらに、第４実施形態で述べたような位置関係推定部２０４が推定した各対応点ペアの、それぞれの写像の対応点の一致度（出力画像上の座標の誤差）を参照して決めてもよい。この場合、対応点の座標の誤差が大きいほど、入力画像の位置関係が正しく推定されていないことを示唆するから、ＭＡＸ＿ｄｉｌａｔｅに大きな値を設定する。
【００５７】
次に、ブレンド処理部１３０６はＳ１６０２において、各領域におけるブレンド幅を決定する。例えば本実施形態のＳ１６０２では、各領域におけるブレンド幅はブレンド幅拡大処理回数Ｎ＿ｄｉｌａｔｅに対応する。このＳ１６０２におけるＮ＿ｄｉｌａｔｅの決定は、上述の実施形態におけるブレンド幅フラグの決定と同等の処理である。すなわち、本実施形態では、第１実施形態においてブレンド幅小のフラグを与えた領域にＮ＿ｄｉｌａｔｅ＝０を与え、ブレンド幅大のフラグを与えた領域には、Ｎ＿ｄｉｌａｔｅ＝２を与えるものとする。このＮ＿ｄｉｌａｔｅは、ＭＡＸ＿ｄｉｌａｔｅとは独立に決めてよく、特にＭＡＸ＿ｄｉｌａｔｅを超える数であってよい。
【００５８】
Ｓ１６０３〜Ｓ１６０８は、画像全体に対し、（ＭＡＸ＿ｄｉｌａｔｅ＋１）回繰り返すブレンド幅拡大処理である。第ｎ回の繰り返し処理（ｎ＝０、１、…、ＭＡＸ＿ｄｉｌａｔｅ）において、領域ごとに、ｎとＮ＿ｄｉｌａｔｅの大小を比較する（Ｓ１６０４〜Ｓ１６０７）。もしＳ１６０５にてｎがＮ＿ｄｉｌａｔｅ以上であれば、この領域におけるブレンド幅拡大処理は行わず、次の領域へと移る。もしＳ１６０５にてｎがｄｉｌａｔｅよりも小さい場合は、Ｓ１６０６に移りこの領域にブレンド幅拡大処理を行ったのち、次の領域へと移る。これを全ての領域について行い、さらにｎをインクリメントして繰り返す。Ｓ１６０３〜Ｓ１６０８の後は、ブレンド処理部１３０６が、Ｓ７１４にて各領域で決定されたブレンド幅に基づき、画像にブレンド処理を施す。
【００５９】
以上の処理の内容について説明する。今、ＭＡＸ＿ｄｉｌａｔｅ＝０の場合を考える。このときは、Ｓ１６０５が常に真となりブレンド幅拡大処理は行われないから、画像の特徴によらずどの結合線の部分に対してもブレンド幅は常に最小である。出力画像の鮮鋭性を重視した処理であり、各入力画像の位置や画像の色が十分に一致していると見なすことができるためブレンド処理によって境界部を滑らかにする必要が小さい場合に有効である。
【００６０】
もしＭＡＸ＿ｄｉｌａｔｅ＝１の場合には、領域によってブレンド幅が異なり、Ｎ＿ｄｉｌａｔｅ＝２（ブレンド幅大のフラグ）の領域ではブレンド幅拡大処理が１回、Ｎ＿ｄｉｌａｔｅ＝０（ブレンド幅小のフラグ）の領域ではブレンド幅拡大処理が０回行われる。ＭＡＸ＿ｄｉｌａｔｅ＝０の場合と比べると、画像の特徴に応じて適当と判断された領域にのみ、鮮鋭性を失いすぎないように設定したＭＡＸ＿ｄｉｌａｔｅ＝１を上限ブレンド幅としてブレンド処理が行われる。
【００６１】
ＭＡＸ＿ｄｉｌａｔｅ≧２の場合にも、領域によってブレンド幅が異なるが、Ｎ＿ｄｉｌａｔｅ＝２（ブレンド幅大のフラグ）の領域ではブレンド幅拡大処理が２回、Ｎ＿ｄｉｌａｔｅ＝０（ブレンド幅小のフラグ）の領域ではブレンド幅拡大処理が０回行われる。つまり、ＭＡＸ＿ｄｉｌａｔｅ＝１の時と比べ、Ｎ＿ｄｉｌａｔｅ＝２（ブレンド幅大のフラグ）の領域に対してより大きなブレンド幅で処理を行う。これは画像の境界部を滑らかにすることを重視する場合に適している。ただしその場合も、Ｎ＿ｄｉｌａｔｅ＝０（ブレンド幅小のフラグ）の領域ではブレンド幅拡大処理が０回である。言い換えれば、結合線の位置と画像の特徴量から求められたＮ＿ｄｉｌａｔｅによって領域ごとに不必要に大きなブレンド幅で処理されることは抑制されるので、鮮鋭性を保つことができる。以上のようにすることで、多重像や鮮鋭性の劣化を抑制しつつ、画像の切り替わりが知覚されにくい高品質な合成画像を得ることができる。
【００６２】
最後に、ＭＡＸ＿ｄｉｌａｔｅをユーザが好適に定める例について述べる。まず、初期値として所定の値をＭＡＸ＿ｄｉｌａｔｅに設定し（例えばＭＡＸ＿ｄｉｌａｔｅ＝０）、図１６のＳ１６０１〜Ｓ７１４処理を行う。Ｓ７１４にて出力される出力画像を、出力装置１０５を介してユーザにプレビューとして提示する。ユーザはプレビューを確認し、境界部の滑らかさと鮮鋭性のバランスを確認する。もしユーザが出力画像の変更を望む場合には、ユーザは入力装置１０８を介してＭＡＸ＿ｄｉｌａｔｅの値を指定する。画像処理装置１００は新たに指定されたＭＡＸ＿ｄｉｌａｔｅの値に基づき処理を再度行い、プレビューを更新する。こうすることでユーザは、所望の鮮鋭性と境界部の滑らかさを所望の通り制御した画像を得ることができる。
【００６３】
＜その他の実施形態＞
前記実施形態では、ブレンド幅を大きくするか小さくする２つに場合に分けて説明をしてきた。しかしブレンド幅の設定の仕方はこれに限定するものではない。例えば３つ以上でもよいし、ブレンド幅を制御するためのパラメータとして、フラグではなく、膨張処理回数を表す整数や、黒画素を白画素に変換する画素数などを示すパラメータであってもよい。また、結合線とエッジ成分が一致している場合に適したブレンド幅を所定値に設定し、平坦部を検出することにより結合線の位置が平坦部にある場合にブレンド幅を所定値より大きいブレンド幅に設定するように制御してもよい。
【００６４】
なお、ブレンド処理の際に参照する画素の数を一定にしつつ、ブレンド処理に用いる重み係数の値によって、実質的にブレンド幅を制御することが可能である。例えば、２つの画像を５画素にわたってブレンドする場合の重みについて考える。ここで一方の重み係数をαとすると、他方の重み係数は、１−αである。重み係数αを［０．１，０．３，０．５，０．７，０．９］としてブレンドした場合と、重み係数αを［０．０１，０．０２，０．５，０．９８，０．９９］としてブレンドした場合では、後者の方が実質的なブレンド幅は小さい。ブレンド幅とは、このような実質的なブレンドの幅であって、形式的に参照される画素の数は一定である場合も重み係数を略０の値に設定することでブレンド幅を制御できる。
【００６５】
上述の実施形態では、ブレンド処理として比較的簡単なアルファ・ブレンディングに基づき説明をしてきた。しかしブレンド処理はこれに限らず、例えば画像の空間周波数帯ごとにブレンドパラメタを変更するマルチバンド・ブレンディング処理などに適用してもよい。
【００６６】
上記の実施形態では説明を簡単にするため、結合する画像を２枚として説明してきたが、入力画像は２枚に限らない。３枚以上の複数の画像を結合する場合にも前述の実施形態と同様に処理することで、適切にブレンド処理を実行することができる。その際、複数のカメラにより周囲の全方位をカバーするように各カメラを配置し、３６０度の全方位パノラマ画像を合成する場合であっても前述の実施形態を適用できる。さらに、立体視用の画像を取得するためのステレオ撮像装置であってもよい。
【００６７】
上記の説明では複数のカメラを用いてパノラマ画像を合成する例を示したが、単数のカメラの撮影時刻を変えて複数の入力画像を取得する形式であってもよい。具体的には図４において、カメラ１と２を同時に用いるのではなく、１つのカメラでまずカメラ１の位置の画像を取得し、次いでそのカメラをカメラ２の位置に移動し、画像を取得するようであってもよい。また複数カメラを用いた場合に撮影時間差を有していてもかまわない。あるいは、１つの撮像装置に複数の撮像部が異なる方向または位置に配置されたシステムを用いることで、複数の入力画像を取得してもよい。
【００６８】
上記の説明では、画像処理装置が複数の入力画像から１枚のパノラマ画像データを生成し、出力する例を説明した。これに代えて、出力される画像が、１枚の画像データの形式ではなく、実世界で合成され形成される画像そのもの、またはその合成に用いられる部分的な画像データであってもよい。例えば複数のプロジェクタが表示領域に一部の重複を持つように同期して並べられ個々の表示領域よりも広視野角な画像を表示する、いわゆるマルチプロジェクションがこのケースの例として考えられる。個々のプロジェクタは部分的な画像データに対応する画像を投影し、最終的な出力画像は実世界で合成、形成される。このようなケースにおいても、本発明を適用することが可能である。
【００６９】
マルチプロジェクションの場合、最終的に表示したい画像を、各プロジェクタの表示可能な範囲に重複を許し分割した画像を本発明の入力画像として考えることができる。その画像において、画像の見栄えを考慮しながら、適切な結合線を決定する。さらにその後、各プロジェクタの実際の投影画像を決定する。この際に、結合線とシーンに応じた各プロジェクタ間のブレンド幅を決定する本発明を、上述の要領で適用できる。
【００７０】
上記の説明では、画像データとして、カメラが撮影して得られたデジタルな色や輝度情報（ＲＧＢ等）を想定して説明を行った。しかし画像データとして記録され保持されている情報の中に、各画素または領域に紐づけられる視点からの距離（デプス）情報を含む場合には、画像の特徴量として距離情報を用いても本発明を好適に適用できる。各実施形態に述べた処理対象となる画素値に変えて、距離情報を用いて処理を行えばよい。すなわち第１実施形態に沿えば、結合線の位置と、距離情報のエッジ成分が一致するか否かを参照し、ブレンド幅を決定する。第２実施形態に沿えば、結合線で分割される２つの小領域各々における距離情報の平均値の差からブレンド幅を決定する、といった具合である。
【００７１】
また前述の実施形態では、結合線の位置および方向とエッジの位置および方向との一致度に応じてブレンド幅を設定したが、結合線とエッジとの相関を示す情報であれば必ずしも一致度でなくてもよい。例えば、結合線の位置および方向と、エッジの位置および方向との相違度を用いることもできる。この場合、相違している場合はブレンド幅を大きく、相違していない場合はブレンド幅を小さく設定する。
【００７２】
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００７３】
２０７  画像合成部
１３００２  結合線取得部
１３０４  特徴量検出部
１３０５  ブレンド幅決定部
１３０６  ブレンド処理部
【図１】
2017050857.tif 000004
【図２】
2017050857.tif 000005
【図３】
2017050857.tif 000006
【図４】
2017050857.tif 000007
【図５】
2017050857.tif 000008
【図６】
2017050857.tif 000009
【図７】
2017050857.tif 000010
【図８】
2017050857.tif 000011
【図９】
2017050857.tif 000012
【図１２】
2017050857.tif 000013
【図１３】
2017050857.tif 000014
【図１４】
2017050857.tif 000015
【図１５】
2017050857.tif 000016
【図１６】
2017050857.tif 000017
【図１７】
2017050857.tif 000018
【図１８】
2017050857.tif 000019
【図１０】
2017050857.tif 000020
【図１１】
2017050857.tif 000021