(57)【要約】【課題】画像編集者からの位置合わせ情報に基づいて、最適な画像合成を行う画像合成装置、画像合成方法、及びプログラムを提供する。【解決手段】複数の撮像装置によりそれぞれ撮像された複数の画像を、画像処理により合成するための、本発明に係る画像合成装置１０は、画像編集者からの位置合わせ情報を受け付ける入力部１１と、複数の画像のデータ及び位置合わせ情報に基づく入力部１１からの出力信号を受信し、画像の合成処理を行う処理部１２と、を備え、処理部１２は、出力信号に基づいて、互いの一部を重畳させる２つの画像に、対応する少なくとも１対のマッチングポイント１５を設定し、１対のマッチングポイント１５に基づいて、２つの画像に、共通する重畳領域Ｒ１をそれぞれ設定し、重畳領域Ｒ１の画像を２つの画像に基づいて生成する。【選択図】図４
2017215862.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像装置によりそれぞれ撮像された複数の画像を、画像処理により合成するための画像合成装置であって、
画像編集者からの位置合わせ情報を受け付ける入力部と、
前記複数の画像のデータ及び前記位置合わせ情報に基づく前記入力部からの出力信号を受信し、画像の合成処理を行う処理部と、
を備え、
前記処理部は、
前記出力信号に基づいて、互いの一部を重畳させる２つの画像に、対応する少なくとも１対のマッチングポイントを設定し、
前記１対のマッチングポイントに基づいて、前記２つの画像に、共通する重畳領域をそれぞれ設定し、
前記重畳領域の画像を前記２つの画像に基づいて生成する、
画像合成装置。
【請求項２】
前記処理部は、前記１対のマッチングポイントのピクセル位置を第１の方向に互いに一致させることで、前記重畳領域内において、前記２つの画像の他のピクセル位置を、前記第１の方向に沿って互いに対応させる、
請求項１に記載の画像合成装置。
【請求項３】
前記処理部は、前記１対のマッチングポイントのピクセル位置を第１の方向に垂直な第２の方向に互いに一致させることで、前記２つの画像の他のピクセル位置を、前記第２の方向に沿って互いに対応させる、
請求項１又は２に記載の画像合成装置。
【請求項４】
前記処理部は、前記２つの画像の一方の重畳領域に圧縮又は伸長を施して、重畳領域内の前記２つの画像のピクセル位置を一致させる、
請求項１乃至３のいずれか一項に記載の画像合成装置。
【請求項５】
前記処理部は、前記１対のマッチングポイントの色情報を互いに一致させることで、前記２つの画像の他のピクセルの色情報を互いに一致させる、
請求項１乃至４のいずれか一項に記載の画像合成装置。
【請求項６】
前記処理部は、前記マッチングポイントを含む近傍エリアの色情報の平均を導出し、当該マッチングポイントの色情報を決定する、
請求項５に記載の画像合成装置。
【請求項７】
前記処理部は、前記重畳領域を囲む少なくとも１つの辺を、のこぎり波形に設定する、
請求項１乃至６に記載の画像合成装置。
【請求項８】
前記処理部は、前記重畳領域を囲む少なくとも１つの辺を、正弦波形に設定する、
請求項１乃至６に記載の画像合成装置。
【請求項９】
画像編集者からの位置合わせ情報を受け付ける入力部からの出力信号に基づいて、互いの一部を重畳させる２つの画像に、対応する少なくとも１対のマッチングポイントを設定するステップと、
前記１対のマッチングポイントに基づいて、前記２つの画像に、共通する重畳領域をそれぞれ設定するステップと、
前記重畳領域の画像を前記２つの画像に基づいて生成するステップと、
を含む、
画像合成方法。
【請求項１０】
前記１対のマッチングポイントのピクセル位置を第１の方向に互いに一致させることで、前記重畳領域内において、前記２つの画像の他のピクセル位置を、前記第１の方向に沿って互いに対応させるステップをさらに含む、
請求項９に記載の画像合成方法。
【請求項１１】
前記１対のマッチングポイントのピクセル位置を第１の方向に垂直な第２の方向に互いに一致させることで、前記２つの画像の他のピクセル位置を、前記第２の方向に沿って互いに対応させるステップをさらに含む、
請求項９又は１０に記載の画像合成方法。
【請求項１２】
前記２つの画像の一方の重畳領域に圧縮又は伸長を施して、重畳領域内の前記２つの画像のピクセル位置を一致させるステップをさらに含む、
請求項９乃至１１のいずれか一項に記載の画像合成方法。
【請求項１３】
前記１対のマッチングポイントの色情報を互いに一致させることで、前記２つの画像の他のピクセルの色情報を互いに一致させるステップをさらに含む、
請求項９乃至１２のいずれか一項に記載の画像合成方法。
【請求項１４】
前記マッチングポイントを含む近傍エリアの色情報の平均を導出し、当該マッチングポイントの色情報を決定するステップをさらに含む、
請求項１３に記載の画像合成方法。
【請求項１５】
前記重畳領域を囲む少なくとも１つの辺を、のこぎり波形に設定するステップをさらに含む、
請求項９乃至１４のいずれか一項に記載の画像合成方法。
【請求項１６】
前記重畳領域を囲む少なくとも１つの辺を、正弦波形に設定するステップをさらに含む、
請求項９乃至１４のいずれか一項に記載の画像合成方法。
【請求項１７】
コンピュータに請求項９乃至１６のいずれか一項に記載の方法を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像装置によりそれぞれ撮像された複数の画像を、画像処理により合成するための、画像合成装置、画像合成方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、様々な分野において、複数の画像（映像）を合成して、１つのまとまった合成画像（合成映像）を製作する技術が知られている。
【０００３】
例えば、特許文献１には、複数の車載カメラにより撮像された複数の映像を合成して、合成映像の視点に応じた空間を生成し、走行状況の見え方を改善できる、映像表示システムなどが開示されている。特許文献１では、２つの映像を合成する境界にブレンド領域を設定し、２つの映像を連続的につなぎ合わせている。
【０００４】
また、近年の画像の大画面化、高精細化に伴って、複数の撮像装置により撮像された複数の映像を合成して、大画面の映像を自動的に作製する試みもなされている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１５−０１５５２７
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来の画像合成は自動的に行うことを前提にしている。画像合成を自動的に行う際には、２つの画像の特徴点を判別して画像の位置合わせを自動的に行うが、特徴点の抽出を誤った場合には、画像が乱れたりノイズが生じるという課題があった。従来は、画像編集者からの位置合わせ情報に基づいて、画像合成を行う点は考慮されていない。
【０００７】
かかる観点に鑑みてなされた本発明の目的は、画像編集者からの位置合わせ情報に基づいて、好適な画像合成を行う画像合成装置、画像合成方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決する第１の観点に係る画像合成装置は、
複数の撮像装置によりそれぞれ撮像された複数の画像を、画像処理により合成するための画像合成装置であって、
画像編集者からの位置合わせ情報を受け付ける入力部と、
前記複数の画像のデータ及び前記位置合わせ情報に基づく前記入力部からの出力信号を受信し、画像の合成処理を行う処理部と、
を備え、
前記処理部は、
前記出力信号に基づいて、互いの一部を重畳させる２つの画像に、対応する少なくとも１対のマッチングポイントを設定し、
前記１対のマッチングポイントに基づいて、前記２つの画像に、共通する重畳領域をそれぞれ設定し、
前記重畳領域の画像を前記２つの画像に基づいて生成する。
【０００９】
また、第２の観点に係る画像合成装置では、
前記処理部は、前記１対のマッチングポイントのピクセル位置を第１の方向に互いに一致させることで、前記重畳領域内において、前記２つの画像の他のピクセル位置を、前記第１の方向に沿って互いに対応させる。
【００１０】
また、第３の観点に係る画像合成装置では、
前記処理部は、前記１対のマッチングポイントのピクセル位置を第１の方向に垂直な第２の方向に互いに一致させることで、前記２つの画像の他のピクセル位置を、前記第２の方向に沿って互いに対応させる。
【００１１】
また、第４の観点に係る画像合成装置では、
前記処理部は、前記２つの画像の一方の重畳領域に圧縮又は伸長を施して、重畳領域内の前記２つの画像のピクセル位置を一致させる。
【００１２】
また、第５の観点に係る画像合成装置では、
前記処理部は、前記１対のマッチングポイントの色情報を互いに一致させることで、前記２つの画像の他のピクセルの色情報を互いに一致させる。
【００１３】
また、第６の観点に係る画像合成装置では、
前記処理部は、前記マッチングポイントを含む近傍エリアの色情報の平均を導出し、当該マッチングポイントの色情報を決定する。
【００１４】
また、第７の観点に係る画像合成装置では、
前記処理部は、前記重畳領域を囲む少なくとも１つの辺を、のこぎり波形に設定する。
【００１５】
また、第８の観点に係る画像合成装置では、
前記処理部は、前記重畳領域を囲む少なくとも１つの辺を、正弦波形に設定する。
【００１６】
本発明は、上述した画像合成装置に実質的に相当する画像合成方法としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。
【００１７】
上記課題を解決する第９の観点に係る画像合成方法は、
画像編集者からの位置合わせ情報を受け付ける入力部からの出力信号に基づいて、互いの一部を重畳させる２つの画像に、対応する少なくとも１対のマッチングポイントを設定するステップと、
前記１対のマッチングポイントに基づいて、前記２つの画像に、共通する重畳領域をそれぞれ設定するステップと、
前記重畳領域の画像を前記２つの画像に基づいて生成するステップと、
を含む。
【００１８】
また、第１０の観点に係る画像合成方法は、
前記１対のマッチングポイントのピクセル位置を第１の方向に互いに一致させることで、前記重畳領域内において、前記２つの画像の他のピクセル位置を、前記第１の方向に沿って互いに対応させるステップをさらに含む。
【００１９】
また、第１１の観点に係る画像合成方法は、
前記１対のマッチングポイントのピクセル位置を第１の方向に垂直な第２の方向に互いに一致させることで、前記２つの画像の他のピクセル位置を、前記第２の方向に沿って互いに対応させるステップをさらに含む。
【００２０】
また、第１２の観点に係る画像合成方法は、
前記２つの画像の一方の重畳領域に圧縮又は伸長を施して、重畳領域内の前記２つの画像のピクセル位置を一致させるステップをさらに含む。
【００２１】
また、第１３の観点に係る画像合成方法は、
前記１対のマッチングポイントの色情報を互いに一致させることで、前記２つの画像の他のピクセルの色情報を互いに一致させるステップをさらに含む。
【００２２】
また、第１４の観点に係る画像合成方法は、
前記マッチングポイントを含む近傍エリアの色情報の平均を導出し、当該マッチングポイントの色情報を決定するステップをさらに含む。
【００２３】
また、第１５の観点に係る画像合成方法は、
前記重畳領域を囲む少なくとも１つの辺を、のこぎり波形に設定するステップをさらに含む。
【００２４】
また、第１６の観点に係る画像合成方法は、
前記重畳領域を囲む少なくとも１つの辺を、正弦波形に設定するステップをさらに含む。
【００２５】
また、第１７の観点に係るプログラムは、
コンピュータに上記のいずれかに記載の方法を実行させる。
【発明の効果】
【００２６】
本発明に係る画像合成装置、画像合成方法、及びプログラムによれば、画像編集者からの位置合わせ情報に基づいて、合成画像内の歪みやノイズが少ない、好適な画像合成を行うことができる。
【図面の簡単な説明】
【００２７】
【図１】本実施形態に係る画像合成装置の概略構成と撮像装置とを示す機能ブロック図である。
【図２】２つの画像の重畳領域を設定する画像処理を示した模式図である。
【図３】複数対のマッチングポイントが設定された時の画像合成を示す模式図である。
【図４】左画像及び右画像間でピクセル位置を合わせる画像処理を示す模式図である。
【図５】左画像及び右画像間でピクセルの色情報を合わせる画像処理を示す模式図である。
【図６】画像合成装置の動作の一例を示すフローチャートである。
【図７】重畳領域の幅及び位置を可変に設定する様子を示した模式図である。
【図８】重畳領域を囲む辺の形状を変形した例を示す模式図である。
【図９】重畳領域の幅をｙ軸方向の位置に依存して変更する様子を示した模式図である。
【図１０】高精細ディスプレイ用プレイヤー装置を示す模式図である。
【発明を実施するための形態】
【００２８】
以降、諸図面を参照しながら、本発明の実施形態について詳細に説明する。
【００２９】
図１は、本実施形態に係る画像合成装置１０の概略構成と撮像装置とを示す機能ブロック図である。図１（ａ）は、２つの撮像装置を有する場合、図１（ｂ）は、３つの撮像装置を有する場合、図１（ｃ）は、４つの撮像装置を有する場合を示す。画像合成装置１０は、入力部１１と、処理部１２と、を有する。
【００３０】
画像合成装置１０は、例えば図１（ａ）に示すとおり、２つの撮像装置Ｌ、Ｒによりそれぞれ撮像された２つの画像を、画像処理により合成する。ここで、画像とは、静止画及び動画を含む。また、撮像装置Ｌ、Ｒは、スチールカメラ及びビデオカメラなどの任意のカメラであってよい。２つの撮像装置Ｌ、Ｒは、１つの画面上に表示する合成画像のうち、視聴者から見て左側の領域に表示される左画像、及び、右側の領域に表示される右画像をそれぞれ撮像する。２つの撮像装置Ｌ、Ｒは、同期装置により同期されており、左画像及び右画像は、それぞれ同時刻における任意の被写体を撮像したものである。図１（ａ）に合成画像として示すとおり、左画像（Ｌ）は右端に、右画像（Ｒ）は左端に、共通する重畳領域（図で中央の領域）をそれぞれ有し、当該重畳領域において互いの一部が重畳するようにして合成される。
【００３１】
図１（ａ）では、画像合成装置１０は、２つの画像を合成するものとして説明したが、これに限定されず、任意の数の画像を合成してもよい。例えば、図１（ｂ）に示すとおり、３つの撮像装置Ｌ、Ｃ、Ｒによりそれぞれ撮像された３つの画像を、画像処理により合成してもよい。この場合、３つの撮像装置Ｌ、Ｃ、Ｒは、１つの画面上に表示する合成画像のうち、視聴者から見て左側の領域に表示される左画像（Ｌ）、中央の領域に表示される中央画像（Ｃ）、及び、右側の領域に表示される右画像（Ｒ）をそれぞれ撮像する。３つの撮像装置Ｌ、Ｃ、Ｒは、同期装置により同期されており、左画像、中央画像、及び右画像は、それぞれ同時刻における任意の被写体を撮像したものである。図１（ｂ）に示すとおり、左画像及び中央画像は、右端及び左端に、共通する重畳領域をそれぞれ有し、当該重畳領域において互いの一部が重畳するようにして合成される。同様に、中央画像及び右画像は、右端及び左端に、共通する重畳領域をそれぞれ有し、当該重畳領域において互いの一部が重畳するようにして合成される。
【００３２】
さらに、図１（ｃ）に示すとおり、４つの撮像装置ＵＬ、ＵＲ、ＤＬ、ＤＲによりそれぞれ撮像された４つの画像を、画像処理により合成してもよい。この場合、４つの撮像装置ＵＬ、ＵＲ、ＤＬ、ＤＲは、１つの画面上に表示する合成画像のうち、視聴者から見て左上側の領域に表示される左上画像（ＵＬ）、右上側の領域に表示される右上画像（ＵＲ）、左下側の領域に表示される左下画像（ＤＬ）、及び右下側の領域に表示される右下画像（ＤＲ）をそれぞれ撮像する。４つの撮像装置ＵＬ、ＵＲ、ＤＬ、ＤＲは、同期装置により同期されており、４つの画像は、それぞれ同時刻における任意の被写体を撮像したものである。図１（ｃ）に示すとおり、左上画像及び右上画像は、右端及び左端に、共通する重畳領域をそれぞれ有し、当該重畳領域において互いの一部が重畳するようにして合成される。同様に、左上画像及び左下画像は、下端及び上端に、共通する重畳領域をそれぞれ有し、当該重畳領域において互いの一部が重畳するようにして合成される。他の画像同士も、同様にして合成される。
【００３３】
以下では、説明の簡略化のために、２つの撮像装置Ｌ、Ｒによりそれぞれ撮像された２つの画像を、画像処理により合成する場合について説明する。これに限定されず、以下の説明は、任意の数の画像合成に対しても適用できる。
【００３４】
入力部１１は、画像編集者からの位置合わせ情報を受け付ける。入力部１１は、例えば、キーボード、マウス、タッチペン、及びタッチパネルなどの、任意の情報入力媒体である。位置合わせとは、任意のモニター上に表示された上記の画像の所定のピクセル位置を各画像間で合わせることであり、位置合わせ情報とは、位置合わせのために選択されたピクセル情報である。画像編集者は、撮像装置Ｌ、Ｒによって撮像された左画像及び右画像を任意のモニター上で確認しながら、各画像間で画像情報が共通している（同一の被写体を表示している）ピクセルを、位置合わせのための最適なピクセルとして選択する。
【００３５】
処理部１２は、画像合成装置１０の機能ブロックをはじめとして、画像合成装置１０の全体を制御及び管理するプロセッサである。処理部１２は、後述する画像処理を規定したプログラムを実行するＣＰＵ（Central Processing Unit）等のプロセッサで構成され、かかるプログラムは、例えば所定の記憶媒体に格納される。処理部１２は、上記の左画像及び右画像のデータ、並びに上記の位置合わせ情報に基づく入力部１１からの出力信号を受信し、画像の合成処理を行う。
【００３６】
以下では、図２乃至図６を参照して、処理部１２が行う画像処理について詳細に説明する。処理部１２は、撮像装置Ｌ、Ｒより取得した画像データに基づいて、画像合成のための種々の画像処理を行う。
【００３７】
図２は、２つの画像の重畳領域Ｒ１を設定する画像処理を示した模式図である。図２（ａ）は、画像合成前の重畳する２つの画像を示し、図２（ｂ）は、画像合成後の１つのまとまった画像を示す。図２において、第１の方向Ｄ１は、例えばｘ軸（横）方向であり、第１の方向Ｄ１に垂直な第２の方向Ｄ２は、例えばｙ軸（縦）方向である。また、左側の長方形の枠は左画像１３を表し、右側の長方形の枠は右画像１４を表す。ｌｗ及びｒｗは、左画像１３及び右画像１４のｘ軸方向の幅をそれぞれ表し、ｌｈ及びｒｈは、左画像１３及び右画像１４のｙ軸方向の幅をそれぞれ表す。Ｗ及びＨは、合成画像のｘ軸方向及びｙ軸方向の幅をそれぞれ表す。また、ｄｗは、設定された重畳領域Ｒ１のｘ軸方向の幅を表し、ｄｈは、左画像１３と右画像１４とのｙ軸方向の位置のずれ幅を表す。
【００３８】
初めに、処理部１２は、上記の左画像１３及び右画像１４の幾何学的カメラ歪み（台形歪み）を除去する。これは、２台の撮像装置の視野がずれていることに基づく処理であるが、幾何学的カメラ歪みが無視できる程度であれば、必須の処理ではない。その後、画像編集者は、２つの画像内の対応するピクセルを、マッチングポイント１５としてそれぞれ選択する。選択された対応するピクセルの情報が、位置合わせ情報となる。処理部１２は、当該位置合わせ情報に基づく入力部１１からの出力信号を受信し、互いの一部を重畳させる２つの画像に、対応する少なくとも１対のマッチングポイント１５を設定する。ここで、「一対」とは、２つの画像のそれぞれに設定された、合成画像において重ねあわされるマッチングポイント１５の対をいう。例えば、図２では、対応する１対のマッチングポイント１５として、左画像１３のマッチングポイントｍｐ（ｌｘ、ｌｙ）及び右画像１４のマッチングポイントｍｐ（ｒｘ、ｒｙ）を示している。各座標の原点Ｏは、図２（ａ）に示すとおり、各画像の左上の端点である。
【００３９】
この時、ｄｗ、ｄｈ、Ｗ、及びＨは、それぞれ以下の式により表わせる。
【００４０】
［数１］
ｄｗ＝ｒｘ＋ｌｗ−ｌｘ  ・・・（１）
ｄｈ＝｜ｌｙ−ｒｙ｜    ・・・（２）
Ｗ＝ｌｗ＋ｒｗ−ｄｗ    ・・・（３）
Ｈ＝ｌｈ−ｄｈ          ・・・（４）
【００４１】
すなわち、処理部１２は、１対のマッチングポイント１５の各座標をパラメータの１つとして、上記の式に基づき、重畳領域Ｒ１のｘ軸方向の幅ｄｗ及びｙ軸方向の幅Ｈを導出する。このように、処理部１２は、１対のマッチングポイント１５に基づいて、左画像１３及び右画像１４に、共通する重畳領域Ｒ１をそれぞれ設定する。なお、図２から明らかなように、左画像１３及び右画像１４のｙ軸（縦）方向にはみ出した部分は、合成画像としては利用されない。合成画像のｙ軸方向の幅は、両画像の共通部分であるＨであり、合成画像のｘ軸方向の幅は、両画像の視野幅を合わせたＷとなる。
【００４２】
処理部１２は、左画像１３及び右画像１４を強制的にマッチングポイント１５で位置合わせし、各画像を合成する。この時、処理部１２は、重畳領域Ｒ１内の各水平ライン（ｘ軸方向）において、左右の画像のピクセル同士を、以下のように足し合わせる。
【００４３】
［数２］
Ｐ＝ｋＰＬ＋（１−ｋ）ＰＲ    ・・・（５）
ここで、ＰＬは、左画像１３の重畳領域Ｒ１内にある所定のピクセルの情報、ＰＲは、ＰＬに対応する右画像１４のピクセルの情報、Ｐは、画像合成後の重畳領域Ｒ１内にある対応するピクセルの情報である。また、ｋは重畳領域の左端で１となり、重畳領域の右端で０となるパラメータであり、０≦ｋ≦１である。パラメータｋは、重畳領域の左端から右端へ一定の割合で変化させても、所定の関数に基づいて変化させても良い。このように、処理部１２は、重畳領域Ｒ１の合成画像を、左画像１３及び右画像１４の２つの画像に基づいて生成する。以上が、１対のマッチングポイント１５を用いた、画像合成の基本的な処理である。
【００４４】
図２は、１対のマッチングポイント１５のみを示しているが、これに限定されず、処理部１２は、複数対のマッチングポイント１５を設定してもよい。図３は、複数対のマッチングポイント１５が設定された時の画像合成を示す模式図である。
【００４５】
処理部１２は、上記の手順に従って、１対のマッチングポイントｍｐで強制的に位置合わせする。処理部１２は、画像編集者によって選択された複数対のマッチングポイント１５に加えて、その間を結ぶライン上に少なくとも１つの仮想マッチングポイントを設定してもよい。ここで、画像編集者によって選択された複数対のマッチングポイント１５は、上記の１対のマッチングポイントｍｐの位置合わせによって、通常は互いのピクセル位置がずれる。すなわち、画像編集者が選択する各画像のマッチングポイント１５は、画像編集者のピクセル選択時の誤差等により、互いに一致しないことが通常である。処理部１２は、互いにずれたマッチングポイント１５及び仮想マッチングポイントを合わせるために、以下の画像処理を行う。
【００４６】
図４は、左画像１３及び右画像１４間でピクセル位置を合わせる画像処理を示す模式図である。以下では、処理部１２は、左画像１３のピクセル位置を固定して、右画像１４のピクセル位置を調整するものとして説明するが、これに限定されない。処理部１２は、右画像１４のピクセル位置を固定して、左画像１３のピクセル位置を調整してもよい。
【００４７】
図４は、４対のマッチングポイント１５を代表的に示す。例えば、１対のマッチングポイントｍｐ１の座標を、それぞれｍｐ１（ｌｘ１、ｌｙ１）及びｍｐ１（ｒｘ１、ｒｙ１）とする。マッチングポイントｍｐの互いのピクセル位置が一致するように重畳領域Ｒ１を設定している時、他のマッチングポイントｍｐ１のピクセル位置がずれたとする。すなわち、重畳領域Ｒ１の端辺からマッチングポイントｍｐ１までのピクセル数が、左画像１３と右画像１４とでそれぞれ異なる場合を想定する。ここで、左画像１３及び右画像１４の重畳領域Ｒ１の左端辺からマッチングポイントｍｐ１までのピクセル数を、それぞれｌ１及びｒ１とする。
【００４８】
このとき、処理部１２は、例えば、１対のマッチングポイントｍｐ１のピクセル位置をｘ軸方向に互いに一致させることで、重畳領域Ｒ１内において、２つの画像の他のピクセル位置を、ｘ軸方向に沿って互いに対応させる。具体的には、一方の画像（ここでは右画像１４）を変形して他方の画像（ここでは左画像１３）に合わせ込む処理として、処理部１２は、以下の演算を行う。
【００４９】
[数３]
ｒｘ’＝ｒｘ×（ｌ１／ｒ１）    ・・・（６）
ここで、ｒｘ’は、マッチングポイントｍｐ１より左側にある右画像１４の任意のピクセルの位置合わせ後のｘ座標であり、ｒｘは、マッチングポイントｍｐ１より左側にある右画像１４の位置合わせ前の当該ピクセルのｘ座標である。
【００５０】
そして、処理部１２は、右画像１４の重畳領域Ｒ１の左端辺からマッチングポイントｍｐ１までのピクセル数を、対応する左画像１３のピクセル数に合わせる。すなわち、左画像１３のピクセル位置に対応する仮想ピクセルを、（６）式により位置合わせされたピクセルの画素情報から補間処理等により生成する。また、左画像１３及び右画像１４の重畳領域Ｒ１のマッチングポイントｍｐ１から右端辺までのピクセル数を、それぞれｌ２及びｒ２とし、マッチングポイントｍｐ１より右側にある右画像１４のピクセルのｘ座標を、（ｌ２／ｒ２）の比に基づいて変換する。そして、処理部１２は、右画像１４の重畳領域Ｒ１のマッチングポイントｍｐ１から右端辺までのピクセル数を、対応する左画像１３のピクセル数に合わせる。すなわち、左画像１３のピクセル位置に対応する仮想ピクセルを、位置合わせされたピクセルの画素情報から補間処理等により生成する。なお、マッチングポイントｍｐ１より右側が画像の伸長処理になる場合は、左側が画像の圧縮処理になり、マッチングポイントｍｐ１より右側が画像の圧縮処理になる場合は、左側が画像の伸長処理になる。また、処理部１２は、マッチングポイントｍｐ１における係数（ｌ１／ｒ１）及び（ｌ２／ｒ２）に対応する係数を、他のマッチングポイント１５でも導出する。そして、所定のマッチングポイント１５を通るｘ軸方向の直線上にあるピクセルを位置合わせした後に、左画像１３のピクセル位置に対応する仮想ピクセルを、位置合わせされた右画像１４のピクセルの画素情報から補間処理等により同様に生成する。
【００５１】
また、マッチングポイント１５の間を結ぶライン上にある仮想マッチングポイントでは、処理部１２は、当該ラインを結ぶ両端のマッチングポイント１５で導出した係数の補完を行う。補完は、例えば、線形補完など、任意の補完方法を含む。当該仮想マッチングポイントを通るｘ軸方向の直線上にある任意のピクセルでは、処理部１２は、当該補完により導出された係数に基づいて、左画像１３のピクセル位置に対応する仮想ピクセルを、位置合わせされた右画像１４のピクセルの画素情報から補間処理等により生成する。
【００５２】
次に、ｙ軸方向の位置合わせについて説明する。図２の処理では、処理部１２は、例えば、１対のマッチングポイントｍｐのピクセル位置をｙ軸方向に互いに一致させることで、重畳領域Ｒ１内において、２つの画像の他のピクセル位置を、ｙ軸方向に沿って互いに一致させた。複数のマッチングポイントを利用する場合、他のマッチングポイントｍｐ１及びｍｐ２のピクセル位置がｙ軸方向にずれたとする。このとき、処理部１２は、例えば、２対のマッチングポイントｍｐ１及びｍｐ２の間のｙ軸方向のピクセル位置（水平ラインの位置）を互いに一致させることで、２つの画像の他のピクセル位置（水平ラインの位置）を、ｙ軸方向に沿って互いに対応させる。具体的には、一方の画像（ここでは右画像１４）を変形して他方の画像（ここでは左画像１３）に合わせ込む処理として、処理部１２は、以下の演算を行う。
【００５３】
［数４］
ｒｙ’−ｒｙ１’＝（ｒｙ−ｒｙ１）×（ｌｙ２−ｌｙ１）／（ｒｙ２−ｒｙ１）
・・・（７）
ここで、ｒｙ１’、ｒｙ’は、位置合わせ後の右画像１４のマッチングポイントｍｐ１のｙ座標、及び任意のピクセルのｙ座標であり、ｒｙ１、ｒｙは、位置合わせ前の右画像１４のマッチングポイントｍｐ１のｙ座標、及び上記ピクセルのｙ座標である。ｌｙ２、ｒｙ２は、マッチングポイントｍｐ２の左画像１３におけるｙ座標、及び、右画像１４におけるｙ座標である。
【００５４】
そして、処理部１２は、マッチングポイントｍｐ１及びｍｐ２間のｙ軸方向のピクセル数（水平ライン数）を左画像１３と右画像１４とで一致させる。すなわち、左画像１３のピクセル位置（水平ライン位置）に対応する仮想水平ラインを、（７）式により位置合わせされたピクセルの画素情報から補間処理等により生成する。ｙ軸方向の画像の位置合わせは、重畳領域Ｒ１のみではなく、合成画像全体に及ぶ。したがって、マッチングポイントｍｐ１及びｍｐ２のｙ座標間にある任意のピクセルについても、（７）式の演算に基づいてその間のピクセル数（水平ライン数）を一致させる。ここで、処理部１２は、係数（ｌｙ２−ｌｙ１）／（ｒｙ２−ｒｙ１）に対応する係数を、他のマッチングポイント１５間でも導出し、同様に画像のマッチングポイント１５の位置合わせと画像の水平ラインの合わせ込みを行う。
【００５５】
以上のように、処理部１２は、右画像１４の重畳領域Ｒ１にｘ軸方向の圧縮又は伸長を施す。これにより、右画像１４は、重畳領域Ｒ１のみｘ軸方向に圧縮又は伸長する。また、処理部１２は、右画像１４の重畳領域Ｒ１にｙ軸方向の圧縮又は伸長を施す。これにより、右画像１４は、画像全体がｙ軸方向に圧縮又は伸長する。
【００５６】
図５は、左画像１３及び右画像１４間でピクセルの色情報を合わせる画像処理を示す模式図である。以下では、処理部１２は、左画像１３のピクセルの色情報を固定して、右画像１４のピクセルの色情報を調整するものとして説明するが、これに限定されない。処理部１２は、右画像１４のピクセルの色情報を固定して、左画像１３のピクセルの色情報を調整してもよい。
【００５７】
処理部１２は、１対のマッチングポイント１５の色情報を互いに一致させることで、２つの画像の他のピクセルの色情報を互いに一致させる。ここで、色情報とは、ピクセルの輝度、彩度（Ｃｈｒｏｍａ）、及び色相（Ｈｕｅ）を含む。なお、色情報の表示方法としては、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各信号を利用しても良い。処理部１２は、１対のマッチングポイント１５を含む任意の近傍エリアの色情報の平均を導出し、１対のマッチングポイント１５それぞれにおける色情報を決定する。近傍エリアとは、例えば、図５に示すとおり、マッチングポイント１５を含む任意のピクセルのエリアである。近傍エリアは、例えば１００ピクセル×１００ピクセル以上の広さのエリアを含むのが好適であるが、これに限定されず、任意の広さのエリアを含んでもよい。色情報を平均値で利用するのは、１ピクセルだけを選択した場合、色情報の特異な点を選択してしまう場合があるので、自然な色となるよう、近傍領域の平均的な値を利用するのがよい。
【００５８】
処理部１２は、各マッチングポイント１５において色情報を決定すると、対応する１対のマッチングポイント１５間で色情報の比を算定する。ここで、色情報に含まれる輝度、彩度、及び色相をそれぞれＹ、Ｃ、及びＨで表し、例えば、左画像１３のマッチングポイントｍｐ１の色情報を（Ｙｌ１、Ｃｌ１、Ｈｌ１）で、右画像１４のマッチングポイントｍｐ１の色情報を（Ｙｒ１、Ｃｒ１、Ｈｒ１）で表す。この時、処理部１２は、色情報の比（Ｙｌ１／Ｙｒ１、Ｃｌ１／Ｃｒ１、Ｈｌ１／Ｈｒ１）を算定する。なお、色相（Ｈ）については、角度であるので、比ではなく差分をとって補正値としてもよい。
【００５９】
処理部１２は、右画像１４のマッチングポイントｍｐ１を通るｘ軸方向の直線上に位置する他の全てのピクセルに、算定した色情報の比（補正値）を掛け合わせる。処理部１２は、同様の処理を、その他のマッチングポイント１５に対しても行う。一方で、マッチングポイント１５の間を結ぶライン上にある仮想マッチングポイントでは、処理部１２は、当該ラインを結ぶ両端のマッチングポイント１５で算定した比の補完を行う。補完は、例えば、線形補完など、任意の補完方法を含む。当該仮想マッチングポイントを通るｘ軸方向の直線上にある任意のピクセルでは、処理部１２は、当該補完により算定された比に基づいて、上記と同様の処理を行う。ここでは、右画像１４の全体（全ピクセル）に対して、画像の色補正を行い、左右の画像の色合わせを行う。
【００６０】
このように、両画像を重ね合わせる準備ができたところで、処理部１２は、前述の（５）式を利用して、重畳領域Ｒ１の合成画像を、左画像１３及び右画像１４の２つの画像に基づいて生成する。
【００６１】
図６は、画像合成装置１０の動作の一例を示すフローチャートである。
【００６２】
処理部１２は、初めに、撮像装置Ｌ、Ｒにより撮像された２つの画像の幾何学的カメラ歪み（台形歪み）を除去する（ステップＳ１０）。
【００６３】
続いて、処理部１２は、互いの一部を重畳させる２つの画像に、対応する少なくとも１対のマッチングポイント１５を設定する（ステップＳ１１）。
【００６４】
次に、処理部１２は、設定された１対のマッチングポイント１５に基づいて、左画像１３及び右画像１４に、共通する重畳領域Ｒ１をそれぞれ設定する（ステップＳ１２）。
【００６５】
次に、処理部１２は、左画像１３及び右画像１４のピクセル位置を、（６）式及び（７）式等に基づいて互いに一致させる（ステップＳ１３）。
【００６６】
次に、処理部１２は、左画像１３及び右画像１４のピクセルの色情報を、互いに一致させる（ステップＳ１４）。
【００６７】
その後、処理部１２は、左画像１３及び右画像１４に基づいて、重畳領域Ｒ１の合成画像を生成する（ステップＳ１５）。
【００６８】
その後、フローは終了する。
【００６９】
以上により、画像合成装置１０は、画像編集者からの位置合わせ情報に基づいて、最適な画像合成を行うことができる。すなわち、画像合成装置１０は、自動的に画像合成を行う従来の装置と比べて、画像編集者の経験則を生かしたより最適な画像合成を行うことができる。これにより、画像合成装置１０は、合成画像内の画像歪みやノイズをさらに抑制できる。また、画像合成装置１０は、ピクセルの色情報を互いに一致させることで、映像トーンを自動で合わせ、画像合成の際、シーンの時間的変化、合成面の位置的トーン変化に対応することができる。
【００７０】
これまで、一組の左画像１３と右画像１４の合成について説明したが、映像（動画）においても同様に処理ができる。映像の場合は、全てのフレームで位置合わせ情報を入力する必要はなく、連続した画像であれば、ある場面で位置合わせ情報を入力すれば、画像の連続性や運動ベクトル等から位置合わせ情報を他のフレームにも展開して、画像合成を行うことができる。画像が大きく変化した時のみ位置合わせ情報を再入力すればよい。
【００７１】
本発明は、その精神又はその本質的な特徴から離れることなく、上述した実施形態以外の他の所定の形態で実現できることは当業者にとって明白である。従って、先の記述は例示的なものであり、これに限定されるものではない。発明の範囲は、先の記述によってではなく、付加した請求項によって定義される。あらゆる変更のうちその均等の範囲内にあるいくつかの変更は、その中に包含されるものとする。
【００７２】
特に、重畳領域Ｒ１については、様々な変形例が考えられる。図７は、重畳領域Ｒ１の幅及び位置を可変に設定する様子を示した模式図である。図８は、重畳領域Ｒ１を囲む辺の形状を変形した例を示す模式図である。図９は、重畳領域Ｒ１の幅をｙ軸方向の位置に依存して変更する様子を示した模式図である。
【００７３】
上記では、（１）式により重畳領域Ｒ１の幅が決定されるものとして説明したが、これに限定されない。図７に示すとおり、処理部１２は、重畳領域Ｒ１の幅及び位置を任意に設定して２つの画像を合成してもよい。これにより、画像合成装置１０は、最適な幅及び位置を設定して、合成画像の画像歪みを極力低減し、見た目の歪みの少ない合成画面を生成できる。
【００７４】
また、上記では、重畳領域Ｒ１は矩形状であるが、重畳領域Ｒ１を囲む少なくとも１つの端辺の形状を任意に変えてもよい。図８（ａ）では、一例として、処理部１２は、重畳領域Ｒ１を囲む２つのｙ軸方向の辺を、のこぎり波形に設定する。同様に、図８（ｂ）では、一例として、処理部１２は、重畳領域Ｒ１を囲む２つのｙ軸方向の辺を、正弦波形に設定する。これにより、画像合成装置１０は、重畳領域Ｒ１での色合いの変化を散らして、自然な合成画像を製作できる。
【００７５】
また、図９に示すとおり、処理部１２は、重畳領域Ｒ１の幅をｙ軸方向の位置に依存して変更してもよい。これにより、画像合成装置１０は、上下で色情報が大きく異なっていても、合成画像のトーンずれを低減することができる。また、重畳領域Ｒ１が、特定の被写体に重ならないように調整することもできる。さらに、画像合成装置１０は、より最適な画像処理を行うことができ、処理時間を低減できる。
【００７６】
なお、これまで、左画像１３と右画像１４をｘ軸方向（水平方向）に一部重畳して画像合成を行う場合を例として、ｘ軸方向を第１の方向Ｄ１とし、ｙ軸方向を第２の方向Ｄ２として説明してきたが、上画像と下画像を縦方向に合成する際には、ｙ軸方向が第１の方向Ｄ１となり、ｘ軸方向が第２の方向Ｄ２となって、これまでの説明を全て置換すればよい。
【００７７】
上記では、本発明を実施するための形態として、画像合成装置１０を主に説明したが、本発明は、上述した画像合成装置１０に実質的に相当する画像合成方法としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。また、本発明は、コンピュータに、上述した画像合成方法を実行させるためのプログラムとしても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。
【００７８】
以下では、画像合成装置１０により合成された超高解像度の画像を映し出す、高精細ディスプレイ用プレイヤー装置を説明する。図１０は、高精細ディスプレイ用プレイヤー装置を示す模式図である。
【００７９】
高精細ディスプレイ用プレイヤー装置は、高精細ディスプレイの１／４解像度のプレイヤー４台を同期させ、４分割した画面のそれぞれを再生する。同期信号発生器は、各プレイヤーに、駆動用の基本クロック信号を供給する。同期制御装置は、プレイヤー機種に対応したタイムコード、同期パルス、及び同期コマンドにより、４プレイヤーのそれぞれの映像を同期制御する。これにより、高精細ディスプレイ用プレイヤー装置は、例えば、４つの４Ｋディスプレイを用いて、８Ｋ画像を映し出す１つのまとまった８Ｋディスプレイを提供できる。さらに、８Ｋを超える高精細度の画像を作成することもできる。
【符号の説明】
【００８０】
１０  画像合成装置
１１  入力部
１２  処理部
１３  左画像
１４  右画像
１５、ｍｐ、ｍｐ１、ｍｐ２、ｍｐ３、ｍｐ４  マッチングポイント
Ｒ１  重畳領域
Ｄ１  第１の方向
Ｄ２  第２の方向
【図１】
2017215862.tif 000003
【図２】
2017215862.tif 000004
【図３】
2017215862.tif 000005
【図４】
2017215862.tif 000006
【図５】
2017215862.tif 000007
【図６】
2017215862.tif 000008
【図７】
2017215862.tif 000009
【図８】
2017215862.tif 000010
【図９】
2017215862.tif 000011
【図１０】
2017215862.tif 000012