(57)【要約】【課題】  複数に分割された映像を入力して表示を行う画像処理装置において、ユーザが意図したレイアウトで映像を表示することを可能にする。【解決手段】  映像を分割した複数の部分映像を合成する画像処理装置であって、第１の部分映像を入力する第１の入力手段と、第２の部分映像を入力する第２の入力手段と、前記第１の部分映像と前記第２の部分映像とを合成する場合の境界領域における特徴量であって、時間的に異なる複数の画像に基づく特徴量を取得する取得手段と、前記取得手段によって取得された特徴量に基づいて、前記第１の部分映像と前記第２の部分映像とを合成する場合のレイアウトで、前記映像を表示するよう制御する制御手段とを有することを特徴とする画像処理装置。【選択図】  図１
2016090906.tif 000002
【特許請求の範囲】
【請求項１】
映像を分割した複数の部分映像を合成する画像処理装置であって、
第１の部分映像を入力する第１の入力手段と、
第２の部分映像を入力する第２の入力手段と、
前記第１の部分映像と前記第２の部分映像とを合成する場合の境界領域における特徴量であって、時間的に異なる複数の画像に基づく特徴量を取得する取得手段と、
前記取得手段によって取得された特徴量に基づいて、前記第１の部分映像と前記第２の部分映像とを合成する場合のレイアウトで、前記映像を表示するよう制御する制御手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記取得手段は、前記特徴量として前記境界領域における動きベクトルに関する情報を取得し、
前記制御手段は、前記取得手段によって取得された前記動きベクトルに関する情報に基づいて、前記レイアウトで前記映像を表示することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記取得手段は、前記特徴量とし前記境界領域における動きベクトルの類似度に関する情報を取得し、
前記制御手段は、前記取得手段によって取得された前記動きベクトルの類似度に関する情報に基づいて、前記レイアウトで前記映像を表示することを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
さらに、前記レイアウトに基づいて、前記第１の部分映像と前記第２の部分映像とを合成する合成手段を有することを特徴とする請求項１乃至請求項３の何れか一項に記載の画像処理装置。
【請求項５】
さらに、前記映像に含まれるオブジェクトを抽出する抽出手段を有し、
前記取得手段は、前記抽出手段によって抽出された前記オブジェクトに基づいて、前記特徴量を取得することを特徴とする請求項１乃至請求項４のいずれか一項に記載の画像処理装置。
【請求項６】
前記取得手段は、前記抽出手段によって抽出された前記オブジェクトの縁における動きベクトルを前記特徴量として取得することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
映像を分割した複数の部分映像を合成する画像処理方法であって、
第１の部分映像を入力する第１の入力工程と、
第２の部分映像を入力する第２の入力工程と、
前記第１の部分映像と前記第２の部分映像とを合成する場合の境界領域における特徴量を取得する取得工程と、
前記取得工程によって取得された特徴量に基づいて、前記第１の部分映像と前記第２の部分映像とを合成する場合のレイアウトで、前記映像を表示するよう制御する制御工程と
を有することを特徴とする画像処理方法。
【請求項８】
コンピュータを、請求項１乃至請求項６のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関し、特に、複数に分割された映像を入力して表示する映像表示技術に関する。
【背景技術】
【０００２】
高解像度の映像を表示する映像表示装置では、映像を入力するために、複数本の入力インターフェイスを用いることがある。例えば、４本のＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）ケーブルを用いて１９２０ｘ１０８０ピクセル、６０Ｈｚの信号を同時入力し、４Ｋ２Ｋの動画（コンテンツ）の表示を行う場合について説明する。尚、４Ｋ２Ｋの動画とは、フルハイビジョン（解像度１９２０×１０８０ピクセル）の４倍の解像度、即ち横４０００×縦２０００画素前後の解像度に対応した映像を示す。このような高解像度のコンテンツを、送信側（映像配信装置）は複数に分割して送信し、受信側（映像表示装置）は複数に分割されたコンテンツを合成して表示する。そして、受信側では、コンテンツを合成して表示する場合に、分割されたコンテンツのうちのどの入力をどの位置に表示するか、正しく設定する必要がある。
【０００３】
従来、複数に分割された画像を合成する技術として、大判サイズの原稿を複数の部分画像に分割して読み取り合成する装置において、各部分画像の縁部の画像濃度に基づき各部分画像を合成する際の合成画像内での配置位置を決定する技術がある（特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平９−１２１２７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述した特許文献１は、各部分画像の縁部の画像濃度に基づいて各部分画像の合成画像内での配置位置を決定するが、例えば、合成画像の周囲（上下左右）に黒帯がある映画を分割した分割画像を合成する場合、意図しないレイアウトになる可能性がある。即ち、黒帯が、合成画像の周囲ではなく、合成画像の中心部分に十字上に合成されてしまう場合がある。
【課題を解決するための手段】
【０００６】
上記の課題を解決するため、本発明の画像処理装置は、以下の構成を有する。即ち、映像を分割した複数の部分映像を合成する画像処理装置であって、第１の部分映像を入力する第１の入力手段と、第２の部分映像を入力する第２の入力手段と、前記第１の部分映像と前記第２の部分映像とを合成する場合の境界領域における特徴量であって、時間的に異なる複数の画像に基づく特徴量を取得する取得手段と、前記取得手段によって取得された特徴量に基づいて、前記第１の部分映像と前記第２の部分映像とを合成する場合のレイアウトで、前記映像を表示するよう制御する制御手段とを有する。
【発明の効果】
【０００７】
複数に分割された映像を入力して表示を行う画像処理装置において、ユーザが意図したレイアウトで映像を表示することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】実施形態１の画像処理装置の構成を示すブロック図
【図２】実施形態１の画像処理装置における処理を示すフローチャート
【図３】映像データの一例を示す図
【図４】表示部１０９の表示領域の一例を示す図
【図５】映像データの特徴量を算出する処理を示すフローチャート
【図６】画像処理装置に適応可能なコンピュータのハードウェアの構成例を示すブロック図
【図７】映像データの配置の決定方法を示すフローチャート
【図８】各映像データの配置の境界領域における各画素の動きベクトルを示す図
【発明を実施するための形態】
【０００９】
以下、添付の図面を参照して、本発明を実施形態の一例に基づいて詳細に説明する。尚、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。
【００１０】
（実施形態１）
以下、本実施形態に係る画像処理装置について、図面を用いて説明する。まず、図１は、本実施形態の画像処理装置の構成を示すブロック図である。
【００１１】
図１において本実施形態の画像処理装置１０１は、第一の入力部１０２、第二の入力部１０３、第三の入力部１０４、第四の入力部１０５、取得部１０６、決定部１０７、表示制御部１０８、及び表示部１０９を有する。
【００１２】
第一の入力部１０２、第二の入力部１０３、第三の入力部１０４、及び第四の入力部１０５は、画像処理装置１０１の外部からの映像データを受け付け、取得部１０６へと映像データを出力する。映像データは、例えばＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）やＤｉｓｐｌａｙ  Ｐｏｒｔ等の映像（画像）を出力するインターフェイスを介して画像処理装置１０１に入力される映像データである。そして、本実施形態において画像処理装置１０１は、解像度の大きい１つの映像のコンテンツ（映像データ）を分割した映像データ（部分映像）を、複数本のインターフェイスを介して同時に入力するものとする。取得部１０６は、第一の入力部１０２、第二の入力部１０３、第三の入力部１０４、及び第四の入力部１０５から各映像データ（部分映像）を受け取り、各映像データから映像データの特徴量に関する情報を取得（算出）する。尚、映像データの特徴量の算出方法についての詳細は後述する。
【００１３】
決定部１０７は、取得部１０６が取得した映像データの特徴量に基づいて、第一の入力部１０２、第二の入力部１０３、第三の入力部１０４、及び第四の入力部１０５から入力された各映像データの配置を決定する。尚、映像データの配置の決定方法についての詳細は後述する。
【００１４】
表示制御部１０８は、決定部１０７によって決定された映像データの配置に基づいて、第一の入力部１０２、第二の入力部１０３、第三の入力部１０４、及び第四の入力部１０５からの映像データを合成し、表示部１０９に表示するよう制御する。
【００１５】
表示部１０９は、表示制御部１０８の制御に基づいて、各入力部１０２〜１０５に入力された映像データを表示する。
【００１６】
次に、本実施形態における画像処理装置１０１の処理の流れを、図２を用いて説明する。図２は、本実施形態において、映像データを分割した４つの映像データが画像処理装置１０１に入力された場合に画像処理装置で実行される処理の手順を示すフローチャートである。図２では、表示部１０９が映像データを表示するまでの画像処理装置１０１の各処理部における処理の手順を示す。
【００１７】
ステップＳ２０１において、第一の入力部１０２、第二の入力部１０３、第三の入力部１０４、及び第四の入力部１０５は、画像処理装置１０１の外部から映像データをそれぞれ入力し、入力された各映像データを取得部１０６へ出力する。
【００１８】
ステップＳ２０２において取得部１０６は、各入力部１０２〜１０５から出力された映像データに基づいて映像データの特徴量を算出し、算出した特徴量に関する情報と各映像データとを決定部１０７へ出力する。尚、取得部１０６が映像データの特徴量を算出する処理についての詳細は後述する。また、本実施形態のステップＳ２０２において、取得部１０６が映像データの特徴量を算出するが、これに限定されず、画像処理装置１０１の内部又は外部の他の処理部が算出した映像データの特徴量を、取得部１０６が取得する構成でも構わない。
【００１９】
ステップＳ２０３において決定部１０７は、ステップＳ２０２において取得部１０６によって算出された特徴量に関する情報に基づき、各入力部１０２〜１０５に入力された映像データの配置をそれぞれ決定する。そして決定部１０７は、決定した配置に関する情報と、各入力部１０２〜１０５に入力された映像データとを、表示制御部１０８へ出力する。ここで例えば、配置に関する情報は、各入力部１０２〜１０５に入力された映像データごとに、表示部１０９の表示領域中の「左上」、「右上」、「左下」、「右下」というようにそれぞれ表現することができる。また、表示領域（表示画面）の左上端を原点とし、原点からの右方向をｘ、下方向をｙとして、各映像データの表示位置及びサイズ（幅と高さ）を、座標（ｘ、ｙ）を用いて表現しても構わない。尚、決定部１０７が映像データの配置を決定する処理についての詳細は後述する。
【００２０】
ステップＳ２０４において表示制御部１０８は、ステップＳ２０２において決定部１０７によって決定された配置に関する情報に基づいて映像データを合成し、表示する映像データを生成する。さらに、表示制御部１０８は、生成された映像データを表示部１０９に表示するよう制御する。
【００２１】
次に、本実施形態のステップＳ２０２における、取得部１０６による映像データの特徴量の算出方法ついて、図３及び図４を用いて詳細に説明する。
【００２２】
図３は、第一の入力部１０２、第二の入力部１０３、第三の入力部１０４、第四の入力部１０５から取得部１０６に入力された映像データの一例を示す図である。
【００２３】
３０１、３０２、３０３、及び３０４は、各入力部１０２〜１０５から取得部１０６に入力された映像データの第Ｎ番目のフレームをそれぞれ示す。３０５、３０６、３０７、及び３０８は、各入力部１０２〜１０５から取得部１０６に入力された映像データの第Ｎ＋１番目のフレームをそれぞれ示す。ここで、映像３０１と映像３０５は、第一の入力部１０２から取得部１０６に入力された映像データに対応し、映像３０２と映像３０６は第二の入力部１０３から取得部１０６に入力された映像データに対応する。また、映像３０３と映像３０７は、第三の入力部１０４から取得部１０６に入力された映像データに対応し、映像３０４と映像３０７は第四の入力部１０５から取得部１０６に入力された映像データに対応する。
【００２４】
また、図４は、表示部１０９が映像データを表示する表示領域の一例を示す図である。４０１は表示領域の左上の位置を示す領域（ＬＴ）であり、４０２は表示領域の左下の位置を示す領域（ＬＢ）である。また、４０３は表示領域の右上の位置を示す領域（ＲＴ）であり、４０４は表示領域の右下の位置を示す領域（ＲＢ）である。
【００２５】
図５は、図２のステップ２０２において取得部１０６で実行される、映像データの特徴量の算出処理の手順を示すフローチャートである。本実施形態において取得部１０６は、映像データの特徴量として動きベクトルを算出するものとする。
【００２６】
ステップＳ５０１において取得部１０６は、各入力部１０２〜１０５から入力された、再生順序がＮフレーム目の映像データをメモリに記録（保存）する。ここで、Ｎフレーム目の映像データは、図３に示す各映像３０１〜３０４である。
【００２７】
次に、ステップＳ５０２において取得部１０６は、各入力部１０２〜１０５から入力されたＮ＋１フレーム目の映像データを記録する。ここで、Ｎ＋１フレーム目の映像データは、図３に示す各映像３０５〜３０８に対応している。尚、本実施形態はステップＳ５０１とステップＳ５０２とに限定されず、取得部１０６は、Ｎフレーム目の映像データとＮ＋１フレーム目の映像データとを用いて映像データの特徴量を算出するものに限らない。即ち、取得部１０６は、ステップＳ５０１とステップＳ５０２とを１つのステップで行っても構わないし、複数のフレームの映像データを用いて映像データの特徴量を算出するものであればよい。
【００２８】
次に、ステップＳ５０３において取得部１０６は、入力された映像データの数（入力数）に基づいて、各映像データと配置との組み合わせを示すリストを取得する。尚、取得部１０６は当該リストを算出（作成）し、算出したリストを取得しても構わないし、取得したリストを保持する構成でも構わない。本実施形態において、映像データは４つの入力部から接続されるため、取得部１０６によって算出されるリストの要素の最大数は２４となり、ＬＩＳＴ［ｉ］＝（ＬＴ，ＬＢ，ＲＴ，ＲＢ）を用いて以下のような組み合わせとなる。尚、上述したように、第一の入力部１０２、第二の入力部１０３、第三の入力部１０４、第四の入力部１０５のそれぞれから入力された映像データを１，２，３，４としてリストを示す。
ＬＩＳＴ［０］＝（１，２，３，４）、ＬＩＳＴ［１］＝（１，２，４，３）、
ＬＩＳＴ［２］＝（１，３，４，２）、ＬＩＳＴ［３］＝（１，３，２，４）、
ＬＩＳＴ［４］＝（１，４，２，３）、ＬＩＳＴ［５］＝（１，４，３，２）
・・・
ＬＩＳＴ［１８］＝（４，１，２，３）、ＬＩＳＴ［１９］＝（４，１，３，２）、
ＬＩＳＴ［２０］＝（４，２，１，３）、ＬＩＳＴ［２１］＝（４，２，３，１）、
ＬＩＳＴ［２２］＝（４，３，１，２）、ＬＩＳＴ［２３］＝（４，３，２，１）
上述のように、取得部１０６によって算出されるリストをＬＩＳＴ［ｉ］＝（ＬＴ，ＬＢ，ＲＴ，ＲＢ）を用いて示すことができる。例えば、ＬＩＳＴ［３］＝（１，３，２，４）は、表示領域の左上（ＬＴ）に第一の入力部１０２の入力（１）を、左下（ＬＢ）に第三の入力部１０４の入力（３）を配置することを示す。さらに、右上（ＲＴ）に第二の入力部１０３の入力（２）を、右下（ＲＢ）に第四の入力部１０５の入力（４）を配置することを示す。
【００２９】
尚、本実施形態において取得部１０６は、入力された映像データとその配置の全ての組み合わせについて特徴量を算出する。また、映像データと配置との組み合わせの数は、第一の入力部１０２、第二の入力部１０３、第三の入力部１０４、第四の入力部１０５のそれぞれから入力された映像データを１，２，３，４とすると４元集合から４つを選ぶ順列の算出結果と等しい。尚、入力された映像データの数がｎ個の場合の組み合わせの総数は、式２で算出される。即ち、入力された映像データが４つの場合の組み合わせの総数は、４Ｐ４＝４！＝４×３×２×１＝２４通りである。
ｎＰｎ      （式２）
また、上述では４元集合から４個の元を取り出す順列について説明したがこれに限定されず、ｎ元集合からｋ個の元を取り出す順列にも本実施形態は適応可能である。また、ｎ元集合からｋ個の元を取り出す順列の算出アルゴリズムは、一般的な公知技術であるので説明を省略する。
【００３０】
次に、ステップＳ５０４において取得部１０６は、初期値（ｉ＝０）を設定する。
【００３１】
ステップＳ５０５において取得部１０６は、ステップＳ５０１及びステップＳ５０２において記録した映像データと、表示領域における配置との組み合わせのうち、処理対象の組み合わせ（特徴量を算出する対象となる組み合わせ）を取得（決定）する。取得部１０６は、入力された映像データと配置との組み合わせを選択するよう指示する情報（以下、選択命令）を受け付ける。そして取得部１０６は、取得した選択命令に基づいて、ステップＳ５０３で取得したリストからとして、処理対象の組み合わせＬＩＳＴ［ｉ］＝（ＬＢ，ＬＴ，ＲＢ，ＲＴ）を決定する。尚、ステップＳ５０４において初期値が設定された直後のステップＳ５０５の処理では、取得部１０６は処理対象の組み合わせとしてＬＩＳＴ［０］を決定する。
【００３２】
ステップＳ５０６において取得部１０６は、ステップＳ５０５で取得した処理対象の組み合わせに基づいて、映像データの特徴量を算出する。即ち、本実施形態において取得部１０６は、映像データの特徴量としてＮフレーム目の映像データとＮ＋１フレーム目の映像データにおける動きベクトルを算出する。尚、動きベクトルの算出方法には限定されない。一般的に用いられている動きベクトルの算出方法としては、ブロックマッチング法がある。ブロックマッチング法は１フレームの映像データを格子状のブロックに分割し、ブロックごとにそのフレームとは時間的に異なるフレームにおける探索範囲内の映像データとの相関を取ることにより動きベクトルを求めるものである。本実施形態において取得部１０６は、Ｎフレーム目の映像データとＮ＋１フレーム目の映像データとから、動きベクトルを算出する。取得部１０６は、Ｎ＋１フレーム目の映像データの全ての画素について動きベクトル（ベクトル値）を算出し、Ｎフレーム目からＮ＋１フレーム目の間において各画素がどこに移動したかを示すベクトルを算出する。尚、動きベクトルの表し方は種々の方法が適用可能であり、例えば、映像データの座標（ｘ，ｙ）における動きベクトルＰは、移動量がｘ方向にａ、ｙ方向にｂである場合、ｘ方向の基底ベクトルをＺｘ、ｙ方向の基底ベクトルをＺｙとすると式１で表すことができる。
【００３３】
【数１】
2016090906.tif 000003
【００３４】
ステップＳ５０７において取得部１０６は、ステップＳ５０６で算出した映像データの特徴量である動きベクトルを、映像データと配置とを関連付けて保存する。
【００３５】
ステップＳ５０８において取得部１０６は、入力した全ての映像データと配置との組み合わせについて、映像データの特徴量である動きベクトルの算出処理が完了したか否かを判定する。即ち、ステップＳ５０５で取得した処理対象の組み合わせＬＩＳＴ［ｉ］が、ステップ５０３で取得したリストの最後のデータであるか否かを判定し、リストの最後のデータではないと判断した場合には、ステップＳ５０９へ進む。ステップＳ５０９において取得部１０６は、ｉをインクリメントし、処理対象の組み合わせを次の組み合わせに進める。一方、ステップＳ５０８において、全ての映像データと配置との組み合わせについての動きベクトルの算出処理が完了したと判定した場合には特徴量の算出処理を終了する。ここでは、ｉ＝２３である場合に、リストの最後のデータである（ステップＳ６０６のＹＥＳ）と判定し、組み合わせの選択処理を終了する。
【００３６】
以上のように、取得部１０６は、時間的に異なるＮフレーム目の映像とＮ＋１フレーム目の映像に基づいて、動きベクトルを映像データの特徴量として算出することができる。
【００３７】
尚、本実施形態において取得部１０６は、映像データの特徴量として動きベクトルを算出するが、これに限定されない。即ち、取得部１０６は、映像データの特徴量として、映像内のオブジェクトの複数のフレーム間での変化に関する情報を算出しても構わない。
【００３８】
次に、ステップＳ２０３において決定部１０７が映像データの配置を決定する処理についての詳細を、図７を用いて説明する。図７は、図２のステップＳ２０３における決定部１０７が、各入力部１０２〜１０５に入力された映像データの配置の決定方法を示すフローチャートである。
【００３９】
ステップＳ７０１において決定部１０７は、ステップＳ５０５において取得部１０６によって算出及び保存された映像データの特徴量である動きベクトルを取得する。ここで、決定部１０７は、取得部１０６によって算出保存された、全ての映像データと配置との組み合わせにおける動きベクトルを取得する。
【００４０】
ステップＳ７０２において決定部１０７は、全ての映像データと配置との組み合わせのうち、各領域４０１〜４０４の境界領域に対応する画素の動きベクトルの類似度に関する情報を取得し保持する。
【００４１】
ここで、ステップＳ７０２において決定部１０７によって取得される、各領域４０１〜４０４の境界領域に対応する動きベクトルの類似度の算出方法についての詳細を、図８を用いて説明する。図８は、各映像データの配置の境界領域における各画素の動きベクトルを示す図である。尚、図８は、図３に示した各映像データを、図４に示した表示領域に配置した場合の一例を示している。図８において、図４で示した領域及び図３で示した映像データと同一の領域及び映像データについては、同一の符号を付加し、説明を省略する。
【００４２】
８０１、８０２、８０３、８０４は、動きベクトルのベクトルを示す。各動きベクトル８０１〜８０４の矢印の終点はＮ＋１フレーム目の画素位置を示し、矢印の始点はＮフレーム目の画素位置を示す。
【００４３】
８０５は、各映像データの配置の境界の領域を示す。境界領域は、各領域４０１〜４０４において、他の領域と接する辺から所定の距離Ｔの間（Ｔ画素分）の領域に含まれる画素群を示す。ここで、本実施形態においてＴは画素数で示すが、これに限定されず、境界領域を示す値であれば構わない。領域４０１（ＬＴ）は、領域４０３（ＲＴ）、及び領域４０２（ＬＢ）と接するため、領域４０３（ＲＴ）と接する領域４０１（ＬＴ）の右辺、及び領域４０２（ＬＢ）と接する領域４０１（ＬＴ）の下辺から、Ｔ画素分の領域が境界領域となる。同様に、領域４０３（ＲＴ）は、領域４０１（ＬＴ）、及び領域４０４（ＲＢ）と接するため、領域４０１（ＬＴ）と接する領域４０３（ＲＴ）の左辺、及び領域４０４（ＲＢ）と接する領域４０３（ＲＴ）の下辺からＴ画素分の領域が境界領域となる。
【００４４】
以下、一例として領域４０１（ＬＴ）と領域４０３（ＲＴ）との境界領域に対応する動きベクトルの類似度の算出方法について説明する。領域４０１（ＬＴ）と領域４０３（ＲＴ）とにおいて、それぞれ領域４０１（ＬＴ）の右辺と領域４０３（ＲＴ）の左辺とが境界として接している。そして、決定部１０７は、図８において太枠の矩形領域で示した領域４０１と領域４０３との境界領域の動きベクトルの差分値を算出する。
【００４５】
まず、領域４０１（ＬＴ）の右辺側の境界領域の動きベクトルの総和ＳＬＴは、式３に示す数式を用いて算出できる。尚、式３において、入力された映像データの幅をｗ、高さをｈとして、領域４０１の右辺側の境界領域の動きベクトルの総和ＳＬＴは、ｘ座標でｗ−Ｔからｗまで、ｙ座標で０からｈまでの範囲の各画素の動きベクトルを加算することで算出できる。また、領域４０３（ＲＴ）の左辺側の境界領域の動きベクトルの総和ＳＲＴも同様に算出することが可能である。
【００４６】
【数２】
2016090906.tif 000004
【００４７】
そして、領域４０１と領域４０３との間の境界領域（太枠で囲った部分）の動きベクトルの類似度は、式４で示すように、領域４０１の右辺側の境界領域の動きベクトルの総和ＳＬＴと、領域４０３の左辺側の境界領域の動きベクトルの総和ＳＲＴと差分で表せる。式４において、総和ＳＬＴと総和ＳＲＴとの差分が小さいほど、領域４０１と領域４０３との間の境界領域の動きベクトルの類似度が高く、総和ＳＬＴと総和ＳＲＴとの差分が大きいほど領域４０１と領域４０３との間の境界領域の動きベクトルの類似度が低いことを示す。
ＳＬＴ−ＳＲＴ      （式４）
ここで、本実施形態の図８において、８０６（楕円形）は映像データに含まれるオブジェクトを示す。そして、オブジェクト８０６がＮフレーム目からＮ＋１フレーム目において移動している場合、オブジェクト８０６の縁の部分における動きベクトルは０ではない値となり、オブジェクト８０６以外の領域では動きベクトル＝０となる。即ち、抽出部（不図示）が抽出したオブジェクト（人、物）に関する情報に基づいて、境界領域内の当該オブジェクトの縁の部分における動きベクトルのみを領域４０１と領域４０３との間の境界領域の動きベクトルの類似度として用いても構わない。
【００４８】
さらに、領域４０２（ＬＢ）の境界領域、及び領域４０１（ＲＢ）の境界領域についても同様に、動きベクトルの総和の算出が可能である。そして、全ての境界領域（図８の斜線部分）における動きベクトルの類似度は式５で表現できる。式５において、算出された値が小さいほど全ての境界領域における動きベクトルの類似度が高く、算出された値が大きいほど全ての境界領域における動きベクトルの類似度が低いことを示す。
（ＳＬＴ−ＳＲＴ）＋（ＳＬＴ−ＳＬＢ）＋（ＳＲＢ−ＳＲＴ）＋（ＳＲＢ−ＳＬＢ）    （式５）
図７のステップＳ７０２において決定部１０７は、上述した式を用いて算出された境界領域の動きベクトルの類似度を取得し保持する。尚、本実施形態において決定部１０７は、各式３〜５を用いて境界領域の動きベクトルの類似度を算出したが、これに限定されず他の計算方法を用いても構わない。
【００４９】
ステップＳ７０３において決定部１０７は、ステップＳ７０２において取得及び保持された特徴量に関する情報に基づいて、各映像データの配置を決定する。即ち、本実施形態において決定部１０７は、入力された全ての映像データと配置との組み合わせのうち、最も動きベクトルの類似度が高い組み合わせを、各映像データの配置として決定する。即ち、本実施形態において決定部１０７は、ステップＳ７０２の式５に示す算出方法を用いて算出された値が一番小さくなる組み合わせを、各映像データの配置として決定する。
【００５０】
上述の図７の各ステップにより決定された映像データの配置を用いて映像データを合成し、表示することにより、入力された各映像データの特徴量に基づいて適切にレイアウトを設定することができる。
【００５１】
本実施形態により、複数に分割された映像を入力して表示を行う画像処理装置において、ユーザが意図したレイアウトで映像を用事することが可能である。即ち、合成画像の周囲（上下左右）に黒帯がある映画を分割した分割画像を合成する場合であっても、適切なレイアウトで合成することができ、黒帯が合成画像の中心部分に十字上に合成されてしまうことを防ぐことができる。以上のことから、本実施形態によりユーザが意図したレイアウトでコンテンツを出力することができるため、出力機器の設定変更、表示装置への入力端子の再接続、表示装置における表示位置の設定変更を行う必要がなくなる。
【００５２】
（実施形態２）
上述した実施形態１の図１において、画像処理装置１０１は表示部１０９を有する構成であったが、表示部１０９が画像処理装置１０１の外部に構成されていても構わない。また、画像処理装置１０１の内部に全体制御部（不図示）を設け、全体制御部が画像処理装置１０１の各処理部に対して制御を行うようにしても構わない。例えば、全体制御部が取得部１０６に対して映像データの特徴量を取得するよう指示をし、取得部１０６が全体制御部からの指示に基づいて映像データの特徴量を取得する構成でも構わない。
【００５３】
図１に示した各処理部はハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、これらの図に示した各処理部で行う処理をコンピュータプログラムでもって構成しても良い。以下、図６を用いて本実施形態について説明する。図６は、上記各実施形態に係る画像処理装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。
【００５４】
ＣＰＵ６０１は、ＲＡＭ６０２やＲＯＭ６０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る画像処理装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ６０１は、図６に示した各処理部として機能することになる。
【００５５】
ＲＡＭ６０２は、外部記憶装置６０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェイス）６０７を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ６０２は、ＣＰＵ６０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ６０２は、例えば、ピクチャメモリとして割り当てたり、その他の各種のエリアを適宜提供したりすることができる。
【００５６】
ＲＯＭ６０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部６０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ６０１に対して入力することができる。出力部６０５は、ＣＰＵ６０１による処理結果を表示する。また出力部６０５は例えば液晶ディスプレイで構成される。
【００５７】
外部記憶装置６０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置６０６には、ＯＳ（オペレーティングシステム）や、図６に示した各部の機能をＣＰＵ６０１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置６０６には、処理対象としての各画像データが保存されていても良い。
【００５８】
外部記憶装置６０６に保存されているコンピュータプログラムやデータは、ＣＰＵ６０１による制御に従って適宜、ＲＡＭ６０２にロードされ、ＣＰＵ６０１による処理対象となる。Ｉ／Ｆ６０７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのＩ／Ｆ６０７を介して様々な情報を取得したり、送出したりすることができる。６０８は上述の各部を繋ぐバスである。
【００５９】
上述の構成からなる作動は前述のフローチャートで説明した処理をＣＰＵ６０１が中心となってその制御を行う。
【００６０】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６１】
１０１  画像処理装置
１０２  第一の入力部
１０３  第二の入力部
１０４  第三の入力部
１０５  第四の入力部
１０６  取得部
１０７  決定部
１０８  表示制御部
１０９  表示部
【図１】
2016090906.tif 000005
【図２】
2016090906.tif 000006
【図３】
2016090906.tif 000007
【図４】
2016090906.tif 000008
【図５】
2016090906.tif 000009
【図６】
2016090906.tif 000010
【図７】
2016090906.tif 000011
【図８】
2016090906.tif 000012