(57)【要約】【課題】複数の映像信号源から分割映像を示す複数の映像信号を受信し、複数の分割映像を適切に配置して映像表示装置に表示させるための映像信号を生成する映像信号処理装置を提供する。【解決手段】映像信号処理装置（１００）は、複数の映像信号を受信し、複数の表示装置で構成される表示領域に表示させるための映像信号を生成する装置であって、複数の映像信号を入力する入力部（１１０）と、映像信号に含まれる情報に基づき複数の映像信号をグループ化するグループ判定部（１３０）と、を備える。【選択図】図１
2018037765.tif 000002
【特許請求の範囲】
【請求項１】
複数の映像信号を受信し、複数の映像表示装置で構成される表示領域に表示させるための映像信号を生成する映像信号処理装置であって、
前記複数の映像信号を入力する入力部と、
前記映像信号に含まれる情報に基づき前記複数の映像信号をグループ化するグループ判定部と、を備える、
映像信号処理装置。
【請求項２】
前記グループ判定部は、映像信号に含まれる同期信号の周期の差及び／または位相の差がそれぞれ所定範囲内にある映像信号群を同一グループとしてグループ化する、
請求項１記載の映像信号処理装置。
【請求項３】
２つの映像信号間の相関を示す相関値を算出する相関検出部をさらに備え、
前記グループ判定部は、前記グループ判定部により決定されたグループ内の映像信号を、前記相関値に基づいてさらにグループ化する、
請求項２記載の映像信号処理装置。
【請求項４】
２つの映像信号間の相関を示す相関値を算出する相関検出部をさらに備え、
前記グループ判定部は、前記相関値に基づいて前記複数の映像信号をグループ化する、
請求項１記載の映像信号処理装置。
【請求項５】
グループ毎に、グループ内の各映像信号の配置を決定する配置判定部と、をさらに備える、請求項１記載の映像信号処理装置。
【請求項６】
２つの映像信号間の相関を示す相関値を算出する相関検出部をさらに備え、
前記配置判定部は、グループ毎に、グループ内の映像信号間の相関に基づき前記映像信号が示す映像の配置を決定する、請求項５記載の映像信号処理装置。
【請求項７】
前記相関検出部は、一の映像信号が示す映像の縁部の画素と、他の映像信号が示す映像の縁部の画素との差に基づき前記相関値を算出する、請求項３ないし６のいずれかに記載の映像信号処理装置。
【請求項８】
前記グループ判定部により決定されたグループ及び前記配置判定部により決定された配置に基づき前記複数の映像信号を配置した合成映像を生成する映像処理部をさらに備えた、請求項１に記載の映像信号処理装置。
【請求項９】
前記映像処理部からの出力映像を、前記映像表示装置の数に応じて分割し、前記映像表示装置毎に映像信号を生成する映像分割部をさらに備えた、請求項８に記載の映像信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、複数の映像信号を入力し、入力した映像信号が示す映像を配置して出力する映像信号処理装置に関する。
【背景技術】
【０００２】
近年、複数の映像表示装置を接続して１つのディスプレイのように機能させるマルチディスプレイ装置が普及している。このようなマルチディスプレイ装置は、設置場所の環境や用途・目的に合わせて接続する映像表示装置の数を自由に増減でき、高い利便性を有する。このため、マルチディスプレイ装置は、大画面を必要とする展示会や、競技場、ビルの壁面、コンサートなど、主に業務用途に利用されることが多い。
【０００３】
マルチディスプレイ装置は大画面の映像を表示できるため、複数の映像を同時に表示するのに適している。例えば、マルチディスプレイ装置によれば、カメラとビデオなど、複数の映像信号源からの映像を同時に入力し、好みの配置で表示することができる。
【０００４】
このような表示を実現するために、一般的には、複数の映像信号源と複数の映像表示装置との間に、複数の入力映像から所望の映像を選択し、サイズや配置を変えて表示するための、マルチウィンドウ処理装置が挿入される。
【０００５】
入力する個々の映像について、近年、フルハイビジョン（１９２０画素×１０８０画素）の４倍の４Ｋ×２Ｋ（３８４０画素×２１６０画素、あるいは４０９６画素×２１６０画素）、さらには８Ｋ×４Ｋといった高解像度の映像の利用が増えている。このような高解像度映像は、伝送帯域の制約から一本の信号線では伝送できず、複数本の信号線で伝送される場合がある。そのような場合、各々の信号線においては、全体の映像を分割して生成される一部の映像の映像信号が伝送される。
【０００６】
結果として、マルチウィンドウ装置には、複数の映像信号源からの映像信号が、さらに複数の領域に分割された映像として入力される。このような場合、マルチウィンドウ処理装置は、映像信号の信号源の区別がつかないため、作業者による手作業で、映像のグループ化および配置処理が必要となる。
【０００７】
特許文献１は、入力された複数の映像を表示パネルの画面上に並べて表示する画像表示装置を開示する。特許文献１では、複数の映像の配置を決定するために、全ての配置の候補について、互いに隣接する映像の縁部の画素値の差分値を算出し、差分値の総和が最小となる候補の配置で、複数の映像を表示する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１２−１７３４２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１は、同じ映像信号源からの映像についてのみ判定が可能で、異なる映像信号源からの映像が混在している場合には配置を判定することができない。
【００１０】
本開示は、複数の映像信号源から分割映像を示す複数の映像信号を受信し、複数の分割映像を適切に配置して映像表示装置に表示させるための映像信号を生成する映像信号処理装置を提供する。
【課題を解決するための手段】
【００１１】
本開示の第１の態様において、複数の映像信号を受信し、複数の表示装置で構成される表示領域に表示させるための映像信号を生成する映像信号処理装置が提供される。映像信号処理装置は、複数の映像信号を入力する入力部と、映像信号に含まれる情報に基づき複数の映像信号をグループ化するグループ判定部と、を備える。
【発明の効果】
【００１２】
本開示の映像信号処理装置によれば、複数の映像信号を、映像信号の特性に基づきグループ化する。このように映像信号をグループ化することにより、その後自動または手動でグループ内の映像信号を同一の映像信号源からの信号として配置することが可能となる。これにより、複数の映像信号源から、分割された映像を示す複数の映像信号を受信する場合に、分割前の元の映像を適切に再構成することができる。
【図面の簡単な説明】
【００１３】
【図１】本開示の実施の形態１にかかる映像信号処理装置（マルチウィンドウ処理装置（ＭＷＰ））を含む映像表示システムの構成を示す図
【図２】複数の映像信号源からマルチウィンドウ処理装置に入力する映像信号の組み合わせの例を示す図
【図３】映像表示システムを構成するコントローラの表示画面の例を示した図
【図４】マルチウィンドウ処理装置（ＭＷＰ）の具体的な構成を示す図
【図５】マルチウィンドウ処理装置における同期信号検出部の具体的な構成を示す図
【図６】（Ａ）クロック信号（CLK）を示す図、（Ｂ）入力端子１を介して入力した映像信号の同期信号（垂直同期信号V1_sync）を示す図、（Ｃ）入力端子ｎ（ｎ＝２，・・・，１６）を介して入力した映像信号の同期信号（垂直同期信号Vn_sync）を示す図
【図７】マルチウィンドウ処理装置における相関検出部の具体的な構成を示す図
【図８】映像の周縁部を説明した図
【図９】映像間の相関値の算出方法を説明するための図
【図１０】マルチウィンドウ処理装置における処理の流れを説明した図
【図１１】ＭＷＰのグループ判定部によるグループ判定処理を示すフローチャート
【図１２】ＭＷＰの配置判定部による配置判定処理を示すフローチャート
【図１３】４つの映像の配置パターンの候補を説明した図
【図１４】４つの映像の配置パターンに関する映像間の相関値の平均の算出方法を説明するための図
【図１５】本開示の実施の形態２における映像の配置方法を説明するための図
【図１６】本開示の実施の形態２における映像の配置方法を説明するための図
【図１７】本開示の実施の形態２における映像の配置方法を説明するための図
【図１８】本開示の他の実施の形態におけるＭＷＰの別の構成例を示した図
【発明を実施するための形態】
【００１４】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【００１５】
（実施の形態１）
［１−１．構成］
図１は、映像信号処理装置の一例であるマルチウィンドウ処理装置を含む映像表示システムの構成例を示す図である。
【００１６】
映像表示システムは、映像を表示するマルチディスプレイ１０と、複数の映像信号源から映像信号を入力し、マルチディスプレイ１０に表示する映像信号を生成するマルチウィンドウ処理装置（以下「ＭＷＰ」という）１００と、ユーザ操作にしたがいＭＷＰ１００に指示を与えるコントローラ２００と、を含む。
【００１７】
マルチディスプレイ１０は複数の映像表示装置を含み、複数の映像表示装置を組み合わせて１つの表示装置として機能させる。図１の例では、マルチディスプレイ１０は、４台の映像表示装置で構成されている。各映像表示装置は、液晶ディスプレイ、有機ＥＬディスプレイ、またはプロジェクタである。
【００１８】
ＭＷＰ１００は、複数の映像信号源から複数の映像信号を入力し、マルチディスプレイ１０を構成する各映像表示装置に表示させるための映像信号を生成し、各映像表示装置に出力する。１つの映像信号源から１つまたは複数の信号線を介して映像信号がＭＷＰ１００に送出される。このため、ＭＷＰ１００は、複数（図１の例では、１６個）の入力端子を備えている。
【００１９】
図１の例では、６つの映像信号源Ａ〜ＦからＭＷＰ１００に映像信号が入力されている。映像信号源Ａ〜Ｆそれぞれからの映像信号の解像度、信号線数、１信号線当たりの解像度は図２に示すとおりである。映像信号源Ａ、Ｃ、Ｆそれぞれからは１本の信号線がＭＦＰ１００に接続されている。映像信号源Ｂ、Ｄ，Ｅそれぞれからは４本の信号線がＭＦＰ１００に接続されている。すなわち、映像信号源Ｂ、Ｄ、Ｅからは、各映像信号源の元の映像が４つの映像に分割され、分割されたそれぞれの映像を示す映像信号が４本の信号線を介して分割して伝送される。図１では、合計１５本の信号線がＭＷＰ１００に接続されている。
【００２０】
ＭＷＰ１００は複数（本実施の形態では、１６個）の出力端子を備えている。図１では、マルチディスプレイ１０は４台のディスプレイで構成されるため、ＭＷＰ１００は、４つの出力端子すなわち４本の信号線を介してマルチディスプレイ１０に映像信号を送出している。
【００２１】
ＭＷＰ１００にはコントローラ２００が接続されている。コントローラ２００は例えばパーソナルコンピュータで構成される。コントローラ２００はＭＷＰ１００に接続される。コントローラ２００は、ＭＦＰ１００における複数の映像信号の接続状況及び映像の表示状況を示す表示画面を表示する表示部を有する。図３に、コントローラ２００の表示画面の例を示す。表示画面２２０には、ＭＦＰ１００の各入力端子の接続状況が表示される。表示画面において、複数の入力端子がグループ化され、同じグループの入力端子が破線枠で囲まれて表示されている。ＭＦＰ１００は、各入力端子から入力した映像信号に基づき、同じ映像信号源からの信号であると考えられる映像信号（入力端子）をグループ化する機能を有する。
【００２２】
例えば、図１に示すように、入力端子１は映像信号源Ａからの信号線に接続されている。入力端子２〜５は映像信号源Ｂからの信号線に接続されている。入力端子６は映像信号源Ｃからの信号線に接続されている。入力端子７〜９、１１は映像信号源Ｄからの信号線に接続される。入力端子１０、１２、１３、１５は映像信号源Ｅからの信号線に接続されている。入力端子１４は映像信号源Ｆからの信号線に接続されている。このような場合、ＭＷＰ１００は、各映像信号に基づき映像信号線をグループ分けする。コントローラ２００はＭＷＰ１００からグループ分けに関する情報を受けて、図３に示すように、入力端子２〜５を１つのグループとして、入力端子７〜９、１１を別のグループとして、入力端子１０、１２、１３、１５をさらに別のグループとして破線枠で囲んで表示画面２２０上に表示する。
【００２３】
また、各映像信号源からの信号線が入力端子に対して順に接続されていない場合、コントローラ２００は入力端子の番号を適宜入れ替えて表示する。例えば、図１に示すように、映像信号源Ｄからの信号線の１つは入力端子１１に接続される一方で、映像信号源Ｅからの信号線の１つは入力端子１０に接続される。また、映像信号源Ｅからの信号線の１つは入力端子１５に接続される一方で、映像信号源Ｆからの信号線の１つは入力端子１４に接続される。このとき、入力端子１０と１１に関して、映像信号源Ｄからの信号線と映像信号源Ｅからの信号線が接続する入力端子の順序が逆になっている。また、入力端子１４と１５に関して、映像信号源Ｅからの信号線と映像信号源Ｆからの信号線が接続する入力端子の順序も逆になっている。このため、図３に示すように、表示画面２２０において、入力端子の番号について「１０」と「１１」を、「１４」と「１５」を入れ替えて表示している。
【００２４】
さらに、表示画面２２０において、グループ分けされた映像信号に対し、マルチディスプレイ１０に表示するか否かを選択するためのボタン２２２が表示される。図３の例では、入力端子１と、入力端子１０、１２、１３、１５とが選択されており、このため、映像信号源Ａと、映像信号源Ｅからの映像とが表示される。コントローラ２００の画面２２０上に、マルチディスプレイ１０に表示される映像のプレビュー映像２２４が表示される。
【００２５】
ユーザは、このコントローラ２００の表示画面２２０の映像を見ながら画面上で操作することで、マルチディスプレイ１０に表示する映像の選択、映像サイズの変更、配置の調整等を行うことができる。例えば、図３において、映像信号源Ａの映像と映像信号源Ｅの映像のサイズや配置はユーザ操作（指定）にしたがい調整される。このとき、マルチディスプレイ１０を構成する４つの映像表示装置により、プレビュー映像２２４のように配置された映像信号源Ａからの映像と映像信号源Ｅからの映像とが表示される。
【００２６】
［１−２．マルチウィンドウ処理装置（ＭＷＰ）］
ＭＷＰ１００の具体的な構成を説明する。図４は、ＭＷＰ１００の全体構成を示すブロック図である。ＭＷＰ１００は、１６個の映像信号入力部１１０と、１６個の同期信号検出部１２０と、グループ判定部１３０と、１６個の相関検出部１４０と、配置判定部１５０と、操作部１６０と、マルチウィンドウ処理部１７０と、映像分割部１８０とを備える。
【００２７】
映像信号入力部１１０は入力端子毎に設けられ、入力端子に接続された信号線からの映像信号を入力する。すなわち、本実施の形態では、１６個の映像信号入力部１１０が設けられている。
【００２８】
同期信号検出部１２０は、各映像信号入力部１１０から映像信号を入力し、それぞれの信号線からの映像信号の同期信号（ここでは、垂直同期信号V_sync）を抽出し、映像信号間で同期信号の位相および周期を比較し、それぞれの比較結果を出力する。同期信号検出部１２０の構成、動作の詳細は後述する。
【００２９】
グループ判定部１３０は、位相比較部１２７及び周期比較部１２５の比較結果に基づき、複数の映像信号それぞれについてグループを判定する。すなわち、グループ判定部１３０は、複数の映像信号をグループ化する。グループ判定部１３０の構成、動作の詳細は後述する。
【００３０】
相関検出部１４０は、映像信号間の相関値を算出する。配置判定部１５０は、相関検出部１４０で算出された相関値に基づき映像の配置を決定する。
【００３１】
マルチウィンドウ処理部１７０は、映像信号入力部１１０から入力した映像信号を、配置判定部１５０により決定された配置にしたがい配置する。
【００３２】
映像分割部１８０は、マルチウィンドウ処理部１７０から映像信号を受信し、マルチディスプレイ１０を構成する映像表示装置の数に合わせて、受信した映像信号が示す映像を分割し、映像表示装置毎に映像信号を生成して出力する。
【００３３】
操作部１６０は、ユーザの指示を受け付ける手段であり、ボタン、ダイヤル、スイッチ、キーボード、マウス、タッチパネル等の種々の入力手段が含まれる。また、ＭＷＰ１００はコントローラ２００を介してユーザの指示を受け付けても良い。
【００３４】
ＭＷＰ１００において、映像信号入力部１１０、同期信号検出部１２０、グループ判定部１３０、相関検出部１４０、配置判定部１５０、マルチウィンドウ処理部１７０、映像分割部１８０の機能は、ＣＰＵがソフトウェアを実行することにより実現されてもよい。これらの処理部の機能は専用の電子回路で実現されてもよい。すなわち、ＭＷＰ１００は、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣ等、種々のデバイスで構成することができる。
【００３５】
（同期信号検出部）
図５は、ＭＷＰ１００における同期信号検出部１２０の構成を示す図である。同期信号検出部１２０は、同期信号取得部１２１と、カウンタ１２２と、位相算出部１２３と、位相比較部１２７と、周期算出部１２４と、周期比較部１２５と、グループ判定部１３０とを備える。同期信号取得部１２１と、カウンタ１２２と、周期算出部１２４とは、信号線毎すなわち入力端子毎に設けられている。
【００３６】
同期信号取得部１２１は、映像信号から同期信号（垂直同期信号V_sync）を抽出する。例えば、図６（Ｂ）、（Ｃ）に示すような同期信号を抽出する。ここで、図６（Ｂ）は入力端子１を介して入力した映像信号の同期信号（垂直同期信号V1_sync）を示す。図６（Ｃ）は入力端子ｎ（ｎ＝２，３，・・・，１６）を介して入力した映像信号の同期信号（垂直同期信号Vn_sync）を示す。
【００３７】
カウンタ１２２は、図６（Ａ）に示すようなクロック信号（CLK）に基づき同期信号の間隔（Ｔ１、Ｔｎ）（ｎ＝２，３，・・・，１６）をカウントする。位相算出部１２３は、カウンタ１２２のカウント値に基づき各映像信号の同期信号の位相（同期信号V_syncの立ち上がりタイミング）を求める。
【００３８】
位相比較部１２７は映像信号間で同期信号の位相を比較する。具体的には、位相比較部１２７は、基準となる映像信号（例えば、入力端子１を介して入力した映像信号）と、他の映像信号との間で、同期信号の位相を比較し、両者が一致するか否かを判定する。より具体的には、基準となる映像信号（例えば、入力端子１を介して入力した映像信号）と、他の映像信号との間で位相差ΔＰｎを求め、ΔＰｎが所定値以下である場合に、位相が一致していると判定する。
【００３９】
周期算出部１２４はカウンタ１２２のカウント値に基づき各映像信号に含まれる同期信号（V_sync）の周期（Ｔ１、Ｔｎ）を求める。周期比較部１２５は、映像信号間の同期信号の周期を比較する。具体的には、周期比較部１２５は、基準となる映像信号（例えば、入力端子１を介して入力した映像信号）の同期信号の周期（Ｔ１）と、他の映像信号の同期信号の周期（Ｔｎ）を比較し、両者が一致するか否かを判定する。より具体的には、同期信号の周期の差（Ｔ１−Ｔｎ）を求め、その差が所定値以下である場合に、周期が一致していると判定する。
【００４０】
位相比較部１２７及び周期比較部１２５の判定結果は、グループ判定部１３０に送信される。
【００４１】
（相関検出部）
図７は、ＭＷＰ１００における相関検出部１４０の構成を示す図である。相関検出部１４０は、周囲画素情報取得部１４１と、画素値差分算出部１４３とを備える。周囲画素情報取得部１４１は、信号線毎すなわち入力端子毎に設けられる。周囲画素情報取得部１４１は、各映像信号が示す映像の周縁部の画素の情報を取得する。ここで、映像の周縁部とは、図８に示すような映像の四辺の縁の領域Ｒ１ａ、Ｒ１ｂ、Ｒ１ｃ、Ｒ１ｄである。
【００４２】
画素値差分算出部１４３は、グループ判定部１３０の判定結果を入力する。画素値差分算出部１４３は、グループ化された組み合わせにおいて、２つの映像信号が示す２つの映像間の、映像の周縁部の画素値の差分の二乗平均を、２つの映像間の相関値として算出する。例えば、図９に示すように、映像１に隣接して配置する映像の候補として、映像２と映像３を想定する場合に、映像１と映像２の相関値として、映像１の周縁部Ｒ１ｂの画素値と、映像２の周縁部Ｒ２ｄの画素値との差分の二乗平均を算出する。同様に、映像１と映像３の相関値として、映像１の周縁部Ｒ１ｃの画素値と、映像３の周縁部Ｒ３ａの画素値との差分の二乗平均を算出する。画素値差分算出部１４３は、算出した相関値を配置判定部１５０に送る。なお、本実施の形態では相関値を差分の二乗平均で求めるため、相関値はその値が小さいほど、映像間の相関が高いことを示す。
【００４３】
［１−３．動作］
以上のように構成される映像表示システムの動作を説明する。
【００４４】
図１を参照し、複数の映像信号源のそれぞれは、１つまたは複数の信号線を介してＭＷＰ１００に映像信号を送出する。ＭＷＰ１００において、映像信号入力部１１０は、信号線が接続された入力端子を介して、各映像信号源からの映像信号を受信する。映像信号入力部１１０で受信した映像信号は同期信号検出部１２０に送られる。同期信号検出部１２０は、各映像信号から同期信号を抽出し、映像信号間で同期信号の周期と位相それぞれを比較し、それらの比較結果を出力する。
【００４５】
グループ判定部１３０は、同期信号の周期と位相の比較結果に基づき、映像信号のグループ判定（すなわちグループ化）を行う。すなわち、同じ映像信号源からの映像信号は、同期信号に関して同じ周期と同じ位相を持つと考えられる。このため、同期信号の周期と位相が一致する映像信号を同一グループであると判定することにより、映像信号を映像信号源毎にグループ分けすることが可能となる。すなわち、図１０（Ａ）に示すように様々の映像信号が混在して入力された場合でも、図１０（Ｂ）に示すように、映像信号の同期信号の周期と位相に基づき映像信号をグループ分けすることで映像信号源毎のグループ分けが可能となる。
【００４６】
また、映像信号入力部１１０を介して入力した各々の映像信号は、同期信号検出部１２０に加えて、相関検出部１４０にも同時に送られる。相関検出部１４０は、グループ判定部１２０によるグループ判定の結果を参照し、グループ毎に、グループ内の映像信号間で映像の相関を検出する。配置判定部１５０は、相関検出部１４０の検出結果に基づき、グループ毎に、各入力端子を介して入力した映像信号が示す映像の配置を決定する。すなわち、図１０（Ｃ）に示すように、映像間の相関に基づき映像の配置を決定する。これにより、グループ毎（すなわち、映像信号源毎）に映像を再構成することができる。
【００４７】
グループ判定部１２０による判定結果と、配置判定部１５０による映像配置の決定結果は、各映像信号とともにマルチウィンドウ処理部１７０に送られる。このとき、コントローラ２００の表示画面２２０上で、グループ判定結果、映像配置決定結果および映像信号に基づいて合成された映像が表示される（図３参照）。ユーザは、この表示画面２２０の映像を見ながら、操作部１６０を操作し、マルチディスプレイ１０に表示する映像の選択、映像のサイズの変更、配置の調整等を行うことができる。
【００４８】
最終的にユーザにより操作部１６０を介してサイズ、配置等の条件が確定されると、マルチウィンドウ処理部１７０は、確定された条件と、入力した各映像信号とから、出力映像（合成映像）を生成し、映像分割部１８０に送出する。マルチウィンドウ処理部１７０は、グループ毎に、配置判定部１５０により決定された配置にしたがい映像を配置し、これにより映像信号源から分割して送信された映像を再構成する。さらに、マルチウィンドウ処理部１７０は、ユーザの指示にしたがい各映像信号源からの映像のサイズや位置を調整して合成することにより出力映像（合成映像）を生成する。
【００４９】
映像分割部１８０は、マルチディスプレイ１０を構成する映像表示装置の数に合わせて合成映像を分割し、映像表示装置毎に映像信号を生成して出力する。
【００５０】
マルチディスプレイ１０は、ＭＷＰ１００から映像信号を受信し、受信した映像信号に基づき各映像表示装置が映像を表示する。これにより、マルチディスプレイ１０は、複数の映像信号源からの複数の映像を１つの映像として表示することができる。
【００５１】
以上のように、ＭＷＰ１００が、分割して入力された複数の映像信号を自動でグループ分けし、グループ内で映像を自動で配置して再構成する。この構成により、複数の映像信号源から複数の信号線を介して映像信号を入力し、各映像信号の映像を合成して１つの映像として表示させる場合に、ユーザはＭＷＰに対する信号線の接続状態を気にする必要がなく、信号線の接続作業におけるユーザの手間を軽減でき、利便性を向上できる。
【００５２】
（グループ判定処理）
図１１は、グループ判定部１３０によるグループ判定処理のフローチャートである。以下、図１１のフローチャートを参照してグループ判定処理を説明する。なお、以下の説明では、説明の便宜上、入力端子１から入力端子Ｎまでに複数の映像信号源からの信号線が接続されているとする。図１１において、Ｎは入力映像信号の数、Ｇ1〜ＧＮは、入力端子１〜Ｎ（すなわち、入力端子１〜Ｎに入力する映像信号）それぞれに対するグループ番号、Ｔ１〜ＴＮは各映像信号の同期信号の周期、Ｐ１〜ＰＮは各映像信号の同期信号の位相である。
【００５３】
最初に、グループ判定部１３０は、初期状態でＧ１〜ＧＮに各々１〜Ｎを設定する（Ｓ１１）。グループ判定部１３０は、複数の入力映像信号の中から２つの映像信号を順次選択し（Ｓ１２、Ｓ１３、Ｓ１６、Ｓ１７）、選択した２つの映像信号間において、同期信号（V_sync）の周期及び位相が一致しているか否かを判定する（Ｓ１４）。グループ判定部１３０は、同期信号の周期の一致性の判定結果及び位相の一致性の判定結果をそれぞれ同期信号検出部１２０から取得し、それらの判定結果を参照してステップＳ１４の判定を行う。２つの映像信号間で同期信号の周期及び位相が一致する場合（すなわち、それぞれの誤差がそれぞれの閾値以下である場合）、２つの映像信号のグループ番号のうち、大きい方のグループ番号を小さい方のグループ番号に設定する（Ｓ１５）。これにより、映像信号のグループ化（グループ判定）が可能となる。以上のように同期信号の周期及び位相に基づきグループ化することで、同じ映像信号源からの映像信号を同じグループにグループ分けすることができる。
【００５４】
（配置判定処理）
図１２は、配置判定部１５０による配置判定処理を示すフローチャートである。以下、図１２のフローチャートを参照して配置判定処理を説明する。配置判定部１５０による配置判定処理は、グループ判定部１３０により判定されたグループ毎に実施される。なお、以下では、説明の便宜上、４つの映像信号で構成されるグループを例に用いて説明する。また、画素値差分算出部１４３で算出した隣接する２つの映像間の相関値をＤ、閾値をｄ、映像間で隣接する辺の数をｍとしている。
【００５５】
４つの映像信号による４つの映像から１つの合成映像を構成する場合、合成映像の形状として、図１３（Ａ）〜（Ｗ）に示すように２３種類の形状が考えられる。さらに、２３種類の形状のそれぞれについて、４つの映像の配置パターンは４！＝２４通り存在する。
【００５６】
配置判定部１５０は、各形状について配置パターン毎に（Ｓ２１、Ｓ２２、Ｓ２５、Ｓ２６）、隣接する映像間の周縁部における相関値Ｄの平均（ΣＤ／ｍ）を算出する（Ｓ２３）。例えば、図１３（Ａ）の形状について、図１４に示すように、配置パターン１、２等が考えられる。配置判定部１５０は、配置パターン１について、相関検出部１４０から、映像１と映像２の隣接する縁部間の相関値D1c2aと、映像１と映像３の隣接する縁部間の相関値D1d3bと、映像３と映像４の隣接する縁部間の相関値D3c4aと、映像２と映像４の隣接する縁部間の相関値D2d4bとを取得し、それらの平均値（ΣＤ／ｍ）を求める。
【００５７】
配置判定部１５０は、相関値Ｄの平均（ΣＤ／ｍ）を閾値と比較し（Ｓ２４）、相関値Ｄの平均（ΣＤ／ｍ）を閾値以下の場合、その平均値を与える配置パターンで特定される配置を、そのグループに関する４つの映像の配置として決定する（Ｓ２７）。
【００５８】
以上のように、本実施の形態の映像表示システムでは、複数の映像信号（図１０（Ａ）参照）を同期信号の特性に基づきグループ化し（図１０（Ｂ）参照）、その後、グループ毎に、映像間の隣接する縁部の相関値に基づき映像の配置パターンを決定する（図１０（Ｃ）参照）。これにより、さまざまな映像信号が入力された場合でも、自動的に適切な映像を再構成することができる。
【００５９】
［１−４．効果等］
以上のように本実施の形態のＭＷＰ１００（映像信号処理装置の一例）は、複数の映像信号を受信し、マルチディスプレイ１０（複数の表示装置で構成される表示領域）に表示させるための映像信号を生成する装置である。ＭＷＰ１００は、複数の映像信号を入力する映像信号入力部１１０（入力部の一例）と、映像信号に含まれる情報に基づき複数の映像信号をグループ化するグループ判定部１３０と、を備える。
【００６０】
以上の構成により、ＭＷＰ１００が、分割して入力された複数の映像信号を自動でグループ分けする。このように映像信号をグループ化することにより、その後自動または手動でグループ内の映像信号を同一の映像信号源からの信号として配置することが可能となる。本実施形態では、配置判定部１５０により、グループ毎に、グループ内の各映像信号の配置を決定し、グループ内で映像を自動で配置して再構成する。この構成により、複数の映像信号源から複数の信号線を介して映像信号を入力し、各映像信号の映像を合成して１つの映像として表示させる場合に、ユーザはＭＷＰに対する信号線の接続状態を気にする必要がなく、信号線の接続作業におけるユーザの手間を軽減でき、利便性を向上できる。
【００６１】
（実施の形態２）
本実施の形態では、ＭＷＰ１００における配置判定部１５０による配置判定処理の別の例を説明する。実施の形態１では、配置判定部１５０は、形状と配置を設定して、設定した形状と配置にしたがって配置判定を行った（図１２、図１３参照）。これに対して、本実施の形態では、形状や配置を予め設定せずに、ある映像に対して配置可能な全ての位置に他の映像を配置し、最小の相関値を有する位置に基づき配置を決定する。以下、図１５〜図１７を用いて、本実施の形態における配置判定処理を説明する。なお、以下では、説明の便宜上、映像１から映像４をそれぞれ示す４つの映像信号で構成されるグループを例に用いて説明する。
【００６２】
＜ステップ１＞
まず、４つの映像のうちの１つの映像を基準映像として選択し、残りの映像の中の１つを基準映像の４辺に隣接して配置し、各配置について相関値Ｄを求める。そして、基準映像の周囲に配置する映像を順次変更しながら、各配置について相関値Ｄを求める。求めた相関値Ｄのうち、最も小さい相関値Ｄを与える配置（２つの映像の配置）を選択する。
【００６３】
例えば、図１５（Ａ）に示すように、映像１を基準映像として選択し、まず、映像２を映像１の４辺に隣接して配置する。そして、映像１と映像２の４通りの配置（組み合わせ）のそれぞれについて相関値Ｄを求める。次に、映像１の周囲に配置する映像を映像３に切替え、図１５（Ｂ）に示すように、映像３を映像１の４辺に隣接して配置する。そして、映像１と映像３の４通りの配置（組み合わせ）のそれぞれについて相関値Ｄを求める。次に、図１５（Ｃ）に示すように、映像４を映像１の４辺に隣接して配置する。そして、映像１と映像４の４通りの配置（組み合わせ）のそれぞれについて相関値Ｄを求める。以上のようにして求めた相関値Ｄのうち、最も小さい相関値Ｄを与える配置を選択する。図１５（Ａ）〜（Ｃ）の中では、図１５（Ａ）に示す映像１の右側に映像２が隣接する配置と、図１５（Ｃ）に示す映像１の右側に映像４が隣接する配置とが選択される。
【００６４】
＜ステップ２＞
続いて、ステップ１で選択された配置にしたがい２つの映像を配置し、それらの映像の周囲６カ所それぞれの位置に残りの映像の中の１つを配置し、各配置について相関値Ｄを求める。その後、ステップ１で選択された配置を持つ２つの映像の周囲に配置される映像を順次変更しながら、各配置について同様に相関値Ｄを求める。そして、求めた相関値Ｄのうち、最も小さい相関値Ｄを与える配置（３つの映像の配置）を選択する。
【００６５】
例えば、図１６（Ａ）に示すように、ステップ１で選択された映像１と映像２の配置（組み合わせ）の周囲６ヶ所に映像３を配置する。そして、それぞれの位置について、映像３と、それに隣接する映像１または映像２との相関値Ｄを求める。同様に、図１６（Ｂ）に示すように、ステップ１で選択された映像１と映像２の配置（組み合わせ）の周囲６ヶ所に映像４を配置し、映像４の各位置について相関値Ｄを求める。ステップ１で選択されたもう１つの配置（映像１と映像４の組み合わせ）についても、図１６（Ｃ）、（Ｄ）に示すように、映像１と映像４の周囲に映像２または映像３を配置し、それぞれの配置について相関値Ｄを求める。そして、求めた相関値Ｄのうち最も小さい相関値Ｄを与える配置を選択する。図１６（Ａ）〜（Ｄ）の中では、図１６（Ａ）に示す、映像１の右側に映像２が配置され、さらに映像２の右側に映像３が配置される配置が選択される。
【００６６】
＜ステップ３＞
最後に、ステップ２で選択された配置にしたがい３つの映像を配置し、それらの映像の周囲８カ所のそれぞれの位置に残りの映像を配置し、各配置について相関値Ｄを算出する。そして、最も小さい相関値Ｄを与える配置を選択する。
【００６７】
例えば、図１７に示すように、映像１、映像２、映像３をステップ２で選択した配置にしたがい配置し、それらの映像の周囲に映像４を配置し、各配置に対して相関値Ｄを算出する。そして、相関値Ｄが最小となる配置、ここでは、映像３の右側に映像４が位置する配置が最終的に選択される。
【００６８】
以上のように、ある映像の周囲の複数の位置に他の映像を配置し、各位置に対して相関値を求め、相関値が最小となる位置を順次求めていくことで、最適な配置を決定してもよい。
【００６９】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１〜２を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１〜２で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
【００７０】
実施の形態１では、同期信号の周期と位相の双方を用いてグループ判定を行ったが、いずれか一方だけを用いてグループ判定を行ってもよい。なお、同期信号の周期と位相の双方を用いてグループ判定することで判定精度を向上することができる。
【００７１】
また、実施の形態１において、グループ判定部１３０において、映像信号の同期信号に代えて、映像信号が示す映像の相関値を用いてグループ判定を行っても良い。図１８は、この場合のＭＷＰの構成を示す図である。図１８に示すＭＷＰ１００は、図４に示したような同期信号検出部１２０を有していない。相関検出部１４０は、入力した各映像信号間の相関値を算出する。グループ判定部１３０は、相関検出部１４０から相関値を取得し、相関値に基づき映像信号をグループ分けする。例えば、グループ判定部１３０は、相関値の差が所定範囲内にある映像信号群を同じグループとしてグループ化する。これは、同一の映像信号源からの分割映像は互いに相関があると考えられるからである。配置判定部１５０は、グループ判定部１３０及び相関検出部１４０からの出力に基づきグループ毎に映像の配置を決定する。同様に、実施の形態２においても、映像信号の同期信号に代えて、映像信号が示す映像の相関値を用いてグループ判別を行っても良い。このように映像信号間の相関値に基づきグループ化することでも、同じ映像信号源からの映像信号を同じグループにグループ分けすることができる。
【００７２】
また、実施の形態１において、グループ判定部１３０が映像信号の同期信号に基づいてグループ判定を行った後、相関検出部１４０で、グループ判定部１３０により判定された各グループにおいて、さらに映像信号間の相関値に基づきグループ分けを行っても良い。例えば、相関検出部１４０は、同期信号に基づきグループ分けされたグループ内において、相関値の差が所定範囲内にある映像信号群を同じグループとして、映像信号をさらにグループ化してもよい。
【００７３】
実施形態１、２の相関検出では、映像の周縁部に枠がある場合は考慮していない。映像の周縁部に枠のような無地の領域がある映像の場合、上述の方法で相関値Ｄを算出すると、映像間の実際の相関に関わらず、算出される相関値Ｄが小さな値となる。これは配置判定において誤判定の要因となる。そこで、画素値差分算出部１４３において、相関値Ｄを計算する領域（映像の縁部）が枠のような無地の領域であるか否かの判定を行っても良い。例えば、相関値Ｄを計算する領域（映像の縁部）において、差分値の標準偏差σを算出してもよい。縁部に模様がある場合、σは大きくなるが、無地の枠同士が隣接する場合、σは小さくなる。よって、図１２のフローチャートにおけるステップＳ２４において、相関値の平均が閾値以下であり、かつ、標準偏差σが標準偏差の閾値以上である場合に、ステップＳ２７に進むようにしてもよい。
【００７４】
また、映像間の相関値は、映像間の周縁部の画素値の差分の二乗平均を算出することで求めたが、映像間の相関を示す値が得られるのであれば、他の方法により算出してもよい。
【００７５】
実施の形態１の配置判定では、図１３に示す全ての形状を判定対象としていたが（図１２のステップＳ２１）、図１３に示す形状のうちの一部のみを判定対象としてもよい。例えば、図１３（Ａ）に示す形状のみを判定対象としてもよいし、図１３（Ａ）、（Ｂ）、（Ｆ）に示す形状を判定対象としてもよい。
【００７６】
実施の形態１では、配置判定（図１２のフローチャートのステップＳ２４）において、相関値の平均値（ΣＤ／ｍ）が所定値以下となった時点で、ループを脱出する構成としているが、配置判定方法はこれに限定されない。ある形状に対して、全ての配置について相関値の平均値（ΣＤ／ｍ）を算出し、算出した値の中の最小値が所定値ｄ以下となるか否かを判定してもよい。相関値の平均値（ΣＤ／ｍ）が所定値ｄよりも大きい場合、次の形状に移り、所定値ｄより小さい場合、そのときの形状、配置を選択する。もしくは、全ての形状、全ての配置について、相関値の平均値（ΣＤ／ｍ）を算出し、最小の相関値の平均値を与える形状、配置を採用してもよい。
【００７７】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【００７８】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【００７９】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【００８０】
本開示は、複数の映像信号源から分割映像を示す複数の映像信号を受信し、複数の分割映像を適切に配置する映像信号処理装置に適用できる。
【符号の説明】
【００８１】
１０  マルチディスプレイ
１００  マルチウィンドウ処理装置（ＭＷＰ）
１１０  映像信号入力部
１２０  同期信号検出部
１３０  グループ判定部
１４０  相関検出部
１５０  配置判定部
１６０  操作部
１７０  マルチウィンドウ処理部
１８０  映像分割部
２００  コントローラ
【図１】
2018037765.tif 000003
【図２】
2018037765.tif 000004
【図３】
2018037765.tif 000005
【図４】
2018037765.tif 000006
【図５】
2018037765.tif 000007
【図６】
2018037765.tif 000008
【図７】
2018037765.tif 000009
【図８】
2018037765.tif 000010
【図９】
2018037765.tif 000011
【図１０】
2018037765.tif 000012
【図１１】
2018037765.tif 000013
【図１２】
2018037765.tif 000014
【図１３】
2018037765.tif 000015
【図１４】
2018037765.tif 000016
【図１５】
2018037765.tif 000017
【図１６】
2018037765.tif 000018
【図１７】
2018037765.tif 000019
【図１８】
2018037765.tif 000020