(57)【要約】【課題】複数の画面を用いて、映像表示装置を構成する際に、画面の位置と映像の位置の整合をとるには、画面設置と映像位置の調整に多くの時間がかかる課題があった。【解決手段】映像表示パネルを有する映像表示装置を、複数台並べた状況を撮影した画像から、前記複数台の映像表示装置相互の位置関係を決定するデイスプレイ配置検出手段と、前記画像から、前記映像表示装置に対する前記画像の撮影位置を決定する撮影位置決定手段と、前記映像表示装置の位置関係と、前記撮像位置と、に基づいて前記複数台の映像表示装置それぞれに表示する映像信号を（前記撮影装置からの視点で複数台の前記映像表示装置の位置関係を整合した映像の映像信号をそれぞれの映像表示装置に対して）生成する映像生成手段と、前記生成したそれぞれの映像信号を、対応するそれぞれの映像表示装置へ出力するマルチデイスプレイ制御手段と、を備える映像信号生成手段。【選択図】図１
2014176053.tif 000002
【特許請求の範囲】
【請求項１】
映像表示パネルを有する映像表示装置を複数台並べた状況を撮影した画像から、前記複数台の映像表示装置相互の位置関係を決定するデイスプレイ配置検出部と、
前記画像から、前記映像表示装置に対する前記画像の撮影位置を決定する撮影位置決定部と、
前記映像表示装置の位置関係と、前記撮像位置と、に基づいて前記複数台の映像表示装置それぞれに表示する映像信号を補正する映像補正部と、
前記補正したそれぞれの映像信号を、対応するそれぞれの映像表示装置へ出力するマルチデイスプレイ制御部と、
を備える映像信号生成装置。
【請求項２】
視聴者の視聴位置を検出する視聴位置検出部を、さらに備え、
前記映像補正部は、前記視聴位置と前記映像表示装置の位置関係と前記撮影位置とにより、映像を補正する、
請求項１に記載の映像信号生成装置。
【請求項３】
前記複数の映像表示装置の外枠位置を検出する画面外枠検出部を、さらに備え、
前記映像補正部は、互いに隣り合う映像表示装置の表示画面において外枠の背後に映像があるように補正する、
請求項１に記載の映像信号生成装置。
【請求項４】
前記映像補正部は、前記表示画面の外枠と画面の比率に応じて前記映像をトリミングし、拡大することで、画面の外枠の背後に映像があるように補正する、
請求項３に記載の映像信号生成装置。
【請求項５】
映像表示パネルを有する映像表示装置を複数台並べた状況を撮影した画像から、前記複数台の映像表示装置相互の位置関係を決定するデイスプレイ配置検出部と、
前記画像から、前記映像表示装置に対する前記画像の仮想撮影位置を決定する仮想撮影位置決定部と、
前記映像表示装置の位置関係と、前記撮像位置と、に基づいて前記複数台の映像表示装置それぞれに表示する映像信号をコンピューター・グラフィックスで生成する映像生成部と、
前記生成した映像信号を、対応するそれぞれの映像表示装置へ出力するマルチデイスプレイ制御部と、
を備える映像信号生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多画面向けに多視点画像を効果的に生成する画像信号処理装置に関する。
【背景技術】
【０００２】
多画面画像は、一般的に複数の画面を組み合わせて、一視点映像を表示する場合とそれぞれの画面に異なる視点の映像を表示する場合がある。本件は、多画面に多視点映像を表示する場合に相当する。
【０００３】
特許文献１では、所定の位置に配置した複数の画面に表示する映像を撮影する際に画面の位置関係に合わせてカメラの位置関係を調整して撮影する。また、撮影される映像に、撮影されたカメラの位置を記録し、再生時にそれを読み込み表示する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平７−２８４０８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
撮影された画像群と表示する画面の位置関係を考慮しても、必ずしも画面群が正しく撮影条件に適合した位置に配置されている保証はない。また、カメラにより撮影される多視点映像の視点位置も正しく設置されている保証はない。さらには、画面群／カメラ群を正しく配置するには困難を伴い、細かな調整が必要となる。
【０００６】
そこで、本発明では、画面群の配置を検出して、配置に応じてカメラの撮影条件を変更／カメラ映像を補正し、配置のズレを映像信号側で解消することを目的とするものである。
【０００７】
特にコンピュータグラフィックスでは、リアルタイムに撮影映像を再生成できるので、画面群の設置の誤差が許容できることを目的とするものである。
【課題を解決するための手段】
【０００８】
本開示における映像信号生成装置は、映像表示パネルを有する映像表示装置を複数台並べた状況を撮影した画像から複数台の映像表示装置相互の位置関係を決定するデイスプレイ配置検出部と、画像から、映像表示装置に対する画像の撮影位置を決定する撮影位置決定部と、映像表示装置の位置関係と撮像位置とに基づいて複数台の映像表示装置それぞれに表示する映像信号を補正する映像補正部と、補正したそれぞれの映像信号を、対応するそれぞれの映像表示装置へ出力するマルチデイスプレイ制御部と、を備える。
【発明の効果】
【０００９】
本出願に記載の発明により、多面郡の設置／カメラの設置が簡易化される。
【図面の簡単な説明】
【００１０】
【図１】実施の形態１で説明する撮影システムの例を示す図
【図２】実施の形態１で説明するＣＧ画像の場合の撮影システムの例を示す図
【図３】実施の形態１で説明するディスプレイの配置を示す図
【図４】実施の形態１で説明するカメラの配置を示す図
【図５】実施の形態１で説明するカメラ映像の補正を示す図
【図６】実施の形態１で説明する複数のディスプレイとカメラとの位置関係を示す図
【図７】実施の形態１で説明する複数のディスプレイを撮影した画像の図
【図８】実施の形態１で説明する撮影された画像を２値でしめした画像に変換した図
【図９】実施の形態１で説明する撮影された画像の輪郭強調処理をした図
【図１０】実施の形態１で説明するキャリブレーション用画像の例を示す図
【図１１】実施の形態１で説明する多画面多視点映像生成システムの構成例を示す図
【図１２】実施の形態１で説明する画像処理を示すフローチャート
【図１３】実施の形態１で説明するＣＧ処理を示すフローチャート
【発明を実施するための形態】
【００１１】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１２】
なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【００１３】
（実施の形態１）
図１は、本実施の形態で説明する撮影システムの例を示す図である。図１は、三台のカメラと三台のディスプレイを用いて構成したものである。それぞれのディスプレイへの視点映像を撮影するカメラ１、カメラ２、カメラ３が、映像生成部を構成する。画面１、画面２、画面３が映像表示部を構成する。さらに、映像生成部の映像信号を補正する映像補正部および画面位置検出部を持つ。
【００１４】
カメラ１、カメラ２、カメラ３は、多視点画像を撮影することを目的としたカメラである。ここでは、それぞれのカメラの光軸が所定の角度を持ち、同一平面上に等間隔に配置された場合を示す。画面１、画面２、画面３は、多視点映像を表示することを目的にしたディスプレイである。カメラと同様に、画面１、画面２、画面３の法線がなす角度を前記所定の角度に合わせて配置した場合を示す。
【００１５】
画面位置検出部は、カメラにより構成され、画面を撮影し、映像を解析して、ディスプレイの配置を取得する。
【００１６】
映像生成部で撮影された画像は、記録または伝送されて、映像補正部に入力される。映像補正部では、カメラの位置のズレ等を補正し、ディスプレイの配置にもとづいて、映像表示部に適した状態に加工してから、補正等された映像信号を映像表示部に伝送する。
【００１７】
図２は、図１の映像生成部に代えて、３つの仮想カメラ１、仮想カメラ２、仮想カメラ３により構成されるコンピュータグラフィックス生成部をもつ。図２の場合の映像は、コンピュータグラフィックスであり、映像の補正は、ＣＧ生成時のパラメータで調整できる。
【００１８】
仮想カメラ１、仮想カメラ２、仮想カメラ３は、ＣＧ空間上の仮想的な視点位置である。ここでは、それぞれの仮想カメラの視点方向（光軸に相当）が所定の角度を持ち、等間隔に配置された場合を示す。画面１、画面２、画面３は、多視点映像を表示することを目的にしたディスプレイである。仮想カメラと同様に、画面１、画面２、画面３の法線がなす角度を前記所定の角度に配置した場合を示す。
【００１９】
画面位置検出部は、カメラにより構成され、画面群を撮影し、映像を解析して、ディスプレイの配置を取得する。
【００２０】
コンピュータグラフィックス生成部で生成された画像は、記録または伝送されて、映像表示部に入力される。コンピュータグラフィックス生成部では、ディスプレイの配置にもとづいて、映像表示部に適した状態にレンダリングしてから、映像表示部に伝送する。
【００２１】
次に映像補正部の処理を説明する。図１の場合、三台のカメラより映像が撮影される。映像補正部は、カメラの光軸の位置をディスプレイの配置に合わせて設定する。ここでは、大きさの等しいディスプレイを正六角形の連続する辺に沿って配置した場合を説明する。図３はディスプレイを上から見た図である。図３に示すようにディスプレイを正六角形上に配置する。
【００２２】
このとき、視聴者は、正六角形が外接する円の中心にいると最適な位置で視聴できる。視聴者のディスプレイからの距離は、ディスプレイの横幅をｗとするとｗ／２／ｔａｎ３０°となる。
【００２３】
同様に図４のようにカメラ１、カメラ２、カメラ３を正六角形上に配置する。このとき、視聴者は、正六角形が外接する円の中心にいると最適な位置で視聴できる。
【００２４】
上記の最適な位置から視聴者が見込むディスプレイは、視野角６０度なる。したがって、ディスプレイの表示するカメラ映像も視野６０度であることが好ましい。そこで、撮影した際のレンズ特性から、カメラの画角を映像補正部に入力する。６０度より大きい場合（Ｎ度）は、６０度の画角分映像をトリミングし、拡大してディスプレイに表示する。
【００２５】
図５は、トリミングの箇所を示す。１／２／ｔａｎＮ°：  １／２／ｔａｎ３０°の比を維持するように画面中心から切り出す。このとき、高さはディスプレイのアスペクトに準じる。切り出し後、ディスプレイの画素数に応じて、拡大する。同様に３つのカメラ映像に関して、切り出しと拡大処理を行う。
【００２６】
ところでカメラの設置状態によって、誤差が生じる場合がある。その時は、隣接するカメラ間の映像を比較し、画面境界付近で画素間差分和演算を行いその値が最も小さくなる位置を特定する。そこがカメラ間に共通な被写体と推定される。
【００２７】
以上により、画面間の連結がなだらかになるように切り出し位置を調整する。これらは、パノラマ撮影で利用される一般的な手法であるので、詳細は割愛する。
【００２８】
次にコンピュータグラフィックス生成部の処理を説明する。ＣＧにおいて、実写カメラに示すような誤差はないので、ディスプレイの配置に応じて仮想カメラ設定をする。
【００２９】
ＣＧの仮想カメラでは、画角と始点と注視点を設定できるので、図３のディスプレイ配置では、画角を６０度とし、仮想カメラ１、仮想カメラ２、仮想カメラ３の始点を同一座標にし、それぞれの注視点と始点がなす角度が６０度なるように設定する。以上により、図４の実写のカメラ配置が仮想空間上で形成できる。
次に画像位置検出部について説明する。通常、ディスプレイは矩形であるものとする。図６に示すように、図４のディスプレイ三台が撮影できる位置にカメラを設置する。これらの準備ののちにカメラ映像を取得する。取得された画像を２値化処理する。このとき、２値化処理でディスプレイ面を検出しやすいようにそれぞれのディスプレイに全白映像を入力してもよい。
【００３０】
このようにして取得された画面位置撮影画像を図７に示す。通常、撮影画像は、ＲＧＢの８ｂｉｔの信号であるので、８ｂｉｔ輝度色差信号へ変換し、輝度信号を閾値と比較する。所定の輝度信号値以上を白（２５５，２５５，２５５）、それ以外を黒（０，０，０）などとして、２値化する。２値化された画像を図８に示す。
【００３１】
次に、２値化された画像で、エッジ検出処理を実施する。隣接画素の差分が２５５となる画素を白へ変換し、それ以外を黒とする。検出された画像を図９に示す。
【００３２】
以上により、３つの台形図形が取得できる。台形の各辺の歪を調べるとカメラとディスプレイの空間上の相対位置が一位に決まる。例えば、ディスプレイとカメラが正対している単純なケースでは、画面サイズをあらかじめ入力し、台形の向かい合う辺の比から相似の関係を用いて、カメラからの距離が求まる。それぞれの辺の距離が求まれば空間上の座標が取得でき、ディスプレイ間の相対的な位置が算出できる。ここでは、詳細は割愛するが、任意の位置を算出するには台形の射影変換の逆行列より、ディスプレイの位置が特定できる。
【００３３】
さらに画面位置検出部にあるカメラ映像をキャリブレーションに利用することもできる。
キャリブレーションとして、ベゼル（ディスプレイの額縁）位置検出部でベゼルの位置を特定し、再生映像を補正することができる。ここでのキャリブレーションとは、ベゼルの向こうに映像が存在し、あたかも窓枠から映像をみるかのように表示サイズと位置を調整することを意味する。
【００３４】
図１０にキャリブレーション画像を示す。キャリブレーション用画像については後述する。従来は、隣接するディスプレイにまたがるように図形を表示する。ここでは、円を表示する。その円弧が連続的につながるよう各ディスプレイの原点座標を調整する。しかしながら、本願では、先のディスプレイ位置からベゼルの位置が特定される。図８の二値化画像では、白領域に挟まれた黒領域となる。
【００３５】
簡単のために、ここでは、正面のディスプレイの二値化画像が長方形である場合で、画面１のベゼルと画面２のベゼル幅が画面位置検出部にあるカメラ映像からみて略等しいとして説明する。つまり、画面２がカメラと正対した状態であり、画面１と画面２のなす角度が浅い場合を指す。さらに画面２と画面３のなす角がそれに等しいとする。
【００３６】
前記長方形の横幅をｄｗ、ベゼルの幅をｂｗとする。補正しない場合、ベゼル位置で映像が不連続となる。そこで、ベゼル分映像を拡大する。画面の中心から（ｄｗ−ｂｗ）／２の長さで左右それぞれトリミングした幅ｄｗ−ｂｗの画像を生成する。
【００３７】
次に画面アスペクトに応じて縦方向にトリミングする。ＦｕｌｌＨＤ画像の１６：９であれば、ｄｗ−ｂｗ／１６×９が縦の長さになるようにトリミングする。その後、画像をｄｗ／（ｄｗ−ｂｗ）倍する。これを画面それぞれに行う。
【００３８】
以上により、映像がベゼルの向こう側でつながっているように視聴者は錯覚し、ベゼルがあたかも窓枠のように感じ、臨場感がます。また、従来のように手動のキャリブレーションが不要となり、常に最適な映像が再生できる。
【００３９】
次に図１１を用いて、多画面多視点映像生成システム全体の構成例を示す。画面位置検出部により、略同一平面に配置されたディスプレイの空間位置を算出する。算出された結果により得られたディスプレイ中心の法線ベクトルとカメラの光軸ベクトルが略一致するようにカメラを配置する。
【００４０】
コンピュータグラフィックスでは、仮想カメラの注視点と始点が作るベクトルを光軸ベクトルとして設定する。次に映像生成部は、前記法線ベクトルの略交点からディスプレイを見込む場合の視野角より大きな画角を持つカメラで多視点映像を撮影することで、映像を生成する。生成された映像を映像補正部で補正する。多面ディスプレイ制御部では、補正された映像をそれぞれのディスプレイに伝送する。
【００４１】
視聴者位置検出部では、視聴者の頭部の位置と向きを検出し、最適位置からずれた場合、視聴者の見ている画面において、台形歪が少なくなるよう画像補正部により補正する。
【００４２】
図１２は、本実施の形態で説明する実写を利用した場合の画像処理フローを示すフローチャートである。
【００４３】
（ステップＳ１０１）画面位置検出する。
【００４４】
（ステップＳ１０２）多視点撮影カメラで画像を取得する。
【００４５】
（ステップＳ１０３）カメラの画角情報を入力する。静止画においては、通常、カメラ情報としてＥＸＩＦで管理される焦点距離より、画角を算出する。動画においても、静止画撮影を実施し、撮影条件を記録するなどの処理を追加して、自動化してもよい。
【００４６】
（ステップＳ１０４）視聴者の頭部位置を検出する。
【００４７】
（ステップＳ１０５）視聴者の頭部位置から、各ディスプレイ中心から伸びる法線ベクトルの交点からのズレを算出する。
【００４８】
（ステップＳ１０６）カメラ情報と視聴者の位置補正情報を用いて、ステップＳ３０２で取得された画像を補正する。
【００４９】
（ステップＳ１０７）補正された画像を対応するディスプレイへ伝送するし、表示する。
【００５０】
図１３は、本実施の形態で説明するコンピュータグラフィックスを利用した場合の画像処理フローを示すフローチャートである。
【００５１】
（ステップＳ２０１）画面位置検出する。
【００５２】
（ステップＳ２０２）画面位置に合わせた仮想カメラ位置を設定する。
【００５３】
（ステップＳ２０３）視聴者の頭部位置を検出する。
【００５４】
（ステップＳ２０４）視聴者の頭部位置から、各ディスプレイの法線ベクトルの交点からのズレを算出する。
【００５５】
（ステップＳ２０５）  位置補正情報で仮想カメラ位置を補正してＣＧレンダリングを行う。
【００５６】
（ステップＳ２０６）レンダリングされた画像を対応するディスプレイへ伝送表示する。
【００５７】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【００５８】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【００５９】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【００６０】
本出願の発明は、複数の画面へ複数の視点映像を表示する場合等に、利用可能な技術である。
【符号の説明】
【００６１】
Ｓ１０１  画面位置検出ステップ
Ｓ１０２  映像取得ステップ
Ｓ１０３  カメラ情報入力ステップ
Ｓ１０４  視聴者位置検出ステップ
Ｓ１０５  補正情報生成ステップ
Ｓ１０６  映像補正処理ステップ
Ｓ１０７  ディスプレイ伝送ステップ
Ｓ２０１  画面位置検出ステップ
Ｓ２０２  仮想カメラ位置設定ステップ
Ｓ２０３  視聴者位置検出ステップ
Ｓ２０４  補正情報生成ステップ
Ｓ２０５  ＣＧレンダリングステップ
Ｓ２０６  ディスプレイ伝送ステップ
【図１】
2014176053.tif 000003
【図２】
2014176053.tif 000004
【図３】
2014176053.tif 000005
【図４】
2014176053.tif 000006
【図５】
2014176053.tif 000007
【図６】
2014176053.tif 000008
【図７】
2014176053.tif 000009
【図８】
2014176053.tif 000010
【図９】
2014176053.tif 000011
【図１０】
2014176053.tif 000012
【図１１】
2014176053.tif 000013
【図１２】
2014176053.tif 000014
【図１３】
2014176053.tif 000015