(57)【要約】【課題】複数のカメラで撮影した画像を複数のプロジェクタで表示する装置に関して，複数のカメラ画像を継ぎ目のない一つの高精細な画像として表示するための画像データ変換，表示機構を備えた映像表示装置を提供する。【解決手段】複数のカメラを使用して被写体を撮影し，カメラと１対１に対応する複数のプロジェクタを使用してカメラ画像をスクリーンに投影し，一つの高解像度画像として表示する。また，画像補正部を設け，カメラの姿勢や焦点距離が変更された場合に，レンズ歪の補正，およびカメラパラメータの推定を行う。推定したカメラパラメータ，プロジェクタのパラメータ，およびスクリーン形状に基づいて，各カメラの画像とそのカメラに対応付けられたプロジェクタの入力画像の変換テーブルを作成する。【選択図】  図１
2004242049.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラを使用して被写体を撮影する撮影部と，複数のプロジェクタを使用してカメラ画像を表示する表示部から成る映像表示装置において，複数の既カメラと既プロジェクタを１対１に対応付け，既カメラの相対的な位置関係と既プロジェクタの相対的な位置関係を等しくし，各既カメラで撮影したカメラ画像をその既カメラと対応付けられた既プロジェクタを使用してスクリーンに投影することを特徴とするマルチカメラ映像合成表示装置。
【請求項２】
請求項１において画像補正部を設け，既画像補正部では，既カメラの姿勢や焦点距離が変更された場合に，レンズ歪の補正，およびカメラパラメータの推定を行い，既カメラパラメータ，プロジェクタのパラメータ，およびスクリーン形状に基づいて，各既カメラ画像とその既カメラに対応付けられた既プロジェクタの入力画像の変換テーブルを作成し，既変換テーブルを用いて各既カメラ画像を既プロジェクタの既入力画像に変換する
ことを特徴とするマルチカメラ映像合成表示装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は，複数カメラの画像を一つの高精細な画像として表示するための画像データ変換，表示機構を有する映像表示装置に関する。
【０００２】
【従来の技術】
従来，複数のカメラ画像を表示する方法としては，（１）一つのディスプレイの画面を複数に分割する，もしくは複数のディスプレイを用いることにより各カメラ画像を個々に表示する方法や，（２）複数のカメラ画像を合成して一つの画像としてディスプレイやプロジェクタで表示する方法が提案されている（例えば下記非特許文献１，２参照）。
【０００３】
【非特許文献１】甘利康文，”特集  画像電子技術年報  ２−５防犯・監視画像技術”，画像電子学会誌，Ｖｏｌ．２９，Ｎｏ．６，ｐｐ．７０３−７０７，２０００．
【非特許文献２】星野准一ら，”観測・推定画像間の誤差最小化によるパノラマ動画像の生成”，信学論Ｄ−ＩＩ，Ｖｏｌ．Ｊ８１−Ｄ−ＩＩ，Ｎｏ．１１，ｐｐ．２５６５−２５７３，１９９８．
【０００４】
【発明が解決しようとする課題】
上記従来技術（１）では，ディスプレイの枠やディスプレイの分割線により画像の継ぎ目が見えるという問題がある。また，上記従来技術（２）では，カメラ画像の継ぎ目が現れないように，カメラ画像の変換，合成を行う際に使用するカメラパラメータの高精度な推定方法の開発を装置ごとに行う必要がある。
【０００５】
そこで，本発明では，複数のカメラで撮影した画像を複数のプロジェクタで表示する装置に関して，複数のカメラ画像を継ぎ目のない一つの高精細な画像として表示するための画像データ変換，表示機構を備えた映像表示装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するために，本発明では以下の手段を設ける。
（１）  複数のカメラを使用して被写体を撮影する撮影部と，複数のプロジェクタを使用してカメラ画像を表示する表示部により，映像表示装置を構成する。このとき，カメラとプロジェクタを１対１に対応付け，複数のプロジェクタの相対的な位置関係をカメラの相対的な位置関係と等しくする。各カメラの画像をそのカメラに対応するプロジェクタを使用してスクリーンに投影することにより，一つの高解像度画像として表示する。
（２）  画像補正部を設ける。画像補正部では，カメラの姿勢や焦点距離が変更された場合に，レンズ歪の補正，およびカメラパラメータの推定を行う。推定したカメラパラメータ，プロジェクタのパラメータ，およびスクリーン形状に基づいて，各カメラの画像と，対応するプロジェクタの入力画像の変換テーブルを作成する。この変換テーブルを用いて各カメラ画像をそのカメラに対応付けられた各プロジェクタの入力画像に変換する。
【０００７】
【発明の実施の形態】
本発明は，複数のカメラを使用して撮影した画像を補正し，複数のプロジェクタにより一つの高精細な画像として表示する映像表示装置に関する。具体的には，下記の方法を実施するソフトウェア，またはハードウェアを作成することにより実現できる。
【０００８】
図１は，本実施例における映像表示装置の構成図である。本装置は，複数のカメラ１０１ａ，１０１ｂ，１０１ｃ，１０１ｄとのインタフェース１０２，複数のプロジェクタ１０３ａ，１０３ｂ，１０３ｃ，１０３ｄとのインタフェース１０４，一連の処理を行うＣＰＵ１０５，プログラムやデータを格納するメモリ１０６，およびこれらを結合するバス１０７から構成される。図１ではカメラおよびプロジェクタの数を４としているが，任意の数とすることができる。ただし，カメラ１０１ａから１０１ｄとプロジェクタ１０３ａから１０３ｄを１対１に対応付け，カメラ１０１の相対的な位置関係とプロジェクタ１０３の相対的な位置関係が等しくなるようにカメラ１０１およびプロジェクタ１０３を設置する。そして，各カメラ１０１ａから１０１ｄの画像をそのカメラに対応するプロジェクタ１０３ａから１０３ｄを使用してスクリーンに投影する。
【０００９】
図２は，映像表示装置における処理のブロック図である。撮影部２０１では，複数のカメラを使用して被写体を撮影する。画像補正部２０２では，２つの処理を行う。第１の処理はカメラ画像とプロジェクタの入力画像の対応関係を表す変換テーブルを作成する処理である。この処理は，カメラの姿勢やズームの倍率，ピントを変更した場合にのみ実行される処理である。第２の処理は変換テーブルによりカメラ画像をプロジェクタの入力画像に変換する処理である。この処理は，第１の処理により変換テーブルを作成後，カメラの姿勢やズームの倍率，ピントを変更せずに被写体を撮影している場合に実行される処理である。表示部２０３では，複数のプロジェクタを使用して複数のカメラ画像を一つの高精細な画像として表示する。
【００１０】
以下，画像補正部２０２における処理の具体例を示す。ただし，第２の処理は変換テーブルを参照して各カメラ画像からプロジェクタの入力画像を作成するだけであるので，第１の処理についてのみ記述する。これらの処理は映像表示装置のメモリ１０６内に格納され，ＣＰＵ１０５により実行される。
【００１１】
図３は画像補正部２０２における第１の処理の具体的な手順である。以下，図３の番号をステップ番号として，画像補正部２０２における第１の処理手順を示す。
ステップ３０１：レンズ歪補正
格子模様を撮影し，各カメラ１０１について撮影画像上の格子が直線となる変換ｆを推定する。図４にレンズ歪補正の説明図を示す。画像４０１はレンズ歪補正前の格子模様の撮影画像，画像４０２はレンズ歪補正後の画像である。図４に示すように湾曲した格子模様が直線となる変換ｇを推定する。
ステップ３０２：内部パラメータ推定
各カメラ１０１の焦点距離ｆ，および画素の縦横比ｋｙを算出する。図５に内部パラメータ推定の説明図を示す。図５のように，カメラ１０１と被写体である格子模様５０１を正対させ，格子模様と撮影画像の外枠が平行となるように格子模様を撮影する。つぎにステップ３０１の補正を行ったカメラ画像５０２を作成する。カメラの光学中心位置から被写体までの距離Ｚ，格子上の任意の二つの縦線Ａ，Ｂ間の距離Ｐ，縦線Ａ，Ｂに対応する画像５０２上の縦線間の距離Ｌを測定し，それらの相似関係から焦点距離ｆを算出する。また，縦方向と横方向の格子数が等しい画像５０２上の領域Ｃを選択し，その縦横比として画素の縦横比ｋｙを算出する。
ステップ３０３：外部パラメータ推定
各カメラ１０１の姿勢を表す３×３の回転行列Ｒを算出する。図６に外部パラメータ推定の説明図を示す。図６に示すように格子模様を撮影し，ステップ３０１，３０２の補正を行ったカメラ画像６０１を作成する。撮影した格子模様の横方向および縦方向の消失点ｐｖ，ｐｈを算出し，それらを無限遠点に写像する行列として回転行列Ｒを算出する。ここで，横方向および縦方向の消失点とは，それぞれ撮影画像中の各横方向の直線の交点，および縦方向の直線の交点である。
ステップ３０４：画像変換テーブル作成
各カメラ１０１および対応するプロジェクタ１０３ごとに，カメラ画像上の各画素とプロジェクタ入力画像上の各画素の対応関係を記述したテーブルを作成する。具体的には，カメラの総視野角（すべてのカメラで撮影できる範囲），スクリーン１０８上の画像の視野角（スクリーン上の表示範囲），プロジェクタの内部および外部パラメータに基づいて，複数のカメラ１０１で撮影した画像が一つの画像としてスクリーン１０８全体に表示されるように変換テーブルを作成する。
【００１２】
以上のように，複数のカメラとプロジェクタを１対１に対応付け，あらかじめ作成した各カメラ画像および入力画像の変換テーブルによりカメラ画像の変換，表示を行うことにより，複数のカメラ画像を継ぎ目のない一つの高精細な画像として一度に表示可能である。
【００１３】
【発明の効果】
本発明によれば，複数のカメラと複数のプロジェクタを１対１に対応付け，カメラパラメータ，プロジェクタのパラメータ，およびスクリーン形状に基づいて，各カメラ画像をそのカメラに対応付けられたプロジェクタの入力画像に変換することにより，複数のカメラで撮影した画像を継ぎ目のない一つの高精細な画像として表示できる映像表示装置を提供することができる。
【図面の簡単な説明】
【図１】映像表示装置の構成図。
【図２】映像表示装置における処理のブロック図。
【図３】画像補正部における処理手順。
【図４】レンズ歪補正の説明図。
【図５】内部パラメータ推定の説明図。
【図６】外部パラメータ推定の説明図。
【符号の説明】
１０１ａ，１０１ｂ，１０１ｃ，１０１ｃ：カメラ
１０２：入力インタフェース
１０３ａ，１０３ｂ，１０３ｃ，１０３ｃ：プロジェクタ
１０４：出力インタフェース
１０５：ＣＰＵ
１０６：メモリ
１０８：映像表示用スクリーン
２０１：撮影部
２０２：画像補正部
２０３：表示部
４０１：レンズ歪補正前のカメラ画像
４０２：レンズ歪補正後のカメラ画像
５０２：格子模様とカメラを正対させて撮影し，レンズ歪の補正を実行したカメラ画像
６０１：レンズ歪，および内部パラメータの補正を実行したカメラ画像
【図１】
2004242049.tif 000003
【図２】
2004242049.tif 000004
【図３】
2004242049.tif 000005
【図４】
2004242049.tif 000006
【図５】
2004242049.tif 000007
【図６】
2004242049.tif 000008
【手続補正書】
【提出日】平成15年3月19日(2003.3.19)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
図１は，本実施例における映像表示装置の構成図である。本装置は，複数のカメラ１０１ａ，１０１ｂ，１０１ｃ，１０１ｄとのインタフェース１０２，複数のプロジェクタ１０３ａ，１０３ｂ，１０３ｃ，１０３ｄとのインタフェース１０４，一連の処理を行うＣＰＵ１０５，プログラムやデータを格納するメモリ１０６，およびこれらを結合するバス１０７から構成される。図１ではカメラおよびプロジェクタの数を４としているが，任意の数とすることができる。ただし，カメラ１０１ａから１０１ｄとプロジェクタ１０３ａから１０３ｄを１対１に対応付け，カメラ１０１の相対的な位置関係とプロジェクタ１０３の相対的な位置関係が等しくなるようにカメラ１０１およびプロジェクタ１０３を設置する。そして，各カメラ１０１ａから１０１ｄの画像をそのカメラに対応するプロジェクタ１０３ａから１０３ｄを使用してスクリーンに投影する。


【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
図３は画像補正部２０２における第１の処理の具体的な手順である。以下，図３の番号をステップ番号として，画像補正部２０２における第１の処理手順を示す。
ステップ３０１：レンズ歪補正  格子模様を撮影し，各カメラ１０１について撮影画像上の格子が直線となる変換ｇを推定する。図４にレンズ歪補正の説明図を示す。画像４０１はレンズ歪補正前の格子模様の撮影画像，画像４０２はレンズ歪補正後の画像である。図４に示すように湾曲した格子模様が直線となる変換ｇを推定する。
ステップ３０２：内部パラメータ推定
各カメラ１０１の焦点距離ｆ，および画素の縦横比ｋｙを算出する。図５に内部パラメータ推定の説明図を示す。図５のように，カメラ１０１と被写体である格子模様５０１を正対させ，格子模様と撮影画像の外枠が平行となるように格子模様を撮影する。つぎにステップ３０１の補正を行ったカメラ画像５０２を作成する。カメラの光学中心位置から被写体までの距離Ｚ，格子上の任意の二つの縦線Ａ，Ｂ間の距離Ｐ，縦線Ａ，Ｂに対応する画像５０２上の縦線間の距離Ｌを測定し，それらの相似関係から焦点距離ｆを算出する。また，縦方向と横方向の格子数が等しい画像５０２上の領域Ｃを選択し，その縦横比として画素の縦横比ｋｙを算出する。
ステップ３０３：外部パラメータ推定
各カメラ１０１の姿勢を表す３×３の回転行列Ｒを算出する。図６に外部パラメータ推定の説明図を示す。図６に示すように格子模様を撮影し，ステップ３０１，３０２の補正を行ったカメラ画像６０１を作成する。撮影した格子模様の横方向および縦方向の消失点ｐｖ，ｐｈを算出し，それらを無限遠点に写像する行列として回転行列Ｒを算出する。ここで，横方向および縦方向の消失点とは，それぞれ撮影画像中の各横方向の直線の交点，および縦方向の直線の交点である。
ステップ３０４：画像変換テーブル作成  各カメラ１０１および対応するプロジェクタ１０３ごとに，カメラ画像上の各画素とプロジェクタ入力画像上の各画素の対応関係を記述したテーブルを作成する。具体的には，カメラの総視野角（すべてのカメラで撮影できる範囲），スクリーン１０８上の画像の視野角（スクリーン上の表示範囲），プロジェクタの内部および外部パラメータに基づいて，複数のカメラ１０１で撮影した画像が一つの画像としてスクリーン１０８全体に表示されるように変換テーブルを作成する。


【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】符号の説明
【補正方法】変更
【補正の内容】
【符号の説明】
１０１ａ，１０１ｂ，１０１ｃ，１０１ｄ：カメラ
１０２：入力インタフェース
１０３ａ，１０３ｂ，１０３ｃ，１０３ｄ：プロジェクタ
１０４：出力インタフェース
１０５：ＣＰＵ
１０６：メモリ
１０８：映像表示用スクリーン
２０１：撮影部
２０２：画像補正部
２０３：表示部
４０１：レンズ歪補正前のカメラ画像
４０２：レンズ歪補正後のカメラ画像
５０２：格子模様とカメラを正対させて撮影し，レンズ歪の補正を実行したカメラ画像
６０１：レンズ歪，および内部パラメータの補正を実行したカメラ画像