(57)【要約】【課題】  マルチカメラによる広視野、高解像度映像の生成、表示装置において、歪みを補正したズーム機能を実現することが困難であった。【解決手段】  複数のズーム値に応じて記憶しておいた歪み補正パラメータを利用し、現在のズーム値に対応する歪み補正パラメータを算出する手段を用いることにより、各カメラ映像に対し、ズーム値に応じた歪み補正を行い、それらの映像から歪みの補正された自然な広視野、高解像度の映像を合成、表示する手段を有するものである。  【選択図】  図２
2005286452.tif 000002
【特許請求の範囲】
【請求項１】
撮影対象の一部を撮影するズーム機能を備える撮影手段を有する前記撮影対象の映像を生成する映像生成システムであって、
前記各撮影手段により撮影された映像の歪みを補正するための歪み補正パラメータを、複数のズーム値に対応して記憶する手段と、
前記ズーム値に対応して記憶された歪み補正パラメータから、現在のズーム値に対応する前記各撮影手段の歪み補正パラメータを算出する手段と、
前記現在のズーム値に対応して算出された歪み補正パラメータにより、前記各撮影手段において撮影された映像を補正する手段とを有し、
現在のズーム値に対応して補正された各撮影手段において撮影された映像それぞれは、少なくとも一部が別の撮影手段の補正された映像と重なりが存在するように、前記撮影手段を配置する手段と、
現在のズーム値に対応して補正された各撮影手段において撮影された映像をひとまとまりの映像として映像データを生成する手段とを有することを特徴とする映像生成システム。
【請求項２】
前記配置する手段は、各カメラの視野が、あらかじめ設定されている理想視点からの距離において重なるように配置することを特徴とする請求項１記載の映像生成システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ズーミング機能を有する複数のカメラ（マルチカメラ）により広視野かつ高解像度の映像を撮影し、歪み補正を行い映像を生成、表示する方法及び装置に関する。
【背景技術】
【０００２】
大画面ディスプレイの発展により、大画面の映像コンテンツが必要とされてきている。そのようなコンテンツを撮影するために、マルチカメラを利用した手法が提案されている。
【０００３】
従来のマルチカメラを用いた広視野の映像を撮影する方法としては、下記特許文献１，２に記載のように、広視野をカバーするように、立体的にかつ放射状に配置して撮影し、各カメラで撮影された映像をつなぎあわせることにより、広視野の映像を生成するものである。これらでは、全周映像を撮影するためのカメラ配置方法や撮影した映像から一部を切り出した映像を生成する方法などについて開示されている。
【０００４】
また，ズームつきカメラの歪曲収差を補正するシステムについては、下記特許文献３に記載のように、あるズーム値以上の場合に事前に設定した歪み補正曲線により補正する方法，または，下記特許文献４に記載のように、複数のズーム位置に対して、無限遠と最至近に対する歪曲収差補正データを記憶することにより、少ないデータで補正を可能とする方法が知られている。
【０００５】
【特許文献１】米国特許６１４１０３４号
【特許文献２】特開２００１−９４８５７号公報
【特許文献３】特開平１１−２５２４３１号公報
【特許文献４】特開２００２−１２５１７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記の従来技術では、マルチカメラで撮影する際に、通常1台のカメラであれば可能であるズーミング機能について、マルチカメラにより実現する方法については示されていない。
【０００７】
また、マルチカメラにより撮影された映像をつなげる際には、各カメラ映像の歪みを補正することが重要となるが、上記特許文献３の従来技術では、ある範囲のズームを行った場合にのみ歪み補正を行うため、マルチカメラのカメラ間の映像のつなぎあわせについて考慮されていない。
【０００８】
さらに，上記特許文献４の従来技術では、記憶する歪み補正パラメータについて、被写体までの距離に応じた歪曲収差を補正するデータ量は削減しているが、カメラがとりうるすべてのズーム値に対して補正データを記憶するため、カメラのズーム値は離散的にならざるを得ず、ズーム値のステップを細かくする毎にデータが多くなる。
【０００９】
本発明は、撮影対象を複数の撮影手段に分けて撮影する映像生成/表示システムであって、複数の撮影手段によるズーム撮影を可能とすることを目的とする。
【００１０】
他の目的として、少ないデータ量により、カメラの歪みを補正し、自然な、広視野の、高解像度な映像を生成し、表示することを目的とする。  
【課題を解決するための手段】
【００１１】
上記目的を達成するために、複数のズーム値に対応した歪み補正パラメータを記憶する手段と、前記記憶された歪み補正パラメータから現在のズーム値に応じた歪み補正パラメータを算出する手段と、マルチカメラを歪み補正後の各カメラの映像が重なりを持つように配置する手段と、各マルチカメラ映像から歪みのない一つの映像を生成する手段または、表示する手段を有するものである。また、ユーザからの要求によりズーミングを行うために、各カメラのズーム値を制御する手段を用いるものである。
【発明の効果】
【００１２】
本発明によれば、マルチカメラにより自然な広視野、高解像度の映像を生成、表示できるだけでなく、ズーム値に応じた歪み補正パラメータ算出とカメラ位置姿勢制御を利用することにより、少ない記憶容量により歪み補正されたズーム映像を生成、表示することが可能となる。
【発明を実施するための最良の形態】
【００１３】
以下、実施例を用いて説明する。
【実施例１】
【００１４】
以下、実施例の概要について、図２を用いて説明する。
【００１５】
本実施例では、Ｎ台のカメラから構成されるマルチカメラで、カメラ１（図中２０）〜カメラＮ（図中２１）で、撮影対象の一部又は全部をそれぞれ撮影する。
【００１６】
ユーザは希望のズームになるように、映像表示手段３９を見ながらズーム値をズーム値協調制御手段２４に入力し、ズーム操作を行う。ズーム値協調制御手段２４は、あらかじめ設定しておいた、ユーザの入力に応じた各カメラのズーム値をカメラ１〜カメラＮに設定する。同時に、ズーム値協調制御手段２４はカメラ位置姿勢協調制御手段２５にズーム値情報を伝達し、カメラ位置姿勢協調制御手段２５は、事前に視野角記憶手段２６に記憶しておいた各カメラの映像の歪み補正後の視野角を用い、ズーム値に応じて各カメラの映像が重なりを持つように求めたカメラの位置と向きになるよう、各カメラを制御する。
【００１７】
続いて、カメラ１の映像についての歪み補正について説明する。図中２８のズーム値対応補正パラメータ算出手段１は、カメラ１の複数のズーム値に対応した補正パラメータ記憶手段１（図中３０）に記憶されたデータを用い、ズーム値協調制御手段２４により設定されたズーム値に対応した補正パラメータを算出し、ズーム値対応補正パラメータ記憶手段１（図中３２）へ記憶する。カメラ映像補正手段１（図中３６）はズーム値対応補正パラメータ記憶手段１に記憶された補正パラメータを利用し、カメラ１で撮影された映像の歪みをリアルタイムに補正する。
【００１８】
同様に、各カメラでも歪み補正を行う。カメラＮにおいては、補正パラメータ記憶手段Ｎ（図中３１）に記憶された複数のズーム値に対応した歪み補正パラメータを利用し、ズーム値対応補正パラメータ算出手段（図中２９）により、現在のカメラＮのズーム値に対応した補正パラメータを算出し、ズーム値対応補正パラメータ記憶手段Ｎ（図中３３）に記憶する。そして、ズーム値対応補正パラメータ記憶手段Ｎに記憶されたデータを用い、カメラ映像補正手段Ｎ（図中３７）は、カメラＮの映像をリアルタイムに補正する。
【００１９】
映像合成手段３８は各カメラの歪み補正された映像を入力とし、各映像の重なりを利用して１つの映像を生成する。映像表示手段３９は、映像合成手段にて生成された映像、あるいは、カメラ映像補正手段１〜Ｎにより出力された各カメラの歪み補正された映像を入力とし、ディスプレイ装置（複数のプロジェクタを用いた高解像度ディスプレイなど）に表示する。
【００２０】
以上のような手段を実現する装置構成例を図３、及び、図４に示す。ユーザはズーム設定部６１を用いて、映像表示部７２に表示されたマルチカメラで撮影された高精細広視野映像の視野角を設定する（ステップ２０１）。ズーム設定部６１にて設定されたズーム値は、例えば、最も広角側を０、狭角側を１とし、その間の値を比率に応じて小数点で表したズーム比率を用いるものとする。ズーム値協調制御部６２では、各カメラ固有のズーム範囲において、最も広角側を０、狭角側を１として、ユーザが設定したズーム比率を用い、各カメラのズーム値を設定する（ステップ２０２）。ここで、各カメラのズーム値は、注視方向を含むカメラの解像度が高くなるように設定するなどの方法を用いても良い。
【００２１】
カメラ位置姿勢制御部６４では、事前に求めておいた、各カメラ毎のズーム値と視野角の関係を示すデータをズーム設定用パラメータ記憶部６３より取得し、ステップ２０２にて設定されたズーム値に対応する視野角を求める（ステップ２０３）。ステップ２０３にて求められた各カメラの視野が、事前に設定し、ズーム設定用パラメータ記憶部６３に記憶しておいた理想視点からの距離（以下指定交差距離とする）において重なるように、各カメラの位置姿勢を求める（ステップ２０４）。
【００２２】
例えば図１のような場合、理想視点１から各カメラは一定の距離に配置するとし、理想視点１を中心とした極座標で、カメラ３の主軸６を０度として、カメラの姿勢を求めるものとする。カメラ２の姿勢は、時計回り方向の正の値をもつ角度１６（図1(b)では、角度１８）により、カメラ４の姿勢は負の値を持つ角度１７（図1(b)では、角度１９）により制御する。なお極座標は１方向の回転角度を用い、360度の範囲で制御してもよい。
【００２３】
カメラの可動範囲についての設計情報を元に、カメラがステップ２０４で求めた位置姿勢を取れるかをチェックし（ステップ２０５）、可動範囲内であれば、カメラ位置姿勢協調制御部６４により、ステップ２０４で求めた位置姿勢へ各カメラを移動する（ステップ２０６）。可動範囲外の場合には、設定できないというエラー情報を出すなどのエラー処理を行う（ステップ２０７）。ここで、ズーム値協調制御部６２とカメラ位置姿勢制御部６４はマルチカメラシステム一つにつき、１つ存在すればよく、全てをハードウェアで実現しても良いし、演算部をソフトウェアで実現してもよい。
【００２４】
各カメラについては、それぞれカメラ映像歪み補正部（図中７３，７４）が存在するものとする。各カメラ映像歪み補正部には、事前に複数のズーム値に対応した補正パラメータを記憶する補正パラメータ記憶部（図中６６、６８）、補正パラメータ記憶部に記憶されたデータとズーム値協調制御部６２により設定された各カメラにおけるズーム値から、ズーム値に対応した補正パラメータを求めるズーム値対応補正パラメータ算出部（図中６５，６９）、および、ズーム値対応補正パラメータによるカメラ映像の補正部（図中６７，７０）が存在する。カメラ映像歪み補正部７３，７４から出力された歪み補正後の画像は映像合成部７１の入力となり、映像合成部７１で1枚の映像として接続処理された映像を映像表示部７２にて表示する。
【００２５】
続いて、図１と図５を用いて、ズーム値協調制御手段２４とカメラ位置姿勢協調制御手段２５について、よりユーザの直感に近くズームを制御する例について説明する。
【００２６】
図１は、３台のカメラ２〜４からなるマルチカメラシステムの構成例を示す。各カメラの種類は同じとし、カメラ２の主軸が５、歪み補正後の視野（以下、視野）が９、カメラ３の主軸が６、視野が１０、カメラ４の主軸が７、視野が１１としたとき、各カメラの主軸が理想視点１にて交わるように配置することにより、広視野角の自然な映像を撮影することが可能となる。
【００２７】
このマルチカメラシステムにおいて、ユーザがステップ２２１において、図２のズーム値協調制御手段２４により、各カメラをズームアップし、視野角を狭くする場合について説明する。このとき、ユーザが指定するズームは、１つに接続されたマルチカメラ映像の最も広角な視野角を基準としたときの、ズーム後の視野角の比率を用いる。
【００２８】
まず、ユーザが指定した視野角比率に応じて、両端のカメラ２，４について、ズーム値を決定する（ステップ２２２）。即ち、視野角比率が８０％であれば、カメラ２，４の視野角も８０％になるように、図３のズーム設定用パラメータ記憶部６３に記憶されたデータを用いることでズーム値を求める。つぎに、両端のカメラ２，４の視野角変更に合わせて、ユーザが指定した視野角に応じた視野範囲をカバーするように、図１(a)から(b)のように、カメラ２、カメラ４の位置姿勢を変更する（ステップ２２３）。
【００２９】
ここでズーム値と位置姿勢が未計算のカメラの台数をチェックし（ステップ２２４）、この実施例では１つしか残っていないので、ステップ２２７へと進む。ここでは、残るカメラ３について、既に位置が決まったカメラ２，４の視野１２，１４に合せて、指定交差距離１５でカメラ３の視野が重なるようにカメラ１の視野角と姿勢を求め、ズーム値を求める（ステップ２２７）。そして最後に、全カメラのズーム値と位置姿勢を変更する（ステップ２２８）。
【００３０】
ここで、ステップ２２４にて、未計算のカメラが3台以上残っていた場合、未計算のカメラのうち、両端のカメラの視野角を、ユーザが設定した視野角比率に応じて算出し、ズーム値を決定する（ステップ２２５）。次に、既に位置姿勢が求まっている両端のカメラの視野と指定交差距離にて視野が重なるようにカメラ位置を求める（ステップ２２６）。
【００３１】
以上のように、カメラ位置姿勢協調制御手段２５は、事前に記憶された各カメラの複数のズーム値に応じた視野角の情報を利用し、視野角に応じたカメラのズーム値を算出し、各カメラの視野が、指定交差距離において重なるように、カメラ位置姿勢を移動するものとする。なお、視野角記憶手段２６に記憶されたズーム値に応じた視野角の情報は、歪み補正後の画像における視野角の情報であるとする。
【００３２】
次に、図３に示したズーム設定用パラメータ記憶部６３と補正パラメータ記憶部６６、６９に記憶するデータ例を図７に示す。図７(a)に示すズーム設定用パラメータ記憶部６３に記憶される視野角データ８１は、各カメラについてのズーム値に応じた歪み補正後の視野角の情報を持つ。図７の例ではカメラＮについて、ズーム値ａ、ｂに対応して視野角がＡ、Ｂである。一方、図７(ｂ)に示す補正パラメータ記憶部に記憶する補正パラメータデータはズーム値に応じた補正パラメータを、各カメラ毎に記憶する。図７ではカメラＮに対する補正パラメータデータ８２は、ズーム値αとβに対し、補正パラメータ１と２を記憶している。ここで、補正パラメータのデータは、補正後のピクセル位置が対応する補正前画像におけるピクセル位置を記憶するものとすると、データ量がズーム値と比べて大きいため、図７のような形で、リンクの形で記憶する方法をとれば効率的である。また、視野角データ８１で記憶したズーム値ａ、ｂと補正パラメータデータ８２に記憶したズーム値α、βは一致しなくてもよいが、ズーム値に応じた視野角を求めるためには、一度歪み補正した映像を求めることにより、視野角を得る必要がある。
【００３３】
ここで、カメラ位置姿勢協調制御手段２５は、視野角記憶手段２６の代わりに、複数のズーム値に応じたカメラ位置姿勢記憶手段に記憶されたデータから、現在のズーム値に応じたカメラ位置姿勢を求めて、制御するようにしてもよい。カメラ位置姿勢協調制御手段における各カメラの位置姿勢の計算を単純化することが可能となる。
【００３４】
次に、ズーム値対応補正パラメータ算出手段２８、２９に関して、カメラＮに対応する場合を用いて説明する。
【００３５】
ズーム値を変更することにより、映像の歪み方が変わるため、補正パラメータ記憶手段３０，３１はズーム値に対応した歪み補正パラメータを記憶する必要がある。歪み補正パラメータは特表２００２−５３５９３８などのパターン映像を用いた手法を利用することにより求めることが可能である。
【００３６】
図８は、カメラＮ２１に対する補正パラメータ記憶手段Ｎ３１に記憶された、ズーム値aに対応した補正パラメータのデータの例を示す。歪み補正後の映像の画素数が横Ｗ，縦Ｈであるとする。ズーム値aの場合に、歪み補正後の映像におけるピクセル位置(1,1)に対応する、カメラＮにより撮影された補正前映像のピクセル位置を(xa1,ya1)として４１に記憶している。ここで、xa1,ya1は小数であってもよい。同様に、補正後映像のピクセル位置(2,1)に対応する補正前映像のピクセル位置を４２に、補正後映像のピクセル位置(1,2)に対応する補正前映像のピクセル位置を４３に、補正後映像のピクセル位置(W,H)に対応するピクセル位置を４４に記憶している。
【００３７】
しかしながら、前述のように、歪み補正パラメータはズーム値によって異なる。カメラＮがとりうるすべてのズーム値に対する歪み補正パラメータを記憶すると、大量の容量が必要となるため、いくつかのズーム値に対する歪み補正パラメータから、現在のカメラのズーム値に応じた補正パラメータを、ズーム値対応補正パラメータ算出手段Ｎ２９により求める必要がある。そこで、ズーム値b(a<b)に対応する補正パラメータが補正パラメータ記憶手段Ｎ３１にあらかじめ記憶されており、補正後映像のピクセル位置(m,n)について、ズーム値k（a<k<b）に対応する補正パラメータの値、すなわち補正前の映像ピクセル位置(x,y)を、例えば以下の式のように、線形補間により求める。
【００３８】
【数１】
2005286452.tif 000003
【００３９】
この手法を用いることにより、少なくとも、もっとも広角のズーム値と、もっとも狭角のズーム値に対する歪み補正パラメータを補正パラメータ記憶手段Ｎ３１に記憶しておくことにより、カメラＮがとりうるズーム値に対応した歪み補正パラメータを算出することが可能となる。算出したズーム値に対応した歪み補正パラメータは、ズーム値対応補正パラメータ記憶手段Ｎ３３に記憶する。以上の方法を各カメラについても行えばよい。
【００４０】
ただし、上記のように、２つのズーム値に対する補正パラメータだけを記憶する場合には、ズーム値対応補正パラメータ算出手段により算出された補正パラメータの精度が悪くなるため、歪み補正の精度を上げるためには、補正パラメータ記憶手段の容量との関係において、できるだけ多くのズーム値に対応した補正パラメータを記憶しておくものとする。
ここで、補正パラメータ記憶手段に記憶する補正パラメータは、色によらず１つのテーブルにより補正を行ってもよいが、RGBの色別に補正パラメータを記憶しても良い。後者の実施例によれば、ズームレンズによる色収差の補正も可能となる。
【００４１】
次に、カメラ映像を補正して一つの映像として表示する例を、図２、図６を用いて説明する。
【００４２】
まず、前述のように、ズーム値対応補正パラメータ算出手段２８，２９は、各カメラのズーム値ｋを入手する（ステップ２４１）。次に、ズーム値対応補正パラメータ記憶手段３２，３３に記憶されたズーム値の中から、ステップ２４１で入手したズーム値ｋに最も近く、ズーム値ｋを間に含むようなズーム値α、β（α＜ｋ＜β）を選択する（ステップ２４２）。次に、ズーム値対応補正パラメータ記憶手段３２，３３より、ステップ２４２で選択した２つのズーム値に対応する補正パラメータを読み込む（ステップ２４３）。ステップ２４４にて、全ピクセルの補正パラメータを求めたかどうかのチェックを行い、各ピクセル毎の補正パラメータを求める（ステップ２４５）。全ピクセルについての計算が終了したら、全ピクセル分の補正パラメータをズーム値対応補正パラメータ記憶手段３２，３３に値を設定し、カメラ映像補正手段３６，３７へ転送する（ステップ２４６）。
【００４３】
カメラ映像補正手段３６、３７では、例えば、特開２００３−０５２０５７などの技術をに利用することにより、リアルタイムに歪みを補正した映像を生成する。
【００４４】
次に、映像合成手段３８については、この時点において、各カメラの映像は理想視点を通る光軸を中心とする映像となっており、従来の技術に示したような方法を用いることにより、シームレスの自然な広視野、高解像度の映像を生成することが可能となる。また、図９に示したような、解像度の違う映像が入力された場合には特開２００１−１３６４６６に示された技術などを用いることにより、つながった映像を生成することが可能となる。
【００４５】
最後に、映像表示手段３９により、マルチカメラで撮影された映像が歪みなく補正された状態で表示される。映像表示手段３９に入力される映像が映像合成手段３８により、１つの映像として合成されている場合には、特開２０００−２４１８７６などに示された技術などを用いることにより、表示環境に応じたシームレスの映像を表示することが可能である。撮影するカメラの台数に無関係に、表示装置（ディスプレイやプロジェクタ）の数を決定することが可能となり、構成の自由度が高いシステムとなる。
【００４６】
一方、映像表示手段３９に対し、映像合成手段３８を介さずに映像が入力される場合、カメラの台数と同じ数の表示装置を利用し、理想視点からの歪みのない視野の重なった映像が入力されたときに、重なり部分の輝度を調整し、シームレスな表示ができるような映像表示手段を用意する。本実施例によれば、映像合成する処理が省けるため、撮影から表示までのリアルタイム性が向上するので、遠隔会議などのリアルタイム性が要求される用途に有効である。
【実施例２】
【００４７】
また、他の実施例２について図９を用いて説明する。
【００４８】
カメラ５０は主軸５３に対し、視野５４が広視野で、画素数の多いカメラであるとする。一方、カメラ５１、５２は、カメラ５０に比べて視野が狭く、画素数が少ないものとし、カメラ５１の主軸が５５、視野が５６、カメラ５２の主軸が５７、視野が５８であるとする。このように、異なる種類のカメラから構成されるシステムの場合、ズーム値協調制御手段では、各カメラのズーム値を一律に制御するのではなく、各カメラの視野と解像度に応じたズームの制御を行うものとする。
【００４９】
同様に、カメラ位置姿勢協調制御手段２５では、各カメラの視野角に応じ、カメラの位置姿勢を制御するものとする。
【００５０】
本実施例によれば、関心のある中心領域を高解像度で、周辺領域を低解像度で撮影するようなことも可能となり、映像をネットワークを介して映像合成手段３８や、映像表示手段３９に送る際に、情報量を削減することも可能となる。
【図面の簡単な説明】
【００５１】
【図１】3台のカメラによる本発明の一実施例となる撮影配置例。
【図２】Ｎ台のカメラを用いた本発明の全体構成についての例。
【図３】Ｎ台のカメラを用いた本発明の装置構成例。
【図４】各カメラのズーム値と位置姿勢を求めるフローの例。
【図５】ユーザが直感的にズームを操作するための、各カメラのズーム値と位置姿勢を求めるフローの例。
【図６】歪み補正パラメータ算出手段におけるフローの例。
【図７】ズーム設定用パラメータ記憶部と補正パラメータ記憶部に記憶するデータの例。
【図８】カメラＮのズーム値ａに対する補正パラメータの例。
【図９】視野角などの異なるカメラを用いたマルチカメラの構成例。
【符号の説明】
【００５２】
１．理想視点
２〜４、２０、２１、５０〜５２．マルチカメラ
２４．ズーム値協調制御手段
２５．カメラ位置姿勢協調制御手段
２８、２９．ズーム値対応補正パラメータ算出手段
３６、３７．カメラ映像補正手段
３８．映像合成手段
３９．映像表示手段
４０．歪み補正パラメータデータ
【図１】
2005286452.tif 000004
【図２】
2005286452.tif 000005
【図３】
2005286452.tif 000006
【図４】
2005286452.tif 000007
【図５】
2005286452.tif 000008
【図６】
2005286452.tif 000009
【図７】
2005286452.tif 000010
【図８】
2005286452.tif 000011
【図９】
2005286452.tif 000012