(57)【要約】【課題】高解像度の全周囲映像を得るために、複数の撮影装置にて撮影された画像の違和感のないつなぎ合わせを行う。【解決手段】撮影制御装置に接続された複数の撮影装置より得られる撮影データの取り込みが可能な全方位画像生成装置において、撮影制御装置にて複数の撮影装置の撮影タイミングを制御し全周囲の画像を撮影する手段と、撮影した撮影データの柱面又は球面マッピングを行うことにより画像を変形する手段と、複数の撮影データの位置の並べ替えを行うために両端画像を選択する手段と、複数の画像データの色調補正を行う手段と、複数の画像データの幾何補正を行う手段と、の変形や補正を行った後の補正後画像データをつなぎ合わせる手段を有することにより、３６０°全周囲の全ての接続部分において違和感なくつなぎ合わせることが可能である全方位画像生成装置を提供する。【選択図】図３
2004145680.tif 000002
【特許請求の範囲】
【請求項１】
撮影制御装置に接続された複数の撮影装置より得られる撮影データの取り込みが可能な全方位画像生成装置において、
前記撮影制御装置にて複数の撮影装置の撮影タイミングを制御し全周囲の画像を撮影する手段と、
前記撮影した撮影データの柱面又は球面マッピングを行うことにより画像を変形する手段と、
複数の撮影データの位置の並べ替えを行うために両端画像を選択する手段と、
複数の画像データの色調補正を行う手段と、
複数の画像データの幾何補正を行う手段と、
上記の変形や補正を行った後の補正後画像データをつなぎ合わせる手段を有することにより、全周囲の全ての接続部分において違和感なくつなぎ合わせることが可能である全方位画像生成装置。
【請求項２】
請求項１記載の全方位画像生成装置であって、
撮影装置は複数備え、全周囲の画像を全て撮影できるよう設置を行うことを特徴とする全方位画像生成装置。
【請求項３】
撮影制御装置に接続された複数の撮影装置より得られる撮影データの取り込みが可能な全方位画像生成方法において、
前記撮影制御装置にて複数の撮影装置の撮影タイミングを制御し全周囲の画像を撮影し、
前記撮影した撮影データの柱面又は球面マッピングを行うことにより画像を変形し、
複数の撮影データの位置の並べ替えを行うために両端画像を選択し、
複数の画像データの色調補正を行い、
複数の画像データの幾何補正を行い、
上記の変形や補正を行った後の補正後画像データをつなぎ合わせる手段を有することにより、全周囲の全ての接続部分において違和感なくつなぎ合わせることが可能である全方位画像生成方法。
【請求項４】
請求項１記載の全方位画像生成方法であって、
撮影装置は複数備え、全周囲の画像を全て撮影できるよう設置を行うことを特徴とする全方位画像生成方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、全方位画像生成方法に関するものである。その中でも特に、複数のカメラで同時に撮影した画像から全方位画像を生成する全方位画像生成装置に関する。
【０００２】
【従来の技術】
高解像度の映像を表示するシステムの普及や視点移動の出来るＶＲコンテンツの普及に伴い、高解像度コンテンツの需要が増えている。ＣＧ画像は出力画像サイズを自由に設定できるため高解像度画像の作成は容易であるが、実写画像は撮影装置に制限があるため得られる画像の解像度には限度がある。また、高解像度の画像を一度に得るためには大変高価な撮影装置が必要になる上、撮影したデータをディジタル化するためのフィルムスキャンニングもコストや時間面で容易ではなく、気軽に高解像度画像を得ることが出来ない。
【０００３】
全周囲の映像を得る方法として、複数のカメラを使用しなくても、魚眼レンズを使用して広視野角を一度に撮影したり、凸面鏡を利用して一台のカメラで一度に全方位を撮影する方法がある。しかしながら、一台のカメラでの撮影では解像度に限界があり、高解像度コンテンツの映像としては不向きである。
【０００４】
そこで、一般的な撮影装置を用いて実写の高解像度画像を得る方法として、複数のカメラにより撮影した画像を繋ぎあわせたり、移動カメラにより撮影した画像を繋ぎ合わせる方法がある。しかし、高解像度のパノラマ画像を作成する方法については多く提案されているが、シームレスな全周囲画像を作成する方法についてはまだ少ない。また、全周囲画像の作成においても、静止画レベルのではいくつか提案されているが、動画に対応したものは少ない。
【０００５】
例えば、特許文献１の“周囲カメラ・システム、周囲カメラの撮影画像に基づいて周囲画像を生成する方法、隣接カメラによる撮影画像の接続処理装置及び方法、並びに、隣接カメラを用いた距離測定装置及び方法”では、正十二面体のような多面体の各構成面上にカメラを搭載することにより、垂直方向水平方向ともに３６０°の画像を得る装置について述べており、撮影された各画像の接続も行う方法について述べている。カメラの投影中心が一致しないため画像の接続は容易ではないが、ここでは、撮影された被写体の遠近に応じて、隣接する撮影画像どうし接続位置を動的に調整することで、画像間の境界付近での途切れや継ぎ目をなくし、滑らかな風景を生成する方法を用いている。これにより、隣接する画像間の接続を違和感なく行うことが可能であるが、この方法では繋ぎ目における線分等の幾何情報の連続性保持についてしか述べておらず、色調については全く言及していない。これでは、隣接する画像間の境界付近の色調の違いによる継ぎ目が生じてしまう。
【０００６】
また、たとえば特許文献２の“画像情報の記録方法及び再生方法”では、複数の撮影装置にて撮影された映像をつなぎ合わせて１つの動画像情報を形成し記録及び再生する方法について述べており、その中でも特に、１つに接続された画像を縮小した上インタレースにおける偶数フィールドと奇数フィールドに分離し２フレームのデータを作成しＭＰＥＧ２方式にエンコードして記録を行う方法について述べている。ここにて作成されたデータは、２フレームの標準テレビジョン方式の画像信号の再生処理を可能とする再生装置を使用することにより、再生が可能となる。この方法は、再生装置に特化した画像の作成方法であり、隣接する画像間の接続に関しては、円筒状に貼り付ける方法にしか触れておらず、これだけでは滑らかな接続は期待できない。
【０００７】
【特許文献１】
特開２００１−２０４０１５公報
【特許文献２】
特開２００２−１１２１８４公報
【０００８】
【発明が解決しようとする課題】
上述したように、従来の全周囲画像生成システムの中でも、複数の撮影装置にて撮影した画像の繋ぎ合わせを用いた画像生成方法の中で、３６０°どの位置においてもつなぎ目が目立たない方法についての提案は少なかった。
【０００９】
【課題を解決するための手段】
本発明は、上記問題点を考慮して発案されたものであり、その目的は、複数画像を接続することによって全周囲の画像の作成を作成する際に、３６０°どの位置においてもつなぎ目の目立たない装置及び方法を提供することにある。
【００１０】
そこで、本発明では以下の手段を採用する。
【００１１】
撮影制御装置に接続された複数の撮影装置より得られる撮影データの取り込みが可能な全方位画像生成装置において、前記撮影制御装置にて複数の撮影装置の撮影タイミングを制御し全周囲の画像を撮影する手段と、前記撮影した撮影データの柱面又は球面マッピングを行うことにより画像を変形する手段と、複数の撮影データの位置の並べ替えを行うために両端画像を選択する手段と、
複数の画像データの色調補正を行う手段と、複数の画像データの幾何補正を行う手段と、上記の変形や補正を行った後の補正後画像データをつなぎ合わせる手段を有することにより、
全周囲の全ての接続部分において違和感なくつなぎ合わせることが可能である全方位画像生成装置を提供する。
【００１２】
なお、本発明が取り扱う画像データは、静止画でも動画でも、またそれらの両方であってもよい。
【００１３】
【発明の実施の形態】
図１は、本実施例のシステム構成を示した図である。
【００１４】
本システムは、プログラムに基づいた計算や制御を行うＣＰＵ（１）、データやプログラムを記憶するメモリ等の主記憶装置（１００）、およびハードディスクの補助記憶装置（２００）、を含む。
【００１５】
また、撮影装置（１０）、撮影タイミングを制御する撮影制御装置（２０）、アナログで撮影された画像データをデジタルデータに変換するＤ／Ａ変換器（３０）、これらの構成要素を相互に結合するバス（２）から成る。
【００１６】
解像度の高い全周囲の映像を撮影するために、複数の撮影装置（１０）を備えており、これらの複数の撮影装置（１０）は撮影制御装置（２０）に接続される。撮影制御装置（２０）は、撮影装置（１０）の撮影タイミングを制御するものである。
【００１７】
また、直接デジタル画像を得ることが可能な撮影装置（１０）を用いる場合は、Ｄ／Ａ変換器（３０）を備える必要はない。
【００１８】
補助記憶装置（２００）は、撮影装置（１０）の設置方法に関するデータ、例えば撮影装置（１０）の個数や位置関係、それぞれの撮影装置（１０）の焦点距離や画角などの内部パラメータを含む、カメラパラメータ（２１０）、複数の撮影装置（１０）で撮影された画像を格納する撮影データ格納部（２２０）、違和感のない３６０°繋ぎ合わせ全周囲画像を作成するために、各撮影装置にて撮影された撮影データ（２２０）に対して、球面又は柱面マッピング等の画像変形を施した画像データを格納する、画像変形データ格納部（２３０）、全ての画像において隣接する画像間の継ぎ目が目立たないように画像の色調の補正や幾何変形を施した画像データを格納する補正後画像データ格納部（２４０）、前記補正後画像データをつなぎ合わせることにより得られる全周画像データ格納部（２５０）により構成される。
【００１９】
主記憶装置（１００）は、撮影部（１１０）、全周囲画像生成部（１２０）によって、構成されている。
【００２０】
撮影部（１１０）には、複数の撮影装置（１０）で同時に撮影を行うなど撮影に関するタイミングを制御するタイミング制御プログラム（１１１）、複数備えた撮影装置（１０）の個数や位置関係データ及び撮影装置（１０）の焦点距離や画角などの内部パラメータを取得する、カメラパラメータ取得プログラム（１１２）、複数の撮影装置（１０）で同時に全周囲映像を撮影する全周囲撮影プログラム（１１３）が含まれる。
【００２１】
全周囲画像生成部（１２０）には、複数の撮影装置（１０）にて撮影した画像を取り込む撮影画像取得プログラム（１２１）、違和感のない３６０°繋ぎ合わせ全周囲画像を作成するために、各撮影装置にて撮影された撮影データ（２２０）に対して、球面又は柱面マッピング等の画像変形を施す画像変形プログラム（１２２）、違和感のない３６０°繋ぎ合わせ全周囲画像を作成するために、どの画像を両端においてつなぎ合わせを行うか選択する両端画像選択プログラム（１２３）、各撮影装置（１０）のフィルムやレンズ個体差による取得映像の色調の違いを補正する色調補正プログラム（１２４）、隣接する画像間を完全に違和感なくつなぎ合わせるために幾何補正を施し微調整を行う幾何補正プログラム（１２５）、補正後のデータをつなぎ合わせることにより全周囲画像を生成する全周囲画像生成プログラム（１２６）が含まれる。
【００２２】
まず、撮影部（１１０）において、複数の撮影装置（１０）を用いた全方位画像の撮影を行う。この時、撮影タイミングの制御は撮影制御装置（２０）にて行う。また、撮影装置（１０）の個数や設置位置等の外部パラメータ、画角や焦点距離の内部パラメータを取得し、カメラパラメータ（２１０）として格納する。この時、複数の撮影装置を用いて全周囲を完全に網羅した撮影を行うため、撮影装置の画角や内部パラメータ、撮影装置の大きさを考慮した上で、撮影の個数や設置位置を、決定する必要がある。更に、隣接する画像の接続を容易にするために、隣接する撮影装置より得られるそれぞれの画像のつなぎ合わせ部分が重複するよう調整する必要がある。撮影装置（１０）にて撮影されたデータは、Ａ／Ｄ変換部（３０）を通してアナログデータをデジタルデータに変換し、撮影データ（２２０）として格納する。この時、デジタルデータを直接得ることが可能な撮影装置（１０）を用いて撮影を行う場合は、Ａ／Ｄ変換の必要はなく、そのまま撮影データ（２２０）として格納する。
【００２３】
カメラパラメータ（２１０）の１つである撮影装置（１０）の画角情報を用いて、撮影データ（２２０）の変形を、画像変形プログラム（１２２）にて行ない、画像変形データ（２３０）を作成する。画像変形方法としては、柱面に画像を貼り付けた効果を出す柱面マッピングや、球面に画像を貼り付けた効果を出す球面マッピング方法を用いる。これにより、画像接続部分の連続性の違和感が解消される。水平方向のみ画像の接続を行う場合は柱面マッピングでも問題ないが、水平方向のみならず垂直方向の接続も必要な場合は、球面マッピングのほうが望ましい。
【００２４】
全周囲画像を複数画像のつなぎ合わせにより作成する場合、隣接する画像の接続はもちろんのこと、両端の画像の接続、すなわち１番右端にある画像の右端部分と１番左端にある画像の左端部分も連続している必要がある。そうしないと、例えば、全周囲画像の見回しを行う場合につなぎ目が１箇所生じてしまう可能性がある。そこで、どの画像を両端に設置するのがよいか、両端画像選択プログラムにより（１２３）、決定する。両端に設置する画像は、後でつなぎ合わせたときに１番変化の少ない部分にするとよい。例えば、撮影装置（１０）のレンズやフィルムの個体差により得られる画像の色調はそれぞれ異なるため、得られる画像の色調の最も近似しているフイルムを有する撮影装置（１０）が隣接している場合は、その画像を両端画像として設置してもよいし、例えば、日中屋外で全周囲の撮影を行った場合、何れかの位置に太陽の光が入る可能性があるため、画像の接続部分でハレーションが起き白く飛んでしまうことにより画像情報が得られない場合は、その部分を両端画像として設置してもよい。また逆に、撮影装置（１０）の設置において、故意に太陽の光が画像の接続部分にくるよう設置してもよい。両端画像を選択したら、まず全体の画像の並べ替えを行う。そして、１番右端にある画像の右端部分と１番左端にある画像の左端部分が完全につなぎ合わさるよう、幾何補正及び色調補正を行う。色調補正に関しては、両端の画像の色調は、全体の画像の平均的な色調に統一するのが望ましい。
【００２５】
次に、色補正プログラム（１２４）において、全体の色調の統一を行う。両端の画像の色調は固定であるため、端の画像から順に隣接する画像の色調が同じになるよう色調の補正を行っていく。予め１番右端にある画像の右端部分と１番左端にある画像の左端部分をつなぎ合わせておくことにより、真中部分の画像の色調補正のみを気にすればよい。また、画像間の色調差を減らすために、撮影時に、撮影装置の自動補正機能は使用せず、マニュアルにて全ての撮影装置のパラメータが一定になるよう設定する。
【００２６】
次に、幾何補正プログラム（１２５）において、隣接する画像の接続部分が完全につながるよう幾何補正を行う。接続部分に存在するオブジェクトの線分情報を参考に、接続部分の全ての場所において線分が連続してつながるよう変形を行う。
【００２７】
上記３つの工程（１２３）（１２４）（１２５）を経ることにより、補正後画像データ（２４０）を作成し、格納する。
【００２８】
全周囲画像作成プログラム（１２６）により、補正後画像データ（２４０）を全てつなぎ合わせることにより、全周囲画像データ（２５０）を作成する。
【００２９】
図３は、撮影装置設置の１例である。９台の撮影装置（１０）を円筒上に４０°間隔に並べた例である。各撮影装置（１０）の画角より得られる撮影範囲（１１）と焦点距離にて撮影面（１２）が決定する。この時、後につなぎ合わせを容易にするため、隣接する撮影装置（１０）の撮影面（１２）を少し重複させる。
【００３０】
図４は、画像変形例である。接続部分が連続的につながるよう、柱面マッピングまたは球面マッピングを行う。柱面マッピングを例に挙げると、Ａは撮影画像そのままを設置したものであるが、Ｂとなるように各画像の変形を行う必要があり、このためには、画像Ｃを画像Ｄに変えるような変形を行えばよい。画像Ｄは、撮影装置（１０）の画角が６０°であった場合の変形例である。
【００３１】
図５は、本実施形態においてその処理の流れを示すフローチャートである。
【００３２】
まず、ステップ１０００で、撮影制御装置（２０）で撮影開始タイミングの指示を行い、ステップ１１００にて、複数の撮影装置（１０）を用いた撮影を一斉に行う。ステップ１２００では、撮影制御装置（２０）にて撮影終了の指示を出し、ステップ１３００では、全ての撮影装置にて撮影した撮影データの取り込みを行う。
【００３３】
ステップ２０００では、繋ぎ合わせ方法を選択する。カメラパラメータ（２１０）の中の１つである、撮影装置の設置位置データを参考に、水平方向のみのつなぎ合わせを行う場合は、ステップ２１００に、水平方向及び垂直方法両方のつなぎ合わせを行う場合は、ステップ２０００に進む。ステップ２１００では、撮影画像データに対して柱面マッピングによる画像変形を行い、ステップ２２００では、撮影画像データに対して球面マッピングによる画像変形を行う。この後は、画像変形データを基に、画像処理を行うものとする。
【００３４】
ステップ３０００では、つなぎ合わせを行う時の両端になる画像を予め選択する。両端画像の選択に関しては、図６にて詳述する。
ステップ４０００では、全ての画像の色調補正を行うことにより、全体の色調の統一を行う。両端の画像の色調は固定であるため、端の画像から順に隣接する画像の色調が同じになるよう色調の補正を行っていく。予め１番右端にある画像の右端部分と１番左端にある画像の左端部分をつなぎ合わせておくことにより、真中部分の画像の色調補正のみを気にすればよい。
【００３５】
ステップ５０００では、隣接する画像の接続部分が完全につながるよう幾何補正を行う。接続部分に存在するオブジェクトの線分情報を参考に、接続部分の全ての場所において線分が連続してつながるよう変形を行う。
【００３６】
そしてステップ６０００にて、補正済みの画像を全て繋ぎ合わせることにより、全周囲画像を作成する。
【００３７】
図６は、つなぎ合わせを行う時の両端画像選択の流れを示すフローチャートである。
【００３８】
繋ぎ合わせにより全周囲画像を作成しても、データとしてはパノラマ画像として所持することになるため、両端の画像は必ず存在する。このため、補正処理が少ないと思われる画像対を両端に設置することにより画像補正がより容易になるため、どの隣接する画像対を両端に設置するかを選択する。
【００３９】
ステップ３１００では、画像情報が極端に少ない接続部分が存在するかどうか確認を行う。例えば、晴れた日中に屋外で撮影を行った場合、太陽がいずれかの位置に入り込みハレーションを起こして白く飛んだり、影の部分が真っ暗になる可能性がある。接続部分にこれらの現象が起こっている場合は、ステップ３３００に進み、起こってない場合は、ステップ３２００に進む。
【００４０】
ステップ３２００では、隣接する画像で色調の変わらない箇所が存在するかどうか確認する。撮影装置（１０）のレンズやフィルムの個体差により得られる画像の色調はそれぞれ異なる上、色調の補正は画像全体にかかってくるため、色調情報は重要である。隣接する画像の中で色調の近似した画像対がある場合は、ステップ３４００に、ない場合は、ステップ３５００に進む。
【００４１】
ステップ３３００では、画像情報の少ない接続部分を持つ２つの画像を両端画像とする。２つの画像を切り離して両端に移動したとしても、両端画像の修正が少なくてすむ。
【００４２】
ステップ３４００では、色調の変わらない２つの隣接画像対を両端画像とする。
【００４３】
ステップ３５００では、色調の変化や接続部分のオブジェクトの歪が最小である隣接画像対を検索し、両端画像とする。
【００４４】
ステップ３６００では、全ての画像の色調の平均値を算出する。
【００４５】
ステップ３７００では、両端にくる画像の最右端画像の右端と最左端画像の左端を予め繋ぎ合わせておく。ステップ３６００にて算出した色調の平均値を基に、色の調整を行う。
【００４６】
最後に、ステップ３８００にて、画像の並べ替えを行う。８つの撮影装置（１０）で撮影を行ったとして、［１，２，３，４，５，６，７，８］の順に並べていた画像があったとする。ステップ３３００又はステップ３４００又はステップ３５００にて選択された画像対を両端に移動するため、例えば、［５］［６］が選択されたとすると、［６，７，８，１，２，３，４，５］の順に並べ替えを行い、以後、この順番を保持したまま補正を行う。
【００４７】
【発明の効果】
本発明によると、複数画像を接続することによって全周囲の画像の作成を作成する際に、３６０°どの位置においてもつなぎ目の目立たない装置及び方法を提供することができる。
【図面の簡単な説明】
【図１】第１実施形態の全方位画像生成装置のシステム構成図。
【図２】第１実施形態の全方位画像生成装置の内部構成図。
【図３】第１実施形態の撮影装置の設置例。
【図４】第１実施形態の画像変形例。
【図５】第１実施形態の全方位画像生成装置の基本フローチャート。
【図６】第１実施形態の両端画像選択におけるフローチャート。
【符号の説明】
１・・・ＣＰＵ、２・・・バス、１０・・・撮影装置、１１・・・撮影範囲、１２・・・撮影面、２０・・・撮影制御装置、３０・・・Ａ／Ｄ変換器、１００・・・主記憶装置、１１０・・・撮影部、１１１・・・タイミング制御プログラム、１１２・・・カメラパラメータ取得プログラム、１１３・・・全周囲撮影プログラム、１２０・・・全周囲画像生成部、１２１・・撮影画像取得プログラム、１２２・・・画像変形プログラム、１２３・・・両端画像選択プログラム、１２４・・・色調補正プログラム、１２５・・・幾何補正プログラム、１２６・・・全周囲画像生成プログラム、２００・・・補助記憶装置、２１０・・・カメラパラメータ格納部、２２０・・・撮影データ格納部、２３０・・・画像変形データ格納部、２４０・・・補正後画像データ格納部、２５０・・・全周画像データ格納部
【図１】
2004145680.tif 000003
【図２】
2004145680.tif 000004
【図３】
2004145680.tif 000005
【図４】
2004145680.tif 000006
【図５】
2004145680.tif 000007
【図６】
2004145680.tif 000008