【手続補正書】
【提出日】平成18年2月13日(2006.2.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１１
【補正方法】変更
【補正の内容】
【請求項１１】
請求項６記載の３６０度画像変換処理装置において、
目的平面凹凸検出装置をさらに備え、
この目的平面凹凸検出装置は、
複数のフレーム画像，複数のカメラによる複数の画像，分割平面変換画像装置で生成される平面変換画像，又は他の装置で生成される平面画像の少なくともいずれかから、目的平面に平行な面で平面変換画像を取得する目的平面変換画像取得部と、
三次元ベクトル計測装置によりカメラ位置を連続して取得するカメラ位置方位計測部と、
連続する各平面変換画像において、精度から決まる目的の面積域にまで絞って、各目的平面画像上の小領域の対応点を検出する目的平面小領域対応点検出部と、
取得された対応点の位置と座標上の距離を画像から抽出する対応点座標抽出部と、
抽出された対応点の目的平面から垂直方向の距離を演算で求める対応点凹凸演算部と、
目的平面上の必要な範囲で対応点の凹凸を演算する目的平面凹凸演算部と、を有する
ことを特徴とする３６０度画像変換処理装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
さらに、本発明の３６０度画像変換処理装置は、請求項１１に記載するように、目的平面凹凸検出装置をさらに備え、この目的平面凹凸検出装置は、複数のフレーム画像，複数のカメラによる複数の画像，分割平面変換画像装置で生成される平面変換画像，又は他の装置で生成される平面画像の少なくともいずれかから、目的平面に平行な面で平面変換画像を取得する目的平面変換画像取得部と、三次元ベクトル計測装置によりカメラ位置を連続して取得するカメラ位置方位計測部と、連続する各平面変換画像において、精度から決まる目的の面積域にまで絞って、各目的平面画像上の小領域の対応点を検出する目的平面小領域対応点検出部と、取得された対応点の位置と座標上の距離を画像から抽出する対応点座標抽出部と、抽出された対応点の目的平面から垂直方向の距離を演算で求める対応点凹凸演算部と、目的平面上の必要な範囲で対応点の凹凸を演算する目的平面凹凸演算部と、を有する構成としてある。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
また、本発明の３６０度画像変換処理装置によれば、仮想球面上に指定した任意点を通る経線を、最初に極移動して得られる新しい座標系の赤道となるように座標変換し、次に赤道面上で指定点の平面展開に置換するという、二度の座標変換に置き換えるようにしてある。
こうすることで、極移動座標変換は常に９０度回転の座標変換となり、これは常に同じ演算形式の座標変換となり、前に計算した変換テーブルを用いて、単なる加算減算の座標移動として扱うことができるので、演算時間は短縮される。
そして、指定点は常に赤道上を移動することになるので、その座標変換も、常に同じ演算の形式の座標変換の繰り返しとなり、前に計算した変換テーブルを用いて、単なる定数の加算減算による座標移動とすることができる。
このように、二つの座標変換を以前の演算結果を用いることができるので、平面変換の演算時間は大幅に短縮され、球面画像から所望の平面画像への変換処理が高速で行えるようになり、従来技術では困難であった動画像であっても問題なく平面変換することができるようになる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
以下、本発明に係る３６０度画像変換処理装置の好ましい実施形態について、図面を参照しつつ説明する。
ここで、以下に示す本発明の３６０度画像変換処理装置の各実施形態における装置の処理及び手段は、コンピュータによりプログラム（ソフトウェア）が実行されることによって実現される。プログラムは、コンピュータの各構成要素に指令を送り、所定の処理を行わせる。すなわち、本発明における各処理，手段は、プログラムとコンピュータとが協働した具体的手段によって実現することができる。
このように、本発明の３６０度画像変換処理装置が、プログラム（ソフトウェア）によって実現されることで、以下に示す各実施形態における装置の処理及び手段は、特別の三次元処理ボード等を必要とすることなく、ソフトウェアのみで実現できるようになっている。
なお、プログラムの全部又は一部は、例えば、磁気ディスク，光ディスク，半導体メモリ，その他任意のコンピュータで読取り可能な記録媒体により提供され、記録媒体から読み出されたプログラムがコンピュータにインストールされて実行される。また、プログラムは、通信回線を介してコンピュータに直接ロードすることもできる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
次に、図６を参照しつつ、本実施形態の３６０度画像変換処理装置における分割平面変換画像生成装置２０についてのより具体的な構成を示す。
図６は、本実施形態に係る３６０度画像変換処理装置の具体的構成を示すブロック図である。
なお、以下に示す説明では、球面画像データを、緯度、緯線、経度、経線、北極、南極、赤道等の地球座標系の用語で記述している。
まず、球面画像出力装置１０は、上述したように、カメラ部１１で所望の広範囲映像を撮影，取得し、その画像データを画像データ記録部１２で記録，保存するとともに、球面画像生成部１３において所定の仮想球面に貼り付けられた球面画像データを生成する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
以上のような構成からなる分割平面変換画像生成装置２０を備えることにより、本実施形態に係る３６０度画像変換処理装置では、球面画像から所望の平面画像への変換処理が高速で行えるようになり、従来技術では困難であった動画像であっても問題なく平面変換することができるようになる。
仮想球面上の任意点に接する平面を目的平面として平面画像変換を施せば、目的平面は演算によって得られるが、指定する目的平面の仮想平面との接点は任意点であり、任意点が変更されるたびに、複雑な演算を繰り返さなければならないことになる。
そこで、本発明では、指定した任意点を通る経線を、最初に極移動して得られる新しい座標系の赤道となるように座標変換し、次に赤道面上で指定点の平面展開に置換するという、二度の座標変換に置き換えるようにしてある。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】
こうすることで、極移動座標変換は常に９０度回転の座標変換となり、これは常に同じ演算形式の座標変換となり、前に計算した変換テーブルを用いて、単なる加算減算の座標移動として扱うことができるので、演算時間は短縮される。
そして、指定点は常に赤道上を移動することになるので、その座標変換も、常に同じ演算の形式の座標変換の繰り返しとなり、前に計算した変換テーブルを用いて、単なる定数の加算減算による座標移動とすることができる。
このように、二つの座標変換を以前の演算結果を用いることができるので、平面変換の演算時間は大幅に短縮される。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
図１４は、図１３に示す画像傾斜回転補正装置４０を備えた３６０度画像変換処理装置１ａの基本的動作を示す機能ブロック図である。
同図において、まず、第一実施形態で示したように、球面画像出力装置１０から出力された球面画像に基づいて（図１４のＳ１００−１）、分割平面変換画像生成装置２０において複数の平面変換画像が生成される（図１４のＳ１００−２）。
そして、画像傾斜回転補正装置４０では、まず、分割平面変換画像生成装置２０により生成された複数の平面変換画像のいずれか一つの画像、又は、生成された複数の平面変換画像のうちのいくつかの画像を選択し（図１４のＳ１００−３及びＳ１００−４）、その画像中に映し出されている対象物の一部、又は複数の対象物を関連づけて得られる共通の図形に着目し、着目点を抽出する（図１４のＳ１００−５）。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００５３
【補正方法】変更
【補正の内容】
【００５３】
続いて、三次元ベクトル演算部５４で、求められた対応点から三次元ベクトルが演算により求められる。具体的には、三次元ベクトル演算部５４は、連続する各フレーム間に存在する、前記十分な数の対応点の位置と、移動するカメラ間の位置ベクトル、カメラの３軸回転ベクトル、各カメラ位置と対応点をそれぞれ結んだベクトル等、各種三次元ベクトルの相対値を演算により連続的に算出する
本実施形態では、三次元ベクトル演算部５４は、３６０度画像のエピポーラ幾何からエピポーラ方程式を解くことによりカメラ運動（カメラ位置とカメラ回転）を計算するようになっている。
図１８に示す画像１，２は、メルカトール展開画像であり、緯度φ、経度θとすると、画像１上の点は（θ１，φ１）、画像２上の点は（θ２，φ２）となる。そして、それぞれのカメラでの空間座標は、ｚ１＝（ｃｏｓφ１ｃｏｓθ１，ｃｏｓφ１ｓｉｎθ１，ｓｉｎφ１）、ｚ２＝（ｃｏｓφ２ｃｏｓθ２，ｃｏｓφ２ｓｉｎθ２，ｓｉｎφ２）である。カメラの移動ベクトルをｔ、カメラの回転行列をＲ、とすると、ｚ１T［ｔ］×Ｒｚ２＝０がエピポーラ方程式である。
十分な数の対応点を与えることにより、線形代数演算により最小自乗法による解としてｔ及びＲを計算することができる。三次元ベクトル演算部５４では、前記演算を対応する複数フレームに適用し演算する。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００５５
【補正方法】変更
【補正の内容】
【００５５】
以下、図１９及び図２０を参照して、三次元ベクトル計測装置５０により得られた、カメラ移動ベクトル及び回転行列を用いた３次元ベクトル計測の例を説明する。
図１９は、本実施形態の三次元ベクトルの計測方法を示す説明図であり、移動するカメラによって取得された（ａ）に示す画像１と（ｂ）に示す画像２との間で三次元ベクトルを計測する場合を示している。図２０は、図１９に示す二画像間でのカメラ及び対象物の相対的な位置関係を示すグラフ図である。
なお、図１９には、三次元ベクトル計測装置５０における動作を理解し易くするために、１台または複数台のカメラで撮影した画像を合成した３６０度全周囲の球面画像を地図図法でいうメルカトール図法で展開したものを示しているが（図４及び図７と同様）、実際の三次元ベクトル計測装置５０では、メルカトール図法による展開画像は必ずしも必要ではない。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００５８
【補正方法】変更
【補正の内容】
【００５８】
また、水平に対する路面の傾斜や、対応点の演算の過程でカメラ位置やカメラ速度等のカメラに関する三次元ベクトルを求めることができる。さらに、基準画像からの傾斜や回転をベクトルとして求められるので、第二実施形態で示した傾斜回転補正信号を求めることもできる。
球面画像は各画素が地球座標の緯度経度で表現されているため、緯度経度がそのままカメラから見た方位と仰角を示しており、直接的にカメラからみた各画素の方位、仰角を求めることができる。
なお、対応点の決定を自動的に行うためには画像認識が必要であるが、対応点を人間が決定することで、画像認識は必要なくなる。
また、移動するカメラの代わりに、複数のカメラを同時に設置することで、演算上移動するカメラと同等に扱うことができるので、複数のカメラから前記演算を実施できる。さらに、複数の固定カメラを移動することでも、同じように演算を実施できる。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００６０
【補正方法】変更
【補正の内容】
【００６０】
上述した第三実施形態では対象物の三次元ベクトルを求めることができたが、画像中のある対象物を構成する多面体の一面が、分割平面変換画像装置２０で生成される分割変換平面の一面と完全に平行になれば、三次元ベクトルではなく、二次元ベクトルとして扱うこともできる。ただ、一般には、画像中の対象物を構成する多面体の各面は平行からはずれるものも存在する。そこで、この場合、三次元オプティカルフローを求めることで精度を上げることができる。
三次元のオプティカルフローは、フレーム間の画像間で、対象物の微少領域での対応点が画像認識により求められれば、演算で求めることができる。
本実施形態では、変換平面の一つと対象物の面が平行平面であれば、そのオプティカルフローは車両の移動に比例して、車両からの距離に反比例して得られるという性質を利用することにより、オプティカルフローによる平面の連続抽出を実現している。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００６７
【補正方法】変更
【補正の内容】
【００６７】
以上のように、本実施形態に係る３６０度画像変換処理装置によれば、対象物ベクトル計測装置６０を備えることにより、変換平面と平行な対象物の平面についてオプティカルフローを求めることにより、その平面を抽出することができ、これによって、所望の対象物について、実測値やカメラ位置等のデータを必要とすることなく、その平面を抽出，認識することができる。
なお、オプティカルフローによる作業は、すべて視差によっても代行することができ、また、マッチングによって代行することができる。従って、本発明において「オプティカルフロー」という場合には、オプティカルフロー、視差又はマッチング等のいずれの処理であっても良いことを意味する。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００７６
【補正方法】変更
【補正の内容】
【００７６】
さらに、本実施形態の視点コントロール画像生成装置８０は、動画データを伝送することにより、送ったすべての動画像を送り手が編集した形で見ることができるという、従来には存在しない優れた特徴をも有している。
例えば、所望の映像素材を受け手側にあらかじめ先に送信しておき、あるいは必要に応じてその都度送信し、受け手側では、送られた映像が視点プログラムに従って編集されて表示，観察されることになる。
視点プログラムは何種類用意することも可能であり、複数種類の視点プログラムを備えることにより、同じ映像素材であっても様々な映像作品を観察できるようになる。これは従来には存在しない全く新しい映像表現技術である。
なお、これは、動画に限らず、もちろん静止画であっても同様に行うことができる。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００７９
【補正方法】変更
【補正の内容】
【００７９】
対応点座標抽出部９４は、取得された対応点の位置と座標上の距離を画像から抽出する。
対応点凹凸演算部９５は、取得された対応点の目的平面から垂直方向の距離を演算で求める。
そして、目的平面凹凸演算部９６は、目的平面上の必要な範囲で対応点の凹凸を演算する。
目的平面凹凸演算部９６における演算結果は、表示装置３０で表示される。