(57)【要約】【課題】全方位７２０度ｓｒの球面画像をシームレスに連続した矩形画像単位に変換し表示すると共に、該画像単位を平面充填して時間と空間の連続性を表示する中で不連続的で局所的な変化のみを検出する。【解決手段】リモート操作可能な分散型カメラによって撮影される画像から、互いに重複しない全方向かつ全視野に相当する７２０度ｓｒのシームレスな一つの球面画像として統合した後、球系多面体上に写像し、最終的に一定の縦横比をもった連続した矩形画像単位に変換し、該単位全体をほぼ同一の該縦横比をもった矩形ビューアー内に取り込み、人間の視野角で一度に捉えられるモニターに完全表示する全方位矩形画像モニタリングシステムを構築する。さらに該単位を時系列的な単位とし、２回回転対称操作によって該単位毎の各辺で該単位内の被写体と背景の少なくともどちらか一方がほぼシームレスに相互に連続するように平面充填して、被写体あるいは背景の時間的変化を検索するモニタリングシステムを構築する。【選択図】 図１２
2007013514.tif 000002
【特許請求の範囲】
【請求項１】
全方位画像モニタリングシステムを構築するにあたり、互いに少なくとも２つの異なる方向に向けたリモート操作可能な分散型あるいは分離型カメラによって撮影される同時的または非同時的な画像を、互いに重複しない全方向かつ全視野に相当する最大限７２０度ｓｒのシームレスな一つの球面画像として統合し、さらに球系多面体上に写像し、一定の縦横比をもった矩形画像単位に変換した後、該単位を該単位の各辺の中点における２回回転対称操作によって、該単位毎の各辺で該単位内の被写体と背景の少なくともどちらか一方が常にシームレスに相互に連続するように平面充填した画像領域にし、該画像領域の一部を該単位と同一の縦横比をもった矩形ビューアー内に取り込み、人間の平均的な視野角で一度で捉えられるモニターまたはスクリーンに完全表示したことを特徴とする７２０°全方位矩形画像モニタリングシステム。
【請求項２】
上記一つの球面画像として統合し、さらに球系多面体上に写像しを、一つの球系多面体画像として統合したことを特徴とする「請求項１」記載の７２０°全方位矩形画像モニタリングシステム。
【請求項３】
上記一定の縦横比を、１：√３または√３：４または１：４√３の縦横比にしたことを特徴とする「請求項１」、および「請求項２」記載の７２０°全方位矩形画像モニタリングシステム。
【請求項４】
上記カメラに対して、カメラ全体に共通の回転軸を設けて一体となって回転する機構を付加したことを特徴とする「請求項１」、「請求項２」、および「請求項３」記載の７２０°全方位矩形画像モニタリングシステム。
【請求項５】
上記矩形ビューアーを、異なった３方向グリッド上または上下左右に移動する該単位と同領域を表示する移動型矩形ビューアーにしたことを特徴とする「請求項１」、「請求項２」、「請求項３」、および「請求項４」記載の７２０°全方位矩形画像モニタリングシステム。
【請求項６】
上記矩形ビューアーを、矩形画像単位領域よりも常に大きい領域を表示する矩形ビューアーとしたことを特徴とする「請求項５」記載の７２０°全方位矩形画像モニタリングシステム。
【請求項７】
上記矩形画像単位を、時系列的な単位とすると共に、上記常にシームレスに相互に連続するように平面充填した画像領域を、ほぼシームレスに相互に連続するように該矩形画像単位を縦および横方向に定めた時間単位に基づいて平面充填した画像領域にしたことを特徴とする「請求項１」、「請求項２」、「請求項３」、「請求項４」、「請求項５」、および「請求項６」記載の７２０°全方位矩形画像モニタリングシステム。
【請求項８】
上記平面充填した画像領域を、平面充填した多層化レイヤーによる画像領域としたことを特徴とする「請求項１」、「請求項２」、「請求項３」、「請求項４」、「請求項５」、「請求項６」および「請求項７」記載の７２０°全方位矩形画像モニタリングシステム。
【請求項９】
上記平面充填した画像領域を、ランダムまたはシャッフルで平面充填した画像領域にしたことを特徴とする「請求項１」、「請求項７」、および「請求項８」記載の７２０°全方位矩形画像モニタリングシステム。
【請求項１０】
上記システムに対して、上記矩形画像単位間における被写体あるいは背景の時間的空間的変化のみを検出または検索する機能を付加したことを特徴とする「請求項７」、「請求項８」および「請求項９」記載の７２０°全方位矩形画像モニタリングシステム。
【請求項１１】
上記モニターおよびスクリーンに完全表示を、複数のモニターまたは複数のスクリーンに分割表示したことを特徴とする「請求項１」、「請求項２」、「請求項３」、「請求項４」、「請求項５」、「請求項６」、「請求項７」、「請求項８」、「請求項９」および「請求項１０」記載の７２０°全方位矩形画像モニタリングシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、７２０度ｓｒの全方位かつ全視野を同時的、あるいは非同時的に捉えるための画像モニタリング技術に関する。さらに全方位かつ全視野を一定の縦横比をもった矩形画像単位に変換し、該単位を時系列的な矩形画像単位としてシームレスな平面充填システムに応用した画像処理方法および画像検索方法に関する。また該矩形画像単位をビューアー、モニターまたはスクリーンに表示する方法に関する。
【背景技術】
【０００２】
超広角視野を捉えるための広角レンズには、イメージサークルそのものが円形視野となる全周魚眼レンズとその円形視野の中央部だけを矩形ビューアー（またはファインダー）として使用する対角線魚眼レンズの２種類がある。後者の場合の画角は、円形視野に内接する矩形の対角線によって決定される。
【０００３】
ここで画角を説明する幾何学的概念の形態は円錐であり、画角は図１においてイメージサークルと呼ばれる円形視野Ｃ２のような球面上の小円の直径とそれを底面にした円錐の頂点Ｏ１からなる三角形切断面（図示しない）における該頂点部分の角度である。
【０００４】
また、光学分野で視野（ｆｉｅｌｄ  ｏｆ  ｖｉｅｗ）とは、光学機器を通してみることのできる領域または立体角のことである。立体角は全視野を一つの球面に設定した時、全球面に対し円形視野Ｃ２のような可視的な領域、または対象物２の球面Ｓ１上での占有率である。その大きさは、中心Ｏ１から対象物２に向けて結ばれる半直線の集合でできる錘を、Ｏ１を中心とする半径１の単位球面Ｓ１で切るとき、球面上にできる断面部分の表面積１で計る。Ｏ１から見た全空間の立体角は、７２０度ｓｒ（４πｓｒ）である。
【０００５】
フィッシュアイと言われる超広角の視野をさらに拡張し、全方位全視野を捉えるためのビューアーがＩＰＩＸ（Ｉｎｔｅｒａｃｔｉｖｅ  Ｐｉｃｔｕｒｅｓ  Ｃｏｒｐｏｒａｔｉｏｎ  米国テネシー州・オークリッジ）で提案されている。ＩＰＩＸは、全周魚眼レンズで撮影された２つのイメージサークルを２つの半球面として合成し、全球に再構成する。その結果、全方位を一度に眺めることはできないが、矩形ビューアーを移動させながら、全球の一部を上下（チルト）左右（パン）の操作で順次見ることができる。
【０００６】
このような矩形ビューアーを移動させながら、超広角視野の極限である球面の一部を観察するという方法は、ＧＰＳを用いたナビゲーションシステムにも見られる。この場合、結果的に車などの移動体の進行方向に応じた有効なビューアー領域が表示される。
【０００７】
移動方向を確認しながら現在位置を知るためには、より広い領域と局所領域との相互関係を捉える必要がある。飛行機のように移動速度がより高速になるにつれて、パイロットが必要とする局所的矩形領域を表示する範囲は相対的により拡大される傾向がある。
【０００８】
矩形ビューアーを地球球面領域にまで相対的に拡大したものが、円筒図法で達成される最大の矩形サイズ、すなわちメルカトル世界地図である。地球を周回する宇宙船の軌道を管制するにはこの最大限のビューアーが必要である。唯一の矩形の表現形式である円筒図法による世界地図は、経度に基づいた角度で球面を分割して赤道に接する円筒面に球の内側から写像して形成される。また、同一の概念を用いたパノラマは、全周３６０°を分割して撮影し、円筒形状に画像を合成し平面化する撮影方法である。
【０００９】
一方、『ＩＮＶＥＮＴＩＯＮＳ』Ｓｔ．ＭＡＲＴＩＮＳ’Ｐｒｅｓｓ、ｐ．８５とＵＳ  ＰＡＴ．２３９３６７６に示される、バックミンスター・フラー（Ｒ．Ｂｕｃｋｍｉｎｓｔｅｒ  Ｆｕｌｌｅｒ）のダイマクシオン・マップは、全球面の地理的画像を正二十面体にトポロジカルに投影し、その展開図で世界地図を表示している。この場合、地図を作製したあとでも、必要に応じて正三角形を再配列することができる全方向性を特徴としている。球状正二十面体の各球状正三角形は、球面情報を投影する球系正二十面体の各正三角形と対応しているので、全球面を２０等分した領域が多面体の展開図として平面化しても相対的な面積比は保たれたまま変換できる最初の多面体投影法である。
【００１０】
特開平１１−２９８７８０による広領域撮像装置および球空洞投射装置では、各々のテレビジョンカメラに対応した複数のプロジェクタを用いて、７２０度ｓｒの全視野かつ全方向の画像を円球空洞形状のスクリーンに表示することができる。
【特許文献１】特開平１１−２９８７８０ 「広領域撮像装置および球空洞投射装置」
【非特許文献１】ＩＰＩＸ  「ＩＰＩＸ  ３６０  Ｓｕｉｔｅ」（ http://www.ipix.com/）
【非特許文献２】『ＩＮＶＥＮＴＩＯＮＳ』、Ｒ．Ｂｕｃｋｍｉｎｓｔｅｒ  Ｆｕｌｌｅｒ（Ｓｔ．ＭＡＲＴＩＮＳ’Ｐｒｅｓｓ、１９８３、Ｐ．８５）
【発明の開示】
【発明が解決しようとする課題】
【００１１】
より広い視野を一つの矩形ビューアーに収めようとすると、画像の認識を妨げる「図」あるいは「被写体」、と「地」あるいは「背景」のどちらでもない余白領域（以下ノイズ）が現れる。このノイズの占有面積比（以下ノイズ比）が小さいほど一般的に認識しやすくなる。全周魚眼レンズの場合、ノイズ比は図２の６７のレイアウトで２１．５％になる。この図では、斜線の部分の占有率である。これに対して、視覚認識上、長方形のビューアー領域を最大限生かすことを優先した対角線魚眼レンズでは、円形画像の円周部を除外して矩形ファインダー（ビューアー）に表示される。この場合はノイズ比は０％であるが、広い視野は失われる。また広い視野を円形または矩形で認識できる限界画角は、設計理論とレンズ製造コストから２２０度以下であると言われている。
【００１２】
またダイマクシオン・マップのノイズ比を測るために、該マップ全体最小限の矩形領域にはめ込む。この場合、「図」＝陸地でも、「地」＝海でもないノイズが形成され、ノイズ比は図２の６９のレイアウトで３９．４％、同様に一月の海流などを示す際に用いられた南極を中心に再配列したダイマクシオン・マップ（「バックミンスター・フラーのダイマクシオンの世界」ｐ．１８０／バックミンスター・フラー、Ｒ．Ｗ．マークス共著・鹿島出版会、１９７８）を示す図２の６８のレイアウトでは６３．５％になる。このように、全方向全視野の全球面を矩形のビューアーで認識しようとすれば、これまでの光学的または投影図法的な方法ではノイズ比が高くなる傾向がある。
【００１３】
またＩＰＩＸのように、光学レンズを利用して複数の広角画像をコンピュータに取り込み、全方位のデジタル画像を疑似球面に合成する場合、矩形のビューアーに表示されるのはつねに球面領域の一部である。またカメラの回転軸に沿ってビューアーが設定されているため、観察者にとっての極軸の２つの極点上の情報は欠落し、黒い小さな円形としてビューアーに表示される。ＩＰＩＸもまた概念的にはパノラマの３６０°の視野を表示する方法である。
【００１４】
人間の視野で容易に全球面地理情報を同時に認識できる円筒図法などによる矩形の世界地図は、概念的には、最大球面領域を表示する最初の矩形ビューアー、つまり領域とビューアーが一致した場合とみなせる。しかし、球面を円筒に投影する図法のため、両極圏の形状が無限大となる。現在のメルカトル世界地図は、横または縦方向のどちらか一方の連続画像は再現できても、完全に多方向に矛盾なく連続した隙間のない全球面を表す平面画像は理論的に不可能なので、投影面の軸と地軸の関係を変化させて、要求される広い視野の平面画像の連続性を補正している。
【００１５】
またダイマクシオン・マップは、正二十面体を用いた全方位、２点間距離、面積比などをより正確に再現することに成功した最初の世界地図であるが、主に正三角形の再配列による展開図では「一つの海に浮かぶ一つの島」という表現目的のために大陸をいっさい分断させなかった結果、展開図の外形パターンに正三角形によるジグザグな輪郭線が現れ、不定形で非対称的な外形線の全長は矩形の外形線に比較して四倍に増加する。現在、一般に知られたダイマクシオン・マップは、図２の６９で示したレイアウトよりも外形線は複雑化している。
【００１６】
広領域撮像装置および球空洞投射装置は、７２０度ｓｒ画像を投射するために、閉じた球形または多面体状のスクリーンと複数のプロジェクタを用いるため、装置が特殊で大がかりなものになり、複数の画像間で同期性を得る煩雑な作業を要する。また、球状の情報を球状スクリーンに全方位全視野の画像を再現しても、人間の視野角ではその一部しか同時的に認識できない。
【課題を解決するための手段】
【００１７】
本発明の目的は、全視野かつ全方向の画像処理および画像表示に関し、従来の全方向画像表示方法では不可避であったノイズを１００％排除し、人間の視野角で一度で容易に認識できる矩形画像に変換することにある。また球状世界での出来事、生命圏、対流圏、成層圏などにおける地理学、気象学、物理学的情報など、特に国際便航空路、気象観測図や人工衛星などの高速移動体に関する軌跡が分断されることなく、また全方向カメラや複数の衛星を利用した全世界地図表示に最適な矩形の画像処理および画像表示方法を提供することである。全方位の画像表示形式を現在の印刷形式やカメラのファインダー、モニターなどあらゆる認識上の標準となっている矩形形式に適合させることを目的とする。
【００１８】
また本発明の目的は、複数のカメラの正四面体的分散あるいは分離した配置方法などによって、連続した全球面画像の７２０度ｓｒの画像領域を、被写体と背景がシームレスに連続した矩形画像単位に変換させる方法を提供することにある。その矩形画像単位を切れ目なく連続させ平面充填システムに応用した画像処理および表示方法を提供すると共に、その矩形画像単位を移動型ビューアーとして設定することを目的とする。
【００１９】
また、時間性を画像情報に加えた全方位平面充填画像処理および表示システムは、矩形画像単位を該単位毎の各辺で該単位内の被写体と背景の少なくともどちらか一方がほぼシームレスに相互に連続するように平面充填して、被写体とその背景の意味的連続性を確保することによって、全方位における時間的変化または局所的変化を検索または検出することを目的とする。このように矩形ビューアーに全球面情報である全視野を表示するシステムでは、７２０度ｓｒの最大視野領域の歪みと全方位を犠牲にすることなく、全方位の画像を単体または複数の矩形画像単位領域として同時的にまたは時系列的に連続的に表示することができる。言い換えれば、全方向という空間の連続性と時間の連続性という新たなシナジー的機能を様々な画像検索、画像検出に応用することを目的とする。検索または検出された変化部分のみを、新たなレイヤーに抽出し連続的な平面充填システムとしてあるいはアニメーションとして表示することを目的とする。
【発明の効果】
【００２０】
全風景と全表面の７２０度ｓｒ画像を観察する被写体と観察者の関係には二通りある。そのひとつは、ある一点の周りから全方位に存在する多数の被写体を観察する形式で、その代表的なものには天体観測や超広角撮影方法がある。これに対し、ひとつの被写体を全方位の多数の視点から観察するもうひとつの形式があり、代表的なものには人工衛星などによる惑星地球表面の観測がある。この二つは被写体と観測者の立場が互いに入れ替わる相補的関係にある。惑星地球を大気圏外から同時に見た人間もいないし、自分の外側を同時に見る人間もいない。地球を地球儀に縮小したとしても、全球面を同時に見る視覚は人間には備わっていないように、全方位全視野をシームレスな矩形表現形式で観察する技術はこれまで存在しなかった。本発明によって、人間の平均的視野で自分以外のすべての環境を同時に捉えるための惑星地球全体または銀河全体、あるいは机の上の地球儀を手にする自分のすべてを見る視野、つまり全方位全視野を人間の視野で同時的にモニタリングするための矩形の地図または画像を作成する方法を提供する。
【発明を実施するための最良の形態】
【００２１】
本発明は、全方位７２０度ｓｒ画像の歪みをより少なくするために、全球面の立体角と中心角をそれぞれ等値に設定できる最小限の球系多面体である正四面体を用いて、全方位画像として統合した後、該正四面体を平面に展開すると共に平面充填可能な全方位矩形画像単位に変換して、人間の平均的な視野角で一度に捉えられるモニターまたはスクリーンに完全に表示することを可能にする。
【実施例１】
【００２２】
実施例を図３に基づいて説明すれば次の通りである。球体である惑星地球Ｓ４を被写体とし、その全表面を外側から内向きに撮影するカメラ（インサイドカメラ）Ａは、被写体である惑星地球Ｓ４の中心Ｏ３と惑星地球Ｓ４に外接する正四面体Ｐ７の頂点２５を結んだ光軸２６上に設置する。この場合、各カメラＡは、正四面体の頂点２５より球面から遠くにあれば視点は任意の位置に設定できる。光軸２６はＯ３に向いており、カメラＡの画角θ１は最大３８．９４度になる。図示はしないが、光軸２６上で頂点２５からより球面に接近して、１πステラジアン分の領域の一部が欠落する場合は、複数の複合化した正四面体の頂点から撮像してもよい。
【００２３】
次に、図４に示すように、撮像された各１πステラジアン分の画像は、単位球面Ｓ２に対応する球状正四面体の４分の１の領域である球状正三角形６に取り込まれ、他の領域と互いに重複しないで全視野と全方位の４πステラジアン相当の全球面画像に統合し、球状正四面体の全方位画像Ｒ１を得る。さらに、この球状正四面体の全方位画像Ｒ１から最小限の球系多面体である正四面体Ｐ４に写像する過程について説明する。歪みを均等に分散する対称的な正四面体を投影面として用いて、立体角と中心角を共通にする。単位球面Ｓ２に等しく分割した１πステラジアン分の画像に相当する斜線で示した球状正三角形６を単位球面Ｓ２に内接する正四面体Ｐ４の太線で囲まれた斜線部の正三角形５に写像する。同様の操作を正四面体Ｐ４の他の三面でも行う。図５には、惑星地球の海岸線という球状地理学的情報のみを正四面体Ｐ４に写像した画像Ｒ２を示す。次に図６で正四面体Ｐ４の全方位画像Ｒ２を矩形に変換する方法を説明する。図５に示す正四面体Ｐ４の稜線の中点１７と頂点１９、中点１７と頂点２０の各線分と、頂点１８と頂点２１の線分に沿って分離して展開すれば、矩形平面化できる。正四面体Ｐ４を展開した矩形の世界地図は、正四面体Ｐ４の稜線の長さを１とした場合の縦横比Ｌ１：Ｌ２＝１：√３の全方位の矩形画像単位ＳＣ１である。
【００２４】
図７に示すように、全方位矩形画像単位ＳＣ１を該単位の各辺の中点で２回回転対称操作によって、単位内の被写体と背景がシームレスに相互に連続するように、該単位ＳＣ１の各辺で縦横に並べながら充填してゆくと、平面充填画像ＢＣ１が得られる。図中では該単位ＳＣ１は太線に囲まれている。該単位ＳＣ１は、オセアニア地域を中心に全世界を平面に拡げた地図であるが、該単位ＳＣ１を平面充填すると、新たに別の地域を中心とする様々な二次的矩形画像単位ＳＣ４１，ＳＣ４２，ＳＣ４３が現れる。これらの単位は、単位内の被写体と背景が相対的に移動して変化しても全方位と全視野の画像領域は不変である。二次的矩形画像単位ＳＣ４１，ＳＣ４２，ＳＣ４３は全方位矩形画像単位ＳＣ１と同じ縦横比で地図の中心が異なり、互いに移動する方向が６０度ずつ異なるので、移動型のビューアーとして利用できる。また、このような平面充填によって二次的矩形画像単位ＳＣ４１より一回り大きい領域ＰＧ５などの二次的に形成される矩形画像領域を単独のビューアーとして利用できる。
【００２５】
次に図８の全方位矩形画像単位ＳＣ２の四個分の大きさを持つ平面充填画像ＢＣ２では、通常サイズの世界地図としての矩形画像単位ＳＣ２の４つのコーナー６２においても、平面充填によって連続性が維持され、局地と全体との関係がより把握できる。このＢＣ２を固定したビューアーとして利用してもよい。
【００２６】
図９において連続移動可能なビューアーを説明する。この平面充填画像ＢＣ３においては、正四面体の全方位画像を構成していた正三角形の各辺Ｅ７(点線で表示されている)は平面充填システムでは三方向グリッドＸ、Ｙ、Ｚを形成する。この三方向グリッドに沿った６０度毎の方位間で、方向転換および連続移動可能な縦横比が１：２．３１（＝√３：４）の矩形画像単位ＳＣ１と同じ面積を表示するビューアーＶ３，Ｖ４，Ｖ５を設けてグリッド上の任意の矩形画像単位を取り出すことができる。また図１６に示される矩形画像単位ＳＣ１と同じ面積を表示するビューアーＶ１１のように、１：４√３の矩形ビューアーを形成してもよい。この場合のビューアーＶ１１の移動方向は縦横の２方向に限られる。
【００２７】
図１０および図１１において、上記の平面充填システムから新たなビューアーに表示される異なった配置の世界地図を示す。ＬＣ１は、中近東を中心に配置した世界地図である。ＬＣ２は、太平洋を中心に配置し、ＬＣ３は、南極大陸を中心に配置し、ＬＣ４はアジア、特にインドを中心に、ＬＣ５はスペイン・ポルトガルを中心に、ＬＣ６は中米パナマを中心に、ＬＣ７はオセアニア・特にニュージーランドを中心に配置した世界地図である。さらにＬＣ８はアジア、特に日本を中心に配置した世界地図である。このように、全方向に移動可能な全視野かつ全方位の矩形ビューアーによって、様々な地域を中心に大陸と海がとぎれることのない複数種の世界地図を形成できる。
【実施例２】
【００２８】
ビューアーの他の実施例を示す図１２は、７２０度ｓｒの画像領域を超えてズームアウトしたビューアーＰＧ４を示す。ビューアーＰＧ４は、各辺および四つのコーナーの地域６３においても全体との地理関係を把握しやすい。また図中には、世界の１月における海流の動きを太線の矢印の集合２７で示している。図１３に示される全方位全視野のダイマクシオン・マップによる海流図と比較すると、矩形画像単位内部の陸地と海が分断されずに示されている。このように、主に海洋図やさらには陸も海も関係する国際線空路のような地球規模の主題図を扱う場合には、全体との関係がノイズ比０％の矩形で表示できる。また、メルカトル図法では表示できない南極周辺を中心とした主題図、例えばオゾンホールの全世界分布図として利用してもよい。とくにメルカトル図法では表示が困難な極軸方向の位置関係を明らかにできる。    
【実施例３】
【００２９】
分散型カメラに関する他の実施例を図面に基づいて説明する。図２３に示す一点から外向きに全方位画像を非同時的に撮像する方法とビデオカメラ（アウトサイドカメラ）の具体的な配置について説明する。合同な２つの正四面体Ｐ１、Ｐ２は中心Ｏ８を共通にして双対的に配置され、各正四面体の頂点は立方体の８つの頂点を形成している。１４１．０６度の画角を持つ２台のカメラのレンズは、共通の光心Ｏ８と光軸Ｅ１、Ｅ２を有する。光軸Ｅ１、Ｅ２は光心Ｏ８において１０９．５度（図中θ１）で交わる。また光軸Ｅ１，Ｅ３は光心Ｏ８において７０．５度（図中θ２）で交わる。以上の設定で回転軸ｘ、ｙ、ｚのいずれか１つに沿って９０度毎の計四回の撮像によって二種類の全方位画像をそれぞれ統合することができる。各回転軸は正四面体の稜線の中点を互いに通過するが、この３次元での２回回転対称性は矩形画像単位を平面充填したときの各矩形画像単位の各辺の中点における二回回転対称性を維持する。
【００３０】
図１５の中央の太線に囲まれた領域は、この撮像方法によって得られた矩形画像単位ＳＣ２０である。この該単位ＳＣ２０の辺の中点Ｍ１０、Ｍ１１，Ｍ１２，Ｍ１３を中心に２回回転対称操作によって、縦横方向へシームレスに充填され平面充填画像ＢＣ４が形成される。この２回回転対称性は、平面充填画像ＢＣ４を構成するすべての矩形画像単位ＳＣ２０内の被写体と背景に適用できる。言い換えれば被写体と背景があらゆる形状、配置関係であってもこの対称性は失われない。
【実施例４】
【００３１】
平面充填した他の実施例を図１６に示す。矩形画像単位を時系列的な単位とし、該矩形画像単位を該単位の各辺の中点における２回回転対称操作によって該矩形画像単位毎の各辺で該矩形画像単位内の被写体と背景の少なくともどちらか一方がほぼシームレスに相互に連続するように縦および横方向に定めた時間単位に基づいて順次に平面充填されて構成される。図１５と同じ撮像場所でビデオ録画された縮小平面充填画像ＢＣ５は、矩形画像単位を横６０、縦６０の単位を持つ格子に左上から毎秒一枚ずつ右方向に充填してゆくと一分間で１行目が充填され、同様に二行目の左端から６０行目の６０列目まで並べてゆくと、１時間分の動画記録にあたる３６００個の画像の各被写体と各背景をこの格子上でほぼシームレスに連続させることができる。この時間性を含んだ平面充填システムにおいても、前述の２回回転対称の周期性をともなっている。それゆえに被写体が動いて変化が生じた場合、この２回回転対称性が部分的に崩れる事で局所的な変化が強調されて、シームレスな連続性が失われることによって変化の起きた場所、つまり出来事が発生した時刻を視覚的に容易にモニタリングできる。
【００３２】
この平面充填画像システムにおいて、撮像時間が異なっていても被写体や背景が大きく変化しない限り、空間的連続性は確保されるため、ビューアーにより４つの異なった時間配列方向を連続移動し走査できる。太線Ｅ１５で囲まれた矩形画像単位ＳＣ８は同一時刻（０３：００）の画像を示す時系列的な単位であるが、移動状態の被写体４８が矩形画像単位ＳＣ８内で撮像されると、撮像時刻が異なる隣接する矩形画像単位間での対称性が失われ、背景から分離されて認識しやすくなる。この検索方法では全方位全視野を表示する移動型ビューアーＶ１１によって横方向に１コマずつ連続移動させると１秒間毎の出来事の変化率を検証することになり、縦方向に１コマずつ移動させると分毎の出来事の変化率を検証することができる。また、形状の異なったビューアーＶ１２によって３つの異なった時間配列方向を３方向グリッドに従って連続移動し走査できる。このように連続移動可能なビューアーの形状には３通りある。また複数の撮像時刻を混在させたり、ビューアーを移動させて被写体のなかで重要なものを中心に配置することによって、動画の平面充填システムの検索に利用できる。
【実施例５】
【００３３】
図１７は、図１６の中の移動型ビューアーＶ１２を拡大したものである。ビューアーＶ１２の左の窓に映る動く被写体４８が異なった時間領域内で分断されて表示されている。図１７下段の時間領域を示す分布図は時間領域Ｔ１、Ｔ２、Ｔ３、Ｔ４、Ｔ５によって異なった時刻を組み合わせて表示している。時間領域Ｔ２には被写体４８は写っていないため、時間領域Ｔ３から時間領域Ｔ４の間に被写体４８が移動した履歴がわかる。
【００３４】
上述の実施例は時間的連続性を保ち、撮像時刻順に矩形画像を充填させ、変化の起きた時刻を時系列に把握する場合であるが、撮像時刻順ではなくランダムあるいはシャッフルで矩形画像単位を充填させても上記のシステムは保たれるため、７２０度ｓｒの全方位全視野を表示する矩形画像単位に複数の異なる撮像時刻を混在させることもできる。図１８は、４方向の異なった光軸によるカメラで撮り込まれた１πステラジアン分の画像がそれぞれどの部分に配置されたかを、光軸の種類別にＡからＤまでの記号で示しランダムな数字に従って平面充填した配置図ＢＣ６である。この配置例のように画像を充填してゆけば、時間順序を無視しランダムに、あるいはシャッフルで１πステラジアン分の画像を配列しても画像の中で全体的な連続性は失われない。例えば１コマ目の光軸Ａの画像Ａ１の隣は９コマ目の光軸Ｂの画像Ｂ９ができてもほぼシームレスで表示する事ができる。その結果、静止した被写体と背景が作る対称性のある模様の「地」と「図」だけではなく、動く被写体または動く背景が容易に「図」と「地」の相補正から識別されやすくなるので、７２０°の全方向と全視野の監視システムとして利用できる。
【実施例６】
【００３５】
平面充填画像の変化部分だけを強調したり、変化部分だけを表示する検索方法の他の実施例を図１９から図２１に基づいて説明する。無限に連続していく平面充填画像ＢＣ７の中から微細にわたって変化部分を目視で見つけだすことは集中力が強いられるため、異常を示す変化部分だけを自動的に検索したり検出して表示するシステムによってさらに監視作業を支援するシステムを説明する。図２１に示す平面充填画像ＢＣ９では、周囲の被写体をいっさい表示せず、変化する被写体４８だけを鮮明に表示している。この微細な変化でも見つけ出す検索方法は図１９に示す平面充填画像ＢＣ７を構成する各画素の３桁の数値で示されるＲＧＢの数値にマイナス１をかけて図２０に示すネガ画像の平面充填画像ＢＣ８を形成し、正常時の画像に対して監視ビデオカメラから送られてくる最新の画像に重ね合わせてその差の絶対値を用いると、変化のない部分は無地領域となり時系列的に変化する被写体４８だけが鮮明に表示される。この方法によって検索および検出機能を形成できる。また、図示はしないが、平面充填画像の変化部分だけを強調したり、変化部分だけを表示する他の検索方法には、正常な状態に撮られた画像のネガ画像の不透明度（ｏｐａｃｉｔｙ）を５０％にしたものを監視ビデオカメラから送られてくる画像に重ね合わせると、この初期設定画像と変わりのない部分は灰色の無地領域となり、変化のある被写体や背景だけを表示することもできる。この場合も、変化する被写体または背景だけを表示することで全方向と全視野における監視を行いやすくなる。
【実施例７】
【００３６】
平面充填システムにおける検索方法の他の実施例を示す図２２では、時間的変化を多層化レイヤーで表示した平行面で捉える方法について説明する。縦横の分、秒に、コマという２５分の１秒の縮尺を加えるとき、それぞれの矩形画像単位に１秒間の２５コマの矩形画像単位レイヤーＳＣａ，ＳＣｂ，ＳＣｃ，ＳＣｄを一定間隔を置いて重ね合わせる。被写体４８ａ，４９ａは矩形画像単位レイヤーＳＣａ上にあり、同様に４８ｂ、４９ｂは矩形画像単位レイヤーＳＣｂ上に、４８ｃ、４９ｃは矩形画像単位レイヤーＳＣｃ上、４８ｄ、４９ｄは矩形画像単位レイヤーＳＣｄ上にある。変化のない被写体４９を時系列で重ね合わせたレイヤーで輪郭線を見ると平行であり、変化のある被写体４８は立体角や位置が変わりジグザグな配置になる。
【実施例８】
【００３７】
矩形画像単位をモニターに表示する実施例について図２６で説明する。マルチヴィジョンなど複数の映写機やスクリーンの大がかりな設備は不要で、通常の矩形平面のスクリーンにシームレスに再現できる。小規模なものにはディスプレイ用モニターがある。縦横比１：１．７３のビューアーＳＣ４０と、点線で示された新しい規格のモニター画面ＳＣ４４、縦横比１：１．７８（＝９：１６）とは適合する。また図１４においては、縦横比１：２．３１（＝√３：４）のビューアーＬＣ１２と点線で示されているハイビジョン画面ＬＣ１１、縦横比１：２とは適合することがわかる。このように７２０度の全方位画像を１枚のスクリーンに投影する場合には通常のプロジェクタ１台で十分である。とくに大型の矩形または円環の一部の全視野全方位スクリーンによって多数の観察者または観客の限られた視野内に７２０度ｓｒ画像を適度な立体角に設定できる。
【実施例９】
【００３８】
他の実施例を図面に基づいて説明する。本発明は全方位全視野を球面画像に統合した後、複数の球系多面体に複数回に分けて写像し、最終的に正四面体に写像する方法（以降多階層投影方法）を含む。図２４は、球系多面体として中心Ｏ７を共有する正二十面体と正十二面体との間で写像する実施例を示す。正二十面体の正三角形五つにまたがった太線で囲まれた画像領域３０を、正二十面体の面の中心に頂点が接するように配置された正十二面体の斜線部五角形３１に写像する。これを正十二面体の残りのすべての面に対しても写像し、正十二面体画像として統合する。
【００３９】
次に図２５は正十二面体から立方体に写像する方法を示している。正十二面体の二つの正五角形にまたがる画像領域３３に内接し、８つの頂点と光心０６を共有する立方体の斜線部正方形３４に写像する。これを立方体の残りのすべての面で行い立方体画像として統合する。つぎに立方体から正四面体に写像を行う場合、立方体の８つの頂点が対になった正四面体の頂点を共有していることを利用して、２つの異なる正四面体画像を得ることができる（図示しない）。こうして取り込まれた７２０度の全方位画像を多階層投影方法により正四面体にまで還元し、最終的に解像度の高い画像を得ることができる。
【実施例１０】
【００４０】
立方体による多階層投影方法を用いた他の実施例である全方位画像撮像方法（アウトサイドビデオカメラ）を説明する図２７では、７２０度ｓｒを１２０度ｓｒ（２／３π）ステラジアンの立体角領域に分ける球状立方体Ｓ５とその稜線３５が示されている。この内部に光心が立方体の中心Ｏ５にくるようカメラ６０一台を設置する。画角は、立方体の中心から斜線部で示す正方形ＰＧ１をイメージサークルＣ４に収まるよう１０９．４６度以上に設定されている。この設定に基づき各面の中心に光軸ＡＸ１を向けて全方向全視野を６回撮像し立方体画像として統合するように画像処理を行う。このような撮像方法では必ずしも超広角レンズを必要としないので、汎用的なカメラで全方位全視野の画像合成ができる。
【実施例１１】
【００４１】
この全方位画像撮像装置を自然な目の高さで撮像したり、長時間露光のために固定したい場合、全方位立方体カメラＰ３（レンズなどは図示しない）を支持する部材が写らないよう配慮しなくてはならない。このとき撮像の基本となる多面体の幾何学的対称性を利用してもよい。図２８においてカメラの光軸設定装置の実施例を説明する。立方体カメラＰ３の稜線Ｅ８が三脚７０において面材上部７１に乗るよう設置することで手間のかかる光軸配置作業を省くことができる。三脚７０の構造部材７２はそれぞれ立方体カメラＰ３のフレームの中心Ｏ５から立方体カメラＰ３の各辺を結ぶ斜線部で示した三角形Ｆ１，Ｆ２，Ｆ３の延長面上に設定されるため、立体角が最小になり、三脚はほとんど写り込まない。この面上にアンテナや太陽電池パネルを設置してもよい。三脚補強用テンション材４は、最終的な正四面体の展開図に基づいた７２０°全方位矩形画像において写り込みがほとんど目立たないように正四面体画像に変換する際の正四面体の稜線上にくるように配置する。このような三脚のデザインによって従来の３６０°カメラのようにカメラ自体が位置する領域が画像として欠落することはない。
【産業上の利用可能性】
【００４２】
本発明によって、３６０度のパノラマ画像では達成できなかった全方位全視野を意味する７２０度ｓｒの画像を再現できる。また、全視野かつ全方向の画像処理および画像表示に関し、人間の視野角で一度に容易にモニタリング可能な矩形画像に変換できるので、球状世界での全方位に関する出来事や生命圏、対流圏、成層圏などにおける地理学、気象学、物理学的情報が分断されることのない最適な矩形形式で提供できる。高価な超広角レンズを使用しないので、全視野および全方位をリモートでモニタリングするビデオシステムなどに最適である。また、超高速移動体のナビゲーションシステムにも適用できる。
【図面の簡単な説明】
【００４３】
【図１】立体角の概念図。
【図２】全周魚眼レンズと二種類のダイマクシオン・マップのノイズ比を斜線で示した説明図。
【図３】惑星地球の全表面を惑星地球の外から内向きに撮像する際の概略図。
【図４】全方向をシームレスな球面画像に統合する球状正四面体の説明図。
【図５】正四面体に写像された全方向の惑星地球画像（海岸線のみ）。
【図６】Ｌ１：Ｌ２＝１：√３の矩形世界地図。
【図７】図６で得られた矩形画像単位を、２回回転対称操作でシームレスに充填して得られる平面充填画像。
【図８】４個分の矩形画像単位に相当する平面充填画像。
【図９】三方向グリッドを移動するビューアーと異なった平面充填画像単位との関係を示す平面充填画像。
【図１０】図９の平面充填画像から大陸と海が分断されない状態で表示される縦横比Ｌ３：Ｌ４＝√３：４の世界地図四例を示す。
【図１１】図９の平面充填画像から大陸と海が分断されない状態で表示される縦横比Ｌ３：Ｌ４＝√３：４の図１０とは異なる世界地図四例を示す。
【図１２】本発明による画像処理された一回り大きい世界の一月における海流図。
【図１３】ダイマクシオン・マップによる世界の一月における海流図
【図１４】縦横比１：２．３１（＝√３：４）のビューアーＬＣ１２と縦横比１：２のハイビジョン画面ＬＣ１１との適合性を示す図。
【図１５】図２４の撮像方法により得られる全方位全視野領域を表示した矩形画像単位の平面充填画像。
【図１６】本発明に基づいた撮像機を図１５と同じ撮像場所に固定して全方位画像を録画し、録画された画像を時系列を含んで表示した平面充填画像。
【図１７】移動型ビューアーＶ１２の拡大図とその時間領域を示す分布図。
【図１８】ランダムあるいはシャッフルで矩形画像単位を平面充填させる場合の配置例。
【図１９】監視カメラから送られてくる動画画像を平面充填した画像。
【図２０】正常な状態に撮られた画像の平面充填画像を反転したネガ画像。
【図２１】図１９と図２０を重ね合わせて変化のある部分だけを表示する検索用平面充填画像。
【図２２】時間的変化を多層化レイヤーで検索する方法についての説明図。
【図２３】対になった正四面体の配置をもとに光軸配置された２つの全方位画像を得る撮像方法の一例。
【図２４】正二十面体から正十二面体に多階層投影を行う際の、正二十面体と正十二面体の位置関係を示す図。
【図２５】正十二面体から立方体に多階層投影を行う際の、正十二面体と立方体の位置関係を示す図で。
【図２６】立方体画像に接合された画像から変換された矩形画像単位，縦横比１：１．７３とモニター画面の縦横比１：１．７８との適合性を表す図。
【図２７】立方体の幾何学的対称性を基にした光軸配置による全方位撮像方法の概略図。
【図２８】図２７に基づく光軸の設定機能を含んだ全方位立方体カメラとその固定機を示す説明図。
【符号の説明】
【００４４】
θ１  画角
θ２  画角
θ３  画角
Ｏ１  球の中心
Ｏ２  球の中心
Ｏ３  球の中心
Ｏ５  球の中心
Ｏ８  光心
Ｏ１２  球の中心
１  対象物の単位球面Ｓ１上での表面積
２  対象物
５  １πステラジアンに相当する正三角形
６  １πステラジアンに相当する球状正三角形
７  正三角形の中心
８  光軸
１７  正四面体の稜線の中点
１８  正四面体の頂点
１９  正四面体の頂点
２０  正四面体の頂点
２１  正四面体の頂点
２５  正四面体の頂点
２６  光軸
２７  海流を表す連続した矢印
３０  画像領域  
３１  正五角形領域    
３３  画像領域
３４  正方形領域
３５  稜線
４８  変化する被写体
４８ａ  変化する被写体
４８ｂ  変化する被写体
４８ｃ  変化する被写体
４８ｄ  変化する被写体
４９  変化しない被写体
４９ａ  変化しない被写体
４９ｂ  変化しない被写体
４９ｃ  変化しない被写体
４９ｄ  変化しない被写体
６０  カメラ
６２  矩形画像単位のコーナー
６３  矩形画像単位のコーナー
６７  全周魚眼レンズのノイズ比表示
６８：南極を中心に再配列したダイマクシオン・マップのノイズ比表示
６９：ダイマクシオン・マップのノイズ比表示
Ａ  カメラ
Ａ１からＤ１２  １πステラジアン分の画像
ＡＸ１  光軸
ＢＣ１  平面充填画像
ＢＣ２  平面充填画像またはビューアー
ＢＣ３  縮小平面充填画像
ＢＣ４  平面充填配置画像
ＢＣ５  時系列的な平面充填画像
ＢＣ６  平面充填画像
ＢＣ７  時系列的な平面充填画像
ＢＣ８  ネガ画像の平面充填画像
ＢＣ９  変化する被写体のみを表示する平面充填画像
Ｃ１  円形視野
Ｃ２  円形視野
Ｃ３  円形視野
Ｃ４  円形視野
Ｅ１  光軸
Ｅ２  光軸
Ｅ３  光軸
Ｅ７  三方向グリッド
Ｅ１５  矩形画像単位の外形線
Ｆ１  三角形  
Ｆ２  三角形
Ｆ３  三角形
Ｌ１  矩形画像単位の辺の長さ
Ｌ２  矩形画像単位の辺の長さ
Ｌ３  矩形画像単位の辺の長さ
Ｌ４  矩形画像単位の辺の長さ
ＬＣ１  中近東を中心に配置した世界地図
ＬＣ２  太平洋を中心に配置した世界地図
ＬＣ３  南極・南極大陸を中心に配置した世界地図
ＬＣ４  アジア、特にインドを中心に配置した世界地図
ＬＣ５  スペイン・ポルトガルを中心に配置した世界地図
ＬＣ６  中米パナマを中心に配置した世界地図
ＬＣ７  オセアニア・特にニュージーランドを中心に配置した世界地図
ＬＣ８  アジア、特に日本を中心にした世界地図
ＬＣ１２  世界の一月の海流図
ＬＣ１１  縦横比１：２  ハイビジョン画面の縦横比
Ｍ１０  全方位矩形画像単位の辺の中点
Ｍ１１  全方位矩形画像単位の辺の中点
Ｍ１２  全方位矩形画像単位の辺の中点
Ｍ１３  全方位矩形画像単位の辺の中点
Ｐ１  正四面体
Ｐ２  正四面体
Ｐ３  全方位立方体カメラ
Ｐ４  正四面体
Ｐ７  被写体である球に外接する正四面体
Ｐ９  立方体
Ｐ１３  立方体
ＰＧ１  正方形領域
ＰＧ４  世界の一月における海流を示した一回り大きいビューアー
ＰＧ５  大きめのビューアー
ＰＧ６  被写体
ＰＧ７  被写体
Ｒ１  球状正四面体の全方位画像
Ｒ２  正四面体の全方位画像
Ｓ１  単位球面
Ｓ２  単位球面
Ｓ３  単位球面
Ｓ４  惑星地球
Ｓ５  球状立方体
ＳＣａ  矩形画像単位のレイヤー  
ＳＣｂ  矩形画像単位のレイヤー  
ＳＣｃ  矩形画像単位のレイヤー
ＳＣｄ  矩形画像単位のレイヤー
ＳＣ８  矩形画像単位
ＳＣ１  縦横比１：√３の全方位矩形画像単位
ＳＣ２  全方位矩形画像単位
ＳＣ２０  全方位矩形画像単位  
ＳＣ４０  縦横比１：１．７３のビューアー
ＳＣ４１  二次的矩形画像単位
ＳＣ４２  二次的矩形画像単位
ＳＣ４３  二次的矩形画像単位
ＳＣ４４  縦横比１：１．７８のモニター
Ｔ１  時間領域
Ｔ２  時間領域
Ｔ３  時間領域
Ｔ４  時間領域
Ｔ５  時間領域
Ｖ３  矩形画像単位のビューアー
Ｖ４  矩形画像単位のビューアー
Ｖ５  矩形画像単位のビューアー
Ｖ１１  移動型ビューアー
Ｖ１２  移動型ビューアー
Ｘ  縦横比１：２．３１（＝√３：４）矩形画像単位の移動方向
Ｙ  縦横比１：２．３１（＝√３：４）矩形画像単位の移動方向
Ｚ  縦横比１：２．３１（＝√３：４）矩形画像単位の移動方向
ｘ  回転軸  
ｙ  回転軸
ｚ  回転軸
ｘ２  光軸
【図１】
2007013514.tif 000003
【図２】
2007013514.tif 000004
【図３】
2007013514.tif 000005
【図４】
2007013514.tif 000006
【図５】
2007013514.tif 000007
【図６】
2007013514.tif 000008
【図７】
2007013514.tif 000009
【図８】
2007013514.tif 000010
【図９】
2007013514.tif 000011
【図１０】
2007013514.tif 000012
【図１１】
2007013514.tif 000013
【図１２】
2007013514.tif 000014
【図１３】
2007013514.tif 000015
【図１４】
2007013514.tif 000016
【図１５】
2007013514.tif 000017
【図１６】
2007013514.tif 000018
【図１７】
2007013514.tif 000019
【図１８】
2007013514.tif 000020
【図１９】
2007013514.tif 000021
【図２０】
2007013514.tif 000022
【図２１】
2007013514.tif 000023
【図２２】
2007013514.tif 000024
【図２３】
2007013514.tif 000025
【図２４】
2007013514.tif 000026
【図２５】
2007013514.tif 000027
【図２６】
2007013514.tif 000028
【図２７】
2007013514.tif 000029
【図２８】
2007013514.tif 000030