【手続補正書】
【提出日】平成21年4月27日(2009.4.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
リアルタイムのパノラマ・ビデオ映像を矩形フォーマットで提供するための方法であって、
（ａ）３６０度視野の環状画像を捕捉するパノラマ環状レンズ・システムを用意する段階と、
（ｂ）前記３６０度視野の環状画像をビデオカメラ像面に集束する段階と、
（ｃ）前記カメラ画像平面のデータ信号出力をパーソナル・コンピュータに転送する段階と、
（ｄ）前記パーソナル・コンピュータを利用して、前記環状画像を少なくとも３０ｆｐｓでほぼひずみのない矩形画像に展開する段階と、
（ｅ）前記矩形画像を画像ディスプレイに表示する段階を備え、
（ｄ）前記展開する段階が、
放射計測レイ・トレーシングにより前記環状画像をひずみのある展開画像に変換する段階と、
その後該ひずみのある展開画像をひずみのない展開画像に変換する段階を備えることを特徴とする方法。
【請求項２】
リアルタイムのパノラマ・ビデオ映像を矩形フォーマットで提供するための方法であって、
（ａ）３６０度視野の環状画像を捕捉するパノラマ環状レンズ・システムを用意する段階と、
（ｂ）前記３６０度視野の環状画像をビデオカメラ像面に集束する段階と、
（ｃ）前記カメラ画像平面のデータ信号出力をパーソナル・コンピュータに転送する段階と、
（ｄ）前記パーソナル・コンピュータを利用して、前記環状画像を少なくとも３０ｆｐｓでほぼひずみのない矩形画像に展開する段階と、
（ｅ）前記矩形画像を画像ディスプレイに表示する段階を備え、
（ｄ）前記展開する段階が、前記パーソナル・コンピュータの画像処理ユニットを用いて頂点単位の変換を行う段階を備えることを特徴とする方法。
【請求項３】
（ａ）前記パノラマ環状レンズ・システムを用意する段階が、双曲面レンズ及び楕円面鏡を用意する段階を備えることを特徴とする請求項２記載の方法。
【請求項４】
（ｂ）前記ビデオカメラを用意する段階が、ＣＣＤ像面を用意する段階を備えることを特徴とする請求項２記載の方法。
【請求項５】
（ｂ）前記ビデオカメラを用意する段階が、ＣＭＯＳ像面を用意する段階を備えることを特徴とする請求項２記載の方法。
【請求項６】
（ｄ）前記展開する段階が、
前記パーソナル・コンピュータの少なくとも１つのグラフィックス・カードを用いて、前記環状画像を展開する段階を備えることを特徴とする請求項２記載の方法。
【請求項７】
リアルタイム・パノラマ・ビデオ画像を矩形フォーマットで提供するための装置であって、
３６０度視野の環状画像を捕捉するためのパノラマ環状レンズ・システムと、
前記環状画像を受像するための像面を備えるとともに、対応するデータ信号出力を作り出すビデオカメラと、
前記データ信号出力を受信するコンピュータと、
前記コンピュータに備えられるとともに、前記データ信号出力をほぼひずみのない矩形画像に、少なくとも３０ｆｐｓで展開するグラフィックス・カード及び少なくとも１つのソフトウェア・モジュールと、
前記矩形画像を表示するための画像ディスプレイを備え、
前記ソフトウェア・モジュールが放射計測レイ・トレーシングのためのプログラムを備え、
該プログラムが、前記環状画像をひずみのある展開画像に変換し、その後前記ひずみのある画像をひずみのない展開画像に変換することを特徴とする装置。
【請求項８】
リアルタイム・パノラマ・ビデオ画像を矩形フォーマットで提供するための装置であって、
３６０度視野の環状画像を捕捉するためのパノラマ環状レンズ・システムと、
前記環状画像を受像するための像面を備えるとともに、対応するデータ信号出力を作り出すビデオカメラと、
前記データ信号出力を受信するコンピュータと、
前記コンピュータに備えられるとともに、環状画像から出力される前記データ信号出力をほぼひずみのない矩形画像に、少なくとも３０ｆｐｓで展開するグラフィックス・カード及び少なくとも１つのソフトウェア・モジュールと、
前記矩形画像を表示するための画像ディスプレイを備え、
前記ソフトウェア・モジュールが頂点単位の変換のためのプログラムを備え、該プログラムにより前記環状画像を展開することを特徴とする装置。
【請求項９】
前記データ信号出力を捕捉するための手段と、
前記データ信号出力からの前記ビデオ画像を変換するための手段と、
前記変換されたビデオ画像を操作する手段と、
前記画像をカルテシアン・フォーマットで画像化する手段を更に備えることを特徴とする請求項８記載の装置。
【請求項１０】
前記パノラマ環状レンズ・システムが双曲面レンズ及び楕円面鏡を備えることを特徴とする請求項８記載の装置。
【請求項１１】
前記ビデオカメラがＣＣＤ像面を備えることを特徴とする請求項８記載の装置。
【請求項１２】
前記ビデオカメラがＣＭＯＳ像面を備えることを特徴とする請求項８記載の装置。
【請求項１３】
３６０度視野を表示するとともに対応する画像を像面に集束するための少なくとも１つの光学要素を備えるパノラマ光学システムと、
前記像面に、前記画像を対応するビデオ信号に変換するための検出部を備えるビデオカメラと、
前記ビデオ信号を受信するとともに、前記画像をほぼひずみのない矩形画像として少なくとも３０ｆｐｓで表示する少なくとも１つの頂点単位の変換プログラムを実行する画像処理ユニットを備えるコンピュータと、
前記矩形画像を表示するためのモニタを備えることを特徴とするリアルタイムのひずみのない画像を作り出すパノラマ・ビデオ・システム。
【請求項１４】
前記光学システムの光学要素が環状要素を備え、
前記対応する画像が３６０度視野の画像であることを特徴とする請求項１３記載のパノラマ・ビデオ・システム。
【請求項１５】
前記ビデオカメラがＣＣＤ検出部を備えることを特徴とする請求項１３記載のパノラマ・ビデオ・システム。
【請求項１６】
前記ビデオカメラがＣＭＯＳ検出部を備えることを特徴とする請求項１３記載のパノラマ・ビデオ・システム。
【請求項１７】
前記ビデオカメラが、少なくとも１２８０×１０２４ピクセルの解像度を有する検出部を備えることを特徴とする請求項１３記載のパノラマ・ビデオ・システム。
【請求項１８】
前記ビデオカメラが、少なくとも７２０×４８０ピクセルの解像度を有する検出部を備えることを特徴とする請求項１３記載のパノラマ・ビデオ・システム。
【請求項１９】
前記コンピュータが少なくとも１つのグラフィック・カードを備え、
該グラフィック・カードが前記矩形画像を作り出すことを特徴とする請求項１３記載のパノラマ・ビデオ・システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
本発明の好適な実施形態は、パノラマ環状レンズ・システム（panoramic annular lens system（ＰＡＬ））、１つのビデオカメラ、及びＰＣベースのソフトウェア・システムを備える。このソフトウェア・システムは３６０度のビデオ画像をシームレスでひずみのない水平画像にリアルタイムに展開可能である。ＰＡＬシステムは、２つのミラー、すなわち双曲面鏡及び楕円面鏡を備える。２つのミラーは、３６０度屈折性前方或いは入射アパーチャ・レンズにより、相互に結合される。この２つのミラーは後方或いは出射を集光レンズ近傍に備える。本発明の好適な実施形態において、ＰＡＬシステムは、直径４０ｍｍのコンパクト・パッケージに、３６０度の水平視野と、９０度の垂直視野を備える。本発明に利用可能なレンズ・システムの種類は特に制限されていない。実際３６０度パノラマ表示を提供可能なレンズ・システムは多数存在する。ビデオカメラとしては、１２８０×１０２４ピクセル（高解像度）或いは７２０×４８０（ＮＴＳＣ）ピクセルの解像度を有するＣＣＤ或いはＣＭＯＳベースのデバイスが利用可能である。展開するためのシステムは放射計測レイ・トレーシング・プログラムであり、このプログラムはコンピュータのグラフィック・カードを利用して実行される。グラフィック・カードは、ソフトウェアのオーバーヘッドを最小限に保ちながら効率的に局所的な変換を実行可能である。結果として、ひずみのある球面画像を、カルテシアン座標上の平面パノラマ画像に変換し、高解像度且つ３０ｆｐｓの画像をリアルタイムに得られる。グラフィック・ユーザ・インターフェース（graphic use interface、ＧＵＩ）を用いると、任意の破断点（パノラマ画像の中心線）の決定、ズーム・イン或いはズーム・アウト機能、及びビルトイン較正が可能になる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
（放射計測レイ・トレーシング（Radiometric Ray-Tracing（Ｒ２Ｔ））
Ｒ２Ｔは任意の連続的光学材料に対して、放射計測量（例えば、図２２に示すごとく、入力平面から出力平面への輝度）の一価マッピングを行う。
この手順を図２３ａ、図２３ｂ、及び図２３ｃに示す。この手順において、環状画像（ａ）から歪みのある展開画像（ｂ）へ、更に補正された展開画像（ｃ）への変換が行われる。フレンチ・ウィンドウの歪みのある（ｂ）パノラマ画像から、歪みのない（ｃ）パノラマ画像への変換は、Ｒ２Ｔにより、先験的レイ・トレーシングに基づいて行われる。このような変換は、曲面システム座標からカルテシアン座標システムへの変換と同等のものである。この操作をリアルタイムに実行するためには、１２０度水平表示領域を多数のピクセル・ブロック（１０×１０若しくはそれ以上）に分割するとともに、各ブロックについて個別に均一な変換を行う。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００６８
【補正方法】変更
【補正の内容】
【００６８】
【図１】本発明において利用可能なパノラマ環状レンズ構造を示す概略図である。
【図２】図２ａ及び図２ｂは、図１のレンズ構造を示す写真による上面図と側面図である。
【図３】図１のレンズ構造を示す写真による図であり、該レンズ構造はＣＣＤカメラと一体化されている。
【図４】ＰＡＬ画像を示す写真による図であり、図４ａはクリップする前の状態を示し、図４ｂはクリップした後の状態を示す。
【図５】図４ａ及び図４ｂのＰＡＬ画像を展開された状態で示す写真による図である。
【図６】図４ａ及び図４ｂのＰＡＬ画像を示す写真による図であり、図６ａ及び図６ｂはそれぞれ異なるカメラ解像度における展開前の状態の画像を示し、図６ｃ及び図６ｄはそれぞれ異なるカメラ解像度における展開後の状態の画像を示す。
【図７】反射屈折多方向超広角カメラの変更形態を示す概略図である。
【図８】２面の放物線鏡を用いたパノラマ・ステレオ撮影を示す概略図である。
【図９】多層放物面鏡及びカメラの構造を示す概略図である。
【図１０】凸面反射鏡を用いたパノラマ撮影を示す概略図である。
【図１１】昼夜両方で操作可能なパノラマ・カメラ・システムを示す概略図である。
【図１２】図１１のシステムに使用される環状平面鏡を示す概略図である。
【図１３】中赤外線光のための第２の光学チャネルを備えるパノラマ撮像装置を示す概略図である。
【図１４】環状魚眼レンズによる環状投影の半球表示を示す概略図である。
【図１５】球座標マッピングを示す幾何学的図である。
【図１６】図１６ａ及び図１６ｂは、それぞれ球面マッピングと角度マッピングの幾何学的表現を示す図である。
【図１７】環状魚眼レンズの画像を示す図であり、図１７ａ及び図１７ｂはそれぞれ、変換前の画像と変換後の画像を示す。
【図１８】本発明の好適な実施形態におけるリアルタイム変換（展開）ソフトウェアのためのグラフィック・ユーザ・インターフェースのコンピュータ・スクリーンでの表示を示す図である。
【図１９】フルフレーム（３０ｆｐｓ）で魚眼ビデオカメラにより捕捉された画像のコンピュータ・スクリーン表示を示す図である。
【図２０】１５００×１０００カルテシアン・コンピュータ・スクリーン画像を示す図であり、この画像は、本発明における「展開」ソフトウェアを用いて図１９の魚眼画像から３０ｆｐｓで変換された画像である。
【図２１】図１９と同様のコンピュータ・スクリーン表示を示す図であり、この表示にはひずみを低減するための様々な較正手段の効果が現れている。
【図２２】ピクセル・ブロックについて入力表面から出力平面への放射計測レイ・トレーシングを示す図である。
【図２３】図２３ａ、図２３ｂ及び図２３ｃはそれぞれ環状画像からひずみのない矩形画像への変換プロセスを示す図である。
【図２４】本発明におけるリアルタイム展開のためのソフトウェア・フローを示すブロック線図である。
【図２５】距離計として利用されたパノラマ撮像装置を示す概略図である。
【図２６】距離計として利用されたパノラマ撮像装置を示す概略図である。
【図２７】ズーム機能を追加されたパノラマ撮像装置を示す概略図である。
【図２８】ズーム機能を追加されたパノラマ撮像装置を示す概略図である。