(57)【要約】本発明の実施形態は、直下ビューに対して斜め像をオルソ補正することに関する。一実施形態において、方法は斜め写真像をオルソ補正する。斜め写真画像は、地形の三次元モデルに投影される。点は、地形の三次元モデルと直下の眺望を有する仮想表示域から伸びた平行光線との交点に投影された写真画像からサンプリングされる。サンプリングされる点は、オルソ補正された画像にアセンブリされる。最後に、オルソ補正された画像またはサンプリングされる点は、斜め写真画像を捉えたカメラと直下の眺望を有する表示域との間の傾斜角の差におよそ従って調整されて、短縮遠近法で描かれオルソ補正された画像を生成する。短縮遠近法で描かれオルソ補正された画像における各位置は、二次元地図における対応する位置に線形的に対応する。
2013510326.tif 000002
【特許請求の範囲】
【請求項１】
斜め写真像をオルソ補正する方法であって、
（ａ）地形の三次元モデルに斜め写真画像を投影することと、
（ｂ）直下の眺望を有する表示域から該投影された写真画像の点をサンプリングすることであって、該点は、該地形の三次元モデルと該表示域から伸びる平行光線との交点にある、ことと、
（ｃ）該サンプリングされる点をオルソ補正された画像にアセンブルすることと、
（ｄ）該斜め写真画像を捉えたカメラと該直下の眺望を有する該表示域との間の傾斜角の差におよそ従って該オルソ補正された画像または該サンプリングされる点を調整して、短縮遠近法で描かれオルソ補正された画像を生成することと
を包含し、該短縮遠近法で描かれオルソ補正された画像における各位置は、二次元地図における対応する位置に線形的に対応する、方法。
【請求項２】
前記調整すること（ｄ）は、前記オルソ補正された画像を垂直方向に縮小することを包含する、請求項１に記載の方法。
【請求項３】
前記縮小することは、前記オルソ補正された画像を１．１５４〜２．０（１．１５４および２．０を含む）のファクターで前記垂直方向に縮小することを包含する、請求項２に記載の方法。
【請求項４】
前記調整すること（ｄ）は、点が前記垂直方向よりも水平方向に頻繁にサンプリングされるようにサンプリング点を調整することを包含する、請求項１に記載の方法。
【請求項５】
ファクターの前記水平方向にサンプリングされる点間の距離倍は、前記垂直方向にサンプリングされる点間の距離におよそ等しく、該ファクターは、１．１５４〜２．０（１．１５４および２．０を含む）である、請求項４に記載の方法。
【請求項６】
（ｅ）前記投影すること（ａ）の前に、前記地形の三次元モデルを平滑化することであって、該投影すること（ａ）は、該地形の平滑化された三次元モデル上に前記斜め写真画像を投影することを包含する、ことをさらに包含する、請求項１に記載の方法。
【請求項７】
前記平滑化すること（ｅ）は、前記地形の三次元モデルにボックスフィルタアルゴリズムを適用することを包含する、請求項６に記載の方法。
【請求項８】
前記斜め写真画像は、地球の航空画像であり、前記地形の三次元モデルは、地球の三次元モデルある、請求項１に記載の方法。
【請求項９】
（ｅ）複数の斜め写真画像の各々に対して（ａ）〜（ｃ）を繰り返して、複数のオルソ補正された画像を決定することと、
（ｆ）グラフカットアルゴリズムを用いて、該複数のオルソ補正された画像に基づいて、オルソ補正された画像のモザイクを決定することと
をさらに包含する、請求項１に記載の方法。
【請求項１０】
（ｅ）前記短縮遠近法で描かれオルソ補正された画像の少なくとも一部分に地図データをオーバーレイすることであって、該地図データの各要素は、該地図データの該要素の対応する位置に線形的に対応する、該短縮遠近法で描かれオルソ補正された画像上の位置に配置される、ことをさらに包含する、請求項１に記載の方法。
【請求項１１】
前記地図データは、道路データを含む、請求項１０に記載の方法。
【請求項１２】
斜め写真像をオルソ補正するシステムであって、
（ａ）地形の三次元モデルに斜め写真画像を投影するように構成されるプロジェクタモジュールと、
（ｂ）サンプラモジュールであって、
（ｉ）直下の眺望を有する表示域からの該投影された写真画像から点をサンプリングすることであって、該点は、該地形の三次元モデルと該表示域から伸びた平行光線との交点に位置している、ことと、
（ｉｉ）該サンプリングされる点をオルソ補正された画像にアセンブルすることと
を行うように構成される、サンプラモジュールと、
（ｃ）短縮遠近法モジュールであって、該斜め写真画像を捉えたカメラと該直下の眺望を有する該表示域との間の傾斜角の差におよそ従って該オルソ補正された画像または該サンプリングされる点を調整して、短縮遠近法で描かれオルソ補正された画像を生成するように構成される、短縮遠近法モジュールと
を備え、
該短縮遠近法で描かれオルソ補正された画像における各位置は、二次元地図における対応する位置に線形的に対応する、システム。
【請求項１３】
前記短縮遠近法モジュールは、前記オルソ補正された画像を垂直方向に縮小するように構成される、請求項１２に記載のシステム。
【請求項１４】
前記短縮遠近法モジュールは、前記オルソ補正された画像を１．１５４〜２．０（１．１５４および２．０を含む）のファクターで垂直方向に収縮するように構成される、請求項１３に記載のシステム。
【請求項１５】
前記短縮遠近法モジュールは、点が前記垂直方向よりも水平方向に頻繁にサンプリングされるように前記サンプリング点を調整するように構成される、請求項１２に記載のシステム。
【請求項１６】
ファクターの前記垂直方向における点の数倍は、前記水平方向にサンプリングされる点間の数におよそ等しく、該ファクターは、１．１５４〜２．０（１．１５４および２．０を含む）である、請求項１５に記載のシステム。
【請求項１７】
（ａ）前記地形の三次元モデルを平滑化するように構成される平滑化モジュールをさらに備え、
前記プロジェクタモジュールは、該地形の平滑化された三次元モデルに斜め写真画像を投影するように構成される、請求項１２に記載のシステム。
【請求項１８】
前記平滑化モジュールは、前記地形の三次元モデルにボックスフィルタアルゴリズムを適用するように構成される、請求項１７に記載のシステム。
【請求項１９】
前記斜め写真画像は、地球の航空画像である、請求項１２記載のシステム。
【請求項２０】
（ａ）オルソ補正モジュールであって、複数の斜め写真画像に対して繰返し投影およびサンプリングして、複数の短縮遠近法で描かれオルソ補正された画像を決定することを前記プロジェクタモジュールおよびサンプラモジュールに命令するように構成される、オルソ補正モジュールと、
（ｂ）モザイクモジュールであって、グラフカットアルゴリズムを用いて、該複数の短縮遠近法で描かれオルソ補正された画像に基づいて、オルソ補正された画像のモザイクを決定するように構成される、モザイクモジュールと
をさらに包含する、請求項１２に記載のシステム。
【請求項２１】
（ａ）タイルロケータモジュールであって、位置に対応する前記オルソ補正された画像のモザイクからオルソ補正された画像を識別する、タイルロケータモジュールと、
（ｂ）地図データロケータモジュールであって、該位置に線形的に対応する地図データを識別する、地図データロケータモジュールと
をさらに包含する、請求項２０に記載のシステム。
【請求項２２】
前記地図データは、道路データを含む、請求項２１に記載のシステム。
【請求項２３】
斜め写真像をオルソ補正する方法であって、
（ａ）直下表示域における各点に対して地形の三次元モデル上に点を決定することとであって、各点は、該地形の三次元モデルと該直下表示域から伸びた平行光線との交点にある、ことと、
（ｂ）斜め写真画像を撮って該斜め写真画像上の点をサンプリングしたカメラモデルの位置に（ａ）において決定された各点を投影することと、
（ｃ）該サンプリングされる点をオルソ補正された画像にアセンブルすることと、
（ｄ）該斜め写真画像を捉えたカメラと直下の眺望を有する表示域との間の傾斜角の差におよそ従って該オルソ補正された画像または該サンプリングされる点を調整して、短縮遠近法で描かれオルソ補正された画像を生成することと
を包含し、
該短縮遠近法で描かれオルソ補正された画像における各位置は、二次元地図における対応する位置に線形的に対応する、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
（発明の背景）
（発明の分野）
本発明の実施形態は、概して斜め像を表示することに関する。
【背景技術】
【０００２】
（関連技術）
写真家は、しばしば飛行機からなど、高所から地球の画像を撮る。そのような航空写真は、異なる眺望から撮られ得る。例えば、鉛直写真は、地球の方にまっすぐ下に向けられたカメラから撮られる。鉛直写真は利点を提供するが、鉛直写真の急な眺望は鉛直写真が捉えるものを限定する。例えば、鉛直写真は、しばしば建物の側面を捉えないで、主に建物の屋根を捉える。
【０００３】
これに対して、斜め写真は、地球の表面に対して傾けられたカメラを用いて撮られる。しばしば、斜め写真は、およそ４５度だけ傾けられる。直下画像と比べて、斜め写真は、建物の側面を捉える。この理由で斜め写真は、しばしば例えば不動産用途に用いられる。
【０００４】
一例において、斜め画像は、Ｍｉｃｒｏｓｏｆｔ，Ｉｎｃ．から入手可能なＢＩＮＧマップサービスから利用可能である。ＢＩＮＧマップサービスは、画像を捉えたカメラの表示域からの斜め画像を表示する「鳥瞰図（Ｂｉｒｄ’ｓ  Ｅｙｅ  Ｖｉｅｗ）」と呼ばれる特徴を有する。このアプローチは利点を有するが、少なくとも２つの欠点がある。第１に、画像は一度に１つしか示され得ないため、複数の画像間のナビゲーションが困難である。複数の画像間でナビゲートするために、ＢＩＮＧマップサービスは、１つの画像をフェードアウトさせ、別の近くの画像がフェードインする。同様に、ＢＩＮＧマップサービスは、ユーザが２つ以上の画像によってカバーされる領域にズームアウトすることが可能ではない。第２に、道路などの地図データをオーバーレイすることが困難である。なぜなら、地図データは、各画像の座標空間に位置を決められなければならないからである。このことは、大量の追加の処理時間および記憶領域を必要とする。
【０００５】
オーバーレイされた地図データを有する斜め像をより良く表示するシステムおよび方法が必要とされる。
【発明の概要】
【課題を解決するための手段】
【０００６】
（発明の簡単な概要）
本発明の実施形態は、直下ビューに対して斜め像をオルソ補正することに関する。一実施形態において、方法は斜め写真像をオルソ補正する。一実施形態において、斜め写真画像が、地形の三次元モデルに投影される。点は、地形の三次元モデルと直下の眺望を有する表示域から伸びた平行光線との交点に投影された写真画像からサンプリングされる。サンプリングされる点は、オルソ補正された画像にアセンブリされる。最後に、オルソ補正された画像またはサンプリングされる点は、斜め写真画像を捉えたカメラと直下の眺望を有する表示域との間の傾斜角の差におよそ従って調整されて、短縮遠近法で描かれオルソ補正された画像を生成する。短縮遠近法で描かれオルソ補正された画像における各位置は、二次元地図における対応する位置に線形的に対応する。
【０００７】
第２の実施形態において、システムは、斜め写真像をオルソ補正する。システムは、地形の三次元モデルに斜め写真画像を投影するように構成されるプロジェクタモジュールを含む。サンプラモジュールは、投影された写真画像から点をサンプリングするように構成される。点は、地形の三次元モデルと直下の眺望を有する表示域から伸びた平行光線との交点に配置される。サンプラモジュールはまた、サンプリングされる点をオルソ補正された画像にアセンブルするように構成される。短縮遠近法モジュールは、斜め写真画像を捉えたカメラと直下の眺望を有する表示域との間の傾斜角の差におよそ従ってオルソ補正された画像またはサンプリングされる点を調整して、短縮遠近法で描かれオルソ補正された画像を生成するように構成される。短縮遠近法で描かれオルソ補正された画像における各位置は、二次元地図における対応する位置に線形的に対応する。
【０００８】
第３の実施形態において、方法は、斜め写真像をオルソ補正する。実施形態において、地形の三次元モデルの点は、直下表示域における各点に対して決定される。各点は、地形の三次元モデルと直下表示域から伸びた平行光線との交点にある。三次元モデルにおいて決定された各点は、斜め写真画像を撮って斜め写真画像の点をサンプリングしたカメラモデルの位置に投影される。サンプリングされる点は、オルソ補正された画像にアセンブルされる。斜め写真画像を捉えたカメラと直下の眺望を有する表示域との間の傾斜角の差におよそ従う、オルソ補正された画像またはサンプリングされる点は、短縮遠近法で描かれて、短縮遠近法で描かれオルソ補正された画像を生成する。短縮遠近法で描かれオルソ補正された画像における各位置は、二次元地図における対応する位置に線形的に対応する。
【０００９】
本発明のさらなる実施形態、特徴、および利点、ならびにさまざまな実施形態の構造および動作は、添付の図面を参照して下記に詳細に説明される。
【００１０】
本明細書に組み込まれ本明細書の一部を形成する添付の図面は、本発明を例示し、説明と共にさらに、本発明の原理を説明し、当業者が本発明を作りかつ用いることを可能にするように役立つ。
【図面の簡単な説明】
【００１１】
【図１Ａ】図１Ａは、斜め像を捉えるように配置されたカメラを例示するダイアグラムである。
【図１Ｂ】図１Ｂは、斜めビューを用いて斜め像をオルソ補正することを例示するダイアグラムである。
【図２】図２は、本発明の一実施形態に従って、直下ビューを用いて斜め像をオルソ補正することを例示するダイアグラムである。
【図３】図３は、一実施形態に従って像を短縮遠近法で描くことを例示するダイアグラムである。
【図４】図４は、一実施形態に従って地形を平滑化することを例示するダイアグラムである。
【図５Ａ】図５Ａは、図４に例示された平滑化のない、直下ビューに対してオルソ補正された急な地形の実施例の画像を例示するダイアグラムである。
【図５Ｂ】図５Ｂは、図４に例示された平滑化のある、直下ビューに対してオルソ補正された急な地形の実施例の画像を例示するダイアグラムである。
【図６】図６は、一実施形態に従って、オーバーレイされた地図データを有する斜め画像モザイクを例示するダイアグラムである。
【図７】図７は、一実施形態に従って、直下ビューに対してつぎ合わされた斜め像をオルソ補正するシステムを例示するアーキテクチャダイアグラムである。
【図８】図８は、一実施形態に従って、直下ビューに対してつぎ合わされた斜め像をオルソ補正する方法を例示するフローチャートである。
【００１２】
ある要素が最初に現れた図面は、典型的には、対応する参照番号における最左側の数字（単数または複数）によって示される。図面において、類似の参照番号は、同一であるかまたは機能的に類似する要素を示し得る。
【発明を実施するための形態】
【００１３】
（実施形態の詳細な説明）
概して、本発明の実施形態は、地図データを用いて表示する斜め像を処理することに関する。この詳細な説明は、複数のセクションに分割される。第１のセクションは、一実施形態に従って斜め画像をオルソ補正することを説明する。第２のセクションは、オルソ補正によって引き起こされる歪を補正する短縮遠近法および平滑化を説明する。第３のセクションは、補正されオルソ補正された画像をモザイクにアセンブルし、地図データをオーバーレイすることを説明する。第４のセクションは、一実施形態に従って、直下ビューに対してつぎ合わされた斜め像をオルソ補正するシステムを説明する。最後に、第５のセクションは、一実施形態に従って、直下ビューに対してつぎ合わされた斜め像をオルソ補正する方法を説明する。
（オルソ補正）
図１Ａは、地形１０４の斜め写真を捉えるように配置されたカメラ１０２および１１０を例示するダイアグラム１００である。斜め写真は、水平方向と垂直方向との間で傾斜させられたカメラによって撮られた写真である。一実施形態において、斜め写真は、垂直軸から３０〜６０度の傾きを有し得る。さらなる実施形態において、斜め写真は、垂直軸からおよそ４５度の意図された傾きを有し得るが、例えば、飛行機の動きの変動、カメラを向けるときの不正確さなどにより４５度から変動し得る。
【００１４】
実施形態において、斜め写真は、可視スペクトル（ｖｉｓｕａｌ  ｓｐｅｃｔｒｕｍ）に限定されない場合がある。一例において、写真は、赤外線センサによって生成される画像などのマルチスペクトル画像であり得る。別の実施例において、写真は、レーザレンジファインダーを用いて生成される画像であり得る。
【００１５】
一実施例において、各々の斜め写真は、いくつかの都市ブロックをカバーし得る。都市全体をカバーするために、多数の斜め写真がとられ得る。しかしながら、各々の写真は、異なる眺望から撮られ得る。例えば、カメラ１０２および１１０は両方とも、地形１０４の点１０８を捉える。しかしながら、光線１１２および１０６が異なる角度であるという事実によって示されるように、カメラ１０２および１１０は、異なる眺望から点１０８を捉える。
【００１６】
カメラ１１０および１０２から撮られた写真を地図に一緒に表示するために、写真は一致した眺望を有するように調整される必要がある。この調整は、オルソ補正と呼ばれる。図１Ｂは、斜め表示域１５２を用いて斜め像をオルソ補正することを例示するダイアグラム１５０である。実際、写真は、計算デバイスによって地形１０４の三次元モデル上に投影される。計算デバイスは、斜めビューを有する仮想表示域から投影された画像の点をサンプリングする。サンプリングされる各点は、斜め表示域からの平行光線と地形１０４の三次元モデルとの交点に配置される。このように、斜め写真は、一致した眺望を有するように調整される。
【００１７】
斜め画像を斜めビューにオルソ補正することは、結果として、ほとんど歪みをもたらさないかまたは全く歪みをもたらさなくなる。しかし、オルソ補正された斜め画像に地図データをオーバーレイすることは困難である。地図データは、地図上の位置にジオコード化されたデータである。複数の実施例において、地図データは、道路と、都市と、地名と、興味ある点と、境界と、パノラマのストリートビュー画像と、例えばＫｅｙｈｏｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅによるユーザ生成コンテンツとを含み得る。地図データは、しばしば、緯度および経度などの二次元座標を用いてジオコード化される。しかし、オルソ補正された斜め画像上の位置を決定するために、三次元空間における地図データの位置が決定されなければならない。
【００１８】
ダイアグラム１５０は、一実施例を例示する。実施例において、地図データの要素（道路など）は、点１５６に対応する緯度−経度座標においてジオコード化される。オルソ補正された斜め画像上に道路の位置を決めるために、計算デバイスは、地形１０４の三次元モデルを用いて道路の高度を決定しなければならない。結果として生じる三次元座標（緯度、経度および高度）は、点１５８によって例示される。最後に、計算デバイスは、点１６０によって例示されるように、オルソ補正された斜め画像に道路の位置を決定するために、斜め表示域１５２上に点１５８を投影しなければならない。この計算は、処理能力およびメモリなど計算資源に対する負担となり得る。
【００１９】
この負担となる計算を避けるために、本発明の実施形態は、図２に例示されるように斜め像を直下ビューにオルソ補正する。図２は、カメラ１０２から撮られた斜め像を直下ビュー２０２にオルソ補正することを例示するダイアグラム２００を示す。図１Ｂと同様に、斜め写真は、計算デバイスによって地形１０４の三次元モデルに投影される。しかしながら、斜めビューからのサンプリングの代わりに、投影された画像は、直下ビュー２０２からサンプリングされる。各サンプリングされる点は、直下ビュー２０２から延びる平行光線（光線２０８など）から延びる。例えば、投影される画像上の点１０８は、オルソ補正された画像上の点２０４に現われる。
【００２０】
明快さのために、実施形態は、最初に三次元の地形に斜め画像を投影して、点１０８などの一組の点を決定すること、および次いでそれらの点を直下ビューにサンプリングすることに関して説明される。しかし当業者は、同じ結果または類似した結果に対してそれらのステップの順序が逆にされ得ることを認識する。例えば、表示域２０２における点２０４に画素を決定するために、光線２０８が延ばされて、地形１０４における交点１０８を決定する。交点１０８は、光線１０６に沿ってカメラ１０２の位置に戻るように投影されて、斜めオルソグラフィック画像から対応する点をサンプリングする。
【００２１】
斜め像を直下ビューに投影することは、いくらかの歪をもたらし得るが、地図データをオーバーレイすることもまたより容易にする。直下ビューは地球の方にまっすぐ下に向けられているので、地図データの高度はオルソ補正画像に対して地図データの位置を決定することと無関係である。実際、二次元の地図における各位置は、オルソ補正画像における対応する位置に線形的に対応する。
【００２２】
ダイアグラム２００は、一実施例を例示する。図１Ｂの場合のように、点１５６は、緯度−経度座標においてジオコード化される地図データの要素（道路など）に対応する。オルソ補正された画像上のどこに点１５６を配置するかを決定するために、計算デバイスは、直下ビュー２０２に点１５６を投影して、点２０６を決定し得る。高度は無関係なので、点１５８を決定するために地形１０４を用いる必要がない場合がある。実際、点２０６の緯度−経度座標は、オルソ補正画像における点２０６の位置に線形的に対応し得る。この線形計算は、処理能力およびメモリなど計算資源に対する負担が少なくなり得る。
【００２３】
地形１０４の三次元モデルは、地球の三次元モデルであり得る。三次元モデルは、丘および山などの地理的構成物を含み得る。モデルは、他の自然の地勢および建物などの人工的地勢をさらに含み得る。モデルは、他の自然の地勢および建物などの人工的地勢をさらに含み得る。他の実施形態において、地形は、家具および店陳列棚などのより小さい規模の物体を含む。実施例において、地形１０４は、当業者に公知であるような様々な方法で表され得る。第１の実施例において、地形１０４は、三次元の点の三角形のメッシュとしてモデル化され得る。第２の実施例において、地形１０４は、各アレイ要素が標高値を有する二次元のアレイとしてモデル化され得る。図２は、特に地形１０４における丘２１４に関して下記にさらに説明される。
【００２４】
（短縮遠近法および平滑化）
斜めビューに直下像をオルソ補正することは、地図データをオーバーラップさせるための計算をより容易にし得るが、結果として生じる像は歪まされ得る。一実施例において、オルソ補正された画像は、斜め像と直下ビューとの間における傾斜の差により仮想方向に引き伸ばされ得る。引き伸ばしを補正するために、像は短縮遠近法で描かれ得る。
【００２５】
図３は、一実施形態に従って短縮遠近法で像を描くことを例示するダイアグラム３００である。ダイアグラム３００は、引き伸ばされた画像３０２を示す。引き伸ばされた画像３０２が垂直方向に縮小されると、その画像は短縮遠近法で描かれた画像３０４として現れ得る。斜め像がより浅い角度で撮られると（カメラは地上と平行に近づく）、結果としてオルド補正された画像は、より引き伸ばされ得る。その結果、より多く短縮遠近法で描かれることが必要となり得る。反対に、斜め像がより急な角度で撮られると（カメラは地上へのまっすぐな配向に近づく）、結果として生じるオルソ補正された画像は、より少なく引き伸ばされ、短縮遠近法で描かれる必要がより少なくなり得る。
【００２６】
当業者は、多くの実施形態において、一組の斜め画像における異なる斜め画像間のカメラの視角にほとんど変化がないかまたは全く変化がない場合があることを認識する。それらの実施形態において、画像が短縮遠近法で描かれ得る程度は、固定値に設定され得る。しかし固定値は、なおもカメラのおよその視角または意図された視角に対応し得る。オルソグラフィック表示面（図１Ｂにおける表示域１５２など）の角度がカメラの意図された視角と異なる場合、オルソグラフィック表示面の角度は、短縮遠近法のファクターを決定するために用いられ得る。
【００２７】
一実施形態において、画像は、１／ｓｉｎ（θ）のファクター（すなわち、ｓｅｃ（θ））で垂直方向に縮小され得、ここで、θは、カメラの方向と地球の表面の方向との間の角度である。この実施例において、カメラがまっすぐ下に向いている場合、θは９０度であり、カメラが地上に平行である場合、θは０度である。斜め像は、しばしばおよそ４５度で撮られる。従って、画像は、垂直方向に１／ｓｉｎ（４５°）、または
【００２８】
【数１】
2013510326.tif 000003
−約１．４１４のファクターで垂直方向に縮小され得る。別の表現をすると、引き伸ばされた画像３０２は、垂直方向において短縮遠近法で描かれた画像３０４の画素よりおよそ１．４１４倍の画素を有する。一実施例において、斜め像は、カメラの方向と地球の表面の方向との間で３０度から６０度の範囲など、異なる眺望の範囲から撮られ得る。カメラが６０度である場合（カメラが地球に向って真直ぐ下の方向により近づいて向いている）、短縮遠近法ファクターは、１／ｓｉｎ（６０°）または約１．１５４であり得る。カメラが３０度である場合（カメラがより地平線の方に向いている）、短縮遠近法ファクターは、１／ｓｉｎ（３０°）または２であり得る。
【００２９】
当業者によって認識されるように、短縮遠近法で描かれた画像３０４を生成するいくつかの異なる方法がある。一実施形態において、計算デバイスは、オルソ補正された画像を上記に考察されたファクターで垂直方向に縮小させ得る。別の実施形態において、オルソ補正処理中にサンプリングを行う場合（図２に関して上記に考察されたように）、計算デバイスは、垂直方向よりも水平方向に頻繁にサンプリングし得る。例えば、計算デバイスは、垂直方向よりも水平方向におよそ１．４１４倍頻繁にサンプリングし得る。
【００３０】
さらなる実施形態において、画像は、およそ傾きの差に従って短縮遠近法で描かれ得る。この実施形態において、傾きの差は、例えば、直下ビューとカメラの意図された傾きとの間の差であり得る。例えば、カメラの意図された傾きは、およそ４５度であり得るが、例えば、飛行機の動きの変化、カメラの方向付けの不正確などによって変化し得る。一実施例においてカメラの傾きは、最大１０〜１５度変化し得る。
【００３１】
このように画像を短縮遠近法で描くことによって、斜め画像と直下ビューとの間の傾きの差によって引き起こされる引き伸ばしが補正され得る。
【００３２】
傾きの差によって引き起こされる引き伸ばしの他に、地形モデルにおける変化が、オルソ補正画像において歪み効果を引き起こし得る。図２に戻り参照すると、ダイアグラム２００は、丘２１４を有する地形１０４を例示する。カメラ１０２の角度により、丘２１４の遠い側２１０は、カメラ１０２の視野の小さい部分を占めるのみである。しかしながら、一旦オルソ補正されると、丘２１４の遠い側２１０は、直下ビュー２０２のはるかにより大きい部分を占める。同様に、丘２１４の近い側２１２は、カメラ１０２の視野の大きい部分を占める。しかしながら、一旦オルソ補正されると、丘２１４の近い側２１２は、直下ビュー２０２のはるかにより小さい部分を占める。このように、地形における変化は、オルソ補正画像において歪み効果を引き起こす。
【００３３】
上記で言及されたように、斜め画像は、都市などたくさんの建物がある地域において特に有用である。都市は、概して比較的平坦な地域に建設されている。これらの地域において、地形の変化によって引き起こされる歪みの量は、許容可能であり得るかまたは気づき難くあり得る。しかしながら、歪みを補正する１つの方法は、オルソ補正の前に地形を平滑にすることである。
【００３４】
図４は、一実施形態に従って地形モデルを平滑にすることを例示するダイアグラム４００である。ダイアグラム４００は、地形４０２を示す。一旦地形４０２が平滑にされると、地形４０２は、平滑にされた地形４０４として現れる。平滑化は、当業者に公知の様々な方法によって達成され得る。例えば、平滑にされた地形４０４は、ガウスフィルタを用いて地形４０２を畳み込むことによって決定され得る。第２の実施形態において、メッシュドメイン平滑化が地形４０２に適用され得る。別の実施例において、１００メートルまたは２００メートルのボックスフィルタなどのボックスフィルタアルゴリズムが、平滑化される地形４０４を決定するために地形４０２に適用され得る。実施形態において、地形４０２は、どの傾斜も２０度より急ではないように平滑化され得る。一旦決定されると、平滑化された地形４０４は、図２に関して上記に説明されたオルソ補正処理において用いられる。地形モデルを平滑化することは、モデルが現実のモデルとの近似性がより少ないことがあるということにおいてモデルの正確さをより減少させ得る。しかしながら、正確さがより少ないにも関わらず、結果として生じる画像は視覚的にはより魅力的であり得る。
【００３５】
図５Ａ〜図５Ｂは、地形における変化による歪み効果を平滑化がいかに減少させ得るかについての一実施例を示す。図５Ａは、カリフォルニア州サンフランシスコの急な丘であるＴｅｌｅｇｒａｐｈ  Ｈｉｌｌのオルソ補正された写真を例示するダイアグラム５００である。斜め写真は、図２に関して説明された処理に従って直下ビューにオルソ補正された。地形の変化により、Ｔｅｌｅｇｒａｐｈ  Ｈｉｌｌの遠い側は伸ばされている。
【００３６】
図５Ｂは、図４に関して上記に説明されたように平滑化された地形と共に生成されたＴｅｌｅｇｒａｐｈ  Ｈｉｌｌのオルソ補正された写真を例示するダイアグラム５５０である。結果として生じる画像は、図５Ａにおける画像より歪みが少なく、視覚的に魅力的であり得る。
【００３７】
像を短縮遠近法で描き、地形モデルを平滑化することによって、実施形態は、直下ビューに対して斜め像をオルソ補正することによって引き起こされる歪みのいくつかを補正し得る。
【００３８】
（モザイク手法およびオーバーレイング）
一旦、斜め像が直下ビューに対してオルソ補正され、いずれの歪みも補正されると、画像モザイクが生成され得る。代替の実施形態において、画像モザイクは、短縮遠近法を行う前に生成され得る。その実施形態において、短縮遠近法は、モザイク化画像に適用され得る。画像モザイクは、より大きい画像を生成するために一緒につぎ合わされ（ｓｔｉｔｃｈｅｄ）得る複数の画像タイルを含む。画像モザイクは、例えばグラフカットアルゴリズムまたは当業者に公知の他のアルゴリズムを用いて、補正されオルソ補正された画像に基づいて、生成され得る。地図データは、図６に例示されるように画像モザイクにオーバーレイされ得る。
【００３９】
図６は、一実施形態に従ってオーバーレイされた地図データを有する斜め画像モザイクを例示するダイアグラム６００である。ダイアグラム６００は、画像タイル６０２および６０４を含む複数の画像タイルを有する画像モザイクを示す。地図データは、画像モザイクの複数の部分にオーバーレイされる。地図データは、様々な要素を含む。各要素は、緯度および経度などの座標を用いてジオコード化される。ダイアグラム６００に示される要素は、道路６０６と関心の点６０８とを含む。
【００４０】
道路６０６および関心の点６０８がどのように配置されるかは、どの地図投影が用いられるかにより得る。例えば、Ｇｏｏｇｌｅ  Ｍａｐｓサービスは、メルカトール投影を用いる。緯度および経度に基づいてメルカトール投影において地図データをどこに配置されるかを決定するために、周知の機能が適用され得る。画像モザイク上の道路６０６および関心の点６０８をどこに置くかを決定するために、計算デバイスは、道路６０６および関心の点６０８に関連付けられる地図位置に対して単純な一次関数を実行する必要があるのみであり得る。例えば、像がおよそ４５度で捉えられ、４５度の角度から見ることが意図される場合、像上の関心の点の垂直位置は、およそ１．４１４で除した通常のメルカトール投影地図上の像の垂直位置に対応する。この線形的な対応は、オーバーレイされた地図地勢の位置を決定する場合、地形の高さを考慮に入れることを不要にする。このように、地図データは、オルソ補正された画像上により容易にオーバーレイされ得る。
【００４１】
モザイク手法およびオーバーレイングについてのさらなる詳細は、図７〜図８に関して下記に提供される。
【００４２】
（システム）
図７は、一実施形態に従って直下ビューに対してステッチ斜め像をオルソ補正するシステム７００を例示するダイアグラムである。システム７００は、画像処理パイプラインサーバ７１０を含み、画像処理パイプラインサーバ７１０は、斜め画像データベース７０２と、地形データベース７０４と、オルソ補正画像データベース７０６とに連結される。画像処理サーバ７１０は、平滑化モジュール７１６と、オルソ補正モジュール７２０と、モザイクモジュール７４０とを含む。オルソ補正画像データベース７０６はまた、地図ウェブサーバ７５０に連結され、地図ウェブサーバ７５０は、地図データベース７０８に連結される。地図ウェブサーバ７５０は、インターネットなどの１つ以上のネットワーク７７０を介してクライアント７６０に連結される。
【００４３】
概して、システム７００は、次のとおり動作し得る。平滑化モジュール７１６は、地形データベース７０４から地形の三次元モデルを検索する。平滑化モジュール７１６は、地形を平滑にし、平滑化された地形をオルソ補正モジュール７２０に送る。オルソ補正モジュール７２０は、斜め画像データベース７０２から複数の画像を検索する。オルソ補正モジュール７２０は、直下ビューに対して斜め画像をオルソ補正し、像を短縮遠近法で描く。モザイクモジュール７４０は、オルソ補正され短縮遠近法で描かれた画像を受信し、画像モザイクを構成する。画像モザイクは、オルソ補正された画像データベース７０６に格納される。リクエストに応答して、地図ウェブサーバ７５０は、オルソ補正された画像データベース７０６から地図タイルを検索し、地図データベース７０８から地図データを検索する。地図ウェブサーバ７５０は、地図データを地図タイルにオーバーレイし得る。あるいは、地図ウェブサーバ７５０は、地図データおよび地図タイルをクライアント７６０に送り得、クランアント７６０は、オーバーレイを行い得る。最後に、クランアント７６０は、地図タイルおよびオーバーレイされた地図データをユーザに表示する。構成要素の各々およびそれらの動作は、より詳細に下記に説明される。
【００４４】
上記に言及されたように、平滑化モジュール７１６は、地形データベース７０４に格納された地形の三次元モデルを検索するように構成される。例えば三次元モデルは、地球の三次元モデルであり得る。三次元モデルは、丘および山などの地理的構成物を含み得る。モデルは、他の自然の地勢および建物などの人工的地勢をさらに含み得る。モデルは、他の自然の地勢および建物などの人工的地勢をさらに含み得る。他の実施形態において、地形は、家具および店陳列棚などのより小さい規模の物体を含む。
【００４５】
一旦三次元地形が検索されると、平滑化モジュール７１６は、地形の三次元モデルを平滑化するように構成される。平滑化モジュール７１６は、図４および図５Ａ〜図５Ｂに関して上記に説明されたように地形モデルを平滑化し得る。実施形態において、平滑化モジュール７１６は、移動平均またはボックスフィルタアルゴリズムを用いて地形を平滑にし得る。上記に言及されたように、このように地形モデルを平滑化することは、結果として生じるオルソ補正された画像において地形の変化によって引き起こされるいくらかの歪みを避けることを助け得る。
【００４６】
オルソ補正モジュール７２０は、斜め画像データベース７０２から複数の斜め画像を検索し得、オルソ補正モジュールのサブモジュールに斜め画像の各々を処理して、複数のオルソ補正され短縮遠近法で描かれた画像を生成するように命令し得る。オルソ補正モジュール７２０は、プロジェクタモジュール７２４と、サンプルモジュール７２２と、短縮遠近法モジュール７３０とを含む。
【００４７】
プロジェクタモジュール７２４は、地形の平滑化された三次元モデルなど、地形の三次元モデル上に斜め写真画像を投影するように構成される。サンプラモジュール７２２は、直下の眺望を有する仮想表示域からの投影された写真画像から点をサンプリングするように構成される。点は、地形の三次元モデルと表示域から伸びた平行光線との交点に配置される。サンプラモジュール７２２はまた、サンプリングされる点をオルソ補正された画像にアセンブリするように構成される。プロジェクタモジュール７２４およびサンプラモジュール７２２は、図２に関して上記に説明されたように動作して、直下ビューに斜め像をオルソ補正し得る。
【００４８】
上記に説明されたように、斜め像と直下ビューとの間の傾きの差は、引き伸ばしを引き起こし得る。短縮遠近法モジュール７３０は、像を短縮遠近法で描いて、この引き伸ばしを補正するように構成される。短縮遠近法モジュール７３０は、図３に関して説明されたように動作し得る。一実施形態において、短縮遠近法モジュール７３０は、オルソ補正された画像を垂直方向に縮ませ得る。短縮遠近法モジュール７３０は、オルソ補正において用いられる斜め写真画像と直下表示域との間の傾斜角の差に対応するファクターでオルソ補正された画像を縮ませ得る。一実施例において、オルソ補正された画像は、およそ
【００４９】
【数２】
2013510326.tif 000004
のファクターで垂直方向に縮小され得る。
【００５０】
別の実施形態において、短縮遠近法モジュール７３０は、オルソ補正中にサンプルモジュール７２２によってサンプリングされる点を調整し得る。短縮遠近法モジュール７３０は、サンプルモジュール７２２が垂直方向よりも水平方向に頻繁に点をサンプリングするようにサンプリングされる点を調整し得る。一実施例において、水平方向にサンプリングされる点の数は、垂直方向にサンプリングされる点の数のおよそ
【００５１】
【数３】
2013510326.tif 000005
倍である。このように短縮遠近法モジュール７３０は、斜め画像と直下ビューとの間の傾きの差によって引き起こされる引き伸ばし効果を補正する。
【００５２】
モザイクモジュール７４０は、オルソ補正モジュール７２０からオルソ補正され短縮遠近法で描かれた画像を受信する。モザイクモジュール７４０は、短縮遠近法で描かれオルソ補正された画像に基づいてオルソ補正された画像のモザイクを決定するように構成される。一実施形態において、モザイクモジュール７４０は、グラフカットアルゴリズムを用いてモザイクを決定し得る。オルソ補正された画像のモザイクは、一緒にステッチされてより大きい画像を形成し得る複数の画像タイルを含む。モザイクモジュール７４０は、オルソ補正された画像データベース７０６にモザイクを格納する。
【００５３】
地図ウェブサーバ７５０は、例えばＨＴＴＰ応答によってＨＴＴＰリクエストに応答するＨＴＴＰサーバであり得る。地図ウェブサーバ７５０は、タイルロケータモジュール７５２と地図データロケータモジュール７５４とを含む。タイルロケータモジュール７５２は、リクエストに応答してオルソ補正された画像のモザイクからオルソ補正された画像タイルを識別するように構成される。一実施例において、リクエストは、位置値を含み得、タイルロケータモジュール７５２は、その位置値に線形的に対応するオルソ補正された画像データベース７０６においてオルソ補正された画像タイルを識別し得る。
【００５４】
地図データロケータモジュール７５４は、リクエストに応答して地図データを識別するように構成される。一実施例において、リクエストは、位置値を含み得、地図データロケータモジュール７５４は、その位置においてジオコード化された地図データベース７０８において地図データを識別し得る。図示されていない実施例において、地図ウェブサーバ７５０は、画像タイルに地図データをオーバーラップし得る。あるいは、タイルロケータモジュール７５２および地図データロケータモジュール７５４は、１つ以上のネットワーク（単数または複数）７７０を介して識別された画像タイルおよび地図データをクライアント７６０に送り、地図データをオーバーレイする。
【００５５】
一実施形態において、クライアント７６０は、地図ウェブサーバ７５０からオルソ補正された画像タイルおよび地図データを受信するように構成される。クライアント７６０は、オルソ補正された画像タイル上に地図データをオーバーレイするように構成されるオーバーレイモジュール７６２を含む。オーバーレイモジュール７６２は、要素の対応する座標に一次関数を適用することによって地図データの各要素に対して、オルソ補正された画像タイルにおける位置を決定する。最後に、クライアント７６０は、図６に例示されるように、オルソ補正された画像タイル上にオーバーレイされた地図データをユーザに表示し得る。このように地図データは、単純な一次関数を用いて斜め画像上にオーバーレイされ得る。
【００５６】
平滑化モジュール７１６、サンプルモジュール７２２、プロジェクタモジュール７２４、短縮遠近法モジュール７３０、オルソ補正モジュール７２０、モザイクモジュール７４０、タイルロケータモジュール７５２、地図データロケータモジュール７５４、およびオーバーレイモジュール７６２の各々は、ハードウェア、ソフトウェア、ファームウェアまたはそれらの任意の組み合わせにおいて実装され得る。
【００５７】
斜め画像データベース７０２、地形データベース７０４、オルソ補正された画像データベース７０６、および地図データベース７０８の各々は、永続性メモリを含む任意のタイプの構造メモリであり得る。実施例において、各データベースは、リレーショナルデータベースとして実装され得る。
【００５８】
画像処理パイプラインサーバ７１０、地図ウェブサーバ７５０、およびクライアント７６０の各々は、任意のタイプの計算デバイスにおいて実装され得る。そのような計算デバイスは、パーソナルコンピュータ、携帯電話などのモバイルデバイス、ワークステーション、埋込みシステム、ゲームコンソール、テレビジョン、セットトップボックス、または任意の他の計算デバイスを含み得るが、これらに限定されない。さらに、計算デバイスは、命令を実行し格納するプロセッサおよびメモリを有するデバイスを含み得るが、それに限定されない。ソフトウェアは、１つ以上のアプリケーションとオペレーティングシステムとを含み得る。ハードウェアは、プロセッサと、メモリと、グラフィカルユーザインターフェイスディスプレイとを含み得るが、これらに限定されない。計算デバイスはまた、複数のプロセッサと、複数の共有メモリ構成要素または別個のメモリ構成要素とを有し得る。例えば、計算デバイスは、クラスタ計算環境またはサーバファームであり得る。
【００５９】
（方法）
図８は、一実施形態に従って直下ビューに対してステッチ斜め像をオルソ補正する方法８００を例示するフローチャートである。一実施例において、方法８００は、図７におけるシステム７００の動作において用いられ得る。
【００６０】
方法は、ステップ８０２において地形データを平滑にすることによって始まる。平滑化は、図４および図５Ａ〜図５Ｂに関して上記に説明されたように動作し得る。一実施例において、平滑化は、ボックスフィルタアルゴリズムを地形モデルに適用することを含み得る。
【００６１】
ステップ８０４および８０６は、オルソ補正を行う。ステップ８０４において、斜め写真画像は、ステップ８０２からの平滑にされたモデルなどの地形モデルに投影される。ステップ８０６において、投影された写真画像の点が、直下の眺望を有する仮想表示域からサンプリングされる。点は、地形モデルと表示域から伸びた平行光線との交点からサンプリングされる。最後に、点は、オルソ補正画像にアセンブルされ得る。ステップ８０４および８０６は、図２に関して上記に説明されたように動作し得る。このように斜め画像は、直下ビューに対してオルソ補正される。
【００６２】
ステップ８０８において、像は、斜め画像と直下ビューとの間における傾斜の差による引き伸ばしに対して調整するために短縮遠近法で描かれる。短縮遠近法は、図３に関して上記に説明されたように動作し得る。一実施形態において、オルソ補正された画像は、垂直方向に縮小され得る。オルソ補正された画像は、斜め像と直下表示域との間の傾斜角の差に対応するファクターで垂直方向に縮小されて、短縮遠近法で描かれたオルソ補正された画像を生成し得る。一実施例において、オルソ補正された画像は、およそ２の平方根の率で垂直方向に縮小され得る。
【００６３】
別の実施形態において、像は、オルソ補正において用いられるサンプリング点を調整することによって短縮遠近法で描かれ得る。ステップ８０６におけるサンプリングは、点が垂直方向よりも水平方向に頻繁にサンプリングされるように行われ得る。一実施例において、垂直方向にサンプリングされる点の数の２の平方根倍が、水平方向にサンプリングされる点の数におよそ等しい。
【００６４】
最後にステップ８１０において、オルソ補正され短縮遠近法で描かれた画像は、オルソ補正された画像のモザイクを決定するために用いられる。一実施例において、モザイクは、グラフカットアルゴリズムを用いて決定され得る。
【００６５】
このように、二次元の地図に線形的に対応する斜め画像のモザイクが作られる。
【００６６】
（結論）
概要および要約のセクションは、発明者（単数または複数）によって企図されるように、本発明の１つ以上であるが必ずしもすべてではない例示的実施形態を述べ得、従って、本発明および添付の特許請求の範囲をいかなる方法においても限定することは意図されない。
【００６７】
本発明の実施形態は、機能的建物ブロックの助けをもって上記に説明され、特定の機能よびそれらの関係の実装を例示する。これらの機能的建物ブロックの境界は、説明の便宜上本明細書において任意に規定された。特定の機能およびそれらの関係が適切に行われる限り、代替の境界が規定され得る。
【００６８】
特定の実施形態の前述の説明は、本発明の全般的性質を十分に明らかにするので、当業者内の知識を適用することによって、他の人が、不適当な実験をすることなく、本発明の全般的概念から逸脱することなく、様々な用途のためにそのような特定の実施形態を容易に修正しかつ／または改変する。従って、そのような改変および修正は、本明細書において提示された教示および指導に基づいて、開示された実施形態の均等物の意味および範囲内であることが意図される。本明細書における語法または術語が説明の目的のためであり限定するものではなく、その結果、本明細書の術語または語法が教示および指導を考慮して当業者によって解釈されるべきであることは理解されるべきである。
【００６９】
本発明の広さおよび範囲は、上記に説明されたいかなる例証的実施形態によっても限定されるべきではなく、次の特許請求の範囲およびその均等物に従ってのみ規定されるべきである。
【図１Ａ】
2013510326.tif 000006
【図１Ｂ】
2013510326.tif 000007
【図２】
2013510326.tif 000008
【図３】
2013510326.tif 000009
【図４】
2013510326.tif 000010
【図５Ａ】
2013510326.tif 000011
【図５Ｂ】
2013510326.tif 000012
【図６】
2013510326.tif 000013
【図７】
2013510326.tif 000014
【図８】
2013510326.tif 000015
【手続補正書】
【提出日】平成24年6月22日(2012.6.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
斜め写真像をオルソ補正する方法であって、
（ａ）地形の三次元モデルに斜め写真画像を投影することと、
（ｂ）直下の眺望を有する表示域から該投影された写真画像の点をサンプリングすることであって、該点は、該地形の三次元モデルと該表示域から伸びる平行光線との交点にある、ことと、
（ｃ）該サンプリングされる点をオルソ補正された画像にアセンブルすることと、
（ｄ）該斜め写真画像を捉えたカメラと該直下の眺望を有する該表示域との間の傾斜角の差におよそ従って該オルソ補正された画像または該サンプリングされる点を調整して、短縮遠近法で描かれオルソ補正された画像を生成することと
を包含し、該短縮遠近法で描かれオルソ補正された画像における各位置は、二次元地図における対応する位置に線形的に対応する、方法。
【請求項２】
前記調整すること（ｄ）は、前記オルソ補正された画像を垂直方向に縮小することを包含する、請求項１に記載の方法。
【請求項３】
前記縮小することは、前記オルソ補正された画像を１．１５４〜２．０（１．１５４および２．０を含む）のファクターで前記垂直方向に縮小することを包含する、請求項２に記載の方法。
【請求項４】
前記調整すること（ｄ）は、点が前記垂直方向よりも水平方向に頻繁にサンプリングされるようにサンプリング点を調整することを包含する、請求項１に記載の方法。
【請求項５】
ファクターの前記水平方向にサンプリングされる点間の距離倍は、前記垂直方向にサンプリングされる点間の距離におよそ等しく、該ファクターは、１．１５４〜２．０（１．１５４および２．０を含む）である、請求項４に記載の方法。
【請求項６】
（ｅ）前記投影すること（ａ）の前に、前記地形の三次元モデルを平滑化することであって、該投影すること（ａ）は、該地形の平滑化された三次元モデル上に前記斜め写真画像を投影することを包含する、ことをさらに包含する、請求項１に記載の方法。
【請求項７】
前記平滑化すること（ｅ）は、前記地形の三次元モデルにボックスフィルタアルゴリズムを適用することを包含する、請求項６に記載の方法。
【請求項８】
前記斜め写真画像は、地球の航空画像であり、前記地形の三次元モデルは、地球の三次元モデルである、請求項１に記載の方法。
【請求項９】
（ｅ）複数の斜め写真画像の各々に対して（ａ）〜（ｃ）を繰り返して、複数のオルソ補正された画像を決定することと、
（ｆ）グラフカットアルゴリズムを用いて、該複数のオルソ補正された画像に基づいて、オルソ補正された画像のモザイクを決定することと
をさらに包含する、請求項１に記載の方法。
【請求項１０】
（ｅ）前記短縮遠近法で描かれオルソ補正された画像の少なくとも一部分に地図データをオーバーレイすることであって、該地図データの各要素は、該地図データの該要素の対応する位置に線形的に対応する、該短縮遠近法で描かれオルソ補正された画像上の位置に配置される、ことをさらに包含する、請求項１に記載の方法。
【請求項１１】
前記地図データは、道路データを含む、請求項１０に記載の方法。
【請求項１２】
斜め写真像をオルソ補正するシステムであって、
（ａ）地形の三次元モデルに斜め写真画像を投影するように構成されるプロジェクタモジュールと、
（ｂ）サンプラモジュールであって、
（ｉ）直下の眺望を有する表示域からの該投影された写真画像から点をサンプリングすることであって、該点は、該地形の三次元モデルと該表示域から伸びた平行光線との交点に位置している、ことと、
（ｉｉ）該サンプリングされる点をオルソ補正された画像にアセンブルすることと
を行うように構成される、サンプラモジュールと、
（ｃ）短縮遠近法モジュールであって、該斜め写真画像を捉えたカメラと該直下の眺望を有する該表示域との間の傾斜角の差におよそ従って該オルソ補正された画像または該サンプリングされる点を調整して、短縮遠近法で描かれオルソ補正された画像を生成するように構成される、短縮遠近法モジュールと
を備え、
該短縮遠近法で描かれオルソ補正された画像における各位置は、二次元地図における対応する位置に線形的に対応する、システム。
【請求項１３】
前記短縮遠近法モジュールは、前記オルソ補正された画像を垂直方向に縮小するように構成される、請求項１２に記載のシステム。
【請求項１４】
前記短縮遠近法モジュールは、前記オルソ補正された画像を１．１５４〜２．０（１．１５４および２．０を含む）のファクターで垂直方向に縮小するように構成される、請求項１３に記載のシステム。
【請求項１５】
前記短縮遠近法モジュールは、点が前記垂直方向よりも水平方向に頻繁にサンプリングされるように前記サンプリング点を調整するように構成される、請求項１２に記載のシステム。
【請求項１６】
ファクターの前記垂直方向における点の数倍は、前記水平方向にサンプリングされる点間の数におよそ等しく、該ファクターは、１．１５４〜２．０（１．１５４および２．０を含む）である、請求項１５に記載のシステム。
【請求項１７】
（ａ）前記地形の三次元モデルを平滑化するように構成される平滑化モジュールをさらに備え、
前記プロジェクタモジュールは、該地形の平滑化された三次元モデルに斜め写真画像を投影するように構成される、請求項１２に記載のシステム。
【請求項１８】
前記平滑化モジュールは、前記地形の三次元モデルにボックスフィルタアルゴリズムを適用するように構成される、請求項１７に記載のシステム。
【請求項１９】
前記斜め写真画像は、地球の航空画像である、請求項１２に記載のシステム。
【請求項２０】
（ａ）オルソ補正モジュールであって、複数の斜め写真画像に対して繰返し投影およびサンプリングして、複数の短縮遠近法で描かれオルソ補正された画像を決定することを前記プロジェクタモジュールおよびサンプラモジュールに命令するように構成される、オルソ補正モジュールと、
（ｂ）モザイクモジュールであって、グラフカットアルゴリズムを用いて、該複数の短縮遠近法で描かれオルソ補正された画像に基づいて、オルソ補正された画像のモザイクを決定するように構成される、モザイクモジュールと
をさらに備える、請求項１２に記載のシステム。
【請求項２１】
（ａ）タイルロケータモジュールであって、位置に対応する前記オルソ補正された画像のモザイクからオルソ補正された画像タイルを識別する、タイルロケータモジュールと、
（ｂ）地図データロケータモジュールであって、該位置に線形的に対応する地図データを識別する、地図データロケータモジュールと
をさらに備える、請求項２０に記載のシステム。
【請求項２２】
前記地図データは、道路データを含む、請求項２１に記載のシステム。
【請求項２３】
斜め写真像をオルソ補正する方法であって、
（ａ）直下表示域における各点に対して地形の三次元モデル上に点を決定することとであって、各点は、該地形の三次元モデルと該直下表示域から伸びた平行光線との交点にある、ことと、
（ｂ）斜め写真画像を撮ったカメラモデルの位置に（ａ）において決定された各点を投影することにより、該斜め写真画像上の点をサンプリングすることと、
（ｃ）該サンプリングされる点をオルソ補正された画像にアセンブルすることと、
（ｄ）該斜め写真画像を捉えたカメラと直下の眺望を有する表示域との間の傾斜角の差におよそ従って該オルソ補正された画像または該サンプリングされる点を調整して、短縮遠近法で描かれオルソ補正された画像を生成することと
を包含し、
該短縮遠近法で描かれオルソ補正された画像における各位置は、二次元地図における対応する位置に線形的に対応する、方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本発明は、たとえば、以下の項目も提供する。
（項目１）
斜め写真像をオルソ補正する方法であって、
（ａ）地形の三次元モデルに斜め写真画像を投影することと、
（ｂ）直下の眺望を有する表示域から該投影された写真画像の点をサンプリングすることであって、該点は、該地形の三次元モデルと該表示域から伸びる平行光線との交点にある、ことと、
（ｃ）該サンプリングされる点をオルソ補正された画像にアセンブルすることと、
（ｄ）該斜め写真画像を捉えたカメラと該直下の眺望を有する該表示域との間の傾斜角の差におよそ従って該オルソ補正された画像または該サンプリングされる点を調整して、短縮遠近法で描かれオルソ補正された画像を生成することと
を包含し、該短縮遠近法で描かれオルソ補正された画像における各位置は、二次元地図における対応する位置に線形的に対応する、方法。
（項目２）
前記調整すること（ｄ）は、前記オルソ補正された画像を垂直方向に縮小することを包含する、項目１に記載の方法。
（項目３）
前記縮小することは、前記オルソ補正された画像を１．１５４〜２．０（１．１５４および２．０を含む）のファクターで前記垂直方向に縮小することを包含する、項目２に記載の方法。
（項目４）
前記調整すること（ｄ）は、点が前記垂直方向よりも水平方向に頻繁にサンプリングされるようにサンプリング点を調整することを包含する、項目１に記載の方法。
（項目５）
ファクターの前記水平方向にサンプリングされる点間の距離倍は、前記垂直方向にサンプリングされる点間の距離におよそ等しく、該ファクターは、１．１５４〜２．０（１．１５４および２．０を含む）である、項目４に記載の方法。
（項目６）
（ｅ）前記投影すること（ａ）の前に、前記地形の三次元モデルを平滑化することであって、該投影すること（ａ）は、該地形の平滑化された三次元モデル上に前記斜め写真画像を投影することを包含する、ことをさらに包含する、項目１に記載の方法。
（項目７）
前記平滑化すること（ｅ）は、前記地形の三次元モデルにボックスフィルタアルゴリズムを適用することを包含する、項目６に記載の方法。
（項目８）
前記斜め写真画像は、地球の航空画像であり、前記地形の三次元モデルは、地球の三次元モデルである、項目１に記載の方法。
（項目９）
（ｅ）複数の斜め写真画像の各々に対して（ａ）〜（ｃ）を繰り返して、複数のオルソ補正された画像を決定することと、
（ｆ）グラフカットアルゴリズムを用いて、該複数のオルソ補正された画像に基づいて、オルソ補正された画像のモザイクを決定することと
をさらに包含する、項目１に記載の方法。
（項目１０）
（ｅ）前記短縮遠近法で描かれオルソ補正された画像の少なくとも一部分に地図データをオーバーレイすることであって、該地図データの各要素は、該地図データの該要素の対応する位置に線形的に対応する、該短縮遠近法で描かれオルソ補正された画像上の位置に配置される、ことをさらに包含する、項目１に記載の方法。
（項目１１）
前記地図データは、道路データを含む、項目１０に記載の方法。
（項目１２）
斜め写真像をオルソ補正するシステムであって、
（ａ）地形の三次元モデルに斜め写真画像を投影するように構成されるプロジェクタモジュールと、
（ｂ）サンプラモジュールであって、
（ｉ）直下の眺望を有する表示域からの該投影された写真画像から点をサンプリングすることであって、該点は、該地形の三次元モデルと該表示域から伸びた平行光線との交点に位置している、ことと、
（ｉｉ）該サンプリングされる点をオルソ補正された画像にアセンブルすることと
を行うように構成される、サンプラモジュールと、
（ｃ）短縮遠近法モジュールであって、該斜め写真画像を捉えたカメラと該直下の眺望を有する該表示域との間の傾斜角の差におよそ従って該オルソ補正された画像または該サンプリングされる点を調整して、短縮遠近法で描かれオルソ補正された画像を生成するように構成される、短縮遠近法モジュールと
を備え、
該短縮遠近法で描かれオルソ補正された画像における各位置は、二次元地図における対応する位置に線形的に対応する、システム。
（項目１３）
前記短縮遠近法モジュールは、前記オルソ補正された画像を垂直方向に縮小するように構成される、項目１２に記載のシステム。
（項目１４）
前記短縮遠近法モジュールは、前記オルソ補正された画像を１．１５４〜２．０（１．１５４および２．０を含む）のファクターで垂直方向に縮小するように構成される、項目１３に記載のシステム。
（項目１５）
前記短縮遠近法モジュールは、点が前記垂直方向よりも水平方向に頻繁にサンプリングされるように前記サンプリング点を調整するように構成される、項目１２に記載のシステム。
（項目１６）
ファクターの前記垂直方向における点の数倍は、前記水平方向にサンプリングされる点間の数におよそ等しく、該ファクターは、１．１５４〜２．０（１．１５４および２．０を含む）である、項目１５に記載のシステム。
（項目１７）
（ａ）前記地形の三次元モデルを平滑化するように構成される平滑化モジュールをさらに備え、
前記プロジェクタモジュールは、該地形の平滑化された三次元モデルに斜め写真画像を投影するように構成される、項目１２に記載のシステム。
（項目１８）
前記平滑化モジュールは、前記地形の三次元モデルにボックスフィルタアルゴリズムを適用するように構成される、項目１７に記載のシステム。
（項目１９）
前記斜め写真画像は、地球の航空画像である、項目１２に記載のシステム。
（項目２０）
（ａ）オルソ補正モジュールであって、複数の斜め写真画像に対して繰返し投影およびサンプリングして、複数の短縮遠近法で描かれオルソ補正された画像を決定することを前記プロジェクタモジュールおよびサンプラモジュールに命令するように構成される、オルソ補正モジュールと、
（ｂ）モザイクモジュールであって、グラフカットアルゴリズムを用いて、該複数の短縮遠近法で描かれオルソ補正された画像に基づいて、オルソ補正された画像のモザイクを決定するように構成される、モザイクモジュールと
をさらに備える、項目１２に記載のシステム。
（項目２１）
（ａ）タイルロケータモジュールであって、位置に対応する前記オルソ補正された画像のモザイクからオルソ補正された画像タイルを識別する、タイルロケータモジュールと、
（ｂ）地図データロケータモジュールであって、該位置に線形的に対応する地図データを識別する、地図データロケータモジュールと
をさらに備える、項目２０に記載のシステム。
（項目２２）
前記地図データは、道路データを含む、項目２１に記載のシステム。
（項目２３）
斜め写真像をオルソ補正する方法であって、
（ａ）直下表示域における各点に対して地形の三次元モデル上に点を決定することとであって、各点は、該地形の三次元モデルと該直下表示域から伸びた平行光線との交点にある、ことと、
（ｂ）斜め写真画像を撮ったカメラモデルの位置に（ａ）において決定された各点を投影することにより、該斜め写真画像上の点をサンプリングすることと、
（ｃ）該サンプリングされる点をオルソ補正された画像にアセンブルすることと、
（ｄ）該斜め写真画像を捉えたカメラと直下の眺望を有する表示域との間の傾斜角の差におよそ従って該オルソ補正された画像または該サンプリングされる点を調整して、短縮遠近法で描かれオルソ補正された画像を生成することと
を包含し、
該短縮遠近法で描かれオルソ補正された画像における各位置は、二次元地図における対応する位置に線形的に対応する、方法。
本発明のさらなる実施形態、特徴、および利点、ならびにさまざまな実施形態の構造および動作は、添付の図面を参照して下記に詳細に説明される。
【国際調査報告】
2013510326.tif 000016
2013510326.tif 000017