(57)【要約】【課題】  実画像を用いた都市景観３次元動画を提供するシステムおよびサービスを提供する。【解決手段】  航空機搭載および車載等の複数のディジタルカメラにより都市を上空ないし地上から高密度に多方向から撮影するシステムと、これらの画像をデータベース化すると同時に、任意の都市の位置に対して任意の視点経路と視線方向に対応した画像を検索するシステムと、検索した画像を実際の視点と撮影済み画像との視差に対応してモーフィング処理により連続した滑らかな３次元動画に生成するシステムを含むことを特徴とする都市景観３次元動画アミューズメントシステム。【選択図】          図１
2009217524.tif 000002
【特許請求の範囲】
【請求項１】
都市の任意の場所に対して、空中の任意の視点経路および任意の視線方向から見た景観を３次元的に動画で表示する都市景観３次元動画アミューズメントシステムにおいて、該都市の任意の場所に対して十分小さい一定の立体角ごとに見込む画像を画像データベースとして事前に準備し、指定された視点経路と指定された視線方向の時間変化に応じて該画像データベースから視点および視線が近い画像を順次取り出し、該視点経路と該視線に対応して画像モーフィングを行いつつ滑らかにつなぎ合わせて３次元動画を表示するシステムであって、空中画像取得システム、空中画像データベース生成登録システム、空中データベース、空中３次元動画生成システム、およびグラフィックユーザインターフェイスシステムより構成されることを特徴とする都市景観３次元動画アミューズメントシステム。
【請求項２】
都市の通路に面する任意の場所に対して、人間目線の任意の視点経路および任意の視線方向から見た景観を３次元的に動画で表示する都市景観３次元動画アミューズメントシステムにおいて、該都市の通路に面する任意の場所に対して十分小さい一定の方位角ごとに見込む画像を画像データベースとして事前に準備し、該通路に面し鉛直な面を画像投影面となし、指定された視点経路と指定された視線方向の時間変化に応じて該画像データベースから視点および視線が近い画像を順次取り出し、該画像投影面上で該視点経路と該視線に対応して画像モーフィングを行いつつ滑らかにつなぎ合わせて３次元動画を表示するシステムであって、路上画像取得システム、路上画像データベース生成登録システム、路上画像データベース、路上３次元動画生成システム、およびグラフィックユーザインターフェイスシステムより構成されることを特徴とする都市景観３次元動画アミューズメントシステム。
【請求項３】
請求項１に記載の都市景観３次元動画アミューズメントシステムにおいて、該空中画像取得システムが飛行する航空機の航空機搭載ディジタルカメラから構成されることを特徴とする都市景観３次元動画アミューズメントシステム。
【請求項４】
請求項１または３のいずれか１項に記載の都市景観３次元動画アミューズメントシステムの空中画像取得システムにおいて、該航空機の飛行航路間隔を等間隔かつ地表からの高度を一定に設定し、網目状の撮影点を構成し、該撮影点にて重力方向のみならず複数方向の斜め方向を撮影し蓄積することができるように複数の航空機搭載ディジタルカメラでディジタルカメラ集合体を構成して撮影することを特徴とする空中画像取得システム。
【請求項５】
請求項４に記載の都市景観３次元動画アミューズメントシステムの空中画像取得システムにおいて、ＧＰＳと慣性航法装置より構成される飛行管制装置が該網目状の撮影点またはその近傍に該航空機が位置していることを検出し、該ディジタルカメラ集合体を構成する各ディジタルカメラに撮影指令信号を発すると同時に、航空機位置、該航空カメラ集合体の姿勢を記録装置に記録することを特徴とする空中画像取得システム。
【請求項６】
請求項４または５のいずれか１項に記載の都市景観３次元動画アミューズメントシステムの空中画像取得システムにおいて、重力方向よりなす角が大きい方向に対しては焦点距離の長い望遠レンズを用い、重力方向よりなす角が小さい方向に対しては焦点距離の短い望遠レンズを用いることにより、俯角の小さい画像の分解能低下を防止することを特徴とする空中画像取得システム。
【請求項７】
請求項４または５または６のいづれかに記載の都市景観３次元動画アミューズメントシステムの空中画像取得システムにおいて、該複数方向の斜め方向ディジタルカメラを該レンズの光軸が重力方向となす角が同一で、かつ水平全周方向が放射状に等間隔に分割されるように配設されることを特徴とする空中画像取得システム。
【請求項８】
請求項４から７のいずれか１項に記載の都市景観３次元動画アミューズメントシステムの空中画像取得システムにおいて、レンズ光軸が重力方向のディジタルカメラを中心に斜め方向撮影用ディジタルカメラをその周囲に点対称に放射状に配設してディジタルカメラ集合体を構成し、とくに該航空撮影用航空機の床面の撮影用円筒状空隙に機外に突起物が出ないように配設することを特徴とする空中画像取得システム。
【請求項９】
請求項８に記載の都市景観３次元動画アミューズメントシステムの空中画像取得システムにおいて、少なくとも２種類以上の焦点距離の望遠レンズの組を用意し、その各々に対して重力方向視用カメラを中心に斜め方向撮影用カメラをその周囲に点対称に放射状に配設してディジタルカメラ集合体を構成し、とくに航空撮影用航空機の床面の円筒状空隙に機外に突起物が出ないように配設することを特徴とする空中画像取得システム。
【請求項１０】
請求項８または９のいずれか１項に記載の都市景観３次元動画アミューズメントシステムの空中画像取得システムにおいて、該ディジタルカメラ集合体を安定プラットフォーム機構より吊下し、または搭載し慣性航法装置の検出信号により航空機機体の姿勢擾乱による影響を排除することを特徴とする空中画像取得システム。
【請求項１１】
請求項３から１０のいずれかに記載の都市景観３次元動画アミューズメントシステムの空中画像取得システムにおいて、太陽直射による影を避け、滑らかな３次元動画を得るために、曇天に雲の下に飛行高度を設定し、雲の下から撮影することを特徴とする空中画像取得システムおよび方法。
【請求項１２】
請求項１および3のいずれか１項に記載の都市景観３次元動画アミューズメントシステムの空中画像データベース生成登録システムにおいて、空気中の水蒸気の影響を除去するため、画像中で視線方向が重力方向よりなす角に対応して連続的に各色要素ごとまたは各色要素を統合したヒストグラムを計測し、重力方向よりなす角によらずにヒストグラム特性が同一となるように画像処理を該空中画像取得システムが取得した画像に対して行い、該空中画像データベースに登録することを特徴とする空中画像データベース生成登録システム。
【請求項１３】
請求項１および3のいずれか１項に記載の都市景観３次元動画アミューズメントシステムの空中画像データベース生成登録システムにおいて、該都市景観３次元動画の各コマ画像の原画像を該空中画像データベースから高速に検索する目的で、画像データに付随するメタデータとして画像に四隅の地表上の緯度経度と標高などの位置座標、撮影光軸が地表と交わる点の緯度経度と標高などの位置座標、撮影位置と撮影光軸が地表と交わるまでの距離、画像のフレームが水平面に対し撮影光軸周りに回転している角度の全部または一部を計算することを該空中画像取得システムが取得した画像に対して行い、撮影位置と撮影光軸方向とあわせて該空中画像データベースに登録することを特徴とする空中画像データベース生成登録システム。
【請求項１４】
請求項１および3のいずれか１項に記載の都市景観３次元動画アミューズメントシステムの空中画像データベース生成登録システムにおいて、該都市景観３次元動画の各コマ画像の原画像を該空中画像データベースから高速に検索する目的で、該空中画像取得システムが取得した画像または、該空中画像データベースに登録されている画像に対して、地表を緯度経度あるいは他の水平座標により網目状セルに分割し、該画像が撮影している該網目状セルを検索選定して該網目ごとに該画像が検索できるようインデクスをつけ、さらに該網目を撮影している画像の撮影点の該網目の中心点からの方位角、仰角、距離で該網目状セルより該画像が検索できるようにインデクス化して該画像を該空中画像データベースに登録することを特徴とする空中画像データベース生成登録システム。
【請求項１５】
請求項１または３のいずれか１項に記載の都市景観３次元動画アミューズメントシステムの空中３次元動画生成システムにおいて、空中を移動する時間軸ｔの関数で定義される視点経路Ｐ（ｔ）と、該視点経路Ｐ（ｔ）からの視線方向を示す視線ベクトルトラジェクトリＶ（ｔ）、さらに該視線ベクトルトラジェクトリＶ（ｔ）が画像の対象となる地点と交わる点の軌跡を目標トラジェクトリＴ（ｔ）と定義することができて、ｔ＝ｔiにおける該視線ベクトルトラジェクトリＶ（ｔi）に、撮影光軸ベクトル、撮影位置、視野角からなる属性の最も近いものを持つ画像を該空中画像データベースより検索して原画像とし、該原画像の該属性をもとに該都市景観３次元動画の各コマ画像を該各コマ画像の視線ベクトル、視点、視角よりなる属性と該原画像の属性の相違からモーフィング変換により該各コマ画像を生成し時間軸上でつなぎ合わせて滑らかな動画像とすることを特徴とする空中３次元動画生成システム。
【請求項１６】
請求項１５に記載の都市景観３次元動画アミューズメントシステムの空中３次元動画生成システムにおいて、ｔ＝ｔiにおける該視線ベクトルトラジェクトリＶ（ｔi）に、撮影光軸ベクトル、撮影位置、視野角からなる属性の最も近いものを持つ画像を該空中画像データベースより検索して原画像とする処理において、該原画像の撮影光軸ベクトルと該視線ベクトルトラジェクトリＶ（ｔi）のなす角が所定の角度より少なく、なおかつ、該原画像は該撮影光軸ベクトルを中心としてカメラの焦点距離により一定の視野角を持つが、この視野を構成する四角錐が地表と交わる多角形が、該視線ベクトルトラジェクトリＶ（ｔi）を中心として模擬する視野を構成する四角錐が地表と交わる多角形を包含するように選定することを特徴とする空中３次元動画生成システム。
【請求項１７】
請求項１６に記載の都市景観３次元動画アミューズメントシステムの空中３次元動画生成システムにおいて、該空中画像データベースより該原画像を選定する際、時点ｔiにおける該視線ベクトルトラジェクトリＶ（ｔi）と対象となる地点の間に存在する障害物を避けるために選定の条件を満足する複数の該原画像の中から該撮影光軸ベクトルと地表が交わる点までのベクトル長が最も小さいものを原画像として選択することを特徴とする空中３次元動画生成システム。
【請求項１８】
請求項２に記載の都市景観３次元動画アミューズメントシステムにおいて、該路上画像事前準備システムが移動する自動車の車載ディジタルカメラ、または移動する人間が担架しまたは牽引しまたは推進するディジタルカメラから構成されることを特徴とする都市景観３次元動画アミューズメントシステム。
【請求項１９】
請求項２または１８のいずれか１項に記載の都市景観３次元動画アミューズメントシステムの路上画像取得システムにおいて、該路上画像取得システムが車載ディジタルカメラ、または人間が担架しまたは牽引しまたは推進するディジタルカメラにより構成され、該ディジタルカメラを通路の進行方向に沿って移動させて通路に面する任意の地点に対して十分小さい一定の角度ごとに見込む画像が存在するように通路の進行方向に沿って通路上の一定距離ごとに撮影点を設定し水平面上で前後左右のみならずその中間方向および斜め上方向を撮影し蓄積することができるように複数のディジタルカメラでディジタルカメラ集合体を構成し撮影することを特徴とする路上画像取得システム。
【請求項２０】
請求項１９に記載の都市景観３次元動画アミューズメントシステムの路上画像取得システムおいて、該ディジタルカメラ集合体を安定プラットフォーム機構に吊下または搭載し、慣性航法装置の検出信号により、車体の姿勢擾乱による影響を排除することを特徴とする路上画像取得システム。
【請求項２１】
請求項１９または２０のいずれか1項に記載の都市景観３次元動画アミューズメントシステムの路上画像取得システムにおいて、ＧＰＳと慣性航法装置より構成されるカーナビゲーション装置が請求項１９に規定される該撮影点に該ディジタルカメラ集合体が位置していることを検出し、該ディジタルカメラ集合体を構成する各カメラに撮影指令信号を発すると同時に、該ディジタルカメラ集合体の位置と姿勢を記録装置に記録することを特徴とする路上画像取得システム。
【請求項２２】
請求項２および１８のいずれか１項に記載の都市景観３次元動画アミューズメントシステムにおける路上画像データベース生成登録システムおよび路上画像データベースにおいて、該都市景観３次元動画の各コマ画像の原画像を該路上画像データベースから高速に検索する目的で、通路の構造を通路の中心線をグラフとして表現し、これを中心線グラフと称し、該中心線グラフの属性としてグラフ各辺に対して端点位置座標、道路幅員、進行方向左右各々に対する該画像投影面の有無、道路の交差、分岐、合流情報を記載して通路の位置と構造を記述し、さらに地表を緯度経度あるいは他の水平座標により網目状セルに分割し、該網目状セルから該中心線グラフで記載される通路認識番号にリンクするインデックス機構を有することを特徴とする路上画像データベース。
【請求項２３】
請求項２および１８および２２のいずれか１項に記載の都市景観３次元動画アミューズメントシステムの路上画像データベース生成登録システムにおいて、
該都市景観３次元動画の各コマ画像の原画像を該路上画像データベースから高速に検索する目的で通路構造を記述する該中心線グラフに付帯する該画像投影面を該中心線グラフの辺に沿って区分分割し、該路上画像取得システムが取得した画像または該路上画像データベースに登録されている画像が撮影している区分を検索し、該区分から該区分を撮影している画像を該路上画像データベースより検索できるようインデクスをつけ、さらに該区分を撮影している画像の撮影点の該区分の中心点からの方位角、距離でインデクス化して該画像を該路上画像データベースに登録することを特徴とする空中画像データベース生成登録システム。
【請求項２４】
請求項２に記載の都市景観３次元動画アミューズメントシステムの路上３次元動画生成システムにおいて、通路上を移動する時間ｔの関数で定義される視点経路Ｐ（ｔ）と、該視点経路Ｐ（ｔ）からの視線方向を示す視線ベクトルトラジェクトリＶ（ｔ）、さらに該視線ベクトルトラジェクトリＶ（ｔ）が画像の対象となる建造物または物体または通路の境界線に鉛直に立つ仮想的な画像投影面と交わる点の軌跡を目標トラジェクトリＴ（ｔ）と定義することができて、ｔ＝ｔiにおける該視線ベクトルトラジェクトリＶ（ｔi）に、撮影光軸ベクトル、撮影位置、視野角からなる属性の最も近いものを持つ画像を該画像データベースより検索して原画像とし、該原画像の該属性をもとに該都市景観３次元動画の各コマ画像を、該各コマ画像の視線ベクトル、視点、視角よりなる属性と該原画像の属性の相違からモーフィング変換により該各コマ画像を生成することを特徴とする路上３次元動画生成システム。
【請求項２５】
請求項２４に記載の都市景観３次元動画アミューズメントシステムの路上３次元動画生成システムにおいて、ｔ＝ｔiにおける該視線ベクトルトラジェクトリＶ（ｔi）に、撮影光軸ベクトル、撮影位置、視野角からなる属性の最も近いものを持つ画像を該路上画像データベースより検索して原画像とする処理において、該原画像は該撮影光軸ベクトルを中心としてカメラの焦点距離により一定の視野角を持つが、この視野が画像の対象となる該画像投影面と交わる人間目線の水平面上の範囲が、該視線ベクトルトラジェクトリＶ（ｔi）を中心として模擬する視野が該画像投影面と交わる人間目線の水平面上の範囲を包含し、なおかつ、該原画像の視線ベクトルと該視線ベクトルトラジェクトリＶ（ｔi）のなす角が所定の角度より少なく、するように選定することを特徴とする路上３次元動画生成システム。
【請求項２６】
請求項２４および２５のいずれか１項に記載の都市景観３次元動画アミューズメントシステムの路上３次元動画生成システムにおいて、該路上画像データベースより該原画像を選定する際、時点ｔiにおける該視線ベクトルトラジェクトリＶ（ｔi）と対象となる地点の間に存在する障害物を避けるために選定の条件を満足する複数の該原画像の中から該撮影光軸ベクトルと該画像投影面が交わる点までのベクトル長が最も小さいものを原画像として選択することを特徴とする路上３次元動画生成システム。
【請求項２７】
請求項1および３および１５から１７までのいずれか１項に記載の都市景観３次元動画アミューズメントシステムのグラフィックユーザインターフェイスシステムにおいて、モニタ上に表示されるかまたは専用の模擬装置を介して表示される飛行ルート指定用地図を参照し、該３次元動画生成システムで生成される模擬視界を見ながら模擬操縦棹を操作して飛行方位および飛行高度を昇降し、スロットレバーを操作して飛行速度を調節することにより飛行経路と速度を制御して模擬コックピットの前方視界をモニタ上または専用の模擬装置に表示することを特徴とするグラフィックユーザインターフェイスシステム。
【請求項２８】
請求項２５に記載の都市景観３次元動画アミューズメントシステムのグラフィックユーザインターフェイスシステムにおいて、該模擬コックピットの該模擬視界表示を航空機搭載模擬カメラ表示に切り替える機構を有し、該模擬カメラは方位およびズーミングおよびティルト角の制御を行えることを特徴とする空中グラフィックユーザインターフェイスシステム。
【請求項２９】
請求項２および２３から２６までのいずれか１項に記載の都市景観３次元動画アミューズメントシステムのグラフィックユーザインターフェイスシステムにおいて、モニタ上に表示される地図を参照し、該路上３次元動画生成システムで生成される模擬視界を見ながら表示されるカーソルを操作して進行方向および速度を操作でき、さらに目の向きを制御することができることを特徴とするグラフィックユーザインターフェイスシステム。
【請求項３０】
請求項２７または２８のいずれかの１項に記載の都市景観３次元動画アミューズメントシステムのグラフィックユーザインターフェイスシステムにおいて、
リアルタイム飛行模擬の飛行高度が一定値より下がった場合、ランディング地点を視界前方斜め下に指定して該ランディング地点の路上地点に視点位置を移行し、以降請求項３１に記載の該路上での都市景観３次元動画生成システムに切替え移行する。また、路上で都市景観３次元動画生成中に離陸アイコンをクリックすると該アイコンの選択に応じて該離陸路上点の直上または該離陸路上点を前方斜め下に見る一定高度の上空に位置を移行して請求項２７または２８のいずれかの１項に記載の都市景観３次元動画アミューズメントシステムの空中における飛行模擬に切替えることができることを特徴とするグラフィックユーザインターフェイスシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、市街地を含む地上の景観について３次元動画を生成するシステムにおいて、特に、航空機等において上空から撮影した航空写真、あるいは路上において地上で撮影した写真を利用してするシステムに関し、特に、地上を様々な角度から撮像した写真を利用する３次元都市景観の動画を生成表示するシステムに関するものである。
【背景技術】
【０００２】
従来、都市景観を３次元で動画表示する方式には、レーザプロファイラにより都市の建造物の３次元情報を計測して立体モデルを作成したうえで建造物の壁面画像をレンダリング処理により貼り付け、このようにして得られた３次元都市モデルに対して任意の視点経路とこの視線経路に沿った任意の視線方向の画像を３次元画像処理により生成し、時間的に連続表示することにより３次元動画を得るものである。都市建造物の３次元情報を得る別の方法としては地上の同一地点を異なった方向より撮影した画像を用い、ステレオ画像処理により高さ方向の情報を抽出して３次元都市モデルを生成する方法もある。この他に、必ずしも実際の都市には一対一に対応しないが都市空間３次元モデルを構築して３次元画像処理により動画を生成する方法もある。
【０００３】
これらの方法はいずれも都市の立体構造諸元すなわち３次元モデルを生成するために時間とコストを要し、さらに建物等の立体の外壁を実際と同一にするためには、外壁のパターン情報または、画像情報を張り付ける（レンダリング）する必要があった、このレンダリング情報は３次元物体の全ての方向からの情報が不可欠であり、その取得とレンダリングに多大の労力とコストを要するものであった。このように、任意の空中経路と視線から任意の都市部分の景観を３次元動画で表示することは強く望まれていたにもかかわらず、レンダリングの精度を十分現実的にできない、あるいは、情報の更新周期が長くなり、表示する映像の新鮮度、正確さに難点が生じることが多かった。  
【０００４】
３次元模擬視界を使用するアミューズメントシステムには、非特許文献１のエースコンバットのように衛星より撮影した地表画像を加工して利用するものもあるが、あくまでもゲームに現実味をもたせることを目的としており実際の３次元景観とは必ずしも一致しない。また、非特許文献２のセカンドライフに見られる都市空間３次元模擬視界は、仮想都市を３次元的に表現するが現実の地図には対応していない。セカンドライフに対して都市空間をより現実的に表現するものとして現実の地図に対応した仮想都市空間の３次元アミューズメントシステムとして非特許文献３のCOCORによるmeet-meがあるが建造物の外壁景観、細部構造については現実とは一致しない。また、本発明になる技術は極めて大量かつ多視点、多視線方向の航空写真を事前に撮影蓄積することにあるが、航空写真を取得する従来技術として、最近はディジタル技術の急速な進歩によりアナログ式航空カメラからディジタル方式の１次元ラインセンサないし2次元撮像素子を用いた航空写真用カメラが実用化されている。さらに汎用デジタルカメラの高性能化により、航空写真分野へも適用可能となってきている。専用ソフトウェアによりディジタルカメラで撮影した斜め写真からオルソ画像を作成するシステムが特許文献１では提案されている。測量目的の航空写真では地上に基準点を予め設定し、該基準点を参照してカメラ位置と姿勢を計算し、地物の座標を求めていたが、航空機にGPS（Global Positioning System）及びIMU（Inertial Measurement Unit）を装備し、撮像時点のカメラの位置と姿勢を測定することできる。（特許文献２）撮像方向が異なる３台のＣＣＤラインセンサで測量用航空写真を撮像する技術が特許文献３で提案されている。
【０００５】
【非特許文献１】http://www.acecombat.jp/
【非特許文献２】http://www.secondlife.com/
【非特許文献３】http://www.mmet-me.jp/
【特許文献１】特開2002-357419号公報。
【特許文献２】特開2004-245741号公報。
【特許文献３】特許2807622号公報。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、非特許文献１の方法は、景観の材料として、高分解能衛星画像を使用してリアリズムを追及した３次元動画アミューズメントシステムであるが、対象は海外の戦場でありまた、画像自体も制作時から更新されないので都市景観３次元動画の実現とは異なるものである。非特許文献２において提案されているシステムでは、人間目線の都市景観３次元動画表示を行っているがすべての表示は計算機上で生成された架空の世界であり現実世界と異なり、現実に則した都市景観を３次元表示する目的とは合致しないものである。非特許文献３の方法は非特許文献２の方法に改善を加えたもので現実の都市の地図に対応して建造物等を構築しているが景観自体としては現実との同一性を追及しておらず、現実とは異なるものである。
【０００７】
航空写真の取得に関した特許文献として以下のものがあるが、特許文献２において提案されているシステムでは斜め画像を２枚取得するが、斜め画像１枚だけでは本発明で必要とされる多量かつ多方向の画像を高密度で取得するのは困難である。特許文献３において提案されているシステムは、異なる３方向のＣＣＤラインセンサにより撮像するが、これらの３台のＣＣＤラインセンサは、平行かつ直線的に配置されているので測量用にステレオ画像を取得するには適しているが、本発明の目的のように都市景観の３次元動画を生成するための原画像取得のためには情報量が圧倒的に不足する。
【０００８】
特許文献１，２で、地上を多方向、大量かつ高密度で撮像するために、カメラを増設することが考えられるが、航空写真用の航空機の床面にある撮影用開口部は寸法と位置が滞空証明の対象として厳しく規定されており、開口部を拡大したり、開口部から機外に突出する形でカメラを増設することはできない。したがって、地上を高密度に多方向から撮像する必要のある実画像による都市景観３次元動画アミューズメントシステムに適した実現手段はこれまで考えられていなかった。
【０００９】
本発明は、このような実情に鑑みてなされたものであり、航空機等において空中で高密度のメッシュ点で多方向の画像を広範囲に撮像できるシステムを構築し、これら大量の画像をデータベース化し、都市の任意の位置を任意の視点で任意の方向から見た場合の最も視差の少ない画像を高速に検索するシステムを構築し、さらに指定した視点、視線、都市中の位置に対応して最も視差の少ない画像から連続的になめらかな動画像を生成するモーフィングシステムを構築した。さらに本発明では地上においても人間目線のリアルな動画像を作るために、都市のあらゆる道路上ないし通路上であらゆる方向の画像を高密度に取得する専用の車載等のシステムを構築し、取得した大量の画像をデータベース化し、都市の路上の任意の位置を任意の人間目線で任意の方向から見た場合の最も視差の少ない画像を高速に検索するシステムを構築し、さらに指定した視点、視線、都市中の位置に対応して最も視差の少ない画像から連続的になめらかな動画像を生成するモーフィングシステムを構築した。
【課題を解決するための手段】
【００１０】
上記解決課題に鑑みて鋭意研究の結果、本発明者は都市景観３次元動画アミューズメントシステムの実現において最大の障壁となるのは、都市の建物等建造物および構築物の３次元情報を安価かつ頻繁に取得する手段がないこと、さらにこれらの３次元物体の表面に張り付ける画像の取得と貼り付けを安価かつ頻繁に行う手段を欠いていることを認識するに至った。このため、本発明者はこれらの手段を踏まずに任意の経路から任意の視線で都市の任意の部分の３次元動画を得る方法として都市のあらゆる部分の景観をあらゆる方向から事前に撮影しておき、選択された視点経路、視線方向および目標位置に対応して最適な撮影済み画像を選択し、画像を撮影したカメラの位置および光軸方向と、選択された視点と視線の相違をモーフィング処理により補償し、なめらかな動画像を得る方法を着想するに至った。
【００１１】
しかしながら、都市のあらゆる部分の景観をあらゆる方向から事前に撮影しておくことはきわめて困難である。経験上本発明者はこの目的を達成するためには立体角で数度ごとにあらゆる方向からの写真を全ての都市地点に対して準備しなければならないことを知っている。この問題を解決するために小型のディジタルカメラを多数用い、配列方法と制御方法に新規性を施した。すなわち、第一に多数の小型ディジタルカメラをディジタルカメラ集合体として形成し、従来から航空測量用航空機の床面に存在する航空測量用カメラの穴に機外に張り出すことなく収納して滞空証明取得上の問題を回避すること、第二に多方向からの写真を効率的に撮影するために、ディジタルカメラ集合体の中心部に直下撮影用のカメラを配し、その周囲に放射状に斜め方向撮影用のディジタルカメラを８ないし２５あるいは、スペース的に余裕があればそれ以上配置するのである。
【００１２】
第三に、地上を各方面から撮影したとしても、画像の分解能が地上を見る俯角によって変化することは好ましくないので、鉛直方向よりなす角を一般にオフナディア角と呼称するが、小さいオフナディア角の斜め写真用ディジタルカメラには短い焦点距離の望遠レンズを用い、大きいオフナディア角の斜め写真用ディジタルカメラには長い焦点距離の望遠レンズを用い、さらにそれらを各々放射状に同心円状に配列することにより航空機の直下からかなり大きなオフナディア角の領域まで、分解能を劣化させることなく広範囲に画像を取得するディジタルカメラ集合体を考案した。
【００１３】
第四に、本発明者は該ディジタルカメラ集合体を効率的に運用し広範な都市空間上空であらゆる地点に対して立体角数度ごとの画像を得るために航空機にGPS装置と慣性航法装置よりなるガイダンスシステムを導入し空中同一高度に緻密なメッシュ状の撮影ポイントを構成したうえで、該撮影ポイントで自動的にディジタルカメラ集合体に撮影司令を発し撮影記録するシステムを構築した。
【００１４】
第五に、大量頻繁に撮影を行う必要性から撮影コストを削減する目的で一般に航空測量が不適当な曇天に雲の下の低高度より撮影することを着想し、曇天の空中モヤによる画像劣化をディジタル画像処理により自動的に補償する方法を発明した。
【００１５】
さらに、本発明者は数度程度の立体角の撮影済み画像を任意の対象地点に対して動画生成のために高速に検索する必要があることに鑑み、本システムに適した高速画像検索機構を考案した。すなわち、地表を緯度経度あるいはXY  座標により正方形の網目状に区分する。正方形の１辺は十分小さく、たとえば５０ｍから２０ｍ程度に設定する。この網目上の正方形の各々に２次元のアドレスを付して管理する。各撮影済みの画像には、地表を撮影した画像範囲内に含まれる該網目状正方形群が存在して、撮影時のカメラ位置と該網目状正方形の中心とを結ぶベクトルが定義できる。これを正規化して原画像ベクトルと定義するが、該原画像ベクトルは指定された地表網目に対する画像を表現するインデクスとして使用できる。
【００１６】
すなわち直上を示す天頂ベクトルと該原画像ベクトルのなす角度を量子化して天頂インデックスを定義する、該なす角の量子化の基準は５度以下である。各天頂インデックスには、水平方向成分として３６０度分の全方位が含まれているので、これを立体角数度単位のセルに小分割し、該原画像ベクトルと天頂ベクトルのなす角、該原画像ベクトルの水平方向成分によりインデクシングする。この３段階のインデクシングにより必要な原画像を高速に検索することができる。３次元動画像に必要な原画像は任意の都市位置に対して立体角で数度ごとに準備されているが、この近傍を視点が通過するので、実際の視点および視線と原画像ベクトルの立体数度以下のずれは、原画像に対するモーフィング処理により滑らかにつなぐのである。
【００１７】
本発明は都市景観をリアルに動画像で表示することであるので、３次元動画に使用される原画像は地上でも取得されなくてはならない。地上での都市景観３次元動画をリアルに表現するとは、人間の目線で景観を再現することであると本発明者は考察し、あらゆる場所の都市景観を人間目線で事前に撮影し、空中からの景観と類似の方法で３次元動画を生成する方式を考案した。地上における人間目線は人間が道路ないし通路上を移動すること、さらに目の位置が地上１．５−１．８mであるという制約があり、視点の自由度は空中からの景観に比べて相当に小さい。
【００１８】
本発明者は航空機搭載と類似の多数のディジタルカメラを搭載したディジタルカメラ集合体を車載用に考案した。すなわち、水平方向に全周８ないし１２方向、水平より仰角を付した斜め上方向を全周８ないし１２方向にわたって撮影するカメラをディジタルカメラ集合体として構成し、車両の屋根上に設置し、車両をカーナビゲーションシステムにより予め定められた道路上を移動させ、GPSとIMSによる詳細な位置計測結果に基づき数ｍ間隔でディジタルカメラ集合体を構成する全カメラに対して撮影司令を発し、その結果を位置データとともに記録するのである。このようにして路上画像データベースを構築したうえで、都市の任意の場所に対して路上ないし通路上の任意の場所、任意の視線方向からの人間目線での３次元動画を生成する方法を上空からの３次元動画像生成をもとに考案した。該方法は最適な原画像を選択するプロセスと、視点の移動状態と視線方向および都市内の位置によりモーフィングプロセスにより滑らかな動画像を生成するプロセスより構成される。
【００１９】
しかしながら完全な自由空間に視点を置き自由に視線方向を指定できる空中と異なり、道路ないし通路上では視点の存在し得る場所が通路ないし道路上に限定される。さらに、本発明の方法は都市空間の構造物に関する３次元モデルを生成することなしに３次元動画を生成する方法であるから、路上ないし通路上で撮影した画像を空中写真の場合にTerrainに貼り付けたように、貼り付ける対象を選定しモデル化しなくてはならない。人間目線での都市空間の表現として都市の構造を考慮して、この目的に合致するモデルとして道路ないし通路とそれ以外の市街地の境界線に沿って鉛直に主として平面で構成される厚さゼロの壁を立て、該壁を原画像の投影面とすることとした。
【００２０】
この道路ないし通路に沿った投影面を数学的に表現することは、空中写真においてDEMを地表のモデルとして用いるのと同等の位置付けとなるが、道路ないし通路はグラフ構造を有しており、グラフ表現によりモデル化する。さらに、画像投影上重要なのは道路ないし通路の境界線上に存在する該壁あるいは投影面である、さらに道路ないし通路は、屈折し、分岐し、交差し、合流し、開始し、終了する。本発明者は、原画像の投影という目的に適した道路ないし通路の数学的表現方法をグラフ表現で考案した。この結果、道路ないし通路上の任意の位置の人間目線からの任意の市街景観を撮影済みの原画像からモーフィングによりリアルに動画で表現することに成功した。
【００２１】
このように本発明になる都市景観３次元動画アミューズメントシステムでは、空中を任意に飛び回り任意の視線で任意の場所を見られるだけでなく、任意の路上ないし通路から任意の人間目線で市街の３次元動画を得ることができる。このため、グラフィックユーザインターフェイスとしてインターネットを介して、空中を模擬飛行するための模擬コックピットを設け、方位、昇降および速度を自由に操縦し指定できるほか、模擬カメラに切替えてカメラの方位角、ティルト角、ズーム量を自由に変更して３次元動画を表示することもできるようにした。路上ないし通路上においてはグラフィックユーザインターフェイスを介して人間目線で前進後退、及び左折、右折による自由な位置変更ができるほか、視線の向きを変えて自由な方向の視界を３次元動画で表現することができる。さらに、本発明の都市景観３次元動画アミューズメントシステムの特徴は空中から自由に地上に舞い降り、路上ないし通路上を歩行し、また、地上から上空に舞い上がって空中を自由に飛び回れる自由さにある。このため、空中模擬視界から地上の着地点を指定して着地するグラフィックユーザインターフェイスおよび、逆に地上から空中に飛び上がるためのグラフィックユーザインターフェイスを導入してアミューズメント性を高めた。
【発明の効果】
【００２２】
以上、説明したように、本発明の都市景観３次元動画アミューズメントシステムによれば、コストのかかる都市空間の３次元数値モデルの生成および建造物表面に対するレンダリング処理を行うことなしに、空中で撮影した実画像を用いて都市の任意の場所に対して空中における任意の視点経路と視点方向に対する３次元動画を生成することができる。また、路上ないし通路上で撮影した実画像を用いて都市の任意の路上ないし通路上の地点に対し人間目線で任意の視点経路と視点方向に対する３次元動画を生成することができる。
【発明を実施するための最良の形態】
【００２３】
以下、添付図面を参照しながら、本発明の都市景観の３次元動画アミューズメントシステムを実施するための最良の形態を詳細に説明する。図１は、本実施形態における都市景観３次元動画アミューズメントシステムの全体構成を概略的に示す図である。該都市景観３次元動画生成アミューズメントシステムは視点が空中にある場合の３次元動画生成を行うための部分と、視点が路上にある場合の３次元動画生成を行うための部分と、双方に共通的なグラフィックユーザインターフェイスシステム180より構成され、ユーザ191にはインターネット190を介してサービスが提供される。
【００２４】
視点が空中にある場合の３次元動画生成を行うための部分は、航空機により空中で航空写真を取得するための空中画像取得システム100と、取得した航空写真を３次元動画生成に使いやすいように加工しデータベース化するための空中画像データベース生成登録システム120と、データベース化された空中画像データベース140と、グラフィックユーザインターフェイスシステム180を通して要求されるユーザ191の要求に基づき３次元動画像を生成する空中３次元動画生成システム160より構成される。
【００２５】
視点が路上にある場合の３次元動画生成を行うための部分は、車両等により路上で写真を取得するための路上画像取得システム110と、取得した写真を３次元動画生成に使いやすいように加工しデータベース化するための路上画像データベース生成登録システム130と、データベース化された路上画像データベース150と、グラフィックユーザインターフェイスシステム180を通して要求されるユーザ191の要求に基づき３次元動画像を生成する路上３次元動画生成システム170より構成される。双方に共通的なグラフィックユーザインターフェイスシステム180では、視点が空中にある場合の視界生成と視点が路上にある場合の視界生成をユーザ191の要求に基づき切り替える機能も有している。以下、本発明になる３次元動画生成の基本原理を解説した後、本発明になる該都市景観３次元動画アミューズメントシステムを構成する各システムについて詳述する。
【００２６】
図２は、都市景観３次元動画アミューズメントシステムにおける空中画像取得の概念を示す図であり、本発明の最大の特徴は、都市景観３次元動画生成において第一に都市の３次元モデルを生成しないことであり、第二に生成した３次元モデルに外壁面パターンないし外壁面写真をレンダリングしないことであって、これら人手とコストが必要な作業を排除する代わりに、都市景観のあらゆる位置について事前にあらゆる方向から画像を取得しておき、これを必要に応じて選択、変形して利用することである。しかしながらこの方法は膨大な画像を事前に撮影する必要があるだけでなく、最適な撮影済み画像を高速に検索する必要があり、近年のディジタルカメラの進歩、各種メモリの大容量低コスト化と処理能力と通信能力の向上によって実現の条件が整ったところに、本発明による新方式の完成によって初めて実現が可能となったのである。
【００２７】
図２では都市200の上空天球222を充分小さい立体角の範囲ｉ221あるいは立体角の範囲１220のようにおおむね２°から５°前後の角度で立体的に分割して、天球222を覆う地表近くを除くすべての該充分小さい立体角に対して地表のあらゆる場所の画像を準備するための空中画像取得システム100の概念を示している。
【００２８】
図３は図２の隣接する該充分小さい立体角の範囲ｉ221で撮影された同一地点に対する画像は視差のため見え方が若干異なるが、この若干異なった画像間の視界を線形変換により画像を連続的に変形させて補間し、滑らかな３次元動画を得るためのモーフィング処理の概念を示したものである。建物および視線方向の関係図230で示される建造物を視差が比較的小さい視線方向１240と視線方向２250より見た視界は、視線方向１より見た画像241および視線方向２より見た画像251で示されるが、視線方向１240と視線方向２250のなす角が小さい場合、あるいは対象物が平面的である場合には画像を線形変換によるモーフィング処理によって相互に近似することができる。このモーフィング処理を隣接する視点の実画像の補間処理に使用するのが本発明の特徴である。
【００２９】
図４は本発明になる都市景観３次元動画生成アミューズメントシステムにおける模擬飛行による模擬視界発生の概念を説明した図である。視点経路P(t) 270に沿って視点が時刻ｔとともに移動し、その間、地表を目標トラジェクトリT(t) 280に沿って視界にとらえる。該目標トラジェクトリT(t) 280は該視点経路P(t) 270上の位置から、時刻ｔ の視線271、時刻ｔ+δｔ の視線272、時刻ｔ+2δｔ
の視線273、時刻ｔ+3δｔ の視線 274、時刻ｔ+4δｔ の視線275、および時刻ｔ+5δｔ の視線276によりδｔごとにとらえられた地表上の軌跡である。本発明では該視点経路P(t) 270からの該目標トラジェクトリT(t) 280に対する都市景観３次元動画を生成する方法として、時刻ｔの視線271から時刻ｔ+5δｔの視線276に近く視差の少ない空中画像ｉ260および空中画像ｉ+1 261を空中画像データベース143より検索し、時刻ｔ の視線271、時刻ｔ+δｔ の視線272、および時刻ｔ+2δｔ
の視線273の間は最も視線が近い空中画像ｉ260を原画像として使用して、時刻ｔ
の視線271、時刻ｔ+δｔ の視線272、および時刻ｔ+2δｔ の視線273と空中画像ｉ260の視線の間の視点の相違による視差を空中画像ｉ260に対するモーフィング処理で補正し、時刻ｔ+3δｔ の視線 274からは空中画像ｉ260よりも空中画像ｉ+1 261の方が視点の相違による視差が少ないと判断して空中画像ｉ+1 261を原画像に切り替え、時刻ｔ+3δｔ の視線 274、時刻ｔ+4δｔ
の視線275、時刻ｔ+5δｔ の視線276と空中画像ｉ+1 261の視線の間の視点の相違による視差を空中画像ｉ+1 261に対するモーフィング処理で補正することにより滑らかな該目標トラジェクトリT(t)
280に沿った都市景観の３次元動画生成を行うのである。
【００３０】
本発明になる方法は膨大な量の空中画像を必要とするが、その取得方法についての例を示したのが図５である。航空機301に図７に示すような多数のディジタルカメラを収容したディジタルカメラ集合体を搭載し、飛行経路300に沿って一定間隔ごとの撮影ポイント310で地表を撮影する。飛行経路300と撮影ポイント310を網目状に濃密に設定し、複数のディジタルカメラを搭載してディジタルカメラ集合体光軸方向320に示すように同時に多方向の画像を撮影することにより、図２に示す該充分小さい立体角の範囲ｉ221ごとの画像を取得する。
【００３１】
図６は空中画像取得システム100の処理フローを記したもので、以下、図１５まで、該空中画像取得システム100の詳細な実現方法を説明する。まず、撮影ポイント設定プロセス330で一定距離間隔で網目状に空中画像を撮影できるように、飛行航路と撮像ポイントを設定する。この撮影計画は図１１に構成が示される空中画像取得計画ファイル101の形で飛行航路と抗路上の撮影ポイントが定義される。次に撮影プロセス331では、航空機301が空中画像取得計画ファイル101に規定された撮影ポイント310に到達したことを判断して図９に示す空中撮影制御システム393により撮影を行う。撮影されたディジタルカメラ内の画像は空中撮影制御システム393により予め決められたタイミングごとに撮像プロセスで取得した位置および姿勢データから構成されるメタデータとともに空中画像一次ファイル102に蓄積される。
【００３２】
図７は本発明になる空中画像取得システム100を構成するディジタルカメラ集合体360の構成例を示した図である。地表をあらゆる視点から効率よく高密度に撮影する目的で、直下方向のディジタルカメラ350aの周辺に水平全周方向が放射状に等間隔に分割されるように複数の斜め方向ディジタルカメラ350bから350iまでの8台を光軸が重力方向となす角が同一となるように配置してディジタルカメラ集合体360を形成したものである。とくに航空機に搭載して撮影する場合には、滞空証明を取得する必要があり、航空写真撮影用に航空機床面にあいている穴を変更したり、あるいは該床面穴から機体外にカメラが飛び出す形で利用することは事実上不可能であるため、ディジタルカメラ集合体360をCanon社製のPowerShotなどの小型ディジタルカメラを利用して該ディジタルカメラ集合体が該航空機床面穴内に収まるよう工夫したものである。ディジタルカメラ集合体 360を構成するディジタルカメラ350a〜i以外の支持構造は、撮影方向精度が高いことを要求されるので、軽量かつ剛性の高いものであればどのようなものでもよく、ハニカム構造アルミニウム板あるいは炭素樹脂などで構成することができる。
【００３３】
図８は、航空機による空中画像取得システムの航路および撮影ポイントの設定例を示したものである。図８(ｂ)にて撮影ポイント310の設定例を示している。飛行経路300は空中に撮影ポイント310の網目を構成するために等間隔で平行な飛行航路300を図８(ｂ)で点線で結んであるようにＵターンしながら往復する形で飛行する。この間、撮影ポイント310で撮影を行う。撮影ポイント310の相互間隔は、飛行航路間撮影間隔372と  飛行方向撮影間隔371により規定される。飛行高度を約８００ｍと設定すると、飛行航路間撮影間隔372および飛行方向撮影間隔371は、図２の充分小さい立体角の範囲 ｉ221内に少なくとも１枚の画像を得るためには約８０ｍ以下に設定するのが好ましい。ディジタルカメラ集合体360で撮影した場合、図８(ａ)のディジタルカメラ350a〜iの撮影範囲375a〜iで示す範囲が撮影される。飛行高度、斜め方向ディジタルカメラ350ｂ〜iの鉛直方向となす角度、およびレンズの焦点距離の設定によって、該ディジタルカメラ350a〜iの撮影範囲375a〜iの各ディジタルカメラが撮影する範囲と相互の重複度は変化する。本発明の目的からは、相互に若干の重複しながら地表をほぼ連続的に覆うように設定することが望ましい。なお、直下方向を撮影するディジタルカメラ350aの飛行経路300に対する向きは、図８(ａ)では画像フレームの横方向を飛行経路300の進行方向にしているが、画像フレームの縦方向を飛行経路300の進行方向にしてもよい。
【００３４】
図９は空中画像取得システムの構成例を示した図であり、フライトナビゲーションシステム部385とデータ取得記録システム部390より構成される。フライトナビゲーションシステム部385は図８(ｂ)で規定される撮影ポイント310に航空機301を飛行経路300に沿って誘導するための装置であり、ＧＰＳ380より航空機位置データが周期的に得られ、航空計装388より航空機姿勢、高度、速度などのアビオニクス情報387が得られる。これらの信号インターフェイスは航空機用バス信号として標準化されているので新規性はない。
【００３５】
フライトナビゲーションシステム部385の機能は、図１１の空中画像取得計画ファイル101の内容に従い、図１０の空中画像取得システムのフライトナビゲーションシステム部の処理フローによって図１２の空中画像取得システムのフライトナビゲーションシステム部の表示画面例によってパイロットを誘導するものである。フライトナビゲーションシステム自体は既に公然実施されていて何ら新規性はないものであるが、本発明の目的を実現するために撮影ポイント310に効率的に航空機を誘導する部分が本発明に関わるところである。まず飛行前に都市のどの部分の上空画像を取得するか決定する。地図上で撮影範囲を決定し、飛行プランを策定する。飛行プランは飛行経路300を航空地図上で設定することによって行われる。
【００３６】
撮影ポイント310は本発明の目的を達成するように均一かつ高密度な網目状に地表から同一の高さで設定しなくてはならず、その結果に基づき飛行経路300を平行線で構成されるように設定する。各直線部分に図１１の空中画像取得計画ファイル101に示される航路No.を割り振り、各航路ごとに全体として網目を構成するように撮影ポイント310を割付け、各航路の開始座標と終了座標、さらにその間の撮影ポイント数と各撮影ポイント座標を緯度経度および高度で設定する。このようにして図１１の空中画像取得計画ファイル101は構築される。該空中画像取得計画ファイル101の構築に関わるグラフィックユーザインターフェイスは地図情報システムとして公然実施されている。
【００３７】
フライトナビゲーションシステム部385の機能は図１０に記載の空中画像取得システムのフライトナビゲーションシステム部の処理フローによって示される。処理ブロック420で空中取得計画ファイル101に登録されている航路No.の中から飛行予定の航路No.についてすべての撮影が終了するまで図１２の表示を順次に行う。指定された航路No.には開始座標があるので、処理ブロック421で該航路NO.を開始するために航路開始点の位置、高度、進行方向、速度を指定して図１２の内容をモニタ上に表示してガイダンスを行う。撮影を行うには、処理ブロック421で規定された条件を一定の誤差範囲、たとえば位置誤差で１０ｍから３０ｍ以下の精度、飛行方向誤差で５°以下の精度で満足しなくてはならず、満足しない場合には再度飛行航路をやり直すことになり、処理ブロック423で処理ブロック421のガイダンスを再度行う。処理ブロック422の条件を満足した場合には処理ブロック420で選択された航路No.の空中画像取得計画ファイル記載の撮影ポイント座標から最終撮影ポイントまで撮影ポイントをひとつずつ順次処理ブロック424および処理ブロック425によりガイダンスする。図１２に空中画像取得システムのフライトナビゲーションシステム部の表示画面例を示す。
【００３８】
航空機301を処理ブロック420で指定された航路No.の開始点に誘導するためには図１２の撮影ガイダンス表示437と位置偏差表示446を用いる。航空機位置373の飛行航路300からの偏差を知ることができ、航空機を操縦して偏差の解消を行う。航空機の位置に関するデータはＧＰＳ380より得られるほか、航空機計装388よりアビオニクス情報387として高度、進行方位、速度、ピッチ・ヨー・ロールの姿勢データが得られ、図１２の表示に使用される。撮影ガイダンス表示437では、航路No.表示439により飛行中の航路が示されるほか、航路内残撮影ポイント数表示438により、航路内で今後撮影しなければならない撮影ポイント数が示される。撮影ガイダンス表示437では、撮影ポイント310を飛行航路300に沿って、撮影ポイントNo.と撮影許容範囲440が表示されるので、パイロットは各撮影ポイントに対して撮影許容範囲440内を航空機が通過するように操縦する。航空機ガイダンス表示437は飛行にしたがって上から下へローリング表示することにより、常に直近の撮影ポイントととるべき飛行経路300と航空機位置373の関係が示される。航空機位置表示373は常時画面左下部となる。なお、図１２の方位表示442、姿勢表示443、位置偏差表示446はいずれも現在の航空計装では公然実施されているものである。
【００３９】
つぎに図９におけるデータ取得記録システム部 390につき詳述する。図９において、航空機301には機体下方に航空写真機設置用の航空機床穴397があり、この穴にディジタルカメラ集合体360を機外に張り出さないように設置する。図９の例では後述する安定プラットフォーム装置395により航空機床穴397に吊下する構造を採用しているが、安定プラットフォーム制御システム 394および安定プラットフォーム装置395は航空機301の姿勢に拘らずディジタルカメラ集合体360を常に地上直下に指向させ、かつ方位を規定方向に固定する機能を有するので、航空機のピッチ・ロールを常時５°以内に操縦で保てるのであれば安定プラットフォーム装置395を省略してもよい。ＩＭＵ396は慣性計測装置の英語表現の頭文字であり、安定プラットフォーム装置395に乗せることによりディジタルカメラ集合体360の姿勢を計測することができる。ディジタルカメラ集合体360の上面は航空機床398より上に出てもよい。
【００４０】
データ取得記録システム部 390には航空機301の姿勢を観測するＩＭＵ400と、ディジタルカメラ350の制御と撮像データ処理のためのプログラムを含む空中撮影制御システム393と、画像データをふくむ各種データを記憶する大容量ディスク装置で構成される空中画像一次ファイル102と、ディジタルカメラ350に対する撮影指令を出すための撮影ポイントを記憶している空中画像取得計画ファイル101を機内に搭載している。航空機301の位置計測用のＧＰＳ380のアンテナを機外に有している。
【００４１】
図１３は図９のデータ取得記録システム部 390の構成機器間の情報の流れを示している。図１４は撮影制御システム393の処理フローを説明している。撮影制御システム393はＣＰＵで構成される。撮影制御システム393はＩＭＵ396より安定プラットフォーム装置395の姿勢データ450を周期的に取り込む。安定プラットフォーム395が正常に動作している場合には、航空機301の姿勢によらず慣性空間に対して常に一定の姿勢を保っている。航空機301に固定されたＩＭＵ400は航空機の姿勢データ451を、ＧＰＳ380はＧＰＳアンテナの位置データ452を周期的に撮影制御システム393に送り込む。撮影制御システム393の処理は図１４に詳説しているが、空中画像取得計画ファイル101の内容と得られたＧＰＳアンテナの位置データ452と航空機の姿勢データ451を処理ブロック460と処理ブロック461で順次照合し、航路No.を特定し、当該航路No.の撮影終了ないし、航路離脱まで、順次処理ブロック462で指定航路の撮影点の直近点を通過中かを判定し、撮影許容範囲440内で撮影ポイントに最近接したタイミングにディジタルカメラ集合体を構成する各ディジタルカメラ350に処理ブロック463で一斉に撮影指令457を送ると同時に図１５に示す空中画像一次データファイル内の航空機データ部分472を処理ブロック464で書き込む。
【００４２】
ディジタルカメラ350は内部に本発明の時点で３２ＧＢのメモリを保有できるので撮影した空中画像データ455を少なくともひとつの航路No.が終了するまで保持することができる。航空機301は、ひとつの航路No.を終了し、次の航路No.に入るまでの間、Ｕターン飛行をするが、この間は撮影を行わないので、ディジタルカメラ350内の空中画像データ455を航空機搭載の大容量ディスク装置で構成される空中画像一次ファイル102に処理ブロック465で転送し、ディジタルカメラ350内部のメモリを空にする。
【００４３】
図１５に空中画像一次ファイル102の構成例を記したが、画像ヘッダ部470と画像データ部471は撮影した各画像ごとに用意される。ヘッダー部のカメラＩＤはディジタルカメラ集合体360を構成する各ディジタルカメラ350a〜iを識別する番号である。画像データＩＤは相互に画像が識別できるように付す認識番号であり、撮影日時刻は航空機データ部分472と対応する撮影時刻であり、空中画像データベース生成登録処理120において、統合して各ディジタルカメラ350a〜iの光軸方向を算定するのに用いられる。画像データ部分471は特にこの段階では加工を施さない。また、画像ヘッダ部470のカメラパラメタは通常は飛行中固定であるので、同一設定値を書き込む。
【００４４】
空中画像データベース生成登録システム120について図１６から図２６までを用いて詳細に説明する。図１６は全体の処理フローを記載しており、処理ブロック480では、空中画像取得システム100で1日の飛行中に蓄積した空中画像一次ファイル102を飛行が終了した後、すべての画像について順次処理する。処理ブロック481では図１７の空中画像データベースの画像ヘッダ部490のヘッダーを作成するが図１５の空中画像一次ファイル102の画像ヘッダ部470のヘダーをそのまま転記する。処理ブロック482についても通常は空中画像一次ファイル102の画像ヘッダ部470のカメラパラメタをそのまま転記すればよい。
【００４５】
処理ブロック483では、画像ヘッダ部490の撮影パラメタを各画像ごとに計算するがその処理について以下に詳述する。カメラ位置は緯度、経度、高度で規定されるが、通常航空機搭載ＧＰＳ380による位置測定がＤＧＰＳである場合には、飛行高度が低いこともあってそのまま正確な位置が得られるとしてよい。ＧＰＳ380による位置測定がＧＰＳである場合には誤差をふくむので、着陸後に飛行時刻と同時刻に測定した付近のＤＧＰＳ局から座標補正データを入手して撮影日時刻にあわせて補正を行う。
【００４６】
撮影パラメタの計算は線形代数を使用して行い、以下、図２３を参照しながら説明する。北方の水平方向を指す直交座標系での単位ベクトルを
2009217524.tif 000003
とし基準軸とする。
2009217524.tif 000004
を基準とした機体のピッチ・ヨー・ロールによる座標変換を
2009217524.tif 000005
とする。また、空中画像一次ファイル102における航空機データ部分472の位置を直交座標系で
2009217524.tif 000006
とし、機体内のＧＰＳアンテナ380からディジタルカメラ集合体360への位置偏差をベクトル表現で
2009217524.tif 000007
とする。さらに基準軸
2009217524.tif 000008
に対する各カメラ（添字k=ａ〜ｉで示す）の光軸、および４隅の方向ベクトルを単位ベクトルで下記と表現する。下記は常数であり、カメラの焦点距離と、ディジタルカメラ集合体360のディジタルカメラ350ａ〜ｉの取り付ける向きにより決まる。
撮影中心光軸を画像ベクトル（正規化）  Ｇkc=ｔ(Gkcx Gkcy Gkcz)
撮影画像右下端方位ベクトル（正規化）  Ｇk1=ｔ(Gk1x Gk1y Gk1z)
撮影画像右下端方位ベクトル（正規化）  Ｇk2=ｔ(Gk2x Gk2y Gk2z)
撮影画像右下端方位ベクトル（正規化）  Ｇk3=ｔ(Gk3x Gk3y Gk3z)
撮影画像右下端方位ベクトル（正規化）  Ｇk4=ｔ(Gk4x Gk4y Gk4z)
と定義すると、撮影位置Ｓは  Ｓ＝
2009217524.tif 000009
＋
2009217524.tif 000010
2009217524.tif 000011
となり、図１７撮影パラメタの撮影位置（緯度,経度,高度）が求まる。正規化画像ベクトル(X,Y,Z)は  
2009217524.tif 000012
Ｇkc  により求まる。
【００４７】
航空機の姿勢
2009217524.tif 000013
を加味した画像４端の方向の正規化ベクトルは各カメラに対して、それぞれ、
2009217524.tif 000014
Ｇk1，
2009217524.tif 000015
Ｇk2，
2009217524.tif 000016
Ｇk3，
2009217524.tif 000017
Ｇk4  となる。地表のTerrainデータは緯度、経度、標高で地表の格子点に対して与えられているから、その直近の隣接する３点ずつで３角形を構成してその頂点座標をＴ1,Ｔ2,Ｔ3とし,Ｔcを三角形Ｔ1Ｔ2Ｔ3  の平面とＧkcの交わる座標とすると、ｘは外積を表し、
【数１】
2009217524.tif 000018
ｘ
2009217524.tif 000019
2009217524.tif 000020
0
2009217524.tif 000021
ｘ
2009217524.tif 000022
2009217524.tif 000023
0
2009217524.tif 000024
ｘ
2009217524.tif 000025
2009217524.tif 000026
0
であればＴcは三角形Ｔ1Ｔ2Ｔ3内部にあるといえる。すなわち交わる。
撮影位置Ｓ=(x,y,z)からの画像ベクトル（正規化）Ｇkc がＴcで三角形Ｔ1Ｔ2Ｔ3と交わるとすると
（数２）
Ｔc-Ｓ=ＲＧkｃ    
Ｔc-Ｔ1=a(Ｔ2-Ｔ1)+b(Ｔ3-Ｔ1)    ここでa,bは任意のスカラ-定数
となる。ここでＲは図１７の撮影パラメタの画像距離である。画像距離とは撮影位置から撮影光軸がTerrain580に交わるまでの距離をいう。
ここで、             
【数３】
2009217524.tif 000027
=  t(Ｔ1x  Ｔ1y  Ｔ1ｚ)
2009217524.tif 000028
= ｔ(Ｔ2x  Ｔ2y  Ｔ2ｚ)
2009217524.tif 000029
= ｔ(Ｔ3x  Ｔ3y  Ｔ3ｚ)
2009217524.tif 000030
= ｔ(Ｔ4x  Ｔ4y  Ｔ4ｚ)
とすると、
【数４】
2009217524.tif 000031
=
2009217524.tif 000032
2009217524.tif 000033
2009217524.tif 000034
=
2009217524.tif 000035
+a(
2009217524.tif 000036
-
2009217524.tif 000037
)+ｂ(
2009217524.tif 000038
-
2009217524.tif 000039
）
となり、図１７の撮影パラメタのTerrain上中心点座標（緯度,経度,標高）が
2009217524.tif 000040
として求まる。ただし三角形Ｔ1Ｔ2Ｔ3の内部にあるかは、外積を計算してチェックする。
【００４８】
同様にＧｋｃの代わりにＧk1,Ｇk2,Ｇk3,Ｇk4に対して計算することにより、Terrain上最近右座標（緯度,経度,標高）、Terrain上最遠右座標（緯度,経度,標高）、Terrain上最遠左座標（緯度,経度,標高）、Terrain上最近左座標（緯度,経度,標高）がそれぞれ求まる。
次に、図１７撮影パラメタのフレーム回転角を求める。航空機の姿勢が基準方向であると、各ディジタルカメラのフレームの光軸を通る水平線は地球の水平線と平行であるが、機体のピッチ・ヨー・ロールによる座標変換が
2009217524.tif 000041
であると地球の水平線から回転角が生じる。
機体の姿勢が基準方向であるときの画面フレームの水平線は下記で与えられる。
【数５】
2009217524.tif 000042
機体のピッチ・ヨー・ロールによる座標変換が
2009217524.tif 000043
であると、画面フレームの水平線は下記で与えられる。
【数６】
2009217524.tif 000044
したがって、フレーム回転角は、
【数７】
2009217524.tif 000045
2009217524.tif 000046
となる。ここで  ・は内積を表し、
2009217524.tif 000047
はノルムを表す。
【００４９】
次に処理ブロック484で空中のモヤの影響除去の処理を行う。本発明の空中３次元動画生成システム150では、異なる視点から撮影した原画像を使用して都市のさまざまな方向からの映像を表現する。このため原画像に直射日光による影が存在すると、撮影時刻は原画像ごとに異ならざるを得ないため動画を合成したとき極めて見づらいものとなる。これを避けるため、直射日光のない曇天に雲の下から撮影し空中画像を取得する。このため、空中画像取得計画ファイル101では飛行高度を積雲または層雲が出現する高度より低い７００〜８００ｍに設定して撮影を行う。曇天での撮影は航空測量に航空機が使用できない条件下であるので、航空機の余剰時間を安価に利用できるという利点もある。一方、空中の水分が多いため視程が晴天時より短くなる欠点がある。
【００５０】
水分は微小な水滴として直進光を乱反射、乱屈折させるため、空中の通過距離に応じて影響が発生する。特に斜め航空写真の場合には、オフナディア角が大きい程水分の影響が大きくなる。図１８はモヤの影響除去処理における画像と視野の関係を示した図で、撮影画像495の下端は近景部分ａ496で撮影地表部分499のもっとも直近部分である。撮影画像495の上端部分は遠景部分498であり、撮影地表部分499の最遠部に位置する。近景部分ａ496から遠景部分498に向けて光が空気中を通過する距離が増える結果、微小水滴による光の散乱が増え、コントラストが減少し白濁する。この結果、図１９（ａ）に示すようにモヤのない場合の画像のヒストグラムが輝度下限値から輝度上限値507まで分布した正規化ヒストグラム500であった場合、近景部分ａ496では近景部分ａヒストグラム 501となり、上限値と下限値の幅が狭くなり中央値も白い方、すなわち輝度の高いほうに偏移する。
【００５１】
この傾向は遠景部分ヒストグラム502で最も顕著となり、ヒストグラム上限値504とヒストグラム下限値 503の差である値幅 505が最小となり中央値506が最大となる。図１８の撮影画像495で、ヒストグラムをとる範囲を画面横方向は全範囲で縦方向は近景部分ａ496、近景部分ｂ497のように一定幅の短冊状にして、１ラインずつずらしながら上方に向けてヒストグラムを計算すると、図１９（ｂ）のような特性が得られる。モヤの濃度は高度によって濃淡があるが、水平方向には濃度の差がないとしてよいので、値幅フィッティング曲線513は単調減少、中央値フィッティング曲線512は単調増加として近似してよい。これらの曲線はモヤの高度による分布が不明であるので、実測値からフィッティングで求めた上で各行ごとに、フィッティング曲線から求めた値幅と中央値の補正係数で各画素値を補正する。
各画素の輝度の補正は、水平ラインごとに
（数８）
正規化ヒストグラム中央値＋（画素輝度―中央値フィッティング値）
＊正規化ヒストグラム値幅／値幅フィッティング値
で求められる。以上説明した処理は、図２０で処理ブロック520から処理ブロック524で記された処理である。図２１は本発明のモヤ影響除去処理の処理結果例を示すものであり、モヤ影響除去前画像530を処理した結果、モヤ影響除去後画像531が得られている。
【００５２】
次に処理ブロック485で処理ブロック481から484で求めた結果を図１７に示す空中画像データベース143の該当画像データ部分に格納する。図１６の空中画像データベース生成登録システムの処理フローの最後の処理ブロック486で、処理ブロック485で登録した空中画像データを用いた動画生成のために高速に該空中画像データを検索する目的でインデクスを生成する。処理ブロック486の内容は図２２の空中画像データベース登録システムの空中画像インデクス生成登録処理フローでさらに詳細に述べられている。以下、図２２にしたがって説明する。処理ブロック540の内容を図２３の空中画像インデクス機構の構造と用語の定義を参照しながら説明する。撮影位置550で撮影された画像には、図１７の空中画像データベース133の撮影パラメタとして撮影位置（緯度,経度,高度）550、正規化画像ベクトルＧ＝ｔ(X Y Z) 551、フレーム回転角553、画像距離552,Terrain上中心点座標（緯度,経度,標高）554、Terrain上最近右座標（緯度,経度,標高）555、Terrain上最遠右座標（緯度,経度,標高）556、Terrain上最遠左座標（緯度,経度,標高）557、Terrain上最近左座標（緯度,経度,標高）558が既に格納されており、図２３はそれを図示したものである。撮影位置550で撮影した画像は地表画像範囲549を捉えている。地表、Terrain580には緯度経度が定義されるので、１秒ごとにメッシュ化すると東京地方の緯度３５°付近では緯度方向で３０ｍ、経度方向で２５ｍのセルが構成できる。０．４秒ごとにメッシュ化すれば緯度方向で１２ｍ、経度方向で１０ｍのセルが構成できる。６５ｋｍ四方の都市領域を考えると、このセル数は３５Ｍセルに過ぎない。地表画像範囲549に含まれる地表セル559は地表画像範囲549の４端点が緯度経度で判明しているから容易に求めることができる。
【００５３】
各地表セルに対して、図２に示す天球222のあらゆる方向に対し、十分小さい立体角の範囲i221で画像を検索できなくてはならない。この目的で図２４（ａ）に示すように天球を地表セル559の中心から鉛直に上を向いている天頂ベクトル570を定義し、以下、該天頂ベクトルを基準に同心円状に天球を輪切りにして天頂インデクスI 572を定義する。天頂インデクスｉはi=0,1,2,…と順次定義され、i=0は天頂ベクトルであり、順次ｉが大きくなるに従い、天頂ベクトルとなす角度が同一幅で増加し、同一同心円状に天頂から水平線まで定義される。天頂インデクス572を通過して地表セル559から立体角セル中心ベクトルが定義される。立体角セル中心ベクトル574は、必ず天頂インデクス572上に一定方位角間隔で定義される。
【００５４】
図２４（ａ）で立体角セル573とは図２の十分小さい立体角の範囲I 221に対応するもので、地表セル559からの画像検索の基本単位となる。立体角セル573は立体角セル中心ベクトル574に対してなす角度がたとえば３．５°以下であるベクトルの収まる円錐と定義される。図２４は天頂方向から地表セル559を見た図である。立体角セル573は天頂インデクスI 572に対して相互に重複しながら隣接して定義され、天頂インデクスｉ572の全周をうめる。
天頂ベクトル570と天頂インデクスI 570を通過する立体角セル中心ベクトル574のなす角を天頂離角571といい、天頂インデクスI 572を定義する数値となる。
【００５５】
図２５は立体角セル573のインデクス構造を示したものである。図２５（ｂ）は天頂方向から地表セル中心点575を見下ろした図である。2次元の添字のある立体角セルアドレス（ｉ，ｊ）を定義して、ｉは天頂インデクスｉ572を示し、jは天頂インデクスｉの同心円上のｊ番目の方向の立体角セルを表す。立体角セルアドレス(0,0) 584の立体角セル中心ベクトルは天頂ベクトル570であり、これを囲んで、同心円状に天球上で立体角セルアドレス(1,0) 585、立体角セルアドレス(1,1) 586、立体角セルアドレス(1,2) 587が以下、天頂インデクス１の全周を埋めるまで定義される。天頂インデクス１581の外側に天頂インデクス２に沿って、立体角セルアドレス(2,0) 588、立体角セルアドレス(2,1) 589、立体角セルアドレス(2,2) 590が天頂インデクス２の全周を埋めるまで定義される。立体角セル573は相互に重複し、天球を空隙が無いように埋め尽くされる。立体角セルの立体角は３次元動画生成が滑らかに行われるように、設定される。立体角セルアドレス数は天頂インデクスが地表に近づくにつれて多くなる。このようにしてすべての地表セルに対して、該地表セルを撮影した画像を、天球上の方向によって検索できるのである。
【００５６】
図２６に空中画像インデクススの関連テーブルの構造と相互関連を示す。天頂インデクスと天頂セルアドレスの構造は、地表セルに依存せず同一であり、この構造を天頂インデクスパラメタテーブルＺＮＰＲＭＴ597と方位インデクスパラメタテーブルＤＲＰＲＭＴ598で定義する。この構造を天頂インデクスパラメタテーブルＺＮＰＲＭＴ597は天頂インデクス０から順次、天頂インデクスｉ572に対する天頂離角571を定義し、さらに天頂インデクスｉ572に対応する中心ベクトル574が正規化ベクトルであった場合の鉛直方向成分を縦方向成分として格納する。天頂インデクスi 572に含まれる立体角セルの数は天頂から水平線に近づくにつれ増大するので、各天頂インデクスに対応した方位数ＮＤＲｉとして規定する。方向インデクスパラメタテーブルＤＲＰＲＭＴ598は天頂インデックスに対応して定義される方位数ＮＤＲｉに対応する立体角セルアドレスにつき、その立体角セル中心ベクトルの方位Ｘ成分と方位Ｙ成分を規定する。天頂インデックスパラメタテーブルＺＮＰＲＭＴ597  記載の縦方向成分とあわせてベクトルノルムが１となるように正規する。
【００５７】
次に、地表セルに対応した画像データインデクステーブルの構造について説明する。図２６の地表セル位置インデックステーブルＴＣＩＮＸＴ 600はすべての地表セル559に対して定義され、地表セルに対応して天頂インデックステーブルアドレスＡＤＤＲｉｊ  603が指定される。ＡＤＤＲｉｊの添え字は地表上の位置に対応して経度インデックスＬＯＮＩＮＸ 601がｉ、緯度インデックス  ＬＡＴＩＮＸ 602がｊであることを示している。天頂インデックステーブルアドレスＡＤＤＲｉｊ  603は、地表セルijに対応した天頂インデックステーブルＺＮＩＮＸＴ 604を示す。天頂インデックステーブルＺＮＩＮＸＴには選択された天頂インデクスｋに対応して方位インデックステーブルアドレスＡＤＤＲijk  605が定義され、これに従い方位インデックステーブルＤＲＩＮＸＴ 606が規定される。ここには天頂インデックスパラメタテーブルＺＮＰＲＭＴ  597  で指定される数の方位数があるので方位インデクスがｍであれば画像アドレステーブル608のアドレスとしてＡＤＤＲｉｊｋｍが指定される。このように選択された画像アドレステーブルとは、地表セルｉｊに対して立体角セルアドレス（ｋ，ｍ）の立体角セルに含まれる画像データ数と画像データアドレスを示しているのである。このように図２６に従い、空中画像インデクスと関連テーブルの相互関連を定義すると地表の位置から空中の任意の方向から撮影した画像を検索できるのである。
【００５８】
以上の画像データインデクス機構の説明に基づき、図２２に示す空中画像データベース登録システムの空中画像インデクス生成登録処理フローの説明を以下に行う。処理ブロック540では図２３で示されるような1枚の画像があると、地表画像範囲549に含まれるすべての地表セルを求める。処理ブロック541では処理ブロック540で求めた地表セルすべてについて処理を順次行う。処理ブロック542では地表セル中心座標から撮影位置550を見込むベクトルを求める。処理ブロック543と処理ブロック544ではでは天頂インデックスパラメタテーブルZNPRMT  597 と方位インデックスパラメタテーブルDRPRMT 598の定義から内積演算により該地表セル中心座標から撮影位置550を見込むベクトルをふくむ立体角セルアドレス（ｋ，ｍ）を求める。この情報に基づき処理ブロック545で画像データテーブルＡＤＤＲijkmの画像データ数を１つ増加して画像データアドレスを追記する。
【００５９】
図２７に３種類の焦点距離の異なるディジタルカメラによる視野の構成例を示す。本発明の都市景観の３次元動画生成では、俯角が少ない場合の原画像はオフナディア角の大きな画像となるため必然的に航空機より遠方の画像となる。このことは、俯角が少ない場合の動画像を分解能を低下させずに生成させるためにはオフナディア角の大きな場合の画像撮影時に分解能を悪化させない配慮が必要である。このため、図２７に示すようにオフナディア角が大きくなるに従い望遠レンズの焦点距離を長くし、分解能を維持すると同時に、３種類のオフナディア角のディジタルカメラを採用してオフナディア角が大きくなるほど焦点距離を長くして地表分解能が均一になるように工夫した例である。図２８に直下点撮影用にディジタルカメラ350ａを用い、ディジタルカメラ350ｂ〜ｉまでの８台を放射上に同一の小さいオフナディア角を持たせて配置し、その外側にディジタルカメラ620ｊ〜ｙまでの１６台を放射上に同一の大きいオフナディア角を持たせて配置する。ディジタルカメラの小型高性能化は著しく、既存の航空写真カメラ用航空機床穴398に充分収納することができる。図２９に３種類の焦点距離の異なるディジタルカメラによるディジタルカメラ集合体の撮影範囲例を図示する。代表的実施例としてはディジタルカメラ350ａを３５焦点距離５０ｍｍ相当で直下指向、ディジタルカメラ350ｂ〜ｉを焦点距離７０ｍｍ相当でオフナディア角３５°指向、ディジタルカメラ620ｊ〜ｙを焦点距離１０５ｍｍ相当でオフナディア角６０°指向という組み合わせがある。
【００６０】
図３０に航空機搭載用安定プラットフォーム装置395のもっとも単純な構成例を示す。
安定プラットフォーム装置395は航空機床穴397をまたぎ、上部にふさぐ形で設置され、下から固定部635、上下動部636、回転部637より構成される。回転部637は回転テーブル構造をなしており、その上に密着して姿勢検出用のＩＭＵ396が設置され、回転部637の下部にはディジタルカメラ集合体360が吊下されて航空機床穴397より機外に張り出すことなくすべての下方視界をすべてのディジタルカメラ350a〜iに収めることができる。該安定プラットフォーム装置395はディジタルカメラ集合体360または621を吊下してディジタルカメラ350a〜iおよびディジタルカメラ620j〜yを用いて同様に撮影することもできる。なお、回転部637とディジタルカメラ集合体360または621の接合方法は剛性を持たせて固定することが必要である。安定プラットフォーム装置395は航空機姿勢の擾乱に対して遺影の姿勢を保持することを目的としているが、対処可能な航空機の姿勢擾乱はピッチ角およびロール角で最大７から１０°、ヨー角については最大２０°を想定しておけばよい。固定部635は航空機床398に固着される。上下駆動機構Ａ〜Ｄ641〜644を介して上下動部636を保持する。上下駆動機構Ａ〜Ｄ641〜644は各々独立に上下に動きピッチ角とロール角の擾乱を補正する。上下駆動は油圧機構でも、ウォーム歯車による回転運動の上下運動への変換方式を採用してもよい。上下動部645にはさらにベアリング機構645に保持される形で回転部637が搭載される。回転駆動機構640は上下動部636に固定され、かつ回転部637外延部に接する形で設置される。回転部637と回転駆動機構640との間は回転運動を伝達すればよく、回転部637を回転させて航空機のヨー角に対する擾乱を打ち消す。図３１に安定プラットフォーム装置の信号情報フローを示す。安定プラットフォーム制御システム  394はＩＭＵ396よりピッチ角、ヨー角、ロール角を周期的に入力し、基準値からの偏差を求めてピッチ角、ロール角の偏差を打ち消すために上下駆動機構Ａ〜Ｄ641〜644を制御して上下運動649を行わせる。ヨー角の偏差を打ち消すためには回転機構640を制御して回転運動650を行わせる。
【００６１】
次に、都市景観３次元動画アミューズメントシステムにおける空中動画生成処理につき図３２から図３９を用いて説明する。モーフィングによる空中動画像生成の概念と変数の説明を図３２で説明し、全体の処理のフローを図３３の都市景観３次元動画アミューズメントシステムにおける空中動画生成処理フローに基づき説明する。図３２において、視点経路P(t) 270に沿って視点が時刻ｔとともに移動し、その間、地表を目標トラジェクトリT(t)
280に沿って該視点経路P(t) 270上の位置から時刻ｔ1からｔ４、ｔｉまで、視線ベクトルＶ（ｔ１）からＶ（ｔ４）、Ｖ（ｔｉ）でとらえる。本発明では該視点経路P(t) 270からの該目標トラジェクトリT(t) 280に対する都市景観の３次元動画を生成する方法として、時刻ｔ１、ｔ２、ｔ３では視点Ｐ（ｔ１）675、視点Ｐ（ｔ２）676、視点Ｐ（ｔ３）677の視線に近く視差の少ない空中画像ｍ−１666を空中画像データベース130より検索し、時刻ｔ１、ｔ２、ｔ３ の視線ベクトルＶ（ｔ１）681、Ｖ（ｔ２）682、Ｖ（ｔ３）683の間は、画像ベクトルＧｍ−１672との視差の相違を空中画像ｍ−１666に対するモーフィング処理で補正し、滑らかな動画像を生成する。時刻ｔ４ の視線ベクトルＶ（ｔ４）684からは空中画像ｍ−１666よりも空中画像ｍ 667の方が視点の相違による視差が少ないと判断して空中画像ｍ 667を原画像に切り替え、時刻ｔ４
の視線ベクトルＶ（ｔ４）684以降次の原画像が選ばれるまで空中画像ｍ 667との視差の相違を空中画像ｍ 667に対するモーフィング処理で補正することにより滑らかな都市景観の３次元動画生成を行うのである。
【００６２】
以上の処理を処理フローで示したのが図３３で、処理ブロック690では、グラフィックユーザインターフェイスシステム180より次の動画フレーム（次コマ）として計算すべき移動方向、移動速度、位置、視線方向ベクトルを取り込む。処理ブロック691では、この値に基づき次コマの視点位置、視線ベクトル、地表上の目標点座標を計算する。処理ブロック692では、次コマの地表インデクス位置が現コマと同一か現コマ、次コマの中心点で判断する。同一でない場合は、最適な原画像を求めなおす必要があり、処理ブロック694へ行く。同一な場合は、処理ブロック693で次コマの視線ベクトルが現コマと同じ立体角セル内か判定する。これは視線の向きが現コマとある程度変化したかを判定するもので、同一立体角セル内でないと判断された場合には処理ブロック694で最適な原画像を求めなおす必要がある。同一立体角セル内であると判断された場合には現コマの原画像を引き続き使用する。
【００６３】
処理ブロック694の処理内容はより詳しく図３４の空中動画像生成における原画像検索の処理フローと図３５の３次元動画生成処理の原画像選択論理図に示される。処理ブロック700では、次コマの中心に存在する地表セルアドレス（ｉ,ｊ）を求めその中心点と次コマの視点を結ぶ視線ベクトルをつくりこれを正規化する。処理ブロック701から703では、この正規化視線ベクトルから天頂インデクスパラメタテーブルＺＮＰＲＭＴ597および方位インデクスパラメタテーブルＤＲＰＲＭＴ598を参照して立体角セルアドレス（ｋ，ｍ）を求め、地表セルアドレス（ｉ,ｊ）と併せて画像アドレステーブルのアドレスＡＤＤＲｉｊｋｍが求まる。同一地表セルアドレスに対する同一立体角セルアドレスには画像アドレステーブルのはじめのデータで示される原画像候補が存在するので、処理ブロック704と処理ブロック705でその中から視点Ｐ（ｔｉ）からの視野の4隅の点を原画像がすべて撮影しているかを判定する。図３５で（ａ）で視点Ｐ（ｔｉ）の視野の地表上の４端点Ｔｉ１715、Ｔｉ２716、Ｔｉ３717、Ｔｉ４718のすべてが原画像撮影位置ＳＡ710、原画像撮影位置ＳＢ711、原画像撮影位置ＳＣ712からの画像に撮影されているかを判定するのが処理ブロック705の判定であり、ベクトル外積演算で容易にできる。図３５（ｂ）の例で言えば、原画像撮影位置ＳＡ710、原画像撮影位置ＳＢ711からの画像のみが視点Ｐ（ｔｉ）の視野の地表上の４端点Ｔｉ１715、Ｔｉ２716、Ｔｉ３717、Ｔｉ４718のすべてを画像に捕らえている。処理ブロック705の条件を満足する原画像をすべて求めた後、処理ブロック706で地表セルアドレス（ｉ，ｊ）に最も近い画像距離の最短の画像を原画像として選択する。画像距離は図１７空中画像データベースの撮影パラメタの１データとして計算されており、画像距離が最短の原画像を選択するとは視点と目標の間の視界をさえぎる障害物を排除する処置である。
【００６４】
次に図３３に戻り、処理ブロック697のモーフィング処理の内容について図３６を参照しつつ以下の文章と式で説明する。
原画像ｍに対して原画像撮影位置
2009217524.tif 000048
671と画像ベクトル
2009217524.tif 000049
673（ノルム=1）とTerrain（地表面）が決まると、画像ベクトル
2009217524.tif 000050
673とDEMの交点
2009217524.tif 000051
と画像の四隅とTerrainの交点
2009217524.tif 000052
、
2009217524.tif 000053
、
2009217524.tif 000054
、
2009217524.tif 000055
が決まる。図３７に示すように、一般に
2009217524.tif 000056
、
2009217524.tif 000057
、
2009217524.tif 000058
、
2009217524.tif 000059
は同一平面上にないので、
2009217524.tif 000060
を通り
2009217524.tif 000061
、
2009217524.tif 000062
の中点
2009217524.tif 000063
と、
2009217524.tif 000064
、
2009217524.tif 000065
の中点
2009217524.tif 000066
を通るベクトルと平行なベクトルを
2009217524.tif 000067
と定義し(
2009217524.tif 000068
＝
2009217524.tif 000069
)、
2009217524.tif 000070
を通り
2009217524.tif 000071
と
2009217524.tif 000072
の中点
2009217524.tif 000073
と、
2009217524.tif 000074
と
2009217524.tif 000075
の中点
2009217524.tif 000076
を通るベクトルと平行なベクトルを
2009217524.tif 000077
と定義する(
2009217524.tif 000078
＝
2009217524.tif 000079
)。
2009217524.tif 000080
を通り
2009217524.tif 000081
と
2009217524.tif 000082
で張られる面をTerrain平面といい
2009217524.tif 000083
であらわす。
2009217524.tif 000084
の垂線を
2009217524.tif 000085
（ノルム=1）とする。
2009217524.tif 000086
を通り、画像ベクトル
2009217524.tif 000087
に垂直な平面を
2009217524.tif 000088
という。
2009217524.tif 000089
は原画像撮影位置視点
2009217524.tif 000090
671より撮影した画像(視野)である。
2009217524.tif 000091
-->
2009217524.tif 000092
への変換が存在して、これを
2009217524.tif 000093
という。これは原画像ｍの撮影行為である。視点
2009217524.tif 000094
に対して、視点座標
2009217524.tif 000095
と視線ベクトル
2009217524.tif 000096
（ノルム=1）とTerrain平面  
2009217524.tif 000097
（共通）が決まると同様に
2009217524.tif 000098
と
2009217524.tif 000099
、
2009217524.tif 000100
、
2009217524.tif 000101
、
2009217524.tif 000102
が決まる。
2009217524.tif 000103
を通り視線ベクトル
2009217524.tif 000104
に垂直な平面を
2009217524.tif 000105
という。平面
2009217524.tif 000106
とはTerrain面
2009217524.tif 000107
の中で、視点
2009217524.tif 000108
による視野で
2009217524.tif 000109
の一部を構成する。視点
2009217524.tif 000110
の視野
2009217524.tif 000111
と
2009217524.tif 000112
は
2009217524.tif 000113
と
2009217524.tif 000114
と視野角
2009217524.tif 000115
が決まれば一意に決まる。平面
2009217524.tif 000116
の平面
2009217524.tif 000117
への写像は
2009217524.tif 000118
と
2009217524.tif 000119
と原画像ｍの画角
2009217524.tif 000120
が決まれば一意に決まる。
2009217524.tif 000121
―＞
2009217524.tif 000122
―＞
2009217524.tif 000123
の対応により
2009217524.tif 000124
の
2009217524.tif 000125
に対応する各画素が、
2009217524.tif 000126
の
2009217524.tif 000127
に対応する画素に対応付けられればモーフィングアルゴリズムは完成する。
【００６５】
一般にTerrain平面
2009217524.tif 000128
上の任意の点
2009217524.tif 000129
は、
2009217524.tif 000130
=a
2009217524.tif 000131
+b
2009217524.tif 000132
+
2009217524.tif 000133
であらわされる。
ここで垂線条件である、
2009217524.tif 000134
2009217524.tif 000135
=0  および  
2009217524.tif 000136
2009217524.tif 000137
=0    を代入すると、
2009217524.tif 000138
2009217524.tif 000139
=
2009217524.tif 000140
2009217524.tif 000141
が得られる。ここで・はベクトル内積をあらわす。
視界の中心線
2009217524.tif 000142
とTerrain平面
2009217524.tif 000143
の交点
2009217524.tif 000144
は、
2009217524.tif 000145
が
2009217524.tif 000146
=
2009217524.tif 000147
+c
2009217524.tif 000148
を満足することからこれに代入して、
2009217524.tif 000149
（c
2009217524.tif 000150
+
2009217524.tif 000151
）=
2009217524.tif 000152
2009217524.tif 000153
よりｃ=
2009217524.tif 000154
となり、
【数９】
2009217524.tif 000155
= 
2009217524.tif 000156
+ 
2009217524.tif 000157
2009217524.tif 000158
＝
2009217524.tif 000159
で、視点
2009217524.tif 000160
の画像中心点のTerrain平面
2009217524.tif 000161
での座標が求められた。
同様に、視点
2009217524.tif 000162
の視界の４隅の正規化視線ベクトルを
2009217524.tif 000163
、
2009217524.tif 000164
、
2009217524.tif 000165
、
2009217524.tif 000166
とし、これらとTerrain平面
2009217524.tif 000167
の交点
2009217524.tif 000168
、
2009217524.tif 000169
、
2009217524.tif 000170
、
2009217524.tif 000171
のTerrain平面
2009217524.tif 000172
での座標を求めることができる。さらにこの座標の
2009217524.tif 000173
面上への変換を求める。
Terrain平面
2009217524.tif 000174
上の任意の点
2009217524.tif 000175
は、
2009217524.tif 000176
=a
2009217524.tif 000177
+b
2009217524.tif 000178
+
2009217524.tif 000179
であらわされ、
垂線条件である、
2009217524.tif 000180
2009217524.tif 000181
=0  および  
2009217524.tif 000182
2009217524.tif 000183
=0    より、４隅の正規化視線ベクトルを
2009217524.tif 000184
、
2009217524.tif 000185
、
2009217524.tif 000186
、
2009217524.tif 000187
に対して、
2009217524.tif 000188
=
2009217524.tif 000189
+c
2009217524.tif 000190
ただしk=1,4を満足する
2009217524.tif 000191
（c
2009217524.tif 000192
+
2009217524.tif 000193
）=
2009217524.tif 000194
2009217524.tif 000195
よりｃ=
2009217524.tif 000196
となり、
【数１０】
2009217524.tif 000197
= 
2009217524.tif 000198
+ 
2009217524.tif 000199
2009217524.tif 000200
＝
2009217524.tif 000201
で、視点
2009217524.tif 000202
の画像の４隅の点のTerrain平面
2009217524.tif 000203
での座標が求められた。この平面
2009217524.tif 000204
上での座標を平面
2009217524.tif 000205
上での座標に対応付けることにより原画像である平面
2009217524.tif 000206
上のどの点を視点
2009217524.tif 000207
の画面に映せばよいか分かる。
2009217524.tif 000208
上での視点
2009217524.tif 000209
の画面の中心および四隅の点の座標  
2009217524.tif 000210
、
2009217524.tif 000211
、
2009217524.tif 000212
、
2009217524.tif 000213
、
2009217524.tif 000214
（まとめて
2009217524.tif 000215
、k=1,2,3,4,cとする）が
2009217524.tif 000216
上で
2009217524.tif 000217
、
2009217524.tif 000218
、
2009217524.tif 000219
、
2009217524.tif 000220
、
2009217524.tif 000221
（まとめて
2009217524.tif 000222
、k=1,2,3,4,cとする）に対応する。
2009217524.tif 000223
面上での画面の水平ラインを
2009217524.tif 000224
、垂直ラインを
2009217524.tif 000225
とすると
2009217524.tif 000226
面上の任意の点
2009217524.tif 000227
は任意定数a,bに対して    
2009217524.tif 000228
=
2009217524.tif 000229
=ａ
2009217524.tif 000230
+ｂ
2009217524.tif 000231
+
2009217524.tif 000232
で表される。画像ベクトル
2009217524.tif 000233
は
2009217524.tif 000234
、
2009217524.tif 000235
に垂直だから  
2009217524.tif 000236
2009217524.tif 000237
=0、  
2009217524.tif 000238
2009217524.tif 000239
=0  となり、また、
2009217524.tif 000240
と
2009217524.tif 000241
は画像撮影位置
2009217524.tif 000242
より見て同一線上にあるから  
2009217524.tif 000243
=d(
2009217524.tif 000244
-
2009217524.tif 000245
)+
2009217524.tif 000246
であるので、d(
2009217524.tif 000247
-
2009217524.tif 000248
)+
2009217524.tif 000249
=ａ
2009217524.tif 000250
+ｂ
2009217524.tif 000251
+
2009217524.tif 000252
となり、
2009217524.tif 000253
との内積をとって
ｄ=
2009217524.tif 000254
となるから
【数１１】
2009217524.tif 000255
=
2009217524.tif 000256
となる。
2009217524.tif 000257
= 
2009217524.tif 000258
+ 
2009217524.tif 000259
2009217524.tif 000260
で既に
2009217524.tif 000261
は求まっているから、これで、視点
2009217524.tif 000262
の視界の原画面ｍの画面との対応が完成した。
【００６６】
次に、
2009217524.tif 000263
をｚ軸に移す変換を求める。ここで、
2009217524.tif 000264
=1
2009217524.tif 000265
=
2009217524.tif 000266
として、ｚ軸周りに回転させてyz平面に載せてからｙ軸周りに回転させてｚ軸と一致させる。
ｚ軸周りの回転は、
2009217524.tif 000267
で与えられる。
次に、y軸周りの回転は、
2009217524.tif 000268
で与えられる。
両方の回転を合成すると、
【数１２】
2009217524.tif 000269
2009217524.tif 000270
＝
2009217524.tif 000271
となる。
平面
2009217524.tif 000272
の交点
2009217524.tif 000273
(k=1,2,3,4,C)  に対して
2009217524.tif 000274
をｚ軸に移す変換を施せば、
2009217524.tif 000275
(k=1,2,3,4,C)はxy面上の点に変換される。これは、原画像ｍの画面上の位置に対応する。すなわちモーフィングである。
【００６７】
以上で本発明になる都市景観の３次元動画生成アミューズメントシステムの空中３次元動画生成に関する説明を終了して、都市景観の３次元動画生成アミューズメントシステムの路上３次元動画生成に関する説明に移行する。都市の任意の場所に対して路上ないし通路上の任意の場所、任意の視線方向からの人間目線での３次元動画を生成する。路上３次元動画生成においても空中３次元動画生成と同様に都市空間の構造物に関する３次元モデルを生成することなしに実画像を用いて３次元動画を生成する。路上では自由空間で自由に視線を指定できる空中比べて視点の自由度は小さく、存在場所が通路上の地上１．７m程度に限定される一方、通路はDEMによるTerrainモデルと異なった構造を持っているので通路はグラフ表現によりモデル化する。空中写真の場合にTerrainを画像の投影面としたように、本発明の方式では、事前に撮影した実画像の投影面を設定しなくてはならない。
【００６８】
人間目線としての視点および視線の動きうる範囲を検討した結果、通路とそれ以外の市街地の境界線に沿う鉛直な平面を路上で撮影した原画像の主たる投影面とし、通路上での前方視ないし後方視に対しては通路に直交し一定距離はなれた鉛直面を補助的に投影面とする。本発明の方法は、通路上で人間目線の存在しうる任意の点から任意の視線で市街景観を事前に撮影するため、水平方向に全周８ないし１６方向、水平より仰角を付した斜め上方向を全周８ないし１６方向にわたって撮影するディジタルカメラ集合体を車両の屋根上に設置し、路上画像データベースを構築する。なお、斜め上方は広角レンズを用いることで省略できる。動画像生成は最適な原画像を選択するプロセスと、視点の移動状態と視線方向および都市内の位置によりモーフィングプロセスにより滑らかな動画像を生成するプロセスより構成される。
【００６９】
以下、図１都市景観３次元動画アミューズメントシステム構成図に従い、順次、路上画像取得システム110、路上画像データベース生成登録システム130、路上画像データベース150および路上３次元動画生成システム170につき詳細に説明する。図４０は路上画像取得システムの処理フローを記したもので、以下、図５７まで、該路上画像取得システム110の詳細な実現方法を説明する。まず、撮影ポイント設定プロセス741で都市内の道路および通路に沿って一定距離間隔で撮影できるように、移動経路と撮像ポイントないし間隔を設定し、図５３に構成が示される路上画像取得計画ファイル111とする。この撮影計画は道路ID No.と道路上の撮影ポイントが定義される。道路の構造に関する記述は道路ID No.を含め厳密に定義する必要があるので後述する。次に撮影プロセス742では、車両803が路上画像取得計画ファイル111に規定された図４２に示す撮影ポイント766に到達したことを判断して図５１に示す路上撮影制御システム806により撮影を行う。撮影されたディジタルカメラ内の画像は予め決められたタイミングごとに撮像プロセスで取得した位置および姿勢データとともに路上画像一次ファイル112に蓄積される。
【００７０】
図４１は本発明になる路上画像取得システム110を構成するディジタルカメラ集合体755の構成例を示した図である。路上であらゆる視点から効率よく高密度に撮影する目的で、水平方向のディジタルカメラ750a〜ｈが全周を等間隔になるように放射状に配置されディジタルカメラ750a〜ｈの斜め上方を撮影する目的でディジタルカメラ750ｉ〜ｐが配置されディジタルカメラ集合体を形成する。ディジタルカメラ集合体 755を構成するディジタルカメラ750a〜ｐ以外の支持構造は、撮影方向精度が高いことを要求されるので、軽量かつ剛性の高いものであればどのようなものでもよく、ハニカム構造アルミニウム板あるいは炭素樹脂などで構成することができる。
【００７１】
図４２は、車両による路上画像取得システムの経路および撮影ポイントの設定例を示したものである。図４２(ｂ)にて撮影ポイント766の設定例を示している。路上画像取得システム765は路上画像取得計画ファイル111で路上に列状にくまなく構成された撮影ポイント766に従い、道路を移動しながら撮影ポイント766で撮影を行う。撮影ポイント766の相互間隔は撮影された画像が路上３次元動画生成システムでモーフィングによって滑らかな動画になるように選定される。ディジタルカメラ集合体755で撮影した場合、図４２(ａ)のディジタルカメラ750a〜ｐの撮影範囲760a〜pで示す範囲が撮影される。レンズの焦点距離の設定によって、該ディジタルカメラ750a〜ｐの撮影範囲760a〜ｐの各ディジタルカメラが撮影する範囲と相互の重複度は変化する。本発明の目的からは、相互に若干の重複しながら地表をほぼ連続的に覆うように設定することが望ましい。
【００７２】
図４３は路上画像取得システムの鉛直方向撮影パターンと画像投影面の関係を示したものである。空中３次元動画生成では撮影した画像の投影面をTerrainとしたが、路上３次元動画生成では人間目線を実現対象としておりTerrainを投影面とすることはできない。また撮影する画像も水平方向および仰角つきの情報であるため、路上から撮影した画像の投影面を図４３に示すように道路と建物の境界線に鉛直に立つ面とする。道路と建物の境界面は近似的に道路の境界面としてもよい。画像投影面の定義は道路の定義とともに厳密に行いデータベース化する必要があるので後述する。またこの方式は人間目線の通路であれば車両の通行可能性とは関係なくどこでもよく、地下通路あるいは建造物内部でも人間の通路があれば適用可能である。図４３ではディジタルカメラ750ｉ〜pの撮影範囲と方向およびディジタルカメラ750ａ〜ｈの撮影範囲と方向を例示した。
【００７３】
本発明の都市景観３次元動画アミューズメントシステムの路上３次元動画生成システムでは、道路ないし通路の境界面を画像の投影面とする関係上、道路のいかなる場所からでも動画像の原画像が検索できなければならず、また登録できなくてはならない。検索には高速性が要求され、また人間目線でのあらゆる方向からの画像を登録・検索できなくてはならない。この目的に沿う道路データベースシステムを図４４から図５０に説明する。ここでの記述が路上３次元動画生成システムの技術的な基礎となる。
【００７４】
図４４にグラフによる道路の記述方法を記載する。あらゆる道路は幅があり、その中心線でグラフを形成して道路表現の基本とする。この道路の中心線を中心線グラフ780といい。端点と辺から構成される。道路の交差点、合流点、分岐点、変針点には必ず端点が存在する。道路は必ず両端が端点である連続した辺と端点の集合として定義され、道路ID No．777が一意に付与される。図４５は緯度経度から道路を検索する方法を示したものである。緯度経度で例えば０．１秒単位でメッシュを作ると、東京地方では、経度方向で２．５ｍ、緯度方向で３ｍのメッシュとなる。このようにメッシュを作ると各メッシュには必ず道路が存在するかしないかのいずれかとなる。このメッシュを地表セル781と呼ぶ。道路が存在する場合には道路ID No.を地表セル781に割り当てることにより緯度経度が判明する任意の地点より道路があれば道路にアクセスできる。このように定義すると１つのメッシュが複数の道路ID No.に関係を持つ場合が発生する。地表セル中心点782から中心線グラフに垂線を下ろし、その足との距離が最短の道路ID Noを該地表セルの道路ID Noと定義する。図４５右下に拡大した交差点の図の例では、垂線を中心線グラフ780に２本下ろすことができ、この場合は垂線の足Ａ783aと垂線の足B783ｂの垂線の短いほうである垂線の足B783ｂの道路ID No．を選定する。
【００７５】
図４６は道路の構造を記述するための道路データベースの構造を規定している。地表セル道路インデクステーブルＣＬＬＲＤＩＮＸＴはメッシュ化された緯度経度のインデックス（ｉ，ｊ）から道路ID No.と、道路ID No.に対応した道路グラフデータを記載した道路グラフデータテーブルの該当グラフ部分を示すための相対レコードアドレスを検索できる。道路グラフアドレステーブルＲＤＧＲＡＤＲＴは道路ID No.に対応して道路グラフデータテーブルＲＤＧＤＴ内での開始アドレスを指定する。これは、道路グラフデータテーブルＲＤＧＤＴが道路ID No.によって端点と辺のサイズがことなるためである。道路グラフデータテーブルＲＤＧＤＴは道路の構造をグラフとして記述する。第１レコードは道路ID No.であり、第２レコードは全部の端点数である。道路は開始点から順次、端点座標および次の端点までの辺の属性を記述する形で道路ID No.で指定される道路の範囲が尽きるまで繰り返される。属性には下記の３種類がある。
タイプ１属性  次の端点までの辺に関する属性
ａ投影面コード       ０     辺の両側に投影面がない。
１     辺の進行方向左側だけに投影面がある。
２     辺の進行方向右側だけに投影面がある。
３     辺の進行方向両側に投影面がある。
ｂ幅員               道路の両端の中心線グラフからの距離を示す。
タイプ２属性  端点における道路接続に関する情報
ａ接続先道路ID No.
ｂ接続先道路ID No.に対応した道路グラフデータテーブルＲＤＧＤＴにおける接続点の相対レコードアドレス  この情報は道路の接続が交叉か分岐か合流かを判別するために使用する。
タイプ３属性  端点における道路終了を示す。
【００７６】
以下、実際に存在するケースに対応して道路グラフデータテーブルの構築方法を説明する。
図５０ａでは直交交差点の記述方法を示す。道路ID No.=k 777kと道路ID No.=ｌ（エル） 777lが交差点の中央にある端点k,i+2  792k,i+2と端点l,j+2
793l,j+2で交差している。端点の表記で添え字を2個用いるのは、最初の添え字が道路ID No.を表し、２番目の添え字が同一道路ID No.内における端点の順番を示すためである。なおこの端点は同一の端点を双方の道路で別々に名づけたものである。道路ID No.=k 777kの構造記述を図５０ａ−１道路グラフデータテーブルＲＤＧＤＴｋ  795kと図５０ａに即して説明する。道路ID No.=k 777kは左端の端点k,ｉ 792k,iよりスタートし、次の端点k,i+1 792k,i+1までは両側に投影面を持ち（属性コード=3）、幅員がｗｋである（端点k,i)。端点k,i+1 792k,i+1で交差点に入った結果両側の投影面が無くなり（属性コード=0）、幅員は未定義でブランクとなる（端点k,i＋１)。端点k,i+2
792k,i+2で道路ID No.=ｌ(エル) 777lと交叉し（属性コード=ｌ(エル)）属性の２は道路ID No.=ｌ（エル） 777lのレコードアドレスが２の端点で交叉していることを示す（端点k,i＋２)。端点k,i+3 792k,i+3で交叉点を抜けた結果、両側に投影面を持つようになり（属性コード=3）幅員がｗｋとなる（端点k,i＋３)。さらに端点k,i+4 792k,i+4以降に続く。道路ID No.=ｌ(エル) 777ｌの構造記述を図５０ａ−２道路グラフデータテーブルＲＤＧＤＴｌ(エル) 795lと図５０ａに即して説明する。道路ID No.=ｌ 777ｌは下端の端点ｌ,ｊ 793l,jよりスタートし、次の端点l,j+1 793l,j+1までは両側に投影面を持ち（属性コード=3）、幅員がｗlである（端点l,j)。端点l,j+1 793l,j+1で交差点に入った結果両側の投影面が無くなり（属性コード=0）、幅員は未定義でブランクとなる（端点l,j＋１)。端点l,j+2 793l,j+2で道路ID No.=k 777kと交差し（属性コード=k）,属性の２は道路ID No.=k 777kのレコードアドレスが２の端点で交差していることを示す（端点l,j＋２)。端点l,j+3 793l,j+3で交差点を抜けた結果、両側に投影面を持つようになり（属性コード=3）幅員がｗlとなる（端点l,j＋３)。さらに端点l,j+4 793l,j+4以降に続く。
【００７７】
図５０ｂでは３叉路の記述方法を示す。道路ID No.=k 777kから道路ID No.=ｌ（エル） 777lが３叉路の中央にある端点k,i+2  792k,i+2と端点l,j 793l,jで分岐している。道路ID No.=k 777kの構造記述を図５０ｂ−１道路グラフデータテーブルＲＤＧＤＴｋ  795kと図５０ｂに即して説明する。道路ID No.=k 777kは左端の端点k,ｉ 792k,iよりスタートし、次の端点k,i+1 792k,i+1までは両側に投影面を持ち（属性コード=3）、幅員がｗｋである（端点k,i)。端点k,i+1 792k,i+1で３叉路に入った結果投影面は右側のみとなり（属性コード=2）、幅員がｗｋである（端点k,i＋１)。端点k,i+2 792k,i+2で道路ID No.=ｌ(エル) 777lと分岐し（属性コード=ｌ(エル)）、属性の0は道路ID No.=ｌ（エル）
777lのレコードアドレスが0の端点すなわち開始点で分岐していることを示す（端点k,i＋２)。端点k,i+3
792k,i+3で３叉路を抜けた結果、両側に投影面を持つようになり（属性コード=3）幅員がｗｋとなる（端点k,i＋３)。さらに端点k,i+4 792k,i+4以降に続く。道路ID No.=ｌ(エル) 777ｌの構造記述を図５０ｂ−２道路グラフデータテーブルＲＤＧＤＴｌ(エル)  795ｌと図５０ｂに即して説明する。道路ID No.=ｌ 777ｌは３叉路の端点ｌ,ｊ 793l,jよりスタートし、道路ID
No.=k 777kから分岐し（属性コード=k）,属性の２は道路ID No.=k 777kのレコードアドレスが２の端点で分岐していることを示す（端点l,j)、次の端点l,j+1 793l,j+1までは３叉路内で両側に投影面が無く（属性コード=0）、幅員も無定義でブランクである（端点l,j)。端点l,j+1 793l,j+1で３叉路を出た結果両側に投影面が存在するようになり（属性コード=3）、幅員はｗｌとなる（端点l,j＋１)。さらに端点l,j+2 793l,j+2以降に続く。
【００７８】
図５０ｃでは分岐路の記述方法を示す。道路ID No.=k 777kから道路ID No.=ｌ（エル） 777lが分岐路の中央にある端点k,i+2  792k,i+2と端点l,j 793l,jで分岐している。道路ID No.=k 777kの構造記述を図５０ｃ−１道路グラフデータテーブルＲＤＧＤＴｋ  795kと図５０ｃに即して説明する。道路ID No.=k 777kは左端の端点k,ｉ 792k,iよりスタートし、次の端点k,i+1 792k,i+1までは両側に投影面を持ち（属性コード=3）、幅員がｗｋである（端点k,i)。端点k,i+1 792k,i+1で３叉路に入った結果投影面は右側のみとなり（属性コード=2）、幅員がｗｋである（端点k,i＋１)。端点k,i+2 792k,i+2で道路ID No.=ｌ(エル) 777lと分岐し（属性コード=ｌ(エル)）、属性の0は道路ID No.=ｌ（エル）
777lのレコードアドレスが0の端点すなわち開始点で分岐していることを示す（端点k,i＋２)。端点k,i+3
792k,i+3で分岐路を抜けた結果、両側に投影面を持つようになり（属性コード=3）幅員がｗｋとなる（端点k,i＋３)。さらに端点k,i+4 792k,i+4以降に続く。道路ID No.=ｌ(エル) 777ｌの構造記述を図５０ｃ−２道路グラフデータテーブルＲＤＧＤＴｌ(エル)  795ｌと図５０ｃに即して説明する。道路ID No.=ｌ 777ｌは分岐路の端点ｌ,ｊ 793l,jよりスタートし、道路ID
No.=k 777kから分岐し（属性コード=k）,属性の２は道路ID No.=k 777kのレコードアドレスが２の端点で分岐していることを示す（端点l,j)、次の端点l,j+1 793l,j+1までは分岐路内で両側に投影面が無く（属性コード=0）、幅員も無定義でブランクである（端点l,j)。端点l,j+1 793l,j+1で左側に投影面が存在するようになり（属性コード=１）、幅員はｗｌとなる（端点l,j＋１)。端点l,j+2 793l,j+2で分岐路を抜け出し両側に投影面が存在するようになり（属性コード=３）、幅員はｗｌとなる（端点l,j＋2)。さらに端点l,j+3 793l,j+3以降に続く。
【００７９】
図５０ｄでは道路変針の記述方法を示す。道路ID No.=k 777kの構造記述を図５０ｄ−１道路グラフデータテーブルＲＤＧＤＴｋ 795kと図５０ｄに即して説明する。道路ID No.=k 777kは左端の端点k,ｉ 792k,iよりスタートし、次の端点k,i+1 792k,i+1までは両側に投影面を持ち（属性コード=3）、幅員がｗｋである（端点k,i)。端点k,i+1 792k,i+1で向きを変えるが投影面は両側のままで（属性コード=3）、幅員がｗｋである（端点k,i＋１)。さらに端点k,i+2 792k,i+2以降に続く。
【００８０】
図５０ｅでは非直交交差点の記述方法を示す。道路ID No.=k 777kと道路ID No.=ｌ（エル） 777lが交叉点の中央にある端点k,i+3  792k,i+3と端点l,j+3 793l,j+3で交叉している。道路ID No.=k 777kの構造記述を図５０e−１道路グラフデータテーブルＲＤＧＤＴｋ 795kと図５０eに即して説明する。道路ID No.=k 777kは左端の端点k,ｉ 792k,iよりスタートし、次の端点k,i+1 792k,i+1までは両側に投影面を持ち（属性コード=3）、幅員がｗｋである（端点k,i)。端点k,i+1 792k,i+1で交差点に入った結果投影面が左側のみとなり（属性コード=1）、幅員はｗｋである（端点k,i＋１)。端点k,i+2 792k,i+2で両側の投影面が無くなり（属性コード=0）、幅員はブランクとなる（端点k,i＋２)。端点k,i+3 792k,i+3で道路ID No.=ｌ(エル) 777lと交差し（属性コード=ｌ(エル)）属性の3は道路ID No.=ｌ（エル）
777lのレコードアドレスが3の端点で交差していることを示す（端点k,i＋3)。端点k,i+3
792k,i+3で右側に投影面が出現し（属性コード=3）、幅員がｗｋである（端点k,i＋４)。端点k,i+5
792k,i+5で交差点を抜けた結果、両側に投影面を持つようになり（属性コード=3）幅員がｗｋとなる（端点k,i＋5)。さらに端点k,i+6 792k,i+6以降に続く。道路ID No.=ｌ(エル) 777ｌの構造記述を図５０ｅ−２道路グラフデータテーブルＲＤＧＤＴｌ(エル)  795lと図５０ｅに即して説明する。道路ID No.=ｌ 777ｌは左下端の端点ｌ,ｊ 793l,jよりスタートし、次の端点l,j+1 793l,j+1までは両側に投影面を持ち（属性コード=3）、幅員がｗlである（端点l,j)。端点l,j+1
793l,j+1で交差点に入った結果左側の投影面が無くなり（属性コード=2）、幅員はｗlである。端点l,j+3 793l,j+3で両側の投影面が無くなり（属性コード=0）、幅員は未定義でブランクとなる（端点l,j＋3)。端点l,j+3 793l,j+3で道路ID No.=k 777kと交差し（属性コード=k）,属性の３は道路ID No.=k 777kのレコードアドレスが３の端点で交差していることを示す（端点l,j＋3)。端点l,j+4 793l,j+4で左側に投影面が出現し（属性コード=1）幅員がｗｌとなる（端点ｌ,ｊ＋4)。端点l,j+5 793l,j+5で交差点を抜けた結果、両側に投影面を持つようになり（属性コード=3）幅員がｗlとなる（端点l,j＋5)。さらに端点l,j+6 793l,j+6以降に続く。
【００８１】
図５０ｆでは５叉路の記述方法を示す。道路ID No.=k 777kと道路ID No.=ｌ（エル） 777lが交差点の中央にある端点k,i+3  792k,i+3と端点l,j+2 793l,j+2で交差している。道路ID No.=m 777mが道路ID No.=ｌ（エル） 777lへ端点l,j+3  792l,j+3で合流している。道路ID No.=k 777kの構造記述を図５０ｆ−１道路グラフデータテーブルＲＤＧＤＴｋ  795kと図５０ｆに即して説明する。道路ID No.=k 777kは左端の端点k,ｉ 792k,iよりスタートし、次の端点k,i+1 792k,i+1までは両側に投影面を持ち（属性コード=3）、幅員がｗｋである（端点k,i)。端点k,i+1 792k,i+1で交差点に入った結果投影面が左側のみとなり（属性コード=1）、幅員はｗｋである（端点k,i＋１)。端点k,i+2
792k,i+2で両側の投影面が無くなり（属性コード=0）、幅員はブランクとなる（端点k,i＋２)。端点k,i+3
792k,i+3で道路ID No.=ｌ(エル) 777lと交差し（属性コード=ｌ(エル)）属性の2は道路ID No.=ｌ（エル） 777lのレコードアドレスが2の端点で交差していることを示す（端点k,i＋3)。端点k,i+4 792k,i+4で左側に投影面が出現し（属性コード=1）、幅員がｗｋである（端点k,i＋４)。端点k,i+5 792k,i+5で交差点を抜けた結果、両側に投影面を持つようになり（属性コード=3）幅員がｗｋとなる（端点k,i＋5)。さらに端点k,i+6 792k,i+6以降に続く。道路ID No.=ｌ(エル) 777ｌの構造記述を図５０ｆ−２道路グラフデータテーブルＲＤＧＤＴｌ(エル)  795lと図５０ｆに即して説明する。道路ID No.=ｌ 777ｌは下端の端点ｌ,ｊ 793l,jよりスタートし、次の端点l,j+1 793l,j+1までは両側に投影面を持ち（属性コード=3）、幅員がｗlである（端点l,j)。端点l,j+1 793l,j+1で交差点に入った結果両側の投影面が無くなり（属性コード=0）、幅員はブランクとなる。端点l,j+2 793l,j+2で道路ID No.=k 777kと交差し（属性コード=k）,属性の３は道路ID No.=k 777kのレコードアドレスが３の端点で交差していることを示す（端点l,j＋2)。端点l,j+3 793l,j+3で道路ID No.=m 777mと合流し（属性コード=m）,属性のnは道路ID No.=m 777mのレコードアドレスがnの端点で合流していることを示す（端点l,j＋3)。端点l,j+4 793l,j+4で右側に投影面が出現し（属性コード=2）幅員がｗｌとなる（端点ｌ,ｊ＋4)。端点l,j+5 793l,j+5で交差点を抜けた結果、両側に投影面を持つようになり（属性コード=3）幅員がｗlとなる（端点l,j＋5)。さらに端点l,j+6 793l,j+6以降に続く。道路ID No.=m 777mの構造記述を図５０ｆ−３道路グラフデータテーブルＲＤＧＤＴｍ  795mと図５０ｆに即して説明する。道路ID No.=m 777mは合流路の端点m,n 793m,nで終了し、道路ID No.=l 777lへ合流し（属性コード=ｌ）,属性の３は道路ID No.=ｌ 777ｌのレコードアドレスが３の端点で合流していることを示す（端点m,n)、前の端点m,n-1 793m,n-1からは分岐路内で両側に投影面が無く（属性コード=0）、幅員も無定義でブランクである（端点m,n-1)。その前の端点m,n-2 793m,n-2からは右側のみに投影面が存在しており（属性コード=２）、幅員はｗmとなる（端点m,n-2)。その前の端点m,n-3 793m,n-3からは両側に投影面が存在し（属性コード=３）、幅員はｗmである（端点m,n-3)。
【００８２】
図５１は路上画像取得システムの構成例を示した図であり、カーナビゲーションシステム部801とデータ取得記録システム部800より構成される。カーナビゲーションシステム部803は図４２(ｂ)で規定される撮影ポイント766に車両803を移動経路765に沿って誘導するための装置であり、ＧＰＳ380より車両位置データが周期的に得られる。カーナビゲーションシステム部803の機能は、図５３の路上画像取得計画ファイル111の内容に従い、図５２の路上画像取得システムのカーナビゲーションシステム部の処理フローによって図５４の路上画像取得システムのカーナビゲーションシステム部の表示画面例によって車両を誘導するものである。カーナビゲーションシステム自体は既に公然実施されていて何ら新規性はないものであるが、本発明の目的を実現するために撮影ポイント766に効率的に車両を誘導する部分が本発明に関わるところである。まず走行前に都市のどの部分の道路の路上を取得するか決定する。地図上で撮影範囲を決定し、走行プランを策定する。撮影ポイント766は本発明の目的を達成するように均一かつ高密度に道路ないし通路に沿って設定しなくてはならず、その結果に基づき指定撮影経路825を設定する。各道路に図５３の路上画像取得計画ファイルに示される道路ID No.を割り振り撮影ポイント766を割付け、各道路ID No.の開始座標と終了座標、さらにその間の撮影ポイント数と各撮影ポイント座標を緯度経度で設定する。このようにして図５３の路上画像取得計画ファイルは構築される。該路上画像取得計画ファイルの構築に関わるグラフィックユーザインターフェイスは地図情報システムとして公然実施されている。
【００８３】
カーナビゲーションシステム部801の機能は図５２に記載の路上画像取得システムのカーナビゲーションシステム部の処理フローによって示される。
処理ブロック810で路上取得計画ファイルに登録されている道路ID No.の中から撮影予定の道路ID No.についてすべての撮影が終了するまで図５４の表示を順次に行う。指定された道路ID No.には開始座標があるので、処理ブロック811で該道路ID No.を開始するために走行開始点の位置、進行方向、速度を指定して図５４の内容をモニタ上に表示してガイダンスを行う。撮影を行うには、処理ブロック811で規定された条件を一定の誤差範囲、たとえば位置誤差で１ｍから５ｍ以下の精度で満足しなくてはならず、満足しない場合には再度走行をやり直す。処理ブロック810で選択された道路ID No.の路上画像取得計画ファイル記載の撮影ポイント座標から最終撮影ポイントまで撮影ポイントをひとつずつ順次処理ブロック812および処理ブロック813によりガイダンスする。
【００８４】
データ取得記録システム部 800には車両803の姿勢を観測するＩＭＵ400と、ディジタルカメラ750の制御と撮像データ処理のためのプログラムを含む路上撮影制御システム806と、画像データをふくむ各種データを記憶する大容量ディスク装置で構成される路上画像一次ファイル112と、ディジタルカメラ750に対する撮影指令を出すための撮影ポイントを記憶している路上画像取得計画ファイル121を搭載している。車両803の位置計測用のＧＰＳ380のアンテナを機外に有している。
【００８５】
図５５は図５１のデータ取得記録システム部800の構成機器間の情報の流れを示している。図５６は路上撮影制御システム806の処理フローを説明している。路上撮影制御システム806はＣＰＵで構成される。路上撮影制御システム806はＩＭＵ396より安定プラットフォーム装置395の姿勢データ450を周期的に取り込む。安定プラットフォーム395が正常に動作している場合には、車両803の姿勢によらず慣性空間に対して常に一定の姿勢を保っている。車両803に固定されたＩＭＵ400は車両の姿勢データ828を、ＧＰＳ380はＧＰＳアンテナの位置データ830を周期的に路上撮影制御システム806に送り込む。路上撮影制御システム808の処理は図５６に詳説しているが、路上画像取得計画ファイル111の内容と得られたＧＰＳアンテナの位置データ380と車両の姿勢データ828を処理ブロック834と処理ブロック835で順次照合し、道路ID No.を特定し、当該道路ID No.の撮影終了ないし、経路離脱まで、順次処理ブロック836で指定道路ID No.の撮影点の直近点を通過中かを判定し、撮影許容範囲内で撮影ポイントに最近接したタイミングにディジタルカメラ集合体を構成する各ディジタルカメラ750に処理ブロック837で一斉に撮影指令457を送ると同時に図５７に示す路上画像一次ファイル内の車両データ部分840を処理ブロック838で書き込む。ディジタルカメラ750は内部に本発明の時点で３２ＧＢのメモリを保有できるので撮影した路上画像データ827を少なくともひとつの道路ID No.が終了するまで保持することができる。車両803は、ひとつの道路ID No.を終了し、次の道路ID No.に入るまでの間にディジタルカメラ750内の路上画像データ827を車載の大容量ディスク装置で構成される路上画像一次ファイル112に処理ブロック839で転送し、ディジタルカメラ750内部のメモリを空にする。
【００８６】
図５７に路上画像一次ファイル112の構成例を記したが、画像ヘッダ部470と画像データ部471は撮影した各画像ごとに用意される。ヘッダ部のカメラＩＤはディジタルカメラ集合体755を構成する各ディジタルカメラ750a〜ｐ識別する番号である。画像データＩＤは相互に画像が識別できるように付す認識番号であり、撮影日時刻は車両データ部分840と対応する撮影時刻であり、路上画像データベース生成登録処理130において、統合して各ディジタルカメラ750a〜iの光軸方向を算定するのに用いられる。画像データ部分471は加工を施さない。また、画像ヘッダ部470のカメラパラメタは通常は走行中固定であるので、同一設定値を書き込む。
【００８７】
図５８に車載用安定プラットフォーム装置395のもっとも単純な構成例を示す。
安定プラットフォーム装置395は図３０の航空機搭載用安定プラットフォームと同一構造であるが車両天井板上に設置され、安定プラットフォーム装置395上に車載用のディジタルカメラ集合体755が設置される。
【００８８】
路上画像データベース生成登録システム130と路上画像データベース150について図５９から図６７までを用いて詳細に説明する。
路上画像データベースは画像投影面と視線と視点から検索する関係上、まず画像投影面の構造と道路グラフデータベース151の構造関係を定義しなくてはならない。図６３に道路グラフの方向と視線ベクトルの方向による画像投影面について説明する。路上で通路に沿って全周を撮影した路上画像は道路の境界線にある投影面に投影し、視線と視点の位置関係によってモーフィング処理を行うが、進行方向または進行反対方向の映像は道路が細長いため画像を投影するためには極めて長い道路境界面を必要とし実現が困難となる。
【００８９】
この問題を解決するために、進行方向または進行反対方向ないしそれに近い方向の映像については道路の左右境界面ではなく図６３で点線で示したように前方仮想投影面878と後方仮想投影面879を設けてこれに実画像を投影する。なお、前方仮想投影面878と後方仮想投影面879の位置は路上視点によって移動する。図６３の例では道路の進行方向すなわち道路グラフと視線のなす角882が左右２０°の範囲であれば前方仮想投影面878を使用し、路上画像取得システム110で撮影した前方画像を使用し、道路グラフと視線のなす角882が左右１６０°から１８０°の範囲であれば後方仮想投影面879を使用し、路上画像取得システム110で撮影した後方画像を使用する。道路グラフと視線のなす角882が左側２０°から１６０°の範囲であれば左投影面880を使用し、路上画像取得システム110で撮影した進行方向に対して左斜め前方、左、左後方画像を使用し、道路グラフと視線のなす角882が右側２０°から１６０°の範囲であれば右投影面881を使用し、路上画像取得システム110で撮影した進行方向に対して右斜め前方、右、右後方画像を使用する。ここでは道路グラフと視線のなす角882が前方左右２０℃、後方左右１６０°で投影面を切り替える例を述べたが、この度数は現実のリアリティーに応じて可変とすることもできるし、実地でのリアリティーにより増減させることができるが、以下では具体例として２０°を選定している。以下、路上画像データベース生成登録システム130、路上画像データベース150、路上３次元動画生成システム170は以上に説明した投影面の方式に沿って構築されている。 
【００９０】
次に画像投影面の構造について図６４を用いて説明する。本発明の路上３次元動画生成システムは視点と視線が定まると、投影面を定めて、最適な実画像を検索し、視差に応じてモーフィングを行う。このため与えられた視点と視線に対して視差の少ない実画像が存在し、かつ該実画像を高速に検索できなくてはならない。道路ID No.ｍの任意の点を指定するために、端点列を定義してグラフで道路の先頭からｍ番目の端点とそれに続く辺の区間上の位置に対して、「端点ｍ，ｉ座標（ｘｍｉ，ｙｍｉ）」と表現するが、該区間は道路の形態により決まっており投影面の定義には長すぎる。このため図６４に記すように、投影面区分として道路グラフの方向に対して左側と右側、さらに該辺に対応する左右の投影面を「投影面区分」と定義して端点と辺で構成されるグラフとして細分する。端点ｍ，ｉ座標（ｘｍｉ，ｙｍｉ）890に対応する道路グラフの方向883の左側の投影面区分を、
第０番目を      投影面区分ｍｉｌ０座標（ｘｍｉｌ０，ｙｍｉｌ０）891
第１番目を      投影面区分ｍｉｌ１座標（ｘｍｉｌ１，ｙｍｉｌ１）892
第２番目を      投影面区分ｍｉｌ２座標（ｘｍｉｌ２，ｙｍｉｌ２）893
第３番目を      投影面区分ｍｉｌ３座標（ｘｍｉｌ３，ｙｍｉｌ４）894
以下同様
と名づけて定義する。添え字ｌは左側を示す。
同様に道路グラフの方向883の右側の投影面区分を、
第０番目を      投影面区分ｍｉｒ０座標（ｘｍｉｒ０，ｙｍｉｒ０）895
第１番目を      投影面区分ｍｉｒ１座標（ｘｍｉｒ１，ｙｍｉｒ１）896
第２番目を      投影面区分ｍｉｒ２座標（ｘｍｉｒ２，ｙｍｉｒ２）897
第３番目を      投影面区分ｍｉｒ３座標（ｘｍｉｒ３，ｙｍｉｒ４）898
以下同様
と名づけて定義する。添え字ｒは右側を示す。各投影面区分は上記に示された端点座標に引き続く道路グラフの方向883の辺で表現される。
【００９１】
次に、路上画像取得システム110で撮影された画像は原画像として、始点の緯度経度が指定されると下記検索手順で検索されるようインデクス体系を構築する。
緯度経度−＞道路ID
No.−＞端点座標―＞投影面区分座標
投影面区分座標と視線方向―＞原画像
図６４において、原画像撮影位置Ｒ903にディジタルカメラ集合体755が存在してその中のディジタルカメラ750のひとつがカメラ光軸を表す正規化ベクトルである画像ベクトルＲ904の画像を撮影し、画像ベクトル904と画像右端Ｒ906が投影面区分ｍｉｒ２座標（ｘｍｉｒ２，ｙｍｉｒ２）897と交差し、画像左端Ｒ905が投影面区分ｍｉｒ２座標（ｘｍｉｒ２，ｙｍｉｒ２）897と交差する。該画像ベクトルと道路グラフの方向883のなす角により、図６３における投影面の使用法が異なるため、下記原則で原画像を投影面区分にリンクさせて登録する。
（１）０°
2009217524.tif 000276
道路グラフの方向883に対する画像ベクトルとのなす角
2009217524.tif 000277
左２０°
道路グラフの方向883の左側で視点の投影面区分への垂線の足が存在する投影面区分
道路グラフの方向883の右側で視点の投影面区分への垂線の足が存在する投影面区分
（２）左２０°
2009217524.tif 000278
道路グラフの方向883に対する画像ベクトルとのなす角
2009217524.tif 000279
左１６０°
道路グラフの方向883の左側で画像ベクトルが交差する投影面区分
（３）左１６０°
2009217524.tif 000280
道路グラフの方向883に対する画像ベクトルとのなす角
2009217524.tif 000281
左１８０°
道路グラフの方向883の左側で視点の投影面区分への垂線の足が存在する投影面区分
道路グラフの方向883の右側で視点の投影面区分への垂線の足が存在する投影面区分
（４）０°
2009217524.tif 000282
道路グラフの方向883に対する画像ベクトルとのなす角
2009217524.tif 000283
右２０°  
道路グラフの方向883の右側で視点の投影面区分への垂線の足が存在する投影面区分
道路グラフの方向883の左側で視点の投影面区分への垂線の足が存在する投影面区分
（５）右２０°
2009217524.tif 000284
道路グラフの方向883に対する画像ベクトルとのなす角
2009217524.tif 000285
右１６０°
道路グラフの方向883の左側で画像ベクトルが交差する投影面区分
（６）右１６０°
2009217524.tif 000286
道路グラフの方向883に対する画像ベクトルとのなす角
2009217524.tif 000287
右１８０°
道路グラフの方向883の左側で視点の投影面区分への垂線の足が存在する投影面区分
道路グラフの方向883の右側で視点の投影面区分への垂線の足が存在する投影面区分
すなわち（１）（３）（４）（６）は道路グラフの方向883の前後方向に対する画像であるため左右両側の投影面区分に登録する。
【００９２】
上記原則に従い、図６４の原画像撮影位置Ｒ903からの画像ベクトルＲ904は上記（５）の場合に該当し、原画像が投影面区分mir2座標(xmｉr2,ymｉr2)897にリンクして登録される。図６４の原画像撮影位置Ｌ899からの画像ベクトルＬ900は上記（２）の場合に該当し、原画像が投影面区分mil2座標(xmｉl2,ymｉl2)893にリンクして登録される。また、図６５の原画像撮影位置Ｆ907からの画像ベクトルＦ908は上記（４）の場合に該当し、原画像が投影面区分mir１座標(xmｉr1,ymｉr1)896と投影面区分mil１座標(xmｉl1,ymｉl1)892にリンクして登録される。図６５の原画像撮影位置Ｂ911からの画像ベクトルＢ912は上記（３）の場合に該当し、原画像が投影面区分mil2座標(xmｉl2,ymｉl2)893と投影面区分mir2座標(xmｉr2,ymｉr2)907にリンクして登録される。
【００９３】
次に図６６を用いて原画像を投影面区分に登録する場合、画像ベクトルと道路グラフの方向883のなす角により区分する方式を説明する。投影面区分917にリンクして登録される原画像はどのような視線ベクトルで該投影面区分917を見込むかによってさらに区分する。すなわち該投影面区分917を視野に入れる画像について該原画像位置と該投影面区分中心点918を結んだ線が931から937のどのセクタに入るかを区分する。原画像撮影位置a 916aは角度140-160°セクタ
937に、原画像撮影位置c 916cは角度80-120°セクタ 934に区分される。画像ベクトルが道路グラフの方向883とのなす角が前方左右２０°の範囲920に存在する画像ベクトルd  919dは原画像撮影位置d 916dからの垂線の足が投影面区分   917に存在するので角度20-40°セクタ 930に原画像を区分する。画像ベクトルが道路グラフの方向883とのなす角が後方左右２０°の範囲921に存在する画像ベクトルe  919eは原画像撮影位置d 916dからの垂線の足が投影面区分 917に存在するので角度160-180°セクタ 938に原画像を区分する。
【００９４】
以上に道路に対する投影面と画像のインデクス方式について説明したが、図６２に具体的な路上画像インデクス機構の構造を説明する。図４６で説明した道路グラフデータテーブルＲＤＧＤＴ 790を拡張して属性コラムの次に投影面原画像インデクステーブルアドレス873を追加して道路グラフデータテーブル  ＲＤＧＤＴm  790mを構成する端点と辺ごとに路上原画像投影用の投影面区分にさらに細分化して記述できるようにする。すなわち道路ID No.ｍの相対レコードアドレスがiの端点に対して投影面原画像インデクステーブルＰＪＩＮＸＴ 871のアドレスＰＪＩＮＸＴＡＤＲmiがリンクされ、該端点m,iに属する投影面区分が開始点より順次、相対コードアドレス874に対応して道路グラフの方向883の左側（左壁）と右側（右壁）に分けて記述される。セル数とは該端点m,iに属する投影面区分の数である。投影面区分の表現は各投影面区分に対してその開始座標で示される。投影面原画像インデクステーブルＰＪＩＮＸＴ 871には左右両壁の各投影面区分に対して投影面原画像アドレステーブルアドレス875 ＰＪＡＤＲＴＡＤＲがあり、図６６に対応した投影面原画像アドレステーブルＰＪＡＤＲＴ 872にリンクする。投影面区分に対応した路上原画像が投影面区分を見込む視線角に応じて区分化されて、各区分に含まれる原画像数が路上画像データ数869として、原画像が路上画像データアドレス870として記載される。このようにして、下記の高速検索機構が完成する。
緯度経度−＞道路ID
No.−＞端点座標―＞投影面区分座標
投影面区分座標と視線方向―＞原画像
【００９５】
次に図６０に従い路上画像データベース153の構造を説明する。路上画像データベース153は路上画像一次ファイル112に取得された情報に基づき、路上画像インデクス機構152と道路グラフデータベース151と整合性を持って構成されなくてはならない。図６０の路上画像データベース153は図５９の路上画像データベース生成登録システムの処理フローに従って生成登録される。処理ブロック843では、路上画像取得システム110で1日の走行中に蓄積した路上画像一次ファイル112を撮影が終了した後、すべての画像について順次処理する。処理ブロック844では図６０の路上画像データベースの画像ヘッダ部850のヘッダーを作成するが図５７の路上画像一次ファイル112の画像ヘッダ部470のヘダーをそのまま転記する。処理ブロック845についても通常は路上画像一次ファイル112の画像ヘッダ部470のカメラパラメタをそのまま転記すればよい。処理ブロック846では、画像ヘッダ部850の撮影パラメタを各画像ごとに計算するがその処理について以下に詳述する。
【００９６】
カメラ位置は緯度、経度、高度で規定されるが、通常車載ＧＰＳ380による位置測定がＤＧＰＳである場合には、地表であることもあってそのまま正確な位置が得られるとしてよい。ＧＰＳ380による位置測定がＧＰＳである場合には誤差をふくむので、走行後に走行時刻と同時刻に測定した付近のＤＧＰＳ局から座標補正データを入手して撮影日時刻にあわせて補正を行う。路上画像取得システム110の場合、路上を２次元的に移動するのみであることと、画角に比べて撮影点と撮影対象物の距離が近いことから撮影パラメタの計算は空中画像の場合と異なり平面幾何で近似して計算してもよい。第２レコードのカメラ位置（道路ID No.端点相対レコードアドレス,端点座標(x,y),端点距離,中心線左右距離）は道路ＩＤ No，が判明していなければ図４６の地表セル道路インデックステーブル ＣＬＬＲＤＩＮＸＴ 785より検索して道路ＩＤ No，相対レコードアドレスより道路グラフアドレステーブルＲＤＧＲＡＤＲＴ
788、さらに道路グラフデータテーブルＲＤＧＤＴ 790を検索して、道路ID No.端点相対レコードアドレス,端点座標(x,y)までは直ちに判明する。
【００９７】
道路グラフの方向
2009217524.tif 000288
883は(xm,i+1−xm,i,ym,i+1−ym,ｉ)を正規化して求められ、車両進行方向
2009217524.tif 000289
853は路上画像一次ファイルの車両データ部分840より得られる正規化ベクトルである。任意のディジタルカメラαの車両進行方向に対する設定方位を
2009217524.tif 000290
に対する回転行列で表し、ディジタルカメラ設定方位
2009217524.tif 000291
859 とするとこの数値はディジタルカメラ集合体755の構造が決まれば決まる。
端点距離Ds
852は    Ds=
2009217524.tif 000292
で求められる。    ただし  
2009217524.tif 000293
=
2009217524.tif 000294
中心線左右距離Dv
853は  Dv=
2009217524.tif 000295
で求められ、道路グラフの左右いずれかにあるかは
2009217524.tif 000296
の正負で判定する。
原画像撮影位置 
2009217524.tif 000297
916からの画像ベクトル
2009217524.tif 000298
904が投影面上で交わる点は、任意のスカラーａ、ｂに対して、  
2009217524.tif 000299
2009217524.tif 000300
ただし、
2009217524.tif 000301
，  
2009217524.tif 000302
，
2009217524.tif 000303
，
2009217524.tif 000304
これを解くと、    
【数１３】
2009217524.tif 000305
投影面区分の長さは通常同一とするが、投影面区分の座標が規定されているので、任意の投影面区分miri座標(xmｉri,ymｉri)までの投影面区分mir0座標(xmｉr0,ymｉr0)895からの総投影面長は判明する。上記nより投影面区分相対アドレスと画像ベクトル投影面区分内位置dc 856は単純な引き算でもとまる。同様に画像左端投影面区分内位置dl 857および画像右端投影面区分内位置dr 858も求めることができる。
【００９８】
次に処理ブロック847で処理ブロック844から846で求めた結果を図６０に示す路上画像データベース153の該当画像データ部分851に格納する。図５９の路上画像データベース生成登録システムの処理フローの最後の処理ブロック848で、処理ブロック847で登録した路上画像データを用いた動画生成のための図６２に示す路上画像インデクス機構を生成する。処理ブロック848の内容は図６１の路上画像データベース生成登録システム130の路上画像インデクス生成処理フローに述べられている。処理の内容は図６２から図６６の説明で詳細に述べた路上画像インデクス機構に基づくものであるが、処理ブロック861で道路グラフデータテーブル内の端点No.より道路グラフの方向を求め、画像ベクトル（撮影光軸）とのなす角度により分岐する。
画像ベクトル方向が道路グラフの方向に対して左側０°から２０°および右側０°から２０°のとき処理ブロック862で前方投影面処理として、直近の左投影面の投影面原画像アドレステーブルの角度160-180°区部分と直近の右投影面の投影面原画像アドレステーブルの角度0-２0°区部分に原画像データアドレスを登録する。
画像ベクトル方向が道路グラフの方向に対して左側１６０°から１８０°および右側１６０°から１８０°のとき処理ブロック863で後方投影面処理として直近の左投影面の投影面原画像アドレステーブルの角度0-２0°区部分と直近の右投影面の投影面原画像アドレステーブルの角度160-180°区部分に原画像データアドレスを登録する。
画像ベクトル方向が道路グラフの方向に対して左側２０°から１６０°のとき処理ブロック864で左投影面処理として撮影画像が視野に入れている左側投影面を選出し、処理ブロック865で選出された投影面につき、カメラ位置と投影面中点のなす角に対応じて投影面原画像アドレステーブル内の該当角度部分に原画像データアドレスを登録する。
画像ベクトル方向が道路グラフの方向に対して右側２０°から１６０°のとき処理ブロック866で右投影面処理として撮影画像が視野に入れている左側投影面を選出し、処理ブロック867で選出された投影面につき、カメラ位置と投影面中点のなす角に対応じてを投影面原画像アドレステーブル内の該当角度部分に原画像データアドレスを登録する。
【００９９】
次に、都市景観３次元動画アミューズメントシステムにおける路上動画生成処理システムにつき説明する。路上動画の生成は図６３のモデルに従い、視点と視線に最も近い原画像を選択して、画像投影面に対する視差を計算してモーフィング処理を行うが、原理的には空中３次元動画生成システムにおける１６０におけるアルゴリズムと同様であるが、人間目線であるので視線は水平面上を動き、垂直軸も傾かないとしてよい。このためモーフィングは２次元的に処理する。全体の処理を図７２に示す。
【０１００】
処理ブロック940では、グラフィックユーザインターフェイスシステム180より次の動画フレーム（次コマ）として計算すべき移動方向、移動速度、位置、視線方向ベクトルを取り込む。処理ブロック941では、この値に基づき次コマの視点位置、視線ベクトル、地表上の目標点座標を計算する。処理ブロック942では、次コマの視野が現コマの原画像に含まれる範囲か路上画像データベースの原画像の撮影パラメタと比較して判断する。含まれていない場合は、最適な原画像を求めなおす必要があり、処理ブロック944へ行く。含まれている場合は、処理ブロック943で現コマの原画像を引き続き使用する設定をおこなう。図６８の例で見ると、視点Ｒ903は原画像撮影位置a  916aで撮影した右前方視の画像が右側の投影面の原画像になりうることを示している。
【０１０１】
処理ブロック944の処理内容はより詳しく図７３の路上３次元動画生成システムの処理おける原画像検索の処理フローと図６３に示される。以下図６３を参照しながら図７３により説明する。処理ブロック950では道路グラフと視線のなす角882により図６３の区分に従い前後の仮想投影面に画像を生成するか、道路に沿った左右の投影面に画像を生成するか判定する。左右投影面視が選択された場合は、処理ブロック953で前回位置と今回位置より、道路ID No. 端点アドレス、座標が求まるので、さらに視点位置、視線ベクトル方向と道路グラフベクトルの関係から、図６３の基準に従い、左投影面か右投影面かを決定する。さらに、処理ブロック954では、前回の位置と今回の位置の変化量、前回視線ベクトルと今回視線ベクトルの変化量より、今回の視線ベクトルと視野左端ベクトル、視野右端ベクトルが交叉する投影面区分を予測する。通常は現コマの投影区分を継続使用するか隣接する投影区分である。処理ブロック955では今回視線ベクトルが交叉する投影面区分を予測値の周辺で探索して求める。処理ブロック956では図６６の区分に従い、図６２の検索機構で投影面原画像アドレステーブルＰＪＡＤＲＴにより今回視線ベクトルと交叉する投影面区分のなす角にもっとも近い角度区分の原画像アドレスを検索して求める。処理ブロック950で図６３の判定により前後の仮想投影面に画像を生成すると判定された場合は、処理ブロック951にて、前回位置と今回位置より、道路ID No. 端点アドレス、座標が求まるので、さらに視点位置、視線ベクトル方向と道路グラフベクトルの関係から、左投影面か右投影面かを決定する。前後視の場合は投影面としては左右の投影面を使用しないが、原画像撮影位置により左右投影面にリンクして登録されているのでこの判定を行う。処理ブロック９５２では図６３の区分意従い、視線ベクトル方向と道路グラフベクトルの関係から、前方視か後方視かを判定し、直近の投影面区分を求めて、投影面原画像アドレステーブルの角度０ー２０°(前方視)または角度１６０ー１８０°(前方視)の区分にある画像を原画像として検索する。図７２の処理ブロック945にもどり、検索した新しい原画像を原画像とする。
【０１０２】
処理ブロック946では図６３の基準により分岐し、処理ブロック948の左右投影面モーフィング処理または、処理ブロック947の前後視界モーフィング処理を行う。処理ブロック948の左右投影面モーフィング処理の内容について図６８と図６９を参照しつつ以下の文章と式で説明する。
原画像ｍに対して原画像撮影位置
2009217524.tif 000306
672と画像ベクトル
2009217524.tif 000307
673（ノルム=1）と投影面が決まると、画像ベクトル
2009217524.tif 000308
673と投影面の交点
2009217524.tif 000309
と画像の左端、右端と投影面の交点
2009217524.tif 000310
と
2009217524.tif 000311
が決まる。投影面を表すベクトル
2009217524.tif 000312
は道路グラフの方向
2009217524.tif 000313
883と同一な正規化ベクトルである。
2009217524.tif 000314
の垂線を
2009217524.tif 000315
（正規化）とする。
2009217524.tif 000316
は画像ベクトル
2009217524.tif 000317
673が
2009217524.tif 000318
が投影面と交わる点であるが、
2009217524.tif 000319
を通り、画像ベクトル
2009217524.tif 000320
に垂直な平面を
2009217524.tif 000321
という。
2009217524.tif 000322
は原画像撮影位置視点
2009217524.tif 000323
671より撮影した画像(視野)である。
2009217524.tif 000324
-->
2009217524.tif 000325
への変換が存在して、これを
2009217524.tif 000326
という。これは原画像ｍの撮影行為である。視点
2009217524.tif 000327
に対して、視点座標
2009217524.tif 000328
と視線ベクトル
2009217524.tif 000329
（ノルム=1）と投影面
2009217524.tif 000330
（共通）が決まると同様に
2009217524.tif 000331
と
2009217524.tif 000332
、
2009217524.tif 000333
が決まる。
2009217524.tif 000334
を通り視線ベクトル
2009217524.tif 000335
に垂直な平面を
2009217524.tif 000336
という。平面
2009217524.tif 000337
とは投影面
2009217524.tif 000338
の中で、視点
2009217524.tif 000339
による視野で
2009217524.tif 000340
の一部を構成する。
視点
2009217524.tif 000341
の視野
2009217524.tif 000342
と
2009217524.tif 000343
は
2009217524.tif 000344
と
2009217524.tif 000345
と視野角
2009217524.tif 000346
が決まれば一意に決まる。平面
2009217524.tif 000347
の平面
2009217524.tif 000348
への写像は
2009217524.tif 000349
と
2009217524.tif 000350
と原画像ｍの画角
2009217524.tif 000351
が決まれば一意に決まる。
2009217524.tif 000352
―＞
2009217524.tif 000353
―＞
2009217524.tif 000354
の対応により
2009217524.tif 000355
の
2009217524.tif 000356
に対応する各画素が、
2009217524.tif 000357
の
2009217524.tif 000358
に対応する画素に対応付けられればモーフィングアルゴリズムは完成する。
一般に平面
2009217524.tif 000359
上の任意の点
2009217524.tif 000360
は、
2009217524.tif 000361
=a
2009217524.tif 000362
+
2009217524.tif 000363
であらわされる。
ここで垂線条件である、
2009217524.tif 000364
2009217524.tif 000365
=0  を代入すると、
2009217524.tif 000366
2009217524.tif 000367
=
2009217524.tif 000368
2009217524.tif 000369
が得られる。ここで・はベクトル内積をあらわす。
視界の中心線
2009217524.tif 000370
と投影面
2009217524.tif 000371
の交点
2009217524.tif 000372
は、
2009217524.tif 000373
が
2009217524.tif 000374
=
2009217524.tif 000375
+c
2009217524.tif 000376
を満足することからこれに代入して、
2009217524.tif 000377
（c
2009217524.tif 000378
+
2009217524.tif 000379
）=
2009217524.tif 000380
2009217524.tif 000381
よりｃ=
2009217524.tif 000382
となり、
【数１４】
2009217524.tif 000383
= 
2009217524.tif 000384
+ 
2009217524.tif 000385
2009217524.tif 000386
＝
2009217524.tif 000387
で、視点
2009217524.tif 000388
の画像中心点の投影面
2009217524.tif 000389
での座標が求められた。
【０１０３】
同様に、視点
2009217524.tif 000390
の視界の左端、右端の正規化視線ベクトルを
2009217524.tif 000391
、
2009217524.tif 000392
とし、これらと投影面
2009217524.tif 000393
の交点
2009217524.tif 000394
、
2009217524.tif 000395
の投影面
2009217524.tif 000396
での座標を求めることができる。投影面
2009217524.tif 000397
上の任意の点
2009217524.tif 000398
は、
2009217524.tif 000399
=a
2009217524.tif 000400
+
2009217524.tif 000401
であらわされ、垂線条件である、
2009217524.tif 000402
2009217524.tif 000403
=0    より、左右端の正規化視線ベクトルを
2009217524.tif 000404
、
2009217524.tif 000405
に対して、
2009217524.tif 000406
=
2009217524.tif 000407
+c
2009217524.tif 000408
ただしk=Ｌ,を満足する
2009217524.tif 000409
（c
2009217524.tif 000410
+
2009217524.tif 000411
）=
2009217524.tif 000412
2009217524.tif 000413
よりｃ=
2009217524.tif 000414
となり、
【数１５】
2009217524.tif 000415
= 
2009217524.tif 000416
+ 
2009217524.tif 000417
2009217524.tif 000418
＝
2009217524.tif 000419
で、視点
2009217524.tif 000420
の画像の左右端の投影面
2009217524.tif 000421
での座標が求められた。この平面
2009217524.tif 000422
上での座標を平面
2009217524.tif 000423
上での座標に対応付けることにより原画像である平面
2009217524.tif 000424
上のどの点を視点
2009217524.tif 000425
の画面に映せばよいか分かる。
2009217524.tif 000426
上での視点
2009217524.tif 000427
の画面の中心と左右端点の座標
2009217524.tif 000428
、
2009217524.tif 000429
、
2009217524.tif 000430
（まとめて
2009217524.tif 000431
、k=Ｌ,Ｒ,Ｃとする）が
2009217524.tif 000432
上で
2009217524.tif 000433
、
2009217524.tif 000434
、
2009217524.tif 000435
（まとめて
2009217524.tif 000436
、k=Ｌ,Ｒ,Ｃとする）に対応する。
2009217524.tif 000437
面上での画面の水平ラインを
2009217524.tif 000438
とすると
2009217524.tif 000439
面上の任意の点
2009217524.tif 000440
は任意定数aに対して
2009217524.tif 000441
=
2009217524.tif 000442
=ａ
2009217524.tif 000443
+ 
2009217524.tif 000444
で表される。画像ベクトル
2009217524.tif 000445
は
2009217524.tif 000446
に垂直だから  
2009217524.tif 000447
2009217524.tif 000448
=0なり、また、
2009217524.tif 000449
と
2009217524.tif 000450
は画像撮影位置
2009217524.tif 000451
より見て同一線上にあるから  
2009217524.tif 000452
=d(
2009217524.tif 000453
-
2009217524.tif 000454
)+
2009217524.tif 000455
であるので、d(
2009217524.tif 000456
-
2009217524.tif 000457
)+
2009217524.tif 000458
=ａ
2009217524.tif 000459
+ｂ
2009217524.tif 000460
+
2009217524.tif 000461
となり、
2009217524.tif 000462
との内積をとって
ｄ=
2009217524.tif 000463
となるから
【数１６】
2009217524.tif 000464
=
2009217524.tif 000465
となる。
2009217524.tif 000466
= 
2009217524.tif 000467
+ 
2009217524.tif 000468
2009217524.tif 000469
で既に
2009217524.tif 000470
は求まっているから、これで、視点
2009217524.tif 000471
の視界の原画面ｍの画面との対応が完成した。
【０１０４】
次に、
2009217524.tif 000472
をｙ軸に移す変換を求める。ここで、
2009217524.tif 000473
=1
2009217524.tif 000474
=
2009217524.tif 000475
として、ｚ軸周りに回転させると
2009217524.tif 000476
はｘ軸に載る。
ｚ軸周りの回転は、
【数１７】
2009217524.tif 000477
で与えられる。
平面
2009217524.tif 000478
の交点
2009217524.tif 000479
(k=L,R,C)に対して
2009217524.tif 000480
をｚ軸に移す変換を施せば、
2009217524.tif 000481
(k=L,R,C) はx軸の点に変換される。これは、原画像ｍの画面上の位置に対応する。すなわちモーフィングである。以上は２次元モーフィングであるので、図７１に水平線上の対応が画素単位で求められた。視点における視野731の原画像730における対応が水平線上で示される。垂直方向は上下対称で拡大縮小比率は水平線上と同比率である。なお、視線の動きを水平面内に限定しないのであれば、空中３次元動画生成における３次元モーフィング処理を私用してもよい。なお、図７２の処理ブロック947の前後視界モーフィング処理は、視点F 907の視界を撮影点a 916a での原画像から２次元モーフィングで処理ブロック948で述べたのと同様のアルゴリズムで生成する。
以上で本発明になる都市景観の３次元動画生成アミューズメントシステムの路上３次元動画生成に関する説明を終了する。
【０１０５】
図７１に車載用のディジタルカメラ集合体973のもうひとつの構成例を示す。本発明の都市景観の３次元動画生成では、都市の道路構造のため撮像目標とディジタルカメラ集合体の距離が短くなり、隣接する原画像間で視差が大きくなる傾向がある。その結果、生成した動画の滑らかさが劣化することがある。この問題を解決するために進行方向976に対する側方のディジタルカメラの角度ピッチを半分にし、なおかつ全体に広角レンズを採用することにより、より３次元動画生成に適した原画像を収集することができる。
【０１０６】
次に、都市景観の３次元動画生成アミューズメントシステムのグラフィックユーザインターフェイスシステム180に関する説明を図７５を用いて行う。図７５は該グラフィックユーザインターフェイスシステム180の全体構造を示している。図７５と図７６の処理フローと図７７、７８、７９のモニタ表示と入力機能によりグラフィックユーザインターフェイスシステム180が構成される。本発明になる都市景観の３次元動画生成アミューズメントシステムでは空中模擬飛行と路上歩行を自由に切り替えられることが特徴であり、処理ブロック974で空中から地上または地上から空中に切り替えられたか判定する。空中から地上への着地が選択された場合には処理ブロック975で着地点と着地後の進行方向を読み取る。図７７の空中３次元動画用グラフィックユーザインターフェイスで着地ボタン996を短く押した場合には進行方向の斜め下４５度など指定した斜め角の地上に着地し、長く押した場合には押した時間に応じて直下地点に近づくという方法もある。S地上での視線方向は飛行中の向きを維持するのが常識的である。前回から路上模擬で変化がない場合とあわせて処理ブロック974に行き、地上用グラフィックユーザインターフェイスである図７８で進行方向、速度指示を画面より読み込み、位置と速度ベクトルを更新して路上３次元動画生成システム170へ伝える。処理ブロック974で路上３次元動画生成から空中３次元動画生成に切り替わったと判定された場合は処理ブロック977にいく。地上から空中に切り替わるのは図７８でジャンピングボタン984を押された場合であり、押される時間の長さにより、時間が短い場合は進行方向斜め後方一定角度、たとえば４５°の一定高度、たとえば１００ｍ上空とし、押される時間が長いほど前方上空にするなどの方法がある。
【０１０７】
次に、前回から空中３次元動画生成であった場合とあわせて処理ブロック978の空中グラフィックユーザインタフェースシステムに行く。この内容は図７６にさらに記されている。処理ブロック979では図７７の空中グラフィックユーザインタフェースより、進行方向、スロット、昇降指示を画面より読み込み、位置と速度ベクトルを更新する。空中３次元動画生成ではコックピット表示を３次元映像表示  990に行うだけでなく、機能ボタン1001による選択によりカメラ表示に切り替えることができる。これは空中３次元動画生成システム160が始点位置のトラジェクトリと視線ベクトルのトラジェクトリを自由に取れることに対応している。処理ブロック980でコックピット表示が選択された場合には処理ブロック983に進み、視線ベクトルを進行方向に設定、視野角は規定値に設定し、空中３次元動画生成システム160に情報を伝達する。処理ブロック980でカメラが選択されたと判定された場合は、処理ブロック981で図７７の空中グラフィックユーザインタフェースよりカメラ方向、チルト角、ズーム設定値を取り込み、処理ブロック982で視点、視線、およびズームによる視野角を計算して空中３次元動画生成システム160に情報を伝達する。
【０１０８】
以下、図７７、７８、７９について今までに説明していない部分を説明する。図７７の方位インジケータ991は飛行方向を示し、高度インジケータは飛行高度を示す。地図表示988は現在の飛行位置を地図で表示する。この機能はGISとして公然実施されている。図７８は路上３次元動画生成の映像表示であり人間目線で市街を表示する。機能ボタン1001は後日に備えて機能追加を可能とするほか、地図表示983を中央の道路の上に配置してガイド機能がよくなるように工夫している。コメント表示ウィンドウ1000は地域に依存した広告などの表示が可能である。図７９は路上3次元動画生成の進行方向と視線指定の別の方法であり、画面を領域に分割しておき、マウスなどによるカーソルの画面上の位置で操作入力の意味を変えるもので、前後進998の場所を指定された場合は矢印の方向に前進ないし後退し、左折右折997の場所を指定された場合は矢印の方向に左折ないし右折進行し、左右視線変更999の場所を指定された場合は矢印の方向に視線を左向きないし右向きに変更する。
【産業上の利用可能性】
【０１０９】
本発明の航空写真撮像システムは、航空機に搭載されるカメラの制御装置及び撮像データ処理装置として産業上利用することができる。
【図面の簡単な説明】
【０１１０】
【図１】本発明の都市景観３次元動画アミューズメントシステム全体構成を概略的に示す図である。
【図２】図１に示す都市景観３次元動画アミューズメントシステムにおける空中画像取得の概念を示す図である。
【図３】３次元動画におけるモーフィングの概念図である。
【図４】本発明の都市景観３次元動画アミューズメントシステムにおける実画像を用いたモーフィングによる動画像生成の概念について説明する図である。
【図５】本発明の航空機による空中画像取得システムの運用例について説明する図である。
【図６】本発明の空中画像取得システムの処理フローについて説明する図である。
【図７】本発明の航空機搭載ディジタルカメラ集合体の例について説明する図である。
【図８】本発明の航空機による空中画像取得システムの航路および撮影ポイントの設定例を示す図である。
【図９】本発明の空中画像取得システムの構成例を示す図である。
【図１０】本発明の空中搭載画像取得システムのフライトナビゲーションシステム部の処理フローを示す図である。
【図１１】本発明の空中画像取得計画ファイルの構成例を示す図である。
【図１２】本発明の空中画像取得システムのフライトナビゲーションシステム部の表示画面の例を示す図である。
【図１３】本発明の空中画像取得システムのデータ取得記録システム部の情報フローを示す図である。
【図１４】本発明の空中画像取得システムの撮影制御システムの処理フローを示す図である。
【図１５】本発明の空中画像一次ファイルの構造を示す図である。
【図１６】本発明の空中画像データベース生成登録システムの処理フローを示す図である。
【図１７】本発明の空中画像データベース構成を示す図である。
【図１８】本発明のモヤ影響除去処理における画像と視野の関係を示す図である。
【図１９】本発明のモヤ影響除去処理における画像特性パラメータグラフ例を示す図である。
【図２０】本発明のモヤ影響除去処理の処理フローを示す図である。
【図２１】本発明のモヤ影響除去処理の処理結果例を示す図である。
【図２２】本発明の空中画像データベース生成登録システムの空中画像インデクス生成登録処理フローを示す図である。
【図２３】本発明の空中画像インデクス機構の構造と用語の定義を示す図である。
【図２４】本発明の空中画像インデクス機構の構造を示す図である。
【図２５】本発明の立体角セルのインデックス構造を示す図である。
【図２６】本発明の空中画像インデクスと関連テーブルの相互関連を示す図である。
【図２７】本発明のディジタルカメラ集合体の３種類の焦点距離の異なるディジタルカメラによる視野の構成例を示す図である。
【図２８】本発明の３種類の焦点距離の異なるディジタルカメラによるディジタルカメラ集合体の構成例を示す図である。
【図２９】本発明の３種類の焦点距離の異なるディジタルカメラによるディジタルカメラ集合体の撮影範囲図を示す図である。
【図３０】本発明の航空機搭載用安定プラットフォームの構造例を示す図である。
【図３１】本発明の安定プラットフォームの信号情報フローを示す図である。
【図３２】本発明の都市景観３次元動画アミューズメントシステムにおける実画像を用いたモーフィングによる動画像生成の変数を説明する図である。
【図３３】本発明の都市景観３次元動画アミューズメントシステムにおける空中動画生成処理フローを示す図である。
【図３４】本発明の都市景観３次元動画アミューズメントシステムにおける実画像を用いた３次元動画生成処理の原画像検索の処理フローを示す図である。
【図３５】本発明の３次元動画生成処理の原画像選択論理を示した図である。を示す図である。
【図３６】本発明の３次元動画生成処理での視点における視野と原画像の関係を示す図である。
【図３７】本発明の視線ベクトルとTerrainの交点の関係を示す図である。
【図３８】本発明の視点における視野と原画像の関係を示す図である。
【図３９】本発明の視点Ｐ（ｔi）からの視野を示す図である。
【図４０】本発明の路上画像取得システムの処理フローを示す図である。
【図４１】本発明の車載ディジタルカメラ集合体構成例を示す図である。
【図４２】本発明の路上画像取得システムの経路および撮影ポイントの設定例と撮影範囲を示す図である。
【図４３】本発明の路上画像取得システム鉛直方向撮影パターンと画像投影面の関係を示す図である。
【図４４】本発明のグラフによる道路の記述を説明する図である。
【図４５】本発明の緯度・経度による道路検索方式を説明する図である。
【図４６】本発明の道路グラフデータベースの構造を説明する図である。
【図５０ａ】本発明の道路グラフデータテーブルRDGDTの構成例を示す図である。
【図５０ｂ】本発明の道路グラフデータテーブルRDGDTの構成例を示す図である。
【図５０ｃ】本発明の道路グラフデータテーブルRDGDTの構成例を示す図である。
【図５０ｄ】本発明の道路グラフデータテーブルRDGDTの構成例を示す図である。
【図５０ｅ】本発明の道路グラフデータテーブルRDGDTの構成例を示す図である。
【図５０ｆ】本発明の道路グラフデータテーブルRDGDTの構成例を示す図である。
【図５１】本発明の路上画像取得システムの構成例を示す図である。
【図５２】本発明の路上画像取得システムのカーナビゲーションシステム部の処理フローを示す図である。
【図５３】本発明の路上画像取得計画ファイルの構成例を示す図である。
【図５４】本発明の路上画像取得システムのカーナビゲーションシステムの表示画面例を示す図である。
【図５５】本発明の路上画像取得システムのデータ取得記録システム部の情報フローを示す図である。
【図５６】本発明の路上画像取得システムのデータ取得記録システム部の処理フローを示す図である。
【図５７】本発明の路上画像一次ファイルの構造を示す図である。
【図５８】本発明の車載用安定プラットフォームの構造例を示す図である。
【図５９】本発明の路上画像データベース生成登録システムの処理フローを示す図である。
【図６０】本発明の路上画像データベースの構成を示す図である。
【図６１】本発明の画像データベース生成登録システムの路上画像インデクス生成処理フローを示す図である。
【図６２】本発明の路上画像インデクス機構の構造を示す図である。
【図６３】本発明の道路グラフの方向と視線ベクトルの方向による動画生成処理を説明する図である。
【図６４】本発明の路上画像データベース生成登録システムおよび路上３次元動画生成システムにおいて視線方向が投影面を向いている場合の処理を説明する図である。
【図６５】本発明の路上画像データベース生成登録システムおよび路上３次元動画生成システムにおいて視線方向が投影面にほぼ平行な場合の処理を説明する図である。
【図６６】本発明の路上画像データベース生成登録システムおよび路上３次元動画生成システムにおいて投影面と原画像撮影光軸の関係を示す図である。
【図６７】本発明の路上画像データベースの撮影パラメタの計算法を示す図である。
【図６８】本発明の路上３次元動画生成システムにおける原画像の選択について説明する図である。
【図６９】本発明の路上３次元動画生成システムにおける投影面に対するモーフィングの方式を示す図である。
【図７０】本発明の路上３次元動画生成システムにおける投影面にほぼ平行な視界に対するモーフィングの方式を示す図である。
【図７１】本発明の路上３次元動画生成システムの処理フローを示す図である。
【図７２】本発明の路上３次元動画生成システムの処理フローを示す図である。
【図７３】本発明の路上３次元動画生成システムの処理おける原画像検索の処理フローを示す図である。
【図７４】本発明の車載ディジタルカメラ集合体のもうひとつの構成例を示す図である。
【図７５】本発明のグラフィックユーザインターフェイスシステムの処理フローを示す図である。
【図７６】本発明のグラフィックユーザインターフェイスシステムの処理の空中グラフィックユーザインターフェイスシステムの処理フローを示す図である。
【図７７】本発明のグラフィックユーザインターフェイスシステムの処理の空中グラフィックユーザインターフェイスシステムの表示例を示す図である。
【図７８】本発明のグラフィックユーザインターフェイスシステムの処理の路上グラフィックユーザインターフェイスシステムの表示例を示す図である。
【図７９】本発明のグラフィックユーザインターフェイスシステムの処理の路上グラフィックユーザインターフェイスシステムの方向盛業カーソル機能を示す図である。
【符号の説明】
【０１１１】
100  空中画像取得システム
101  空中画像取得計画ファイル
102  空中画像一次ファイル
110  路上画像取得システム
111       路上画像取得計画ファイル
112  路上画像一次ファイル
120  空中画像データベース生成登録システム
121  ＤＥＭファイル
122  ＤＧＰＳファイル
130  路上画像データベース生成登録システム
140       空中画像データベース
142  空中画像インデクス機構
143  空中画像データベース
150       路上画像データベース
151       道路グラフデータベース
152       路上画像インデクス機構
153       路上画像データベース
160  空中３次元動画生成システム
165  空中画像検索エンジン
170  路上３次元動画生成システム
175  路上画像検索エンジン
180  グラフィックユーザインターフェイスシステム
190  インターネット
191  ユーザ
200  都市
210  視線
220  充分小さい立体角の範囲 1  
221       充分小さい立体角の範囲
ｉ
222  天球
230  建物および視線方向の関係図
240  視線方向１
241  視線方向１より見た画像
250  視線方向２
251       視線方向２より見た画像
260  空中画像
ｉ
261  空中画像
ｉ+1  
270  視点経路  P(t)  
271  時刻
ｔ の視線  
272  時刻
ｔ+δｔ の視線  
273  時刻
ｔ+2δｔ の視線  
274  時刻
ｔ+3δｔ の視線  
275  時刻
ｔ+4δｔ の視線  
276  時刻
ｔ+5δｔ の視線  
280  目標トラジェクトリ  T(t)  
300       飛行経路
301  航空機
310  撮影ポイント
320  ディジタルカメラ集合体光軸方向  
330  撮影ポイント設定プロセス
331       撮影プロセス
332  空中画像一次ファイル生成プロセス
350a〜i  ディジタルカメラ
360  ディジタルカメラ集合体
370  撮影方向
371  飛行方向撮影間隔
372  飛行航路間撮影間隔
373       航空機位置
375a〜i  ディジタルカメラ350a〜iの撮影範囲
380  GPSアンテナ
385  フライトナビゲーションシステム部
386  フライトナビゲーションシステム
387  アビオニクス情報
388  航空計装
390  データ取得記録システム部
391       メタデータファイル
393  空中撮影制御システム
394  安定プラットフォーム制御システム
395  安定プラットフォーム装置  
396  ＩＭＵ 
397  航空機床穴
398  航空機床
400  ＩＭＵ
420〜425  処理ブロック
430  航路No.1撮影座標ファイル  
431  航路No.２撮影座標ファイル  
432       航路No.ｍ撮影座標ファイル  
437  撮影ガイダンス表示
438  航路内残撮影ポイント数表示
439  航路No.表示
440  撮影許容範囲  
441  飛行方向  
442  方位表示  
443  姿勢表示  
444  左右傾斜表示  
445  昇降姿勢軸表示  
446  位置偏差表示  
447  水平偏差軸  
448       高度偏差軸  
450  安定プラットフォームの姿勢データ  
451  航空機の姿勢データ  
452  GPSアンテナの位置データ  
453  ディジタルカメラ撮影パラメタ  
454  カメラパラメタ
455  空中画像データ  
456       撮像ポイントデータ  
457  撮影指令
460〜465  処理ブロック
470  画像ヘッダ部分  
471  画像データ部分
472  航空機データ部分  
480〜486  処理ブロック
490  画像ヘッダ部分
491  画像データ部分
495  撮影画像  
496  近景部分ａ  
497  近景部分ｂ
498  遠景部分  
499  撮影地表部分  
500  正規化ヒストグラム 
501  近景部分ａヒストグラム 
502  遠景部分ヒストグラム
503  ヒストグラム下限値
504  ヒストグラム上限値  
505  値幅
506  中央値
507  輝度上限値  
508  輝度軸
509  画素数軸
510  数値軸
511  ディジタルカメラよりの距離軸  
512  中央値フィッティング曲線  
513  値幅フィッティング曲線  
514  近景部分ａ値幅   
515  近景部分ａ中央値  
516  遠景部分中央値  
517  遠景部分値幅  
520〜524  処理ブロック
530  モヤ影響除去前画像
531       モヤ影響除去後画像
540〜545  処理ブロック
549  地表画像範囲
550  撮影位置  
551  画像ベクトル（正規化）  
552  画像距離  
553  フレーム回転角  
554  Terrain上中心点座標  
555  Terrain上最近右座標  
556  Terrain上最遠右座標  
557  Terrain上最遠左座標  
558  Terrain上最近左座標  
559  地表セル  
560  Terrain
570  天頂ベクトル  
571  天頂離角
572  天頂インデックスｉ  
573  立体角セル  
574  立体角セル中心ベクトル  
575  地表セル中心点  
580  天頂インデックス０  
581  天頂インデックス１  
582  天頂インデックス２  
583  天頂インデックス３  
584  立体角セルアドレス（０．０）  
585  立体角セルアドレス（１．０）  
586  立体角セルアドレス（１．１）  
587  立体角セルアドレス（１．２）  
588  立体角セルアドレス（２．０）  
589  立体角セルアドレス（２．１）  
590       立体角セルアドレス（２．２）
597  天頂インデックスパラメタテーブル
ＺＮＰＲＭＴ 
598  方位インデックスパラメタテーブル
ＤＲＰＲＭＴ
599  方位数
600  地表セル位置インデックステーブル  ＴＣＩＮＸＴ  
601  経度インデックス
ＬＯＮＩＮＸ 
602  緯度インデックス  ＬＡＴＩＮＸ
603  天頂インデックステーブルアドレス  
604  天頂インデックステーブル  ＺＮＩＮＸＴ
605  方位インデックステーブルアドレス  
606  方位インデックステーブル
ＤＲＩＮＸＴ 
607  画像アドレステーブルアドレス  
608  画像アドレステーブル  ＧＡＤＤＲＴ
610  焦点の長い望遠レンズのディジタルカメラ
611  焦点の短い望遠レンズのディジタルカメラ
612  標準レンズディジタルカメラ  
613  標準レンズディジタルカメラの撮影範囲  
614  焦点の短い望遠レンズのディジタルカメラの撮影範囲
615  焦点の長い望遠レンズのディジタルカメラの撮影範囲
620j〜y  ディジタルカメラ
621  ディジタルカメラ集合体
630j〜y  ディジタルカメラ550 j〜yの撮影範囲
635  固定部
636  上下動部
637  回転部
640  回転駆動機構  
641  上下駆動機構Ａ  
642  上下駆動機構Ｂ  
643  上下駆動機構Ｃ  
644  上下駆動機構Ｄ  
645  ベアリング機構  
646  安定プラットフォームの姿勢データ  
647  ロー、ピッチ方向の制御 
648  ヨー方向の制御  
649  上下運動  
650       回転運動  
666  空中画像ｍ−１
667  空中画像ｍ
670  原画像撮影位置Sm-1
671  原画像撮影位置Sm
672  画像ベクトルGm-1
673  画像ベクトルGm
675  視点  Ｐ（ｔ1） 
676  視点  Ｐ（ｔ2）
677  視点  Ｐ（ｔ3）
678  視点  Ｐ（ｔ4）
679  視点  Ｐ（ｔi）
680  視線ベクトルトラジェクトリ V（ｔ）
681  視線ベクトル V （ｔ1）  
682  視線ベクトル V （ｔ2）
683  視線ベクトル V （ｔ3）
684  視線ベクトル V （ｔ4）
685       視線ベクトル V （ｔi）
690〜697  処理ブロック
700〜705  処理ブロック
710  原画像撮影位置SA
711  原画像撮影位置SB
712  原画像撮影位置SC
713  遮蔽物
714  Terrain上可視範囲  
715  Terrain上最近右座標Ｚm1 
716  Terrain上最遠右座標Ｚm2
717  Terrain上最遠左座標Ｚm3
718  Terrain上最近左座標Ｚm4
719  Terrain上中心座標ＺmC
720  Terrain上左端中点Ｚm34 
721  Terrain上右端中点Ｚm12 
722  Terrain上上端中点Ｚm23 
723  Terrain上下端中点Ｚm41 
724  Terrain上視野縦ベクトルＺmV
725  Terrain上視野横ベクトルＺmH
726  Terrain上視野垂直ベクトルｎm
727  Terrain平面
730  原画像
731  視点における視野  
732  フレーム画角(横)
733  フレーム画角(縦)       
734  視野右下端点Vi1 
735  視野右上端点Vi2
736  視野左上端点Vi3
737  視野左下端点Vi4
741〜743  処理ブロック
750a〜w  ディジタルカメラ
755  ディジタルカメラ集合体 
760a〜p  ディジタルカメラ750a〜pの撮影範囲
765  移動経路  
766  撮影ポイント 
767  撮影方向
768  道路境界線
769  道路または通路  
770  画像投影面   
771  建物
775  端点
776  辺
777k〜n 道路ＩＤ  Ｎｏ．k〜n
779  端点座標
780  中心線グラフ
781  緯経度セル
782  緯経度セル中心点
783a〜b  垂線の足Ａ〜Ｂ
785  地表セル道路インデックステーブル CLLRDINXT
786  経度インデックス
787  緯度インデックス
788  道路グラフアドレステーブル  RDGRADRT
789  道路ID No
790  道路グラフデータテーブル  RDGDT
791  属性
792k,i〜792k,i+6  端点k,i〜k,i+6
793l,j〜793l,j+6  端点l,j〜l,j+6
794m,n-3〜794m,n  端点m,n-3〜m,n  
795k〜m 道路グラフデータテーブル  RDGDT k〜m
796  相対レコードアドレス
800  データ取得記録システム部
801  カーナビゲーションシステム部
802  カーナビゲーションシステム端末
803  車両
804  メタデータファイル
805       路上画像データファイル
806  路上撮像制御システム
807  車両天井板
810〜813  処理ブロック
820  道路ID No.1撮影座標ファイル  
821  道路ID No.２撮影座標ファイル  
822       道路ID No.ｍ撮影座標ファイル 
825  指定撮影経路
826  撮影ポイントデータ
827  路上画像データ
828  車両の姿勢データ
829  安定プラットフォームの姿勢データ  
830   GPSアンテナの位置データ  
831  ディジタルカメラ撮影パラメタ
832  路上画像データ  
834〜839  処理ブロック
840       車両データ部分
843〜848  処理ブロック
850  画像ヘッダ部分  
851       画像データ部分  
852  端点距離
853  中心線左右距離
854  車両進行方向  
855  原画像撮影位置の投影面区分内位置
856  画像ベクトル投影面区分内位置
857  画像左端投影面区分内位置
858       画像右端投影面区分内位置
859       ディジタルカメラ設定方位
860〜867  処理ブロック
869  路上画像データ数
870  路上画像データアドレス
871  投影面原画像インデクステーブル  PJINXT   
872  投影面原画像アドレステーブル    PJADRT  
873  投影面原画像インデクステーブルアドレス
874  相対レコードアドレス
875  投影面原画像アドレステーブルアドレス
876  路上視線
877  路上視点
878  前方仮想投影面
879  後方仮想投影面
880  左投影面  
881  右投影面  
882  道路グラフと視線のなす角  
883  道路グラフの方向  
884  画像撮影光軸  
885  前方投影面処理範囲  
886  左投影面処理範囲  
887  後方投影面処理範囲  
888  右投影面処理範囲    
890  端点m, i 座標 (xm,ｉ,ym,ｉ)
891  投影面区分mil0座標(xmｉl0,ymｉl0)
892  投影面区分mil1座標(xmｉl1,ymｉl1)
893  投影面区分mil2座標(xmｉl2,ymｉl2)
894  投影面区分mil3座標(xmｉl3,ymｉl3)
895  投影面区分mir0座標(xmｉr0,ymｉr0)
896  投影面区分mir1座標(xmｉr1,ymｉr1)
897  投影面区分mir2座標(xmｉr2,ymｉr2)
898  投影面区分mir3座標(xmｉr3,ymｉr3)
899  原画像撮影位置Ｌ
900  画像ベクトルＬ
901  画像左端Ｌ
902  画像右端Ｌ
903  原画像撮影位置Ｒ
904  画像ベクトルＲ
905  画像左端Ｒ
906  画像右端Ｒ
907  原画像撮影位置Ｆ
908  画像ベクトルＦ
909  画像左端Ｆ
910  画像右端Ｆ
911  原画像撮影位置Ｂ
912  画像ベクトルＢ
913  画像左端Ｂ
914  画像右端Ｂ
915  道路グラフの逆方向
916a〜d  原画像撮影位置ａ〜d
917  投影面区分
918       投影面区分中心点
919a〜e  画像ベクトルa〜e
920  前方左右２０°の範囲
921  後方左右２０°の範囲
930  角度0-20°セクタ
931  角度20-40°セクタ
932  角度40-60°セクタ
933  角度60-80°セクタ
934  角度80-100°セクタ
935  角度100-120°セクタ
936  角度120-140°セクタ
937  角度140-160°セクタ
938  角度160-180°セクタ
940〜948  処理ブロック
950〜956  処理ブロック
960  原画像ｍ
961  原画像ｍ＋１
962  画像ベクトルＧm
963  視点Ｐi
964  視線ベクトルＶic
965  視線左端ベクトル  ＶiL
966  視線右端ベクトルＶiR
967  Ｚｍの垂線
968  投影平面Ｚｍ
969  原画像撮影位置Ｓｍ
970  原画像上視界左端QiL
971  原画像上視界右端QiR
972  原画像上視界右端QiR
973  ディジタルカメラ集合体
974〜983  処理ブロック
984  ジャンピングボタン
985  着地ボタン
986  方向転換ボタン
987  高度インジケータ
988  地図表示
989  現在地名称表示
990  ３次元映像表示
991  方位インジケータ
992  操縦ボタン
993  スロットル
994  カメラ前後方向指定
995  カメラ左右方向指定
996  ズーム指定
997  左折右折
998  前後進
999  左右視線変更
1000  コメント表示ウインドウ
1001  機能ボタン
【図１】
2009217524.tif 000482
【図２】
2009217524.tif 000483
【図３】
2009217524.tif 000484
【図４】
2009217524.tif 000485
【図５】
2009217524.tif 000486
【図６】
2009217524.tif 000487
【図７】
2009217524.tif 000488
【図８】
2009217524.tif 000489
【図９】
2009217524.tif 000490
【図１０】
2009217524.tif 000491
【図１１】
2009217524.tif 000492
【図１２】
2009217524.tif 000493
【図１３】
2009217524.tif 000494
【図１４】
2009217524.tif 000495
【図１５】
2009217524.tif 000496
【図１６】
2009217524.tif 000497
【図１７】
2009217524.tif 000498
【図１８】
2009217524.tif 000499
【図１９】
2009217524.tif 000500
【図２０】
2009217524.tif 000501
【図２１】
2009217524.tif 000502
【図２２】
2009217524.tif 000503
【図２３】
2009217524.tif 000504
【図２４】
2009217524.tif 000505
【図２５】
2009217524.tif 000506
【図２６】
2009217524.tif 000507
【図２７】
2009217524.tif 000508
【図２８】
2009217524.tif 000509
【図２９】
2009217524.tif 000510
【図３０】
2009217524.tif 000511
【図３１】
2009217524.tif 000512
【図３２】
2009217524.tif 000513
【図３３】
2009217524.tif 000514
【図３４】
2009217524.tif 000515
【図３５】
2009217524.tif 000516
【図３６】
2009217524.tif 000517
【図３７】
2009217524.tif 000518
【図３８】
2009217524.tif 000519
【図３９】
2009217524.tif 000520
【図４０】
2009217524.tif 000521
【図４１】
2009217524.tif 000522
【図４２】
2009217524.tif 000523
【図４３】
2009217524.tif 000524
【図４４】
2009217524.tif 000525
【図４５】
2009217524.tif 000526
【図４６】
2009217524.tif 000527
【図５０ａ】
2009217524.tif 000528
【図５０ｂ】
2009217524.tif 000529
【図５０ｃ】
2009217524.tif 000530
【図５０ｄ】
2009217524.tif 000531
【図５０ｅ】
2009217524.tif 000532
【図５０ｆ】
2009217524.tif 000533
【図５１】
2009217524.tif 000534
【図５２】
2009217524.tif 000535
【図５３】
2009217524.tif 000536
【図５４】
2009217524.tif 000537
【図５５】
2009217524.tif 000538
【図５６】
2009217524.tif 000539
【図５７】
2009217524.tif 000540
【図５８】
2009217524.tif 000541
【図５９】
2009217524.tif 000542
【図６０】
2009217524.tif 000543
【図６１】
2009217524.tif 000544
【図６２】
2009217524.tif 000545
【図６３】
2009217524.tif 000546
【図６４】
2009217524.tif 000547
【図６５】
2009217524.tif 000548
【図６６】
2009217524.tif 000549
【図６７】
2009217524.tif 000550
【図６８】
2009217524.tif 000551
【図６９】
2009217524.tif 000552
【図７０】
2009217524.tif 000553
【図７１】
2009217524.tif 000554
【図７２】
2009217524.tif 000555
【図７３】
2009217524.tif 000556
【図７４】
2009217524.tif 000557
【図７５】
2009217524.tif 000558
【図７６】
2009217524.tif 000559
【図７７】
2009217524.tif 000560
【図７８】
2009217524.tif 000561
【図７９】
2009217524.tif 000562
【手続補正書】
【提出日】平成20年6月2日(2008.6.2)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０１１０
【補正方法】変更
【補正の内容】
【０１１０】
【図１】本発明の都市景観３次元動画アミューズメントシステム全体構成を概略的に示す図である。
【図２】図１に示す都市景観３次元動画アミューズメントシステムにおける空中画像取得の概念を示す図である。
【図３】３次元動画におけるモーフィングの概念図である。
【図４】本発明の都市景観３次元動画アミューズメントシステムにおける実画像を用いたモーフィングによる動画像生成の概念について説明する図である。
【図５】本発明の航空機による空中画像取得システムの運用例について説明する図である。
【図６】本発明の空中画像取得システムの処理フローについて説明する図である。
【図７】本発明の航空機搭載ディジタルカメラ集合体の例について説明する図である。
【図８】本発明の航空機による空中画像取得システムの航路および撮影ポイントの設定例を示す図である。
【図９】本発明の空中画像取得システムの構成例を示す図である。
【図１０】本発明の空中搭載画像取得システムのフライトナビゲーションシステム部の処理フローを示す図である。
【図１１】本発明の空中画像取得計画ファイルの構成例を示す図である。
【図１２】本発明の空中画像取得システムのフライトナビゲーションシステム部の表示画面の例を示す図である。
【図１３】本発明の空中画像取得システムのデータ取得記録システム部の情報フローを示す図である。
【図１４】本発明の空中画像取得システムの撮影制御システムの処理フローを示す図である。
【図１５】本発明の空中画像一次ファイルの構造を示す図である。
【図１６】本発明の空中画像データベース生成登録システムの処理フローを示す図である。
【図１７】本発明の空中画像データベース構成を示す図である。
【図１８】本発明のモヤ影響除去処理における画像と視野の関係を示す図である。
【図１９】本発明のモヤ影響除去処理における画像特性パラメータグラフ例を示す図である。
【図２０】本発明のモヤ影響除去処理の処理フローを示す図である。
【図２１】本発明のモヤ影響除去処理の処理結果例を示す図である。
【図２２】本発明の空中画像データベース生成登録システムの空中画像インデクス生成登録処理フローを示す図である。
【図２３】本発明の空中画像インデクス機構の構造と用語の定義を示す図である。
【図２４】本発明の空中画像インデクス機構の構造を示す図である。
【図２５】本発明の立体角セルのインデックス構造を示す図である。
【図２６】本発明の空中画像インデクスと関連テーブルの相互関連を示す図である。
【図２７】本発明のディジタルカメラ集合体の３種類の焦点距離の異なるディジタルカメラによる視野の構成例を示す図である。
【図２８】本発明の３種類の焦点距離の異なるディジタルカメラによるディジタルカメラ集合体の構成例を示す図である。
【図２９】本発明の３種類の焦点距離の異なるディジタルカメラによるディジタルカメラ集合体の撮影範囲図を示す図である。
【図３０】本発明の航空機搭載用安定プラットフォームの構造例を示す図である。
【図３１】本発明の安定プラットフォームの信号情報フローを示す図である。
【図３２】本発明の都市景観３次元動画アミューズメントシステムにおける実画像を用いたモーフィングによる動画像生成の変数を説明する図である。
【図３３】本発明の都市景観３次元動画アミューズメントシステムにおける空中動画生成処理フローを示す図である。
【図３４】本発明の都市景観３次元動画アミューズメントシステムにおける実画像を用いた３次元動画生成処理の原画像検索の処理フローを示す図である。
【図３５】本発明の３次元動画生成処理の原画像選択論理を示した図である。を示す図である。
【図３６】本発明の３次元動画生成処理での視点における視野と原画像の関係を示す図である。
【図３７】本発明の視線ベクトルとTerrainの交点の関係を示す図である。
【図３８】本発明の視点における視野と原画像の関係を示す図である。
【図３９】本発明の視点Ｐ（ｔi）からの視野を示す図である。
【図４０】本発明の路上画像取得システムの処理フローを示す図である。
【図４１】本発明の車載ディジタルカメラ集合体構成例を示す図である。
【図４２】本発明の路上画像取得システムの経路および撮影ポイントの設定例と撮影範囲を示す図である。
【図４３】本発明の路上画像取得システム鉛直方向撮影パターンと画像投影面の関係を示す図である。
【図４４】本発明のグラフによる道路の記述を説明する図である。
【図４５】本発明の緯度・経度による道路検索方式を説明する図である。
【図４６】本発明の道路グラフデータベースの構造を説明する図である。
【図４７】本発明の道路グラフデータテーブルRDGDTの構成例を示す１番目の図である。
【図４８】本発明の道路グラフデータテーブルRDGDTの構成例を示す２番目の図である。
【図４９】本発明の道路グラフデータテーブルRDGDTの構成例を示す３番目の図である。
【図５０】本発明の道路グラフデータテーブルRDGDTの構成例を示す４番目の図である。
【図５１】本発明の道路グラフデータテーブルRDGDTの構成例を示す５番目の図である。
【図５２】本発明の道路グラフデータテーブルRDGDTの構成例を示す６番目の図である。
【図５３】本発明の路上画像取得システムの構成例を示す図である。
【図５４】本発明の路上画像取得システムのカーナビゲーションシステム部の処理フローを示す図である。
【図５５】本発明の路上画像取得計画ファイルの構成例を示す図である。
【図５６】本発明の路上画像取得システムのカーナビゲーションシステムの表示画面例を示す図である。
【図５７】本発明の路上画像取得システムのデータ取得記録システム部の情報フローを示す図である。
【図５８】本発明の路上画像取得システムのデータ取得記録システム部の処理フローを示す図である。
【図５９】本発明の路上画像一次ファイルの構造を示す図である。
【図６０】本発明の車載用安定プラットフォームの構造例を示す図である。
【図６１】本発明の路上画像データベース生成登録システムの処理フローを示す図である。
【図６２】本発明の路上画像データベースの構成を示す図である。
【図６３】本発明の画像データベース生成登録システムの路上画像インデクス生成処理フローを示す図である。
【図６４】本発明の路上画像インデクス機構の構造を示す図である。
【図６５】本発明の道路グラフの方向と視線ベクトルの方向による動画生成処理を説明する図である。
【図６６】本発明の路上画像データベース生成登録システムおよび路上３次元動画生成システムにおいて視線方向が投影面を向いている場合の処理を説明する図である。
【図６７】本発明の路上画像データベース生成登録システムおよび路上３次元動画生成システムにおいて視線方向が投影面にほぼ平行な場合の処理を説明する図である。
【図６８】本発明の路上画像データベース生成登録システムおよび路上３次元動画生成システムにおいて投影面と原画像撮影光軸の関係を示す図である。
【図６９】本発明の路上画像データベースの撮影パラメタの計算法を示す図である。
【図７０】本発明の路上３次元動画生成システムにおける原画像の選択について説明する図である。
【図７１】本発明の路上３次元動画生成システムにおける投影面に対するモーフィングの方式を示す図である。
【図７２】本発明の路上３次元動画生成システムにおける投影面にほぼ平行な視界に対するモーフィングの方式を示す図である。
【図７３】本発明の路上３次元動画生成システムの処理フローを示す図である。
【図７４】本発明の路上３次元動画生成システムの処理フローを示す図である。
【図７５】本発明の路上３次元動画生成システムの処理おける原画像検索の処理フローを示す図である。
【図７６】本発明の車載ディジタルカメラ集合体のもうひとつの構成例を示す図である。
【図７７】本発明のグラフィックユーザインターフェイスシステムの処理フローを示す図である。
【図７８】本発明のグラフィックユーザインターフェイスシステムの処理の空中グラフィックユーザインターフェイスシステムの処理フローを示す図である。
【図７９】本発明のグラフィックユーザインターフェイスシステムの処理の空中グラフィックユーザインターフェイスシステムの表示例を示す図である。
【図８０】本発明のグラフィックユーザインターフェイスシステムの処理の路上グラフィックユーザインターフェイスシステムの表示例を示す図である。
【図８１】本発明のグラフィックユーザインターフェイスシステムの処理の路上グラフィックユーザインターフェイスシステムの方向盛業カーソル機能を示す図である。
【手続補正２】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2009217524.tif 000563
【図２】
2009217524.tif 000564
【図３】
2009217524.tif 000565
【図４】
2009217524.tif 000566
【図５】
2009217524.tif 000567
【図６】
2009217524.tif 000568
【図７】
2009217524.tif 000569
【図８】
2009217524.tif 000570
【図９】
2009217524.tif 000571
【図１０】
2009217524.tif 000572
【図１１】
2009217524.tif 000573
【図１２】
2009217524.tif 000574
【図１３】
2009217524.tif 000575
【図１４】
2009217524.tif 000576
【図１５】
2009217524.tif 000577
【図１６】
2009217524.tif 000578
【図１７】
2009217524.tif 000579
【図１８】
2009217524.tif 000580
【図１９】
2009217524.tif 000581
【図２０】
2009217524.tif 000582
【図２１】
2009217524.tif 000583
【図２２】
2009217524.tif 000584
【図２３】
2009217524.tif 000585
【図２４】
2009217524.tif 000586
【図２５】
2009217524.tif 000587
【図２６】
2009217524.tif 000588
【図２７】
2009217524.tif 000589
【図２８】
2009217524.tif 000590
【図２９】
2009217524.tif 000591
【図３０】
2009217524.tif 000592
【図３１】
2009217524.tif 000593
【図３２】
2009217524.tif 000594
【図３３】
2009217524.tif 000595
【図３４】
2009217524.tif 000596
【図３５】
2009217524.tif 000597
【図３６】
2009217524.tif 000598
【図３７】
2009217524.tif 000599
【図３８】
2009217524.tif 000600
【図３９】
2009217524.tif 000601
【図４０】
2009217524.tif 000602
【図４１】
2009217524.tif 000603
【図４２】
2009217524.tif 000604
【図４３】
2009217524.tif 000605
【図４４】
2009217524.tif 000606
【図４５】
2009217524.tif 000607
【図４６】
2009217524.tif 000608
【図４７】
2009217524.tif 000609
【図４８】
2009217524.tif 000610
【図４９】
2009217524.tif 000611
【図５０】
2009217524.tif 000612
【図５１】
2009217524.tif 000613
【図５２】
2009217524.tif 000614
【図５３】
2009217524.tif 000615
【図５４】
2009217524.tif 000616
【図５５】
2009217524.tif 000617
【図５６】
2009217524.tif 000618
【図５７】
2009217524.tif 000619
【図５８】
2009217524.tif 000620
【図５９】
2009217524.tif 000621
【図６０】
2009217524.tif 000622
【図６１】
2009217524.tif 000623
【図６２】
2009217524.tif 000624
【図６３】
2009217524.tif 000625
【図６４】
2009217524.tif 000626
【図６５】
2009217524.tif 000627
【図６６】
2009217524.tif 000628
【図６７】
2009217524.tif 000629
【図６８】
2009217524.tif 000630
【図６９】
2009217524.tif 000631
【図７０】
2009217524.tif 000632
【図７１】
2009217524.tif 000633
【図７２】
2009217524.tif 000634
【図７３】
2009217524.tif 000635
【図７４】
2009217524.tif 000636
【図７５】
2009217524.tif 000637
【図７６】
2009217524.tif 000638
【図７７】
2009217524.tif 000639
【図７８】
2009217524.tif 000640
【図７９】
2009217524.tif 000641
【図８０】
2009217524.tif 000642
【図８１】
2009217524.tif 000643
【手続補正書】
【提出日】平成20年6月9日(2008.6.9)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、市街地を含む地上の景観について３次元動画を生成するシステムにおいて、特に、航空機等において上空から撮影した航空写真、あるいは路上において地上で撮影した写真を利用してするシステムに関し、特に、地上を様々な角度から撮像した写真を利用する３次元都市景観の動画を生成表示するシステムに関するものである。
【背景技術】
【０００２】
従来、都市景観を３次元で動画表示する方式には、レーザプロファイラにより都市の建造物の３次元情報を計測して立体モデルを作成したうえで建造物の壁面画像をテクスチャとして貼り付け、このようにして得られた３次元都市モデルに対して任意の視点経路とこの視線経路に沿った任意の視線方向の画像を３次元画像処理により生成し、時間的に連続表示することにより３次元動画を得るものである。都市建造物の３次元情報を得る別の方法としては地上の同一地点を異なった方向より撮影した画像を用い、ステレオ画像処理により高さ方向の情報を抽出して３次元都市モデルを生成する方法もある。この他に、必ずしも実際の都市には一対一に対応しないが都市空間３次元モデルを構築して３次元画像処理により動画を生成する方法もある。
【０００３】
これらの方法はいずれも都市の立体構造諸元すなわち３次元モデルを生成するために時間とコストを要し、さらに建物等の立体の外壁を実際と同一にするためには、外壁のパターン情報または、画像情報を張り付ける（テクスチャ貼り付け）する必要があった、このテクスチャ貼り付け情報は３次元物体の全ての方向からの情報が不可欠であり、その取得とテクスチャ貼り付けに多大の労力とコストを要するものであった。このように、任意の空中経路と視線から任意の都市部分の景観を３次元動画で表示することは強く望まれていたにもかかわらず、テクスチャ貼り付けの精度を十分現実的にできない、あるいは、情報の更新周期が長くなり、表示する映像の新鮮度、正確さに難点が生じることが多かった。  
【０００４】
３次元模擬視界を使用するアミューズメントシステムには、非特許文献１のエースコンバットのように衛星より撮影した地表画像を加工して利用するものもあるが、あくまでもゲームに現実味をもたせることを目的としており実際の３次元景観とは必ずしも一致しない。また、非特許文献２のセカンドライフに見られる都市空間３次元模擬視界は、仮想都市を３次元的に表現するが現実の地図には対応していない。セカンドライフに対して都市空間をより現実的に表現するものとして現実の地図に対応した仮想都市空間の３次元アミューズメントシステムとして非特許文献３のCOCORによるmeet-meがあるが建造物の外壁景観、細部構造については現実とは一致しない。また、本発明になる技術は極めて大量かつ多視点、多視線方向の航空写真を事前に撮影蓄積することにあるが、航空写真を取得する従来技術として、最近はディジタル技術の急速な進歩によりアナログ式航空カメラからディジタル方式の１次元ラインセンサないし2次元撮像素子を用いた航空写真用カメラが実用化されている。さらに汎用デジタルカメラの高性能化により、航空写真分野へも適用可能となってきている。専用ソフトウェアによりディジタルカメラで撮影した斜め写真からオルソ画像を作成するシステムが特許文献１では提案されている。測量目的の航空写真では地上に基準点を予め設定し、該基準点を参照してカメラ位置と姿勢を計算し、地物の座標を求めていたが、航空機にGPS（Global
Positioning System）及びIMU（Inertial Measurement Unit）を装備し、撮像時点のカメラの位置と姿勢を測定することできる。（特許文献２）撮像方向が異なる３台のＣＣＤラインセンサで測量用航空写真を撮像する技術が特許文献３で提案されている。
【０００５】
【非特許文献１】http://www.acecombat.jp/
【非特許文献２】http://www.secondlife.com/
【非特許文献３】http://www.mmet-me.jp/
【特許文献１】特開2002-357419号公報。
【特許文献２】特開2004-245741号公報。
【特許文献３】特許2807622号公報。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、非特許文献１の方法は、景観の材料として、高分解能衛星画像を使用してリアリズムを追求した３次元動画アミューズメントシステムであるが、対象は海外の戦場でありまた、画像自体も制作時から更新されないので都市景観３次元動画の実現とは異なるものである。非特許文献２において提案されているシステムでは、人間目線の都市景観３次元動画表示を行っているがすべての表示は計算機上で生成された架空の世界であり現実世界と異なり、現実に則した都市景観を３次元表示する目的とは合致しないものである。非特許文献３の方法は非特許文献２の方法に改善を加えたもので現実の都市の地図に対応して建造物等を構築しているが景観自体としては現実との同一性を追求しておらず、現実とは異なるものである。
【０００７】
航空写真の取得に関した特許文献として以下のものがあるが、特許文献２において提案されているシステムでは斜め画像を２枚取得するが、斜め画像１枚だけでは本発明で必要とされる多量かつ多方向の画像を高密度で取得するのは困難である。特許文献３において提案されているシステムは、異なる３方向のＣＣＤラインセンサにより撮像するが、これらの３台のＣＣＤラインセンサは、平行かつ直線的に配置されているので測量用にステレオ画像を取得するには適しているが、本発明の目的のように都市景観の３次元動画を生成するための原画像取得のためには情報量が圧倒的に不足する。
【０００８】
特許文献１，２で、地上を多方向、大量かつ高密度で撮像するために、カメラを増設することが考えられるが、航空写真用の航空機の床面にある撮影用開口部は寸法と位置が滞空証明の対象として厳しく規定されており、開口部を拡大したり、開口部から機外に突出する形でカメラを増設することはできない。したがって、地上を高密度に多方向から撮像する必要のある実画像による都市景観３次元動画アミューズメントシステムに適した実現手段はこれまで考えられていなかった。
【０００９】
本発明は、このような実情に鑑みてなされたものであり、航空機等において空中で高密度のメッシュ点で多方向の画像を広範囲に撮像できるシステムを構築し、これら大量の画像をデータベース化し、都市の任意の位置を任意の視点で任意の方向から見た場合の最も視差の少ない画像を高速に検索するシステムを構築し、さらに指定した視点、視線、都市中の位置に対応して最も視差の少ない画像から連続的になめらかな動画像を生成するモーフィングシステムを構築した。さらに本発明では地上においても人間目線のリアルな動画像を作るために、都市のあらゆる道路上ないし通路上であらゆる方向の画像を高密度に取得する専用の車載等のシステムを構築し、取得した大量の画像をデータベース化し、都市の路上の任意の位置を任意の人間目線で任意の方向から見た場合の最も視差の少ない画像を高速に検索するシステムを構築し、さらに指定した視点、視線、都市中の位置に対応して最も視差の少ない画像から連続的になめらかな動画像を生成するモーフィングシステムを構築した。
【課題を解決するための手段】
【００１０】
上記解決課題に鑑みて鋭意研究の結果、本発明者は都市景観３次元動画アミューズメントシステムの実現において最大の障壁となるのは、都市の建物等建造物および構築物の３次元情報を安価かつ頻繁に取得する手段がないこと、さらにこれらの３次元物体の表面に張り付ける画像の取得と貼り付けを安価かつ頻繁に行う手段を欠いていることを認識するに至った。このため、本発明者はこれらの手段を踏まずに任意の経路から任意の視線で都市の任意の部分の３次元動画を得る方法として都市のあらゆる部分の景観をあらゆる方向から事前に撮影しておき、選択された視点経路、視線方向および目標位置に対応して最適な撮影済み画像を選択し、画像を撮影したカメラの位置および光軸方向と、選択された視点と視線の相違をモーフィング処理により補償し、なめらかな動画像を得る方法を着想するに至った。
【００１１】
しかしながら、都市のあらゆる部分の景観をあらゆる方向から事前に撮影しておくことはきわめて困難である。経験上本発明者はこの目的を達成するためには立体角で数度ごとにあらゆる方向からの写真を全ての都市地点に対して準備しなければならないことを知っている。この問題を解決するために小型のディジタルカメラを多数用い、配列方法と制御方法に新規性を施した。すなわち、第一に多数の小型ディジタルカメラをディジタルカメラ集合体として形成し、従来から航空測量用航空機の床面に存在する航空測量用カメラの穴に機外に張り出すことなく収納して滞空証明取得上の問題を回避すること、第二に多方向からの写真を効率的に撮影するために、ディジタルカメラ集合体の中心部に直下撮影用のカメラを配し、その周囲に放射状に斜め方向撮影用のディジタルカメラを８ないし２４あるいは、スペース的に余裕があればそれ以上配置するのである。
【００１２】
第三に、地上を各方面から撮影したとしても、画像の分解能が地上を見る俯角によって変化することは好ましくないので、鉛直方向よりなす角を一般にオフナディア角と呼称するが、小さいオフナディア角の斜め写真用ディジタルカメラには短い焦点距離の望遠レンズを用い、大きいオフナディア角の斜め写真用ディジタルカメラには長い焦点距離の望遠レンズを用い、さらにそれらを各々放射状に同心円状に配列することにより航空機の直下からかなり大きなオフナディア角の領域まで、分解能を劣化させることなく広範囲に画像を取得するディジタルカメラ集合体を考案した。
【００１３】
第四に、本発明者は該ディジタルカメラ集合体を効率的に運用し広範な都市空間上空であらゆる地点に対して立体角数度ごとの画像を得るために航空機にGPS装置と慣性航法装置よりなるガイダンスシステムを導入し空中同一高度に緻密なメッシュ状の撮影ポイントを構成したうえで、該撮影ポイントで自動的にディジタルカメラ集合体に撮影指令を発し撮影記録するシステムを構築した。
【００１４】
第五に、大量頻繁に撮影を行う必要性から撮影コストを削減する目的で一般に航空測量が不適当な曇天に雲の下の低高度より撮影することを着想し、曇天の空中モヤによる画像劣化をディジタル画像処理により自動的に補償する方法を発明した。
【００１５】
さらに、本発明者は数度程度の立体角の撮影済み画像を任意の対象地点に対して動画生成のために高速に検索する必要があることに鑑み、本システムに適した高速画像検索機構を考案した。すなわち、地表を緯度経度あるいはXY  座標により正方形の網目状に区分する。正方形の１辺は十分小さく、たとえば５０ｍから２０ｍ程度に設定する。この網目上の正方形の各々に２次元のアドレスを付して管理する。各撮影済みの画像には、地表を撮影した画像範囲内に含まれる該網目状正方形群が存在して、撮影時のカメラ位置と該網目状正方形の中心とを結ぶベクトルが定義できる。これを正規化して原画像ベクトルと定義するが、該原画像ベクトルは指定された地表網目に対する画像を表現するインデクスとして使用できる。
【００１６】
すなわち直上を示す天頂ベクトルと該原画像ベクトルのなす角度を量子化して天頂インデックスを定義する、該なす角の量子化の基準は５度以下である。各天頂インデックスには、水平方向成分として３６０度分の全方位が含まれているので、これを立体角数度単位のセルに小分割し、該原画像ベクトルと天頂ベクトルのなす角、該原画像ベクトルの水平方向成分によりインデクシングする。この３段階のインデクシングにより必要な原画像を高速に検索することができる。３次元動画像に必要な原画像は任意の都市位置に対して立体角で数度ごとに準備されているが、この近傍を視点が通過するので、実際の視点および視線と原画像ベクトルの立体数度以下のずれは、原画像に対するモーフィング処理により滑らかにつなぐのである。
【００１７】
本発明は都市景観をリアルに動画像で表示することであるので、３次元動画に使用される原画像は地上でも取得されなくてはならない。地上での都市景観３次元動画をリアルに表現するとは、人間の目線で景観を再現することであると本発明者は考察し、あらゆる場所の都市景観を人間目線で事前に撮影し、空中からの景観と類似の方法で３次元動画を生成する方式を考案した。地上における人間目線は人間が道路ないし通路上を移動すること、さらに目の位置が地上１．５−１．８mであるという制約があり、視点の自由度は空中からの景観に比べて相当に小さい。
【００１８】
本発明者は航空機搭載と類似の多数のディジタルカメラを搭載したディジタルカメラ集合体を車載用に考案した。すなわち、水平方向に全周８ないし１２方向、水平より仰角を付した斜め上方向を全周８ないし１２方向にわたって撮影するカメラをディジタルカメラ集合体として構成し、車両の屋根上に設置し、車両をカーナビゲーションシステムにより予め定められた道路上を移動させ、GPSとINSによる詳細な位置計測結果に基づき数ｍ間隔でディジタルカメラ集合体を構成する全カメラに対して撮影指令を発し、その結果を位置データとともに記録するのである。このようにして路上画像データベースを構築したうえで、都市の任意の場所に対して路上ないし通路上の任意の場所、任意の視線方向からの人間目線での３次元動画を生成する方法を上空からの３次元動画像生成をもとに考案した。該方法は最適な原画像を選択するプロセスと、視点の移動状態と視線方向および都市内の位置によりモーフィングプロセスにより滑らかな動画像を生成するプロセスより構成される。
【００１９】
しかしながら完全な自由空間に視点を置き自由に視線方向を指定できる空中と異なり、道路ないし通路上では視点の存在し得る場所が通路ないし道路上に限定される。さらに、本発明の方法は都市空間の構造物に関する３次元モデルを生成することなしに３次元動画を生成する方法であるから、路上ないし通路上で撮影した画像を空中写真の場合にTerrainに貼り付けたように、貼り付ける対象を選定しモデル化しなくてはならない。人間目線での都市空間の表現として都市の構造を考慮して、この目的に合致するモデルとして道路ないし通路とそれ以外の市街地の境界線に沿って鉛直に主として平面で構成される厚さゼロの壁を立て、該壁を原画像の投影面とすることとした。
【００２０】
この道路ないし通路に沿った投影面を数学的に表現することは、空中写真においてDEMを地表のモデルとして用いるのと同等の位置付けとなるが、道路ないし通路はグラフ構造を有しており、グラフ表現によりモデル化する。さらに、画像投影上重要なのは道路ないし通路の境界線上に存在する該壁あるいは投影面である、さらに道路ないし通路は、屈折し、分岐し、交差し、合流し、開始し、終了する。本発明者は、原画像の投影という目的に適した道路ないし通路の数学的表現方法をグラフ表現で考案した。この結果、道路ないし通路上の任意の位置の人間目線からの任意の市街景観を撮影済みの原画像からモーフィングによりリアルに動画で表現することに成功した。
【００２１】
このように本発明になる都市景観３次元動画アミューズメントシステムでは、空中を任意に飛び回り任意の視線で任意の場所を見られるだけでなく、任意の路上ないし通路から任意の人間目線で市街の３次元動画を得ることができる。このため、グラフィックユーザインターフェイスとしてインターネットを介して、空中を模擬飛行するための模擬コックピットを設け、方位、昇降および速度を自由に操縦し指定できるほか、模擬カメラに切替えてカメラの方位角、ティルト角、ズーム量を自由に変更して３次元動画を表示することもできるようにした。路上ないし通路上においてはグラフィックユーザインターフェイスを介して人間目線で前進後退、及び左折、右折による自由な位置変更ができるほか、視線の向きを変えて自由な方向の視界を３次元動画で表現することができる。さらに、本発明の都市景観３次元動画アミューズメントシステムの特徴は空中から自由に地上に舞い降り、路上ないし通路上を歩行し、また、地上から上空に舞い上がって空中を自由に飛び回れる自由さにある。このため、空中模擬視界から地上の着地点を指定して着地するグラフィックユーザインターフェイスおよび、逆に地上から空中に飛び上がるためのグラフィックユーザインターフェイスを導入してアミューズメント性を高めた。
【発明の効果】
【００２２】
以上、説明したように、本発明の都市景観３次元動画アミューズメントシステムによれば、コストのかかる都市空間の３次元数値モデルの生成および建造物表面に対するテクスチャ貼り付け処理を行うことなしに、空中で撮影した実画像を用いて都市の任意の場所に対して空中における任意の視点経路と視点方向に対する３次元動画を生成することができる。また、路上ないし通路上で撮影した実画像を用いて都市の任意の路上ないし通路上の地点に対し人間目線で任意の視点経路と視点方向に対する３次元動画を生成することができる。
【発明を実施するための最良の形態】
【００２３】
以下、添付図面を参照しながら、本発明の都市景観の３次元動画アミューズメントシステムを実施するための最良の形態を詳細に説明する。図１は、本実施形態における都市景観３次元動画アミューズメントシステムの全体構成を概略的に示す図である。該都市景観３次元動画生成アミューズメントシステムは視点が空中にある場合の３次元動画生成を行うための部分と、視点が路上にある場合の３次元動画生成を行うための部分と、双方に共通的なグラフィックユーザインターフェイスシステム180より構成され、ユーザ191にはインターネット190を介してサービスが提供される。
【００２４】
視点が空中にある場合の３次元動画生成を行うための部分は、航空機により空中で航空写真を取得するための空中画像取得システム100と、取得した航空写真を３次元動画生成に使いやすいように加工しデータベース化するための空中画像データベース生成登録システム120と、データベース化された空中画像データベース140と、グラフィックユーザインターフェイスシステム180を通して要求されるユーザ191の要求に基づき３次元動画像を生成する空中３次元動画生成システム160より構成される。
【００２５】
視点が路上にある場合の３次元動画生成を行うための部分は、車両等により路上で写真を取得するための路上画像取得システム110と、取得した写真を３次元動画生成に使いやすいように加工しデータベース化するための路上画像データベース生成登録システム130と、データベース化された路上画像データベース150と、グラフィックユーザインターフェイスシステム180を通して要求されるユーザ191の要求に基づき３次元動画像を生成する路上３次元動画生成システム170より構成される。双方に共通的なグラフィックユーザインターフェイスシステム180では、視点が空中にある場合の視界生成と視点が路上にある場合の視界生成をユーザ191の要求に基づき切り替える機能も有している。以下、本発明になる３次元動画生成の基本原理を解説した後、本発明になる該都市景観３次元動画アミューズメントシステムを構成する各システムについて詳述する。
【００２６】
図２は、都市景観３次元動画アミューズメントシステムにおける空中画像取得の概念を示す図であり、本発明の最大の特徴は、都市景観３次元動画生成において第一に都市の３次元モデルを生成しないことであり、第二に生成した３次元モデルに外壁面パターンないし外壁面写真をテクスチャ貼り付けしないことであって、これら人手とコストが必要な作業を排除する代わりに、都市景観のあらゆる位置について事前にあらゆる方向から画像を取得しておき、これを必要に応じて選択、変形して利用することである。しかしながらこの方法は膨大な画像を事前に撮影する必要があるだけでなく、最適な撮影済み画像を高速に検索する必要があり、近年のディジタルカメラの進歩、各種メモリの大容量低コスト化と処理能力と通信能力の向上によって実現の条件が整ったところに、本発明による新方式の完成によって初めて実現が可能となったのである。
【００２７】
図２では都市200の上空天球222を充分小さい立体角の範囲ｉ221あるいは立体角の範囲１220のようにおおむね２°から５°前後の角度で立体的に分割して、天球222を覆う地表近くを除くすべての該充分小さい立体角に対して地表のあらゆる場所の画像を準備するための空中画像取得システム100の概念を示している。
【００２８】
図３は図２の隣接する該充分小さい立体角の範囲ｉ221で撮影された同一地点に対する画像は視差のため見え方が若干異なるが、この若干異なった画像間の視界を線形変換により画像を連続的に変形させて補間し、滑らかな３次元動画を得るためのモーフィング処理の概念を示したものである。建物および視線方向の関係図230で示される建造物を視差が比較的小さい視線方向１240と視線方向２250より見た視界は、視線方向１より見た画像241および視線方向２より見た画像251で示されるが、視線方向１240と視線方向２250のなす角が小さい場合、あるいは対象物が平面的である場合には画像を線形変換によるモーフィング処理によって相互に近似することができる。このモーフィング処理を隣接する視点の実画像の補間処理に使用するのが本発明の特徴である。
【００２９】
図４は本発明になる都市景観３次元動画生成アミューズメントシステムにおける模擬飛行による模擬視界発生の概念を説明した図である。視点経路P(t) 270に沿って視点が時刻ｔとともに移動し、その間、地表を目標トラジェクトリT(t) 280に沿って視界にとらえる。該目標トラジェクトリT(t) 280は該視点経路P(t) 270上の位置から、時刻ｔ の視線271、時刻ｔ+δｔ の視線272、時刻ｔ+2δｔ の視線273、時刻ｔ+3δｔ の視線 274、時刻ｔ+4δｔ の視線275、および時刻ｔ+5δｔ の視線276によりδｔごとにとらえられた地表上の軌跡である。本発明では該視点経路P(t) 270からの該目標トラジェクトリT(t) 280に対する都市景観３次元動画を生成する方法として、時刻ｔの視線271から時刻ｔ+5δｔの視線276に近く視差の少ない空中画像ｉ260および空中画像ｉ+1 261を空中画像データベース143より検索し、時刻ｔ の視線271、時刻ｔ+δｔ の視線272、および時刻ｔ+2δｔ の視線273の間は最も視線が近い空中画像ｉ260を原画像として使用して、時刻ｔ の視線271、時刻ｔ+δｔ の視線272、および時刻ｔ+2δｔ の視線273と空中画像ｉ260の視線の間の視点の相違による視差を空中画像ｉ260に対するモーフィング処理で補正し、時刻ｔ+3δｔ の視線 274からは空中画像ｉ260よりも空中画像ｉ+1 261の方が視点の相違による視差が少ないと判断して空中画像ｉ+1 261を原画像に切り替え、時刻ｔ+3δｔ の視線 274、時刻ｔ+4δｔ の視線275、時刻ｔ+5δｔ の視線276と空中画像ｉ+1 261の視線の間の視点の相違による視差を空中画像ｉ+1 261に対するモーフィング処理で補正することにより滑らかな該目標トラジェクトリT(t) 280に沿った都市景観の３次元動画生成を行うのである。
【００３０】
本発明になる方法は膨大な量の空中画像を必要とするが、その取得方法についての例を示したのが図５である。航空機301に図７に示すような多数のディジタルカメラを収容したディジタルカメラ集合体を搭載し、飛行経路300に沿って一定間隔ごとの撮影ポイント310で地表を撮影する。飛行経路300と撮影ポイント310を網目状に濃密に設定し、複数のディジタルカメラを搭載してディジタルカメラ集合体光軸方向320に示すように同時に多方向の画像を撮影することにより、図２に示す該充分小さい立体角の範囲ｉ221ごとの画像を取得する。
【００３１】
図６は空中画像取得システム100の処理フローを記したもので、以下、図１５まで、該空中画像取得システム100の詳細な実現方法を説明する。まず、撮影ポイント設定プロセス330で一定距離間隔で網目状に空中画像を撮影できるように、飛行航路と撮像ポイントを設定する。この撮影計画は図１１に構成が示される空中画像取得計画ファイル101の形で飛行航路と抗路上の撮影ポイントが定義される。次に撮影プロセス331では、航空機301が空中画像取得計画ファイル101に規定された撮影ポイント310に到達したことを判断して図９に示す空中撮影制御システム393により撮影を行う。撮影されたディジタルカメラ内の画像は空中撮影制御システム393により予め決められたタイミングごとに撮像プロセスで取得した位置および姿勢データから構成されるメタデータとともに空中画像一次ファイル102に蓄積される。
【００３２】
図７は本発明になる空中画像取得システム100を構成するディジタルカメラ集合体360の構成例を示した図である。地表をあらゆる視点から効率よく高密度に撮影する目的で、直下方向のディジタルカメラ350aの周辺に水平全周方向が放射状に等間隔に分割されるように複数の斜め方向ディジタルカメラ350bから350iまでの8台を光軸が重力方向となす角が同一となるように配置してディジタルカメラ集合体360を形成したものである。とくに航空機に搭載して撮影する場合には、滞空証明を取得する必要があり、航空写真撮影用に航空機床面にあいている穴を変更したり、あるいは該床面穴から機体外にカメラが飛び出す形で利用することは事実上不可能であるため、ディジタルカメラ集合体360をCanon社製のPowerShotなどの小型ディジタルカメラを利用して該ディジタルカメラ集合体が該航空機床面穴内に収まるよう工夫したものである。ディジタルカメラ集合体 360を構成するディジタルカメラ350a〜i以外の支持構造は、撮影方向精度が高いことを要求されるので、軽量かつ剛性の高いものであればどのようなものでもよく、ハニカム構造アルミニウム板あるいは炭素樹脂などで構成することができる。
【００３３】
図８は、航空機による空中画像取得システムの航路および撮影ポイントの設定例を示したものである。図８(ｂ)にて撮影ポイント310の設定例を示している。飛行経路300は空中に撮影ポイント310の網目を構成するために等間隔で平行な飛行航路300を図８(ｂ)で点線で結んであるようにＵターンしながら往復する形で飛行する。この間、撮影ポイント310で撮影を行う。撮影ポイント310の相互間隔は、飛行航路間撮影間隔372と  飛行方向撮影間隔371により規定される。飛行高度を約８００ｍと設定すると、飛行航路間撮影間隔372および飛行方向撮影間隔371は、図２の充分小さい立体角の範囲 ｉ221内に少なくとも１枚の画像を得るためには約８０ｍ以下に設定するのが好ましい。ディジタルカメラ集合体360で撮影した場合、図８(ａ)のディジタルカメラ350a〜iの撮影範囲375a〜iで示す範囲が撮影される。飛行高度、斜め方向ディジタルカメラ350ｂ〜iの鉛直方向となす角度、およびレンズの焦点距離の設定によって、該ディジタルカメラ350a〜iの撮影範囲375a〜iの各ディジタルカメラが撮影する範囲と相互の重複度は変化する。本発明の目的からは、相互に若干の重複しながら地表をほぼ連続的に覆うように設定することが望ましい。なお、直下方向を撮影するディジタルカメラ350aの飛行経路300に対する向きは、図８(ａ)では画像フレームの横方向を飛行経路300の進行方向にしているが、画像フレームの縦方向を飛行経路300の進行方向にしてもよい。
【００３４】
図９は空中画像取得システムの構成例を示した図であり、フライトナビゲーションシステム部385とデータ取得記録システム部390より構成される。フライトナビゲーションシステム部385は図８(ｂ)で規定される撮影ポイント310に航空機301を飛行経路300に沿って誘導するための装置であり、ＧＰＳ380より航空機位置データが周期的に得られ、航空計装388より航空機姿勢、高度、速度などのアビオニクス情報387が得られる。これらの信号インターフェイスは航空機用バス信号として標準化されているので新規性はない。
【００３５】
フライトナビゲーションシステム部385の機能は、図１１の空中画像取得計画ファイル101の内容に従い、図１０の空中画像取得システムのフライトナビゲーションシステム部の処理フローによって図１２の空中画像取得システムのフライトナビゲーションシステム部の表示画面例によってパイロットを誘導するものである。フライトナビゲーションシステム自体は既に公然実施されていて何ら新規性はないものであるが、本発明の目的を実現するために撮影ポイント310に効率的に航空機を誘導する部分が本発明に関わるところである。まず飛行前に都市のどの部分の上空画像を取得するか決定する。地図上で撮影範囲を決定し、飛行プランを策定する。飛行プランは飛行経路300を航空地図上で設定することによって行われる。
【００３６】
撮影ポイント310は本発明の目的を達成するように均一かつ高密度な網目状に地表から同一の高さで設定しなくてはならず、その結果に基づき飛行経路300を平行線で構成されるように設定する。各直線部分に図１１の空中画像取得計画ファイル101に示される航路No.を割り振り、各航路ごとに全体として網目を構成するように撮影ポイント310を割付け、各航路の開始座標と終了座標、さらにその間の撮影ポイント数と各撮影ポイント座標を緯度経度および高度で設定する。このようにして図１１の空中画像取得計画ファイル101は構築される。該空中画像取得計画ファイル101の構築に関わるグラフィックユーザインターフェイスは地図情報システムとして公然実施されている。
【００３７】
フライトナビゲーションシステム部385の機能は図１０に記載の空中画像取得システムのフライトナビゲーションシステム部の処理フローによって示される。処理ブロック420で空中取得計画ファイル101に登録されている航路No.の中から飛行予定の航路No.についてすべての撮影が終了するまで図１２の表示を順次に行う。指定された航路No.には開始座標があるので、処理ブロック421で該航路NO.を開始するために航路開始点の位置、高度、進行方向、速度を指定して図１２の内容をモニタ上に表示してガイダンスを行う。撮影を行うには、処理ブロック421で規定された条件を一定の誤差範囲、たとえば位置誤差で１０ｍから３０ｍ以下の精度、飛行方向誤差で５°以下の精度で満足しなくてはならず、満足しない場合には再度飛行航路をやり直すことになり、処理ブロック423で処理ブロック421のガイダンスを再度行う。処理ブロック422の条件を満足した場合には処理ブロック420で選択された航路No.の空中画像取得計画ファイル記載の撮影ポイント座標から最終撮影ポイントまで撮影ポイントをひとつずつ順次処理ブロック424および処理ブロック425によりガイダンスする。図１２に空中画像取得システムのフライトナビゲーションシステム部の表示画面例を示す。
【００３８】
航空機301を処理ブロック420で指定された航路No.の開始点に誘導するためには図１２の撮影ガイダンス表示437と位置偏差表示446を用いる。航空機位置373の飛行航路300からの偏差を知ることができ、航空機を操縦して偏差の解消を行う。航空機の位置に関するデータはＧＰＳ380より得られるほか、航空機計装388よりアビオニクス情報387として高度、進行方位、速度、ピッチ・ヨー・ロールの姿勢データが得られ、図１２の表示に使用される。撮影ガイダンス表示437では、航路No.表示439により飛行中の航路が示されるほか、航路内残撮影ポイント数表示438により、航路内で今後撮影しなければならない撮影ポイント数が示される。撮影ガイダンス表示437では、撮影ポイント310を飛行航路300に沿って、撮影ポイントNo.と撮影許容範囲440が表示されるので、パイロットは各撮影ポイントに対して撮影許容範囲440内を航空機が通過するように操縦する。航空機ガイダンス表示437は飛行にしたがって上から下へローリング表示することにより、常に直近の撮影ポイントととるべき飛行経路300と航空機位置373の関係が示される。航空機位置表示373は常時画面左下部となる。なお、図１２の方位表示442、姿勢表示443、位置偏差表示446はいずれも現在の航空計装では公然実施されているものである。
【００３９】
つぎに図９におけるデータ取得記録システム部 390につき詳述する。図９において、航空機301には機体下方に航空写真機設置用の航空機床穴397があり、この穴にディジタルカメラ集合体360を機外に張り出さないように設置する。図９の例では後述する安定プラットフォーム装置395により航空機床穴397に吊下する構造を採用しているが、安定プラットフォーム制御システム 394および安定プラットフォーム装置395は航空機301の姿勢に拘らずディジタルカメラ集合体360を常に地上直下に指向させ、かつ方位を規定方向に固定する機能を有するので、航空機のピッチ・ロールを常時５°以内に操縦で保てるのであれば安定プラットフォーム装置395を省略してもよい。ＩＭＵ396は慣性計測装置の英語表現の頭文字であり、安定プラットフォーム装置395に乗せることによりディジタルカメラ集合体360の姿勢を計測することができる。ディジタルカメラ集合体360の上面は航空機床398より上に出てもよい。
【００４０】
データ取得記録システム部 390には航空機301の姿勢を観測するＩＭＵ400と、ディジタルカメラ350の制御と撮像データ処理のためのプログラムを含む空中撮影制御システム393と、画像データをふくむ各種データを記憶する大容量ディスク装置で構成される空中画像一次ファイル102と、ディジタルカメラ350に対する撮影指令を出すための撮影ポイントを記憶している空中画像取得計画ファイル101を機内に搭載している。航空機301の位置計測用のＧＰＳ380のアンテナを機外に有している。
【００４１】
図１３は図９のデータ取得記録システム部 390の構成機器間の情報の流れを示している。図１４は撮影制御システム393の処理フローを説明している。撮影制御システム393はＣＰＵで構成される。撮影制御システム393はＩＭＵ396より安定プラットフォーム装置395の姿勢データ450を周期的に取り込む。安定プラットフォーム395が正常に動作している場合には、航空機301の姿勢によらず慣性空間に対して常に一定の姿勢を保っている。航空機301に固定されたＩＭＵ400は航空機の姿勢データ451を、ＧＰＳ380はＧＰＳアンテナの位置データ452を周期的に撮影制御システム393に送り込む。撮影制御システム393の処理は図１４に詳説しているが、空中画像取得計画ファイル101の内容と得られたＧＰＳアンテナの位置データ452と航空機の姿勢データ451を処理ブロック460と処理ブロック461で順次照合し、航路No.を特定し、当該航路No.の撮影終了ないし、航路離脱まで、順次処理ブロック462で指定航路の撮影点の直近点を通過中かを判定し、撮影許容範囲440内で撮影ポイントに最近接したタイミングにディジタルカメラ集合体を構成する各ディジタルカメラ350に処理ブロック463で一斉に撮影指令457を送ると同時に図１５に示す空中画像一次データファイル内の航空機データ部分472を処理ブロック464で書き込む。
【００４２】
ディジタルカメラ350は内部に本発明の時点で３２ＧＢのメモリを保有できるので撮影した空中画像データ455を少なくともひとつの航路No.が終了するまで保持することができる。航空機301は、ひとつの航路No.を終了し、次の航路No.に入るまでの間、Ｕターン飛行をするが、この間は撮影を行わないので、ディジタルカメラ350内の空中画像データ455を航空機搭載の大容量ディスク装置で構成される空中画像一次ファイル102に処理ブロック465で転送し、ディジタルカメラ350内部のメモリを空にする。
【００４３】
図１５に空中画像一次ファイル102の構成例を記したが、画像ヘッダ部470と画像データ部471は撮影した各画像ごとに用意される。ヘッダー部のカメラＩＤはディジタルカメラ集合体360を構成する各ディジタルカメラ350a〜iを識別する番号である。画像データＩＤは相互に画像が識別できるように付す認識番号であり、撮影日時刻は航空機データ部分472と対応する撮影時刻であり、空中画像データベース生成登録処理120において、統合して各ディジタルカメラ350a〜iの光軸方向を算定するのに用いられる。画像データ部分471は特にこの段階では加工を施さない。また、画像ヘッダ部470のカメラパラメタは通常は飛行中固定であるので、同一設定値を書き込む。
【００４４】
空中画像データベース生成登録システム120について図１６から図２６までを用いて詳細に説明する。図１６は全体の処理フローを記載しており、処理ブロック480では、空中画像取得システム100で1日の飛行中に蓄積した空中画像一次ファイル102を飛行が終了した後、すべての画像について順次処理する。処理ブロック481では図１７の空中画像データベースの画像ヘッダ部490のヘッダーを作成するが図１５の空中画像一次ファイル102の画像ヘッダ部470のヘッダーをそのまま転記する。処理ブロック482についても通常は空中画像一次ファイル102の画像ヘッダ部470のカメラパラメタをそのまま転記すればよい。
【００４５】
処理ブロック483では、画像ヘッダ部490の撮影パラメタを各画像ごとに計算するがその処理について以下に詳述する。カメラ位置は緯度、経度、高度で規定されるが、通常航空機搭載ＧＰＳ380による位置測定がＤＧＰＳである場合には、飛行高度が低いこともあってそのまま正確な位置が得られるとしてよい。ＧＰＳ380による位置測定がＧＰＳである場合には誤差をふくむので、着陸後に飛行時刻と同時刻に測定した付近のＤＧＰＳ局から座標補正データを入手して撮影日時刻にあわせて補正を行う。
【００４６】
撮影パラメタの計算は線形代数を使用して行い、以下、図２３を参照しながら説明する。北方の水平方向を指す直交座標系での単位ベクトルを
2009217524.tif 000644
とし基準軸とする。
2009217524.tif 000645
を基準とした機体のピッチ・ヨー・ロールによる座標変換を
2009217524.tif 000646
とする。また、空中画像一次ファイル102における航空機データ部分472の位置を直交座標系で
2009217524.tif 000647
とし、機体内のＧＰＳアンテナ380からディジタルカメラ集合体360への位置偏差をベクトル表現で
2009217524.tif 000648
とする。さらに基準軸
2009217524.tif 000649
に対する各カメラ（添字k=ａ〜ｉで示す）の光軸、および４隅の方向ベクトルを単位ベクトルで下記と表現する。下記は常数であり、カメラの焦点距離と、ディジタルカメラ集合体360のディジタルカメラ350ａ〜ｉの取り付ける向きにより決まる。
撮影中心光軸を画像ベクトル（正規化）  Ｇkc=ｔ(Gkcx Gkcy Gkcz)
撮影画像右下端方位ベクトル（正規化）  Ｇk1=ｔ(Gk1x Gk1y Gk1z)
撮影画像右上端方位ベクトル（正規化）  Ｇk2=ｔ(Gk2x
Gk2y Gk2z)
撮影画像左上端方位ベクトル（正規化）  Ｇk3=ｔ(Gk3x
Gk3y Gk3z)
撮影画像左下端方位ベクトル（正規化）  Ｇk4=ｔ(Gk4x
Gk4y Gk4z)
と定義すると、撮影位置Ｓは  Ｓ＝
2009217524.tif 000650
＋
2009217524.tif 000651
2009217524.tif 000652
となり、図１７撮影パラメタの撮影位置（緯度,経度,高度）が求まる。正規化画像ベクトル(X,Y,Z)は  
2009217524.tif 000653
Ｇkc  により求まる。
【００４７】
航空機の姿勢
2009217524.tif 000654
を加味した画像４端の方向の正規化ベクトルは各カメラに対して、それぞれ、
2009217524.tif 000655
Ｇk1，
2009217524.tif 000656
Ｇk2，
2009217524.tif 000657
Ｇk3，
2009217524.tif 000658
Ｇk4  となる。地表のTerrainデータは緯度、経度、標高で地表の格子点に対して与えられているから、その直近の隣接する３点ずつで３角形を構成してその頂点座標をＴ1,Ｔ2,Ｔ3とし,Ｔcを三角形Ｔ1Ｔ2Ｔ3  の平面とＧkcの交わる座標とすると、ｘは外積を表し、
【数１】
2009217524.tif 000659
ｘ
2009217524.tif 000660
2009217524.tif 000661
0
2009217524.tif 000662
ｘ
2009217524.tif 000663
2009217524.tif 000664
0
2009217524.tif 000665
ｘ
2009217524.tif 000666
2009217524.tif 000667
0
であればＴcは三角形Ｔ1Ｔ2Ｔ3内部にあるといえる。すなわち交わる。
撮影位置Ｓ=(x,y,z)からの画像ベクトル（正規化）Ｇkc がＴcで三角形Ｔ1Ｔ2Ｔ3と交わるとすると
（数２）
Ｔc-Ｓ=ＲＧkｃ    
Ｔc-Ｔ1=a(Ｔ2-Ｔ1)+b(Ｔ3-Ｔ1)    ここでa,bは任意のスカラ-定数
となる。ここでＲは図１７の撮影パラメタの画像距離である。画像距離とは撮影位置から撮影光軸がTerrain580に交わるまでの距離をいう。
ここで、                            
【数３】
2009217524.tif 000668
=  t(Ｔ1x  Ｔ1y  Ｔ1ｚ)
2009217524.tif 000669
= ｔ(Ｔ2x  Ｔ2y  Ｔ2ｚ)
2009217524.tif 000670
= ｔ(Ｔ3x  Ｔ3y  Ｔ3ｚ)
2009217524.tif 000671
= ｔ(Ｔ4x  Ｔ4y  Ｔ4ｚ)
とすると、
【数４】
2009217524.tif 000672
=
2009217524.tif 000673
2009217524.tif 000674
2009217524.tif 000675
=
2009217524.tif 000676
+a(
2009217524.tif 000677
-
2009217524.tif 000678
)+ｂ(
2009217524.tif 000679
-
2009217524.tif 000680
）
となり、図１７の撮影パラメタのTerrain上中心点座標（緯度,経度,標高）が
2009217524.tif 000681
として求まる。ただし三角形Ｔ1Ｔ2Ｔ3の内部にあるかは、外積を計算してチェックする。
【００４８】
同様にＧｋｃの代わりにＧk1,Ｇk2,Ｇk3,Ｇk4に対して計算することにより、Terrain上最近右座標（緯度,経度,標高）、Terrain上最遠右座標（緯度,経度,標高）、Terrain上最遠左座標（緯度,経度,標高）、Terrain上最近左座標（緯度,経度,標高）がそれぞれ求まる。
次に、図１７撮影パラメタのフレーム回転角を求める。航空機の姿勢が基準方向であると、各ディジタルカメラのフレームの光軸を通る水平線は地球の水平線と平行であるが、機体のピッチ・ヨー・ロールによる座標変換が
2009217524.tif 000682
であると地球の水平線から回転角が生じる。
機体の姿勢が基準方向であるときの画面フレームの水平線は下記で与えられる。
【数５】
2009217524.tif 000683
機体のピッチ・ヨー・ロールによる座標変換が
2009217524.tif 000684
であると、画面フレームの水平線は下記で与えられる。
【数６】
2009217524.tif 000685
したがって、フレーム回転角は、
【数７】
2009217524.tif 000686
2009217524.tif 000687
となる。ここで  ・は内積を表し、
2009217524.tif 000688
はノルムを表す。
【００４９】
次に処理ブロック484で空中のモヤの影響除去の処理を行う。本発明の空中３次元動画生成システム150では、異なる視点から撮影した原画像を使用して都市のさまざまな方向からの映像を表現する。このため原画像に直射日光による影が存在すると、撮影時刻は原画像ごとに異ならざるを得ないため動画を合成したとき極めて見づらいものとなる。これを避けるため、直射日光のない曇天に雲の下から撮影し空中画像を取得する。このため、空中画像取得計画ファイル101では飛行高度を積雲または層雲が出現する高度より低い７００〜８００ｍに設定して撮影を行う。曇天での撮影は航空測量に航空機が使用できない条件下であるので、航空機の余剰時間を安価に利用できるという利点もある。一方、空中の水分が多いため視程が晴天時より短くなる欠点がある。
【００５０】
水分は微小な水滴として直進光を乱反射、乱屈折させるため、空中の通過距離に応じて影響が発生する。特に斜め航空写真の場合には、オフナディア角が大きい程水分の影響が大きくなる。図１８はモヤの影響除去処理における画像と視野の関係を示した図で、撮影画像495の下端は近景部分ａ496で撮影地表部分499のもっとも直近部分である。撮影画像495の上端部分は遠景部分498であり、撮影地表部分499の最遠部に位置する。近景部分ａ496から遠景部分498に向けて光が空気中を通過する距離が増える結果、微小水滴による光の散乱が増え、コントラストが減少し白濁する。この結果、図１９（ａ）に示すようにモヤのない場合の画像のヒストグラムが輝度下限値から輝度上限値507まで分布した正規化ヒストグラム500であった場合、近景部分ａ496では近景部分ａヒストグラム 501となり、上限値と下限値の幅が狭くなり中央値も白い方、すなわち輝度の高いほうに偏移する。
【００５１】
この傾向は遠景部分ヒストグラム502で最も顕著となり、ヒストグラム上限値504とヒストグラム下限値 503の差である値幅 505が最小となり中央値506が最大となる。図１８の撮影画像495で、ヒストグラムをとる範囲を画面横方向は全範囲で縦方向は近景部分ａ496、近景部分ｂ497のように一定幅の短冊状にして、１ラインずつずらしながら上方に向けてヒストグラムを計算すると、図１９（ｂ）のような特性が得られる。モヤの濃度は高度によって濃淡があるが、水平方向には濃度の差がないとしてよいので、値幅フィッティング曲線513は単調減少、中央値フィッティング曲線512は単調増加として近似してよい。これらの曲線はモヤの高度による分布が不明であるので、実測値からフィッティングで求めた上で各行ごとに、フィッティング曲線から求めた値幅と中央値の補正係数で各画素値を補正する。
各画素の輝度の補正は、水平ラインごとに
（数８）
正規化ヒストグラム中央値＋（画素輝度―中央値フィッティング値）
＊正規化ヒストグラム値幅／値幅フィッティング値
で求められる。以上説明した処理は、図２０で処理ブロック520から処理ブロック524で記された処理である。図２１は本発明のモヤ影響除去処理の処理結果例を示すものであり、モヤ影響除去前画像530を処理した結果、モヤ影響除去後画像531が得られている。
【００５２】
次に処理ブロック485で処理ブロック481から484で求めた結果を図１７に示す空中画像データベース143の該当画像データ部分に格納する。図１６の空中画像データベース生成登録システムの処理フローの最後の処理ブロック486で、処理ブロック485で登録した空中画像データを用いた動画生成のために高速に該空中画像データを検索する目的でインデクスを生成する。処理ブロック486の内容は図２２の空中画像データベース登録システムの空中画像インデクス生成登録処理フローでさらに詳細に述べられている。以下、図２２にしたがって説明する。処理ブロック540の内容を図２３の空中画像インデクス機構の構造と用語の定義を参照しながら説明する。撮影位置550で撮影された画像には、図１７の空中画像データベース133の撮影パラメタとして撮影位置（緯度,経度,高度）550、正規化画像ベクトルＧ＝ｔ(X Y Z) 551、フレーム回転角553、画像距離552,Terrain上中心点座標（緯度,経度,標高）554、Terrain上最近右座標（緯度,経度,標高）555、Terrain上最遠右座標（緯度,経度,標高）556、Terrain上最遠左座標（緯度,経度,標高）557、Terrain上最近左座標（緯度,経度,標高）558が既に格納されており、図２３はそれを図示したものである。撮影位置550で撮影した画像は地表画像範囲549を捉えている。地表、Terrain580には緯度経度が定義されるので、１秒ごとにメッシュ化すると東京地方の緯度３５°付近では緯度方向で３０ｍ、経度方向で２５ｍのセルが構成できる。０．４秒ごとにメッシュ化すれば緯度方向で１２ｍ、経度方向で１０ｍのセルが構成できる。６５ｋｍ四方の都市領域を考えると、このセル数は３５Ｍセルに過ぎない。地表画像範囲549に含まれる地表セル559は地表画像範囲549の４端点が緯度経度で判明しているから容易に求めることができる。
【００５３】
各地表セルに対して、図２に示す天球222のあらゆる方向に対し、十分小さい立体角の範囲i221で画像を検索できなくてはならない。この目的で図２４（ａ）に示すように天球を地表セル559の中心から鉛直に上を向いている天頂ベクトル570を定義し、以下、該天頂ベクトルを基準に同心円状に天球を輪切りにして天頂インデクスI 572を定義する。天頂インデクスｉはi=0,1,2,…と順次定義され、i=0は天頂ベクトルであり、順次ｉが大きくなるに従い、天頂ベクトルとなす角度が同一幅で増加し、同一同心円状に天頂から水平線まで定義される。天頂インデクス572を通過して地表セル559から立体角セル中心ベクトルが定義される。立体角セル中心ベクトル574は、必ず天頂インデクス572上に一定方位角間隔で定義される。
【００５４】
図２４（ａ）で立体角セル573とは図２の十分小さい立体角の範囲I 221に対応するもので、地表セル559からの画像検索の基本単位となる。立体角セル573は立体角セル中心ベクトル574に対してなす角度がたとえば３．５°以下であるベクトルの収まる円錐と定義される。図２４は天頂方向から地表セル559を見た図である。立体角セル573は天頂インデクスI 572に対して相互に重複しながら隣接して定義され、天頂インデクスｉ572の全周をうめる。
天頂ベクトル570と天頂インデクスI 570を通過する立体角セル中心ベクトル574のなす角を天頂離角571といい、天頂インデクスI 572を定義する数値となる。
【００５５】
図２５は立体角セル573のインデクス構造を示したものである。図２５（ｂ）は天頂方向から地表セル中心点575を見下ろした図である。2次元の添字のある立体角セルアドレス（ｉ，ｊ）を定義して、ｉは天頂インデクスｉ572を示し、jは天頂インデクスｉの同心円上のｊ番目の方向の立体角セルを表す。立体角セルアドレス(0,0)
584の立体角セル中心ベクトルは天頂ベクトル570であり、これを囲んで、同心円状に天球上で立体角セルアドレス(1,0) 585、立体角セルアドレス(1,1) 586、立体角セルアドレス(1,2) 587が以下、天頂インデクス１の全周を埋めるまで定義される。天頂インデクス１581の外側に天頂インデクス２に沿って、立体角セルアドレス(2,0) 588、立体角セルアドレス(2,1) 589、立体角セルアドレス(2,2) 590が天頂インデクス２の全周を埋めるまで定義される。立体角セル573は相互に重複し、天球を空隙が無いように埋め尽くされる。立体角セルの立体角は３次元動画生成が滑らかに行われるように、設定される。立体角セルアドレス数は天頂インデクスが地表に近づくにつれて多くなる。このようにしてすべての地表セルに対して、該地表セルを撮影した画像を、天球上の方向によって検索できるのである。
【００５６】
図２６に空中画像インデクススの関連テーブルの構造と相互関連を示す。天頂インデクスと天頂セルアドレスの構造は、地表セルに依存せず同一であり、この構造を天頂インデクスパラメタテーブルＺＮＰＲＭＴ597と方位インデクスパラメタテーブルＤＲＰＲＭＴ598で定義する。この構造を天頂インデクスパラメタテーブルＺＮＰＲＭＴ597は天頂インデクス０から順次、天頂インデクスｉ572に対する天頂離角571を定義し、さらに天頂インデクスｉ572に対応する中心ベクトル574が正規化ベクトルであった場合の鉛直方向成分を縦方向成分として格納する。天頂インデクスi 572に含まれる立体角セルの数は天頂から水平線に近づくにつれ増大するので、各天頂インデクスに対応した方位数ＮＤＲｉとして規定する。方向インデクスパラメタテーブルＤＲＰＲＭＴ598は天頂インデックスに対応して定義される方位数ＮＤＲｉに対応する立体角セルアドレスにつき、その立体角セル中心ベクトルの方位Ｘ成分と方位Ｙ成分を規定する。天頂インデックスパラメタテーブルＺＮＰＲＭＴ597  記載の縦方向成分とあわせてベクトルノルムが１となるように正規する。
【００５７】
次に、地表セルに対応した画像データインデクステーブルの構造について説明する。図２６の地表セル位置インデックステーブルＴＣＩＮＸＴ 600はすべての地表セル559に対して定義され、地表セルに対応して天頂インデックステーブルアドレスＡＤＤＲｉｊ  603が指定される。ＡＤＤＲｉｊの添え字は地表上の位置に対応して経度インデックスＬＯＮＩＮＸ 601がｉ、緯度インデックス  ＬＡＴＩＮＸ 602がｊであることを示している。天頂インデックステーブルアドレスＡＤＤＲｉｊ  603は、地表セルijに対応した天頂インデックステーブルＺＮＩＮＸＴ 604を示す。天頂インデックステーブルＺＮＩＮＸＴには選択された天頂インデクスｋに対応して方位インデックステーブルアドレスＡＤＤＲijk  605が定義され、これに従い方位インデックステーブルＤＲＩＮＸＴ 606が規定される。ここには天頂インデックスパラメタテーブルＺＮＰＲＭＴ  597  で指定される数の方位数があるので方位インデクスがｍであれば画像アドレステーブル608のアドレスとしてＡＤＤＲｉｊｋｍが指定される。このように選択された画像アドレステーブルとは、地表セルｉｊに対して立体角セルアドレス（ｋ，ｍ）の立体角セルに含まれる画像データ数と画像データアドレスを示しているのである。このように図２６に従い、空中画像インデクスと関連テーブルの相互関連を定義すると地表の位置から空中の任意の方向から撮影した画像を検索できるのである。
【００５８】
以上の画像データインデクス機構の説明に基づき、図２２に示す空中画像データベース登録システムの空中画像インデクス生成登録処理フローの説明を以下に行う。処理ブロック540では図２３で示されるような1枚の画像があると、地表画像範囲549に含まれるすべての地表セルを求める。処理ブロック541では処理ブロック540で求めた地表セルすべてについて処理を順次行う。処理ブロック542では地表セル中心座標から撮影位置550を見込むベクトルを求める。処理ブロック543と処理ブロック544ではでは天頂インデックスパラメタテーブルZNPRMT  597 と方位インデックスパラメタテーブルDRPRMT 598の定義から内積演算により該地表セル中心座標から撮影位置550を見込むベクトルをふくむ立体角セルアドレス（ｋ，ｍ）を求める。この情報に基づき処理ブロック545で画像データテーブルＡＤＤＲijkmの画像データ数を１つ増加して画像データアドレスを追記する。
【００５９】
図２７に３種類の焦点距離の異なるディジタルカメラによる視野の構成例を示す。本発明の都市景観の３次元動画生成では、俯角が少ない場合の原画像はオフナディア角の大きな画像となるため必然的に航空機より遠方の画像となる。このことは、俯角が少ない場合の動画像を分解能を低下させずに生成させるためにはオフナディア角の大きな場合の画像撮影時に分解能を悪化させない配慮が必要である。このため、図２７に示すようにオフナディア角が大きくなるに従い望遠レンズの焦点距離を長くし、分解能を維持すると同時に、３種類のオフナディア角のディジタルカメラを採用してオフナディア角が大きくなるほど焦点距離を長くして地表分解能が均一になるように工夫した例である。図２８に直下点撮影用にディジタルカメラ350ａを用い、ディジタルカメラ350ｂ〜ｉまでの８台を放射上に同一の小さいオフナディア角を持たせて配置し、その外側にディジタルカメラ620ｊ〜ｙまでの１６台を放射上に同一の大きいオフナディア角を持たせて配置する。ディジタルカメラの小型高性能化は著しく、既存の航空写真カメラ用航空機床穴398に充分収納することができる。図２９に３種類の焦点距離の異なるディジタルカメラによるディジタルカメラ集合体の撮影範囲例を図示する。代表的実施例としてはディジタルカメラ350ａを３５ｍｍフィルム換算焦点距離５０ｍｍ相当で直下指向、ディジタルカメラ350ｂ〜ｉを焦点距離７０ｍｍ相当でオフナディア角３５°指向、ディジタルカメラ620ｊ〜ｙを焦点距離１０５ｍｍ相当でオフナディア角６０°指向という組み合わせがある。
【００６０】
図３０に航空機搭載用安定プラットフォーム装置395のもっとも単純な構成例を示す。
安定プラットフォーム装置395は航空機床穴397をまたぎ、上部にふさぐ形で設置され、下から固定部635、上下動部636、回転部637より構成される。回転部637は回転テーブル構造をなしており、その上に密着して姿勢検出用のＩＭＵ396が設置され、回転部637の下部にはディジタルカメラ集合体360が吊下されて航空機床穴397より機外に張り出すことなくすべての下方視界をすべてのディジタルカメラ350a〜iに収めることができる。該安定プラットフォーム装置395はディジタルカメラ集合体360または621を吊下してディジタルカメラ350a〜iおよびディジタルカメラ620j〜yを用いて同様に撮影することもできる。なお、回転部637とディジタルカメラ集合体360または621の接合方法は剛性を持たせて固定することが必要である。安定プラットフォーム装置395は航空機姿勢の擾乱に対して一定の姿勢を保持することを目的としているが、対処可能な航空機の姿勢擾乱はピッチ角およびロール角で最大７から１０°、ヨー角については最大２０°を想定しておけばよい。固定部635は航空機床398に固着される。上下駆動機構Ａ〜Ｄ641〜644を介して上下動部636を保持する。上下駆動機構Ａ〜Ｄ641〜644は各々独立に上下に動きピッチ角とロール角の擾乱を補正する。上下駆動は油圧機構でも、ウォーム歯車による回転運動の上下運動への変換方式を採用してもよい。上下動部645にはさらにベアリング機構645に保持される形で回転部637が搭載される。回転駆動機構640は上下動部636に固定され、かつ回転部637が外延部に接する形で設置される。回転部637と回転駆動機構640との間は回転運動を伝達すればよく、回転部637を回転させて航空機のヨー角に対する擾乱を打ち消す。図３１に安定プラットフォーム装置の信号情報フローを示す。安定プラットフォーム制御システム  394はＩＭＵ396よりピッチ角、ヨー角、ロール角を周期的に入力し、基準値からの偏差を求めてピッチ角、ロール角の偏差を打ち消すために上下駆動機構Ａ〜Ｄ641〜644を制御して上下運動649を行わせる。ヨー角の偏差を打ち消すためには回転機構640を制御して回転運動650を行わせる。
【００６１】
次に、都市景観３次元動画アミューズメントシステムにおける空中動画生成処理につき図３２から図３９を用いて説明する。モーフィングによる空中動画像生成の概念と変数の説明を図３２で説明し、全体の処理のフローを図３３の都市景観３次元動画アミューズメントシステムにおける空中動画生成処理フローに基づき説明する。図３２において、視点経路P(t) 270に沿って視点が時刻ｔとともに移動し、その間、地表を目標トラジェクトリT(t) 280に沿って該視点経路P(t) 270上の位置から時刻ｔ1からｔ４、ｔｉまで、視線ベクトルＶ（ｔ１）からＶ（ｔ４）、Ｖ（ｔｉ）でとらえる。本発明では該視点経路P(t) 270からの該目標トラジェクトリT(t)
280に対する都市景観の３次元動画を生成する方法として、時刻ｔ１、ｔ２、ｔ３では視点Ｐ（ｔ１）675、視点Ｐ（ｔ２）676、視点Ｐ（ｔ３）677の視線に近く視差の少ない空中画像ｍ−１666を空中画像データベース130より検索し、時刻ｔ１、ｔ２、ｔ３ の視線ベクトルＶ（ｔ１）681、Ｖ（ｔ２）682、Ｖ（ｔ３）683の間は、画像ベクトルＧｍ−１672との視差の相違を空中画像ｍ−１666に対するモーフィング処理で補正し、滑らかな動画像を生成する。時刻ｔ４ の視線ベクトルＶ（ｔ４）684からは空中画像ｍ−１666よりも空中画像ｍ 667の方が視点の相違による視差が少ないと判断して空中画像ｍ 667を原画像に切り替え、時刻ｔ４ の視線ベクトルＶ（ｔ４）684以降次の原画像が選ばれるまで空中画像ｍ 667との視差の相違を空中画像ｍ 667に対するモーフィング処理で補正することにより滑らかな都市景観の３次元動画生成を行うのである。
【００６２】
以上の処理を処理フローで示したのが図３３で、処理ブロック690では、グラフィックユーザインターフェイスシステム180より次の動画フレーム（次コマ）として計算すべき移動方向、移動速度、位置、視線方向ベクトルを取り込む。処理ブロック691では、この値に基づき次コマの視点位置、視線ベクトル、地表上の目標点座標を計算する。処理ブロック692では、次コマの地表インデクス位置が現コマと同一か現コマ、次コマの中心点で判断する。同一でない場合は、最適な原画像を求めなおす必要があり、処理ブロック694へ行く。同一な場合は、処理ブロック693で次コマの視線ベクトルが現コマと同じ立体角セル内か判定する。これは視線の向きが現コマとある程度変化したかを判定するもので、同一立体角セル内でないと判断された場合には処理ブロック694で最適な原画像を求めなおす必要がある。同一立体角セル内であると判断された場合には現コマの原画像を引き続き使用する。
【００６３】
処理ブロック694の処理内容はより詳しく図３４の空中動画像生成における原画像検索の処理フローと図３５の３次元動画生成処理の原画像選択論理図に示される。処理ブロック700では、次コマの中心に存在する地表セルアドレス（ｉ,ｊ）を求めその中心点と次コマの視点を結ぶ視線ベクトルをつくりこれを正規化する。処理ブロック701から703では、この正規化視線ベクトルから天頂インデクスパラメタテーブルＺＮＰＲＭＴ597および方位インデクスパラメタテーブルＤＲＰＲＭＴ598を参照して立体角セルアドレス（ｋ，ｍ）を求め、地表セルアドレス（ｉ,ｊ）と併せて画像アドレステーブルのアドレスＡＤＤＲｉｊｋｍが求まる。同一地表セルアドレスに対する同一立体角セルアドレスには画像アドレステーブルのはじめのデータで示される原画像候補が存在するので、処理ブロック704と処理ブロック705でその中から視点Ｐ（ｔｉ）からの視野の4隅の点を原画像がすべて撮影しているかを判定する。図３５で（ａ）で視点Ｐ（ｔｉ）の視野の地表上の４端点Ｔｉ１715、Ｔｉ２716、Ｔｉ３717、Ｔｉ４718のすべてが原画像撮影位置ＳＡ710、原画像撮影位置ＳＢ711、原画像撮影位置ＳＣ712からの画像に撮影されているかを判定するのが処理ブロック705の判定であり、ベクトル外積演算で容易にできる。図３５（ｂ）の例で言えば、原画像撮影位置ＳＡ710、原画像撮影位置ＳＢ711からの画像のみが視点Ｐ（ｔｉ）の視野の地表上の４端点Ｔｉ１715、Ｔｉ２716、Ｔｉ３717、Ｔｉ４718のすべてを画像に捕らえている。処理ブロック705の条件を満足する原画像をすべて求めた後、処理ブロック706で地表セルアドレス（ｉ，ｊ）に最も近い画像距離の最短の画像を原画像として選択する。画像距離は図１７空中画像データベースの撮影パラメタの１データとして計算されており、画像距離が最短の原画像を選択するとは視点と目標の間の視界をさえぎる障害物を排除する処置である。
【００６４】
次に図３３に戻り、処理ブロック697のモーフィング処理の内容について図３６を参照しつつ以下の文章と式で説明する。
原画像ｍに対して原画像撮影位置
2009217524.tif 000689
671と画像ベクトル
2009217524.tif 000690
673（ノルム=1）とTerrain（地表面）が決まると、画像ベクトル
2009217524.tif 000691
673とDEMの交点
2009217524.tif 000692
と画像の四隅とTerrainの交点
2009217524.tif 000693
、
2009217524.tif 000694
、
2009217524.tif 000695
、
2009217524.tif 000696
が決まる。図３７に示すように、一般に
2009217524.tif 000697
、
2009217524.tif 000698
、
2009217524.tif 000699
、
2009217524.tif 000700
は同一平面上にないので、
2009217524.tif 000701
を通り
2009217524.tif 000702
、
2009217524.tif 000703
の中点
2009217524.tif 000704
と、
2009217524.tif 000705
、
2009217524.tif 000706
の中点
2009217524.tif 000707
を通るベクトルと平行なベクトルを
2009217524.tif 000708
と定義し(
2009217524.tif 000709
＝
2009217524.tif 000710
)、
2009217524.tif 000711
を通り
2009217524.tif 000712
と
2009217524.tif 000713
の中点
2009217524.tif 000714
と、
2009217524.tif 000715
と
2009217524.tif 000716
の中点
2009217524.tif 000717
を通るベクトルと平行なベクトルを
2009217524.tif 000718
と定義する(
2009217524.tif 000719
＝
2009217524.tif 000720
)。
2009217524.tif 000721
を通り
2009217524.tif 000722
と
2009217524.tif 000723
で張られる面をTerrain平面といい
2009217524.tif 000724
であらわす。
2009217524.tif 000725
の垂線を
2009217524.tif 000726
（ノルム=1）とする。
2009217524.tif 000727
を通り、画像ベクトル
2009217524.tif 000728
に垂直な平面を
2009217524.tif 000729
という。
2009217524.tif 000730
は原画像撮影位置視点
2009217524.tif 000731
671より撮影した画像(視野)である。
2009217524.tif 000732
-->
2009217524.tif 000733
への変換が存在して、これを
2009217524.tif 000734
という。これは原画像ｍの撮影行為である。視点
2009217524.tif 000735
に対して、視点座標
2009217524.tif 000736
と視線ベクトル
2009217524.tif 000737
（ノルム=1）とTerrain平面  
2009217524.tif 000738
（共通）が決まると同様に
2009217524.tif 000739
と
2009217524.tif 000740
、
2009217524.tif 000741
、
2009217524.tif 000742
、
2009217524.tif 000743
が決まる。
2009217524.tif 000744
を通り視線ベクトル
2009217524.tif 000745
に垂直な平面を
2009217524.tif 000746
という。平面
2009217524.tif 000747
とはTerrain面
2009217524.tif 000748
の中で、視点
2009217524.tif 000749
による視野で
2009217524.tif 000750
の一部を構成する。視点
2009217524.tif 000751
の視野
2009217524.tif 000752
と
2009217524.tif 000753
は
2009217524.tif 000754
と
2009217524.tif 000755
と視野角
2009217524.tif 000756
が決まれば一意に決まる。平面
2009217524.tif 000757
の平面
2009217524.tif 000758
への写像は
2009217524.tif 000759
と
2009217524.tif 000760
と原画像ｍの画角
2009217524.tif 000761
が決まれば一意に決まる。
2009217524.tif 000762
―＞
2009217524.tif 000763
―＞
2009217524.tif 000764
の対応により
2009217524.tif 000765
の
2009217524.tif 000766
に対応する各画素が、
2009217524.tif 000767
の
2009217524.tif 000768
に対応する画素に対応付けられればモーフィングアルゴリズムは完成する。
【００６５】
一般にTerrain平面
2009217524.tif 000769
上の任意の点
2009217524.tif 000770
は、
2009217524.tif 000771
=a
2009217524.tif 000772
+b
2009217524.tif 000773
+
2009217524.tif 000774
であらわされる。
ここで垂線条件である、
2009217524.tif 000775
2009217524.tif 000776
=0  および  
2009217524.tif 000777
2009217524.tif 000778
=0    を代入すると、
2009217524.tif 000779
2009217524.tif 000780
=
2009217524.tif 000781
2009217524.tif 000782
が得られる。ここで・はベクトル内積をあらわす。
視界の中心線
2009217524.tif 000783
とTerrain平面
2009217524.tif 000784
の交点
2009217524.tif 000785
は、
2009217524.tif 000786
が
2009217524.tif 000787
=
2009217524.tif 000788
+c
2009217524.tif 000789
を満足することからこれに代入して、
2009217524.tif 000790
（c
2009217524.tif 000791
+
2009217524.tif 000792
）=
2009217524.tif 000793
2009217524.tif 000794
よりｃ=
2009217524.tif 000795
となり、
【数９】
2009217524.tif 000796
= 
2009217524.tif 000797
+ 
2009217524.tif 000798
2009217524.tif 000799
＝
2009217524.tif 000800
で、視点
2009217524.tif 000801
の画像中心点のTerrain平面
2009217524.tif 000802
での座標が求められた。
同様に、視点
2009217524.tif 000803
の視界の４隅の正規化視線ベクトルを
2009217524.tif 000804
、
2009217524.tif 000805
、
2009217524.tif 000806
、
2009217524.tif 000807
とし、これらとTerrain平面
2009217524.tif 000808
の交点
2009217524.tif 000809
、
2009217524.tif 000810
、
2009217524.tif 000811
、
2009217524.tif 000812
のTerrain平面
2009217524.tif 000813
での座標を求めることができる。さらにこの座標の
2009217524.tif 000814
面上への変換を求める。
Terrain平面
2009217524.tif 000815
上の任意の点
2009217524.tif 000816
は、
2009217524.tif 000817
=a
2009217524.tif 000818
+b
2009217524.tif 000819
+
2009217524.tif 000820
であらわされ、
垂線条件である、
2009217524.tif 000821
2009217524.tif 000822
=0  および  
2009217524.tif 000823
2009217524.tif 000824
=0    より、４隅の正規化視線ベクトルを
2009217524.tif 000825
、
2009217524.tif 000826
、
2009217524.tif 000827
、
2009217524.tif 000828
に対して、
2009217524.tif 000829
=
2009217524.tif 000830
+c
2009217524.tif 000831
ただしk=1,4を満足する
2009217524.tif 000832
（c
2009217524.tif 000833
+
2009217524.tif 000834
）=
2009217524.tif 000835
2009217524.tif 000836
よりｃ=
2009217524.tif 000837
となり、
【数１０】
2009217524.tif 000838
= 
2009217524.tif 000839
+ 
2009217524.tif 000840
2009217524.tif 000841
＝
2009217524.tif 000842
で、視点
2009217524.tif 000843
の画像の４隅の点のTerrain平面
2009217524.tif 000844
での座標が求められた。この平面
2009217524.tif 000845
上での座標を平面
2009217524.tif 000846
上での座標に対応付けることにより原画像である平面
2009217524.tif 000847
上のどの点を視点
2009217524.tif 000848
の画面に映せばよいか分かる。
2009217524.tif 000849
上での視点
2009217524.tif 000850
の画面の中心および四隅の点の座標  
2009217524.tif 000851
、
2009217524.tif 000852
、
2009217524.tif 000853
、
2009217524.tif 000854
、
2009217524.tif 000855
（まとめて
2009217524.tif 000856
、k=1,2,3,4,cとする）が
2009217524.tif 000857
上で
2009217524.tif 000858
、
2009217524.tif 000859
、
2009217524.tif 000860
、
2009217524.tif 000861
、
2009217524.tif 000862
（まとめて
2009217524.tif 000863
、k=1,2,3,4,cとする）に対応する。
2009217524.tif 000864
面上での画面の水平ラインを
2009217524.tif 000865
、垂直ラインを
2009217524.tif 000866
とすると
2009217524.tif 000867
面上の任意の点
2009217524.tif 000868
は任意定数a,bに対して    
2009217524.tif 000869
=
2009217524.tif 000870
=ａ
2009217524.tif 000871
+ｂ
2009217524.tif 000872
+
2009217524.tif 000873
で表される。画像ベクトル
2009217524.tif 000874
は
2009217524.tif 000875
、
2009217524.tif 000876
に垂直だから  
2009217524.tif 000877
2009217524.tif 000878
=0、  
2009217524.tif 000879
2009217524.tif 000880
=0  となり、また、
2009217524.tif 000881
と
2009217524.tif 000882
は画像撮影位置
2009217524.tif 000883
より見て同一線上にあるから  
2009217524.tif 000884
=d(
2009217524.tif 000885
-
2009217524.tif 000886
)+
2009217524.tif 000887
であるので、d(
2009217524.tif 000888
-
2009217524.tif 000889
)+
2009217524.tif 000890
=ａ
2009217524.tif 000891
+ｂ
2009217524.tif 000892
+
2009217524.tif 000893
となり、
2009217524.tif 000894
との内積をとって
ｄ=
2009217524.tif 000895
となるから
【数１１】
2009217524.tif 000896
=
2009217524.tif 000897
となる。
2009217524.tif 000898
= 
2009217524.tif 000899
+ 
2009217524.tif 000900
2009217524.tif 000901
で既に
2009217524.tif 000902
は求まっているから、これで、視点
2009217524.tif 000903
の視界の原画面ｍの画面との対応が完成した。
【００６６】
次に、
2009217524.tif 000904
をｚ軸に移す変換を求める。ここで、
2009217524.tif 000905
=1
2009217524.tif 000906
=
2009217524.tif 000907
として、ｚ軸周りに回転させてyz平面に載せてからｙ軸周りに回転させてｚ軸と一致させる。
ｚ軸周りの回転は、
2009217524.tif 000908
で与えられる。
次に、y軸周りの回転は、
2009217524.tif 000909
で与えられる。
両方の回転を合成すると、
【数１２】
2009217524.tif 000910
2009217524.tif 000911
＝
2009217524.tif 000912
となる。
平面
2009217524.tif 000913
の交点
2009217524.tif 000914
(k=1,2,3,4,C)  に対して
2009217524.tif 000915
をｚ軸に移す変換を施せば、
2009217524.tif 000916
(k=1,2,3,4,C)はxy面上の点に変換される。これは、原画像ｍの画面上の位置に対応する。すなわちモーフィングである。
【００６７】
以上で本発明になる都市景観の３次元動画生成アミューズメントシステムの空中３次元動画生成に関する説明を終了して、都市景観の３次元動画生成アミューズメントシステムの路上３次元動画生成に関する説明に移行する。都市の任意の場所に対して路上ないし通路上の任意の場所、任意の視線方向からの人間目線での３次元動画を生成する。路上３次元動画生成においても空中３次元動画生成と同様に都市空間の構造物に関する３次元モデルを生成することなしに実画像を用いて３次元動画を生成する。路上では自由空間で自由に視線を指定できる空中に比べて視点の自由度は小さく、存在場所が通路上の地上１．７m程度に限定される一方、通路はDEMによるTerrainモデルと異なった構造を持っているので通路はグラフ表現によりモデル化する。空中写真の場合にTerrainを画像の投影面としたように、本発明の方式では、事前に撮影した実画像の投影面を設定しなくてはならない。
【００６８】
人間目線としての視点および視線の動きうる範囲を検討した結果、通路とそれ以外の市街地の境界線に沿う鉛直な平面を路上で撮影した原画像の主たる投影面とし、通路上での前方視ないし後方視に対しては通路に直交し一定距離はなれた鉛直面を補助的に投影面とする。本発明の方法は、通路上で人間目線の存在しうる任意の点から任意の視線で市街景観を事前に撮影するため、水平方向に全周８ないし１６方向、水平より仰角を付した斜め上方向を全周８ないし１６方向にわたって撮影するディジタルカメラ集合体を車両の屋根上に設置し、路上画像データベースを構築する。なお、斜め上方は広角レンズを用いることで省略できる。動画像生成は最適な原画像を選択するプロセスと、視点の移動状態と視線方向および都市内の位置によりモーフィングプロセスにより滑らかな動画像を生成するプロセスより構成される。
【００６９】
以下、図１都市景観３次元動画アミューズメントシステム構成図に従い、順次、路上画像取得システム110、路上画像データベース生成登録システム130、路上画像データベース150および路上３次元動画生成システム170につき詳細に説明する。図４０は路上画像取得システムの処理フローを記したもので、以下、図５９まで、該路上画像取得システム110の詳細な実現方法を説明する。まず、撮影ポイント設定プロセス741で都市内の道路および通路に沿って一定距離間隔で撮影できるように、移動経路と撮像ポイントないし間隔を設定し、図５５に構成が示される路上画像取得計画ファイル111とする。この撮影計画は道路ID
No.と道路上の撮影ポイントが定義される。道路の構造に関する記述は道路ID No.を含め厳密に定義する必要があるので後述する。次に撮影プロセス742では、車両803が路上画像取得計画ファイル111に規定された図４２に示す撮影ポイント766に到達したことを判断して図５３に示す路上撮影制御システム806により撮影を行う。撮影されたディジタルカメラ内の画像は予め決められたタイミングごとに撮像プロセスで取得した位置および姿勢データとともに路上画像一次ファイル112に蓄積される。
【００７０】
図４１は本発明になる路上画像取得システム110を構成するディジタルカメラ集合体755の構成例を示した図である。路上であらゆる視点から効率よく高密度に撮影する目的で、水平方向のディジタルカメラ750a〜ｈが全周を等間隔になるように放射状に配置されディジタルカメラ750a〜ｈの斜め上方を撮影する目的でディジタルカメラ750ｉ〜ｐが配置されディジタルカメラ集合体を形成する。ディジタルカメラ集合体 755を構成するディジタルカメラ750a〜ｐ以外の支持構造は、撮影方向精度が高いことを要求されるので、軽量かつ剛性の高いものであればどのようなものでもよく、ハニカム構造アルミニウム板あるいは炭素樹脂などで構成することができる。
【００７１】
図４２は、車両による路上画像取得システムの経路および撮影ポイントの設定例を示したものである。図４２(ｂ)にて撮影ポイント766の設定例を示している。路上画像取得システム765は路上画像取得計画ファイル111で路上に列状にくまなく構成された撮影ポイント766に従い、道路を移動しながら撮影ポイント766で撮影を行う。撮影ポイント766の相互間隔は撮影された画像が路上３次元動画生成システムでモーフィングによって滑らかな動画になるように選定される。ディジタルカメラ集合体755で撮影した場合、図４２(ａ)のディジタルカメラ750a〜ｐの撮影範囲760a〜pで示す範囲が撮影される。レンズの焦点距離の設定によって、該ディジタルカメラ750a〜ｐの撮影範囲760a〜ｐの各ディジタルカメラが撮影する範囲と相互の重複度は変化する。本発明の目的からは、相互に若干の重複しながら地表をほぼ連続的に覆うように設定することが望ましい。
【００７２】
図４３は路上画像取得システムの鉛直方向撮影パターンと画像投影面の関係を示したものである。空中３次元動画生成では撮影した画像の投影面をTerrainとしたが、路上３次元動画生成では人間目線を実現対象としておりTerrainを投影面とすることはできない。また撮影する画像も水平方向および仰角つきの情報であるため、路上から撮影した画像の投影面を図４３に示すように道路と建物の境界線に鉛直に立つ面とする。道路と建物の境界面は近似的に道路の境界面としてもよい。画像投影面の定義は道路の定義とともに厳密に行いデータベース化する必要があるので後述する。またこの方式は人間目線の通路であれば車両の通行可能性とは関係なくどこでもよく、地下通路あるいは建造物内部でも人間の通路があれば適用可能である。図４３ではディジタルカメラ750ｉ〜pの撮影範囲と方向およびディジタルカメラ750ａ〜ｈの撮影範囲と方向を例示した。
【００７３】
本発明の都市景観３次元動画アミューズメントシステムの路上３次元動画生成システムでは、道路ないし通路の境界面を画像の投影面とする関係上、道路のいかなる場所からでも動画像の原画像が検索できなければならず、また登録できなくてはならない。検索には高速性が要求され、また人間目線でのあらゆる方向からの画像を登録・検索できなくてはならない。この目的に沿う道路データベースシステムを図４４から図５２に説明する。ここでの記述が路上３次元動画生成システムの技術的な基礎となる。
【００７４】
図４４にグラフによる道路の記述方法を記載する。あらゆる道路は幅があり、その中心線でグラフを形成して道路表現の基本とする。この道路の中心線を中心線グラフ780といい。端点と辺から構成される。道路の交差点、合流点、分岐点、変針点には必ず端点が存在する。道路は必ず両端が端点である連続した辺と端点の集合として定義され、道路ID No．777が一意に付与される。図４５は緯度経度から道路を検索する方法を示したものである。緯度経度で例えば０．１秒単位でメッシュを作ると、東京地方では、経度方向で２．５ｍ、緯度方向で３ｍのメッシュとなる。このようにメッシュを作ると各メッシュには必ず道路が存在するかしないかのいずれかとなる。このメッシュを地表セル781と呼ぶ。道路が存在する場合には道路ID No.を地表セル781に割り当てることにより緯度経度が判明する任意の地点より道路があれば道路にアクセスできる。このように定義すると１つのメッシュが複数の道路ID No.に関係を持つ場合が発生する。地表セル中心点782から中心線グラフに垂線を下ろし、その足との距離が最短の道路ID Noを該地表セルの道路ID Noと定義する。図４５右下に拡大した交差点の図の例では、垂線を中心線グラフ780に２本下ろすことができ、この場合は垂線の足Ａ783aと垂線の足B783ｂの垂線の短いほうである垂線の足B783ｂの道路ID No．を選定する。
【００７５】
図４６は道路の構造を記述するための道路データベースの構造を規定している。地表セル道路インデクステーブルＣＬＬＲＤＩＮＸＴはメッシュ化された緯度経度のインデックス（ｉ，ｊ）から道路ID No.と、道路ID No.に対応した道路グラフデータを記載した道路グラフデータテーブルの該当グラフ部分を示すための相対レコードアドレスを検索できる。道路グラフアドレステーブルＲＤＧＲＡＤＲＴは道路ID No.に対応して道路グラフデータテーブルＲＤＧＤＴ内での開始アドレスを指定する。これは、道路グラフデータテーブルＲＤＧＤＴが道路ID No.によって端点と辺のサイズがことなるためである。道路グラフデータテーブルＲＤＧＤＴは道路の構造をグラフとして記述する。第１レコードは道路ID No.であり、第２レコードは全部の端点数である。道路は開始点から順次、端点座標および次の端点までの辺の属性を記述する形で道路ID No.で指定される道路の範囲が尽きるまで繰り返される。属性には下記の３種類がある。
タイプ１属性       次の端点までの辺に関する属性
ａ投影面コード                ０           辺の両側に投影面がない。
１           辺の進行方向左側だけに投影面がある。
２           辺の進行方向右側だけに投影面がある。
３           辺の進行方向両側に投影面がある。
ｂ幅員                                道路の両端の中心線グラフからの距離を示す。
タイプ２属性       端点における道路接続に関する情報
ａ接続先道路ID No.
ｂ接続先道路ID No.に対応した道路グラフデータテーブルＲＤＧＤＴにおける接続点の相対レコードアドレス  この情報は道路の接続が交叉か分岐か合流かを判別するために使用する。
タイプ３属性       端点における道路終了を示す。
【００７６】
以下、実際に存在するケースに対応して道路グラフデータテーブルの構築方法を説明する。
図４７では直交交差点の記述方法を示す。道路ID No.=k 777kと道路ID No.=ｌ（エル） 777lが交差点の中央にある端点k,i+2  792k,i+2と端点l,j+2 793l,j+2で交差している。端点の表記で添え字を2個用いるのは、最初の添え字が道路ID No.を表し、２番目の添え字が同一道路ID No.内における端点の順番を示すためである。なおこの端点は同一の端点を双方の道路で別々に名づけたものである。道路ID No.=k 777kの構造記述を図４７−１道路グラフデータテーブルＲＤＧＤＴｋ  795kと図４７に即して説明する。道路ID
No.=k 777kは左端の端点k,ｉ 792k,iよりスタートし、次の端点k,i+1 792k,i+1までは両側に投影面を持ち（属性コード=3）、幅員がｗｋである（端点k,i)。端点k,i+1
792k,i+1で交差点に入った結果両側の投影面が無くなり（属性コード=0）、幅員は未定義でブランクとなる（端点k,i＋１)。端点k,i+2 792k,i+2で道路ID No.=ｌ(エル) 777lと交叉し（属性コード=ｌ(エル)）属性の２は道路ID No.=ｌ（エル） 777lのレコードアドレスが２の端点で交叉していることを示す（端点k,i＋２)。端点k,i+3 792k,i+3で交叉点を抜けた結果、両側に投影面を持つようになり（属性コード=3）幅員がｗｋとなる（端点k,i＋３)。さらに端点k,i+4 792k,i+4以降に続く。道路ID No.=ｌ(エル) 777ｌの構造記述を図４７−２道路グラフデータテーブルＲＤＧＤＴｌ(エル) 795lと図４７に即して説明する。道路ID No.=ｌ 777ｌは下端の端点ｌ,ｊ 793l,jよりスタートし、次の端点l,j+1 793l,j+1までは両側に投影面を持ち（属性コード=3）、幅員がｗlである（端点l,j)。端点l,j+1 793l,j+1で交差点に入った結果両側の投影面が無くなり（属性コード=0）、幅員は未定義でブランクとなる（端点l,j＋１)。端点l,j+2 793l,j+2で道路ID No.=k 777kと交差し（属性コード=k）,属性の２は道路ID No.=k 777kのレコードアドレスが２の端点で交差していることを示す（端点l,j＋２)。端点l,j+3 793l,j+3で交差点を抜けた結果、両側に投影面を持つようになり（属性コード=3）幅員がｗlとなる（端点l,j＋３)。さらに端点l,j+4 793l,j+4以降に続く。
【００７７】
図４８では３叉路の記述方法を示す。道路ID No.=k 777kから道路ID No.=ｌ（エル） 777lが３叉路の中央にある端点k,i+2  792k,i+2と端点l,j 793l,jで分岐している。道路ID No.=k 777kの構造記述を図４８−１道路グラフデータテーブルＲＤＧＤＴｋ  795kと図４８に即して説明する。道路ID No.=k 777kは左端の端点k,ｉ 792k,iよりスタートし、次の端点k,i+1 792k,i+1までは両側に投影面を持ち（属性コード=3）、幅員がｗｋである（端点k,i)。端点k,i+1
792k,i+1で３叉路に入った結果投影面は右側のみとなり（属性コード=2）、幅員がｗｋである（端点k,i＋１)。端点k,i+2 792k,i+2で道路ID No.=ｌ(エル) 777lと分岐し（属性コード=ｌ(エル)）、属性の0は道路ID No.=ｌ（エル） 777lのレコードアドレスが0の端点すなわち開始点で分岐していることを示す（端点k,i＋２)。端点k,i+3 792k,i+3で３叉路を抜けた結果、両側に投影面を持つようになり（属性コード=3）幅員がｗｋとなる（端点k,i＋３)。さらに端点k,i+4 792k,i+4以降に続く。道路ID No.=ｌ(エル) 777ｌの構造記述を図４８−２道路グラフデータテーブルＲＤＧＤＴｌ(エル)  795ｌと図４８に即して説明する。道路ID No.=ｌ 777ｌは３叉路の端点ｌ,ｊ 793l,jよりスタートし、道路ID
No.=k 777kから分岐し（属性コード=k）,属性の２は道路ID No.=k 777kのレコードアドレスが２の端点で分岐していることを示す（端点l,j)、次の端点l,j+1 793l,j+1までは３叉路内で両側に投影面が無く（属性コード=0）、幅員も無定義でブランクである（端点l,j)。端点l,j+1 793l,j+1で３叉路を出た結果両側に投影面が存在するようになり（属性コード=3）、幅員はｗｌとなる（端点l,j＋１)。さらに端点l,j+2 793l,j+2以降に続く。
【００７８】
図４９では分岐路の記述方法を示す。道路ID No.=k 777kから道路ID No.=ｌ（エル） 777lが分岐路の中央にある端点k,i+2  792k,i+2と端点l,j 793l,jで分岐している。道路ID No.=k 777kの構造記述を図４９−１道路グラフデータテーブルＲＤＧＤＴｋ  795kと図４９に即して説明する。道路ID No.=k 777kは左端の端点k,ｉ 792k,iよりスタートし、次の端点k,i+1 792k,i+1までは両側に投影面を持ち（属性コード=3）、幅員がｗｋである（端点k,i)。端点k,i+1
792k,i+1で３叉路に入った結果投影面は右側のみとなり（属性コード=2）、幅員がｗｋである（端点k,i＋１)。端点k,i+2 792k,i+2で道路ID No.=ｌ(エル) 777lと分岐し（属性コード=ｌ(エル)）、属性の0は道路ID No.=ｌ（エル） 777lのレコードアドレスが0の端点すなわち開始点で分岐していることを示す（端点k,i＋２)。端点k,i+3 792k,i+3で分岐路を抜けた結果、両側に投影面を持つようになり（属性コード=3）幅員がｗｋとなる（端点k,i＋３)。さらに端点k,i+4 792k,i+4以降に続く。道路ID No.=ｌ(エル) 777ｌの構造記述を図４９−２道路グラフデータテーブルＲＤＧＤＴｌ(エル)  795ｌと図４９に即して説明する。道路ID No.=ｌ 777ｌは分岐路の端点ｌ,ｊ 793l,jよりスタートし、道路ID
No.=k 777kから分岐し（属性コード=k）,属性の２は道路ID No.=k 777kのレコードアドレスが２の端点で分岐していることを示す（端点l,j)、次の端点l,j+1 793l,j+1までは分岐路内で両側に投影面が無く（属性コード=0）、幅員も無定義でブランクである（端点l,j)。端点l,j+1 793l,j+1で左側に投影面が存在するようになり（属性コード=１）、幅員はｗｌとなる（端点l,j＋１)。端点l,j+2 793l,j+2で分岐路を抜け出し両側に投影面が存在するようになり（属性コード=３）、幅員はｗｌとなる（端点l,j＋2)。さらに端点l,j+3 793l,j+3以降に続く。
【００７９】
図５０では道路変針の記述方法を示す。道路ID No.=k 777kの構造記述を図５０−１道路グラフデータテーブルＲＤＧＤＴｋ 795kと図５０に即して説明する。道路ID No.=k 777kは左端の端点k,ｉ 792k,iよりスタートし、次の端点k,i+1 792k,i+1までは両側に投影面を持ち（属性コード=3）、幅員がｗｋである（端点k,i)。端点k,i+1
792k,i+1で向きを変えるが投影面は両側のままで（属性コード=3）、幅員がｗｋである（端点k,i＋１)。さらに端点k,i+2 792k,i+2以降に続く。
【００８０】
図５１では非直交交差点の記述方法を示す。道路ID No.=k 777kと道路ID No.=ｌ（エル） 777lが交叉点の中央にある端点k,i+3  792k,i+3と端点l,j+3 793l,j+3で交叉している。道路ID No.=k 777kの構造記述を図５１−１道路グラフデータテーブルＲＤＧＤＴｋ 795kと図５１に即して説明する。道路ID No.=k 777kは左端の端点k,ｉ 792k,iよりスタートし、次の端点k,i+1
792k,i+1までは両側に投影面を持ち（属性コード=3）、幅員がｗｋである（端点k,i)。端点k,i+1 792k,i+1で交差点に入った結果投影面が左側のみとなり（属性コード=1）、幅員はｗｋである（端点k,i＋１)。端点k,i+2 792k,i+2で両側の投影面が無くなり（属性コード=0）、幅員はブランクとなる（端点k,i＋２)。端点k,i+3 792k,i+3で道路ID No.=ｌ(エル) 777lと交差し（属性コード=ｌ(エル)）属性の3は道路ID No.=ｌ（エル） 777lのレコードアドレスが3の端点で交差していることを示す（端点k,i＋3)。端点k,i+3 792k,i+3で右側に投影面が出現し（属性コード=3）、幅員がｗｋである（端点k,i＋４)。端点k,i+5 792k,i+5で交差点を抜けた結果、両側に投影面を持つようになり（属性コード=3）幅員がｗｋとなる（端点k,i＋5)。さらに端点k,i+6 792k,i+6以降に続く。道路ID No.=ｌ(エル) 777ｌの構造記述を図５１−２道路グラフデータテーブルＲＤＧＤＴｌ(エル)  795lと図５１に即して説明する。道路ID No.=ｌ 777ｌは左下端の端点ｌ,ｊ 793l,jよりスタートし、次の端点l,j+1
793l,j+1までは両側に投影面を持ち（属性コード=3）、幅員がｗlである（端点l,j)。端点l,j+1 793l,j+1で交差点に入った結果左側の投影面が無くなり（属性コード=2）、幅員はｗlである。端点l,j+3 793l,j+3で両側の投影面が無くなり（属性コード=0）、幅員は未定義でブランクとなる（端点l,j＋3)。端点l,j+3 793l,j+3で道路ID No.=k 777kと交差し（属性コード=k）,属性の３は道路ID No.=k 777kのレコードアドレスが３の端点で交差していることを示す（端点l,j＋3)。端点l,j+4 793l,j+4で左側に投影面が出現し（属性コード=1）幅員がｗｌとなる（端点ｌ,ｊ＋4)。端点l,j+5 793l,j+5で交差点を抜けた結果、両側に投影面を持つようになり（属性コード=3）幅員がｗlとなる（端点l,j＋5)。さらに端点l,j+6 793l,j+6以降に続く。
【００８１】
図５２では５叉路の記述方法を示す。道路ID No.=k 777kと道路ID No.=ｌ（エル） 777lが交差点の中央にある端点k,i+3  792k,i+3と端点l,j+2 793l,j+2で交差している。道路ID No.=m 777mが道路ID No.=ｌ（エル） 777lへ端点l,j+3  792l,j+3で合流している。道路ID No.=k 777kの構造記述を図５２−１道路グラフデータテーブルＲＤＧＤＴｋ  795kと図５２に即して説明する。道路ID
No.=k 777kは左端の端点k,ｉ 792k,iよりスタートし、次の端点k,i+1 792k,i+1までは両側に投影面を持ち（属性コード=3）、幅員がｗｋである（端点k,i)。端点k,i+1
792k,i+1で交差点に入った結果投影面が左側のみとなり（属性コード=1）、幅員はｗｋである（端点k,i＋１)。端点k,i+2 792k,i+2で両側の投影面が無くなり（属性コード=0）、幅員はブランクとなる（端点k,i＋２)。端点k,i+3 792k,i+3で道路ID No.=ｌ(エル) 777lと交差し（属性コード=ｌ(エル)）属性の2は道路ID No.=ｌ（エル） 777lのレコードアドレスが2の端点で交差していることを示す（端点k,i＋3)。端点k,i+4 792k,i+4で左側に投影面が出現し（属性コード=1）、幅員がｗｋである（端点k,i＋４)。端点k,i+5 792k,i+5で交差点を抜けた結果、両側に投影面を持つようになり（属性コード=3）幅員がｗｋとなる（端点k,i＋5)。さらに端点k,i+6 792k,i+6以降に続く。道路ID No.=ｌ(エル) 777ｌの構造記述を図５２−２道路グラフデータテーブルＲＤＧＤＴｌ(エル)  795lと図５２に即して説明する。道路ID No.=ｌ 777ｌは下端の端点ｌ,ｊ 793l,jよりスタートし、次の端点l,j+1
793l,j+1までは両側に投影面を持ち（属性コード=3）、幅員がｗlである（端点l,j)。端点l,j+1 793l,j+1で交差点に入った結果両側の投影面が無くなり（属性コード=0）、幅員はブランクとなる。端点l,j+2
793l,j+2で道路ID No.=k 777kと交差し（属性コード=k）,属性の３は道路ID No.=k 777kのレコードアドレスが３の端点で交差していることを示す（端点l,j＋2)。端点l,j+3 793l,j+3で道路ID No.=m 777mと合流し（属性コード=m）,属性のnは道路ID No.=m 777mのレコードアドレスがnの端点で合流していることを示す（端点l,j＋3)。端点l,j+4 793l,j+4で右側に投影面が出現し（属性コード=2）幅員がｗｌとなる（端点ｌ,ｊ＋4)。端点l,j+5 793l,j+5で交差点を抜けた結果、両側に投影面を持つようになり（属性コード=3）幅員がｗlとなる（端点l,j＋5)。さらに端点l,j+6 793l,j+6以降に続く。道路ID No.=m 777mの構造記述を図５２−３道路グラフデータテーブルＲＤＧＤＴｍ  795mと図５２に即して説明する。道路ID No.=m 777mは合流路の端点m,n 793m,nで終了し、道路ID No.=l 777lへ合流し（属性コード=ｌ）,属性の３は道路ID No.=ｌ 777ｌのレコードアドレスが３の端点で合流していることを示す（端点m,n)、前の端点m,n-1 793m,n-1からは分岐路内で両側に投影面が無く（属性コード=0）、幅員も無定義でブランクである（端点m,n-1)。その前の端点m,n-2 793m,n-2からは右側のみに投影面が存在しており（属性コード=２）、幅員はｗmとなる（端点m,n-2)。その前の端点m,n-3 793m,n-3からは両側に投影面が存在し（属性コード=３）、幅員はｗmである（端点m,n-3)。
【００８２】
図５３は路上画像取得システムの構成例を示した図であり、カーナビゲーションシステム部801とデータ取得記録システム部800より構成される。カーナビゲーションシステム部803は図４２(ｂ)で規定される撮影ポイント766に車両803を移動経路765に沿って誘導するための装置であり、ＧＰＳ380より車両位置データが周期的に得られる。カーナビゲーションシステム部803の機能は、図５５の路上画像取得計画ファイル111の内容に従い、図５４の路上画像取得システムのカーナビゲーションシステム部の処理フローによって図５６の路上画像取得システムのカーナビゲーションシステム部の表示画面例によって車両を誘導するものである。カーナビゲーションシステム自体は既に公然実施されていて何ら新規性はないものであるが、本発明の目的を実現するために撮影ポイント766に効率的に車両を誘導する部分が本発明に関わるところである。まず走行前に都市のどの部分の道路の路上を取得するか決定する。地図上で撮影範囲を決定し、走行プランを策定する。撮影ポイント766は本発明の目的を達成するように均一かつ高密度に道路ないし通路に沿って設定しなくてはならず、その結果に基づき指定撮影経路825を設定する。各道路に図５５の路上画像取得計画ファイルに示される道路ID No.を割り振り撮影ポイント766を割付け、各道路ID No.の開始座標と終了座標、さらにその間の撮影ポイント数と各撮影ポイント座標を緯度経度で設定する。このようにして図５５の路上画像取得計画ファイルは構築される。該路上画像取得計画ファイルの構築に関わるグラフィックユーザインターフェイスは地図情報システムとして公然実施されている。
【００８３】
カーナビゲーションシステム部801の機能は図５４に記載の路上画像取得システムのカーナビゲーションシステム部の処理フローによって示される。
処理ブロック810で路上取得計画ファイルに登録されている道路ID No.の中から撮影予定の道路ID
No.についてすべての撮影が終了するまで図５６の表示を順次に行う。指定された道路ID No.には開始座標があるので、処理ブロック811で該道路ID No.を開始するために走行開始点の位置、進行方向、速度を指定して図５６の内容をモニタ上に表示してガイダンスを行う。撮影を行うには、処理ブロック811で規定された条件を一定の誤差範囲、たとえば位置誤差で１ｍから５ｍ以下の精度で満足しなくてはならず、満足しない場合には再度走行をやり直す。処理ブロック810で選択された道路ID No.の路上画像取得計画ファイル記載の撮影ポイント座標から最終撮影ポイントまで撮影ポイントをひとつずつ順次処理ブロック812および処理ブロック813によりガイダンスする。
【００８４】
データ取得記録システム部 800には車両803の姿勢を観測するＩＭＵ400と、ディジタルカメラ750の制御と撮像データ処理のためのプログラムを含む路上撮影制御システム806と、画像データをふくむ各種データを記憶する大容量ディスク装置で構成される路上画像一次ファイル112と、ディジタルカメラ750に対する撮影指令を出すための撮影ポイントを記憶している路上画像取得計画ファイル121を搭載している。車両803の位置計測用のＧＰＳ380のアンテナを機外に有している。
【００８５】
図５７は図５３のデータ取得記録システム部800の構成機器間の情報の流れを示している。図５８は路上撮影制御システム806の処理フローを説明している。路上撮影制御システム806はＣＰＵで構成される。路上撮影制御システム806はＩＭＵ396より安定プラットフォーム装置395の姿勢データ450を周期的に取り込む。安定プラットフォーム395が正常に動作している場合には、車両803の姿勢によらず慣性空間に対して常に一定の姿勢を保っている。車両803に固定されたＩＭＵ400は車両の姿勢データ828を、ＧＰＳ380はＧＰＳアンテナの位置データ830を周期的に路上撮影制御システム806に送り込む。路上撮影制御システム808の処理は図５８に詳説しているが、路上画像取得計画ファイル111の内容と得られたＧＰＳアンテナの位置データ380と車両の姿勢データ828を処理ブロック834と処理ブロック835で順次照合し、道路ID No.を特定し、当該道路ID No.の撮影終了ないし、経路離脱まで、順次処理ブロック836で指定道路ID No.の撮影点の直近点を通過中かを判定し、撮影許容範囲内で撮影ポイントに最近接したタイミングにディジタルカメラ集合体を構成する各ディジタルカメラ750に処理ブロック837で一斉に撮影指令457を送ると同時に図５９に示す路上画像一次ファイル内の車両データ部分840を処理ブロック838で書き込む。ディジタルカメラ750は内部に本発明の時点で３２ＧＢのメモリを保有できるので撮影した路上画像データ827を少なくともひとつの道路ID No.が終了するまで保持することができる。車両803は、ひとつの道路ID No.を終了し、次の道路ID No.に入るまでの間にディジタルカメラ750内の路上画像データ827を車載の大容量ディスク装置で構成される路上画像一次ファイル112に処理ブロック839で転送し、ディジタルカメラ750内部のメモリを空にする。
【００８６】
図５９に路上画像一次ファイル112の構成例を記したが、画像ヘッダ部470と画像データ部471は撮影した各画像ごとに用意される。ヘッダ部のカメラＩＤはディジタルカメラ集合体755を構成する各ディジタルカメラ750a〜ｐ識別する番号である。画像データＩＤは相互に画像が識別できるように付す認識番号であり、撮影日時刻は車両データ部分840と対応する撮影時刻であり、路上画像データベース生成登録処理130において、統合して各ディジタルカメラ750a〜iの光軸方向を算定するのに用いられる。画像データ部分471は加工を施さない。また、画像ヘッダ部470のカメラパラメタは通常は走行中固定であるので、同一設定値を書き込む。
【００８７】
図６０に車載用安定プラットフォーム装置395のもっとも単純な構成例を示す。
安定プラットフォーム装置395は図３０の航空機搭載用安定プラットフォームと同一構造であるが車両天井板上に設置され、安定プラットフォーム装置395上に車載用のディジタルカメラ集合体755が設置される。
【００８８】
路上画像データベース生成登録システム130と路上画像データベース150について図６１から図６９までを用いて詳細に説明する。
路上画像データベースは画像投影面と視線と視点から検索する関係上、まず画像投影面の構造と道路グラフデータベース151の構造関係を定義しなくてはならない。図６５に道路グラフの方向と視線ベクトルの方向による画像投影面について説明する。路上で通路に沿って全周を撮影した路上画像は道路の境界線にある投影面に投影し、視線と視点の位置関係によってモーフィング処理を行うが、進行方向または進行反対方向の映像は道路が細長いため画像を投影するためには極めて長い道路境界面を必要とし実現が困難となる。
【００８９】
この問題を解決するために、進行方向または進行反対方向ないしそれに近い方向の映像については道路の左右境界面ではなく図６５で点線で示したように前方仮想投影面878と後方仮想投影面879を設けてこれに実画像を投影する。なお、前方仮想投影面878と後方仮想投影面879の位置は路上視点によって移動する。図６５の例では道路の進行方向すなわち道路グラフと視線のなす角882が左右２０°の範囲であれば前方仮想投影面878を使用し、路上画像取得システム110で撮影した前方画像を使用し、道路グラフと視線のなす角882が左右１６０°から１８０°の範囲であれば後方仮想投影面879を使用し、路上画像取得システム110で撮影した後方画像を使用する。道路グラフと視線のなす角882が左側２０°から１６０°の範囲であれば左投影面880を使用し、路上画像取得システム110で撮影した進行方向に対して左斜め前方、左、左後方画像を使用し、道路グラフと視線のなす角882が右側２０°から１６０°の範囲であれば右投影面881を使用し、路上画像取得システム110で撮影した進行方向に対して右斜め前方、右、右後方画像を使用する。ここでは道路グラフと視線のなす角882が前方左右２０℃、後方左右１６０°で投影面を切り替える例を述べたが、この度数は現実のリアリティーに応じて可変とすることもできるし、実地でのリアリティーにより増減させることができるが、以下では具体例として２０°を選定している。以下、路上画像データベース生成登録システム130、路上画像データベース150、路上３次元動画生成システム170は以上に説明した投影面の方式に沿って構築されている。 
【００９０】
次に画像投影面の構造について図６６を用いて説明する。本発明の路上３次元動画生成システムは視点と視線が定まると、投影面を定めて、最適な実画像を検索し、視差に応じてモーフィングを行う。このため与えられた視点と視線に対して視差の少ない実画像が存在し、かつ該実画像を高速に検索できなくてはならない。道路ID No.ｍの任意の点を指定するために、端点列を定義してグラフで道路の先頭からｍ番目の端点とそれに続く辺の区間上の位置に対して、「端点ｍ，ｉ座標（ｘｍｉ，ｙｍｉ）」と表現するが、該区間は道路の形態により決まっており投影面の定義には長すぎる。このため図６６に記すように、投影面区分として道路グラフの方向に対して左側と右側、さらに該辺に対応する左右の投影面を「投影面区分」と定義して端点と辺で構成されるグラフとして細分する。端点ｍ，ｉ座標（ｘｍｉ，ｙｍｉ）890に対応する道路グラフの方向883の左側の投影面区分を、
第０番目を      投影面区分ｍｉｌ０座標（ｘｍｉｌ０，ｙｍｉｌ０）891
第１番目を      投影面区分ｍｉｌ１座標（ｘｍｉｌ１，ｙｍｉｌ１）892
第２番目を      投影面区分ｍｉｌ２座標（ｘｍｉｌ２，ｙｍｉｌ２）893
第３番目を      投影面区分ｍｉｌ３座標（ｘｍｉｌ３，ｙｍｉｌ４）894
以下同様
と名づけて定義する。添え字ｌは左側を示す。
同様に道路グラフの方向883の右側の投影面区分を、
第０番目を      投影面区分ｍｉｒ０座標（ｘｍｉｒ０，ｙｍｉｒ０）895
第１番目を      投影面区分ｍｉｒ１座標（ｘｍｉｒ１，ｙｍｉｒ１）896
第２番目を      投影面区分ｍｉｒ２座標（ｘｍｉｒ２，ｙｍｉｒ２）897
第３番目を      投影面区分ｍｉｒ３座標（ｘｍｉｒ３，ｙｍｉｒ４）898
以下同様
と名づけて定義する。添え字ｒは右側を示す。各投影面区分は上記に示された端点座標に引き続く道路グラフの方向883の辺で表現される。
【００９１】
次に、路上画像取得システム110で撮影された画像は原画像として、始点の緯度経度が指定されると下記検索手順で検索されるようインデクス体系を構築する。
緯度経度−＞道路ID No.−＞端点座標―＞投影面区分座標
投影面区分座標と視線方向―＞原画像
図６６において、原画像撮影位置Ｒ903にディジタルカメラ集合体755が存在してその中のディジタルカメラ750のひとつがカメラ光軸を表す正規化ベクトルである画像ベクトルＲ904の画像を撮影し、画像ベクトル904と画像右端Ｒ906が投影面区分ｍｉｒ２座標（ｘｍｉｒ２，ｙｍｉｒ２）897と交差し、画像左端Ｒ905が投影面区分ｍｉｒ２座標（ｘｍｉｒ２，ｙｍｉｒ２）897と交差する。該画像ベクトルと道路グラフの方向883のなす角により、図６５における投影面の使用法が異なるため、下記原則で原画像を投影面区分にリンクさせて登録する。
（１）０°
2009217524.tif 000917
道路グラフの方向883に対する画像ベクトルとのなす角
2009217524.tif 000918
左２０°
道路グラフの方向883の左側で視点の投影面区分への垂線の足が存在する投影面区分
道路グラフの方向883の右側で視点の投影面区分への垂線の足が存在する投影面区分
（２）左２０°
2009217524.tif 000919
道路グラフの方向883に対する画像ベクトルとのなす角
2009217524.tif 000920
左１６０°
道路グラフの方向883の左側で画像ベクトルが交差する投影面区分
（３）左１６０°
2009217524.tif 000921
道路グラフの方向883に対する画像ベクトルとのなす角
2009217524.tif 000922
左１８０°
道路グラフの方向883の左側で視点の投影面区分への垂線の足が存在する投影面区分
道路グラフの方向883の右側で視点の投影面区分への垂線の足が存在する投影面区分
（４）０°
2009217524.tif 000923
道路グラフの方向883に対する画像ベクトルとのなす角
2009217524.tif 000924
右２０°  
道路グラフの方向883の右側で視点の投影面区分への垂線の足が存在する投影面区分
道路グラフの方向883の左側で視点の投影面区分への垂線の足が存在する投影面区分
（５）右２０°
2009217524.tif 000925
道路グラフの方向883に対する画像ベクトルとのなす角
2009217524.tif 000926
右１６０°
道路グラフの方向883の左側で画像ベクトルが交差する投影面区分
（６）右１６０°
2009217524.tif 000927
道路グラフの方向883に対する画像ベクトルとのなす角
2009217524.tif 000928
右１８０°
道路グラフの方向883の左側で視点の投影面区分への垂線の足が存在する投影面区分
道路グラフの方向883の右側で視点の投影面区分への垂線の足が存在する投影面区分
すなわち（１）（３）（４）（６）は道路グラフの方向883の前後方向に対する画像であるため左右両側の投影面区分に登録する。
【００９２】
上記原則に従い、図６６の原画像撮影位置Ｒ903からの画像ベクトルＲ904は上記（５）の場合に該当し、原画像が投影面区分mir2座標(xmｉr2,ymｉr2)897にリンクして登録される。図６６の原画像撮影位置Ｌ899からの画像ベクトルＬ900は上記（２）の場合に該当し、原画像が投影面区分mil2座標(xmｉl2,ymｉl2)893にリンクして登録される。また、図６７の原画像撮影位置Ｆ907からの画像ベクトルＦ908は上記（４）の場合に該当し、原画像が投影面区分mir１座標(xmｉr1,ymｉr1)896と投影面区分mil１座標(xmｉl1,ymｉl1)892にリンクして登録される。図６７の原画像撮影位置Ｂ911からの画像ベクトルＢ912は上記（３）の場合に該当し、原画像が投影面区分mil2座標(xmｉl2,ymｉl2)893と投影面区分mir2座標(xmｉr2,ymｉr2)907にリンクして登録される。
【００９３】
次に図６８を用いて原画像を投影面区分に登録する場合、画像ベクトルと道路グラフの方向883のなす角により区分する方式を説明する。投影面区分917にリンクして登録される原画像はどのような視線ベクトルで該投影面区分917を見込むかによってさらに区分する。すなわち該投影面区分917を視野に入れる画像について該原画像位置と該投影面区分中心点918を結んだ線が931から937のどのセクタに入るかを区分する。原画像撮影位置a 916aは角度140-160°セクタ 937に、原画像撮影位置c 916cは角度80-120°セクタ 934に区分される。画像ベクトルが道路グラフの方向883とのなす角が前方左右２０°の範囲920に存在する画像ベクトルd  919dは原画像撮影位置d 916dからの垂線の足が投影面区分   917に存在するので角度20-40°セクタ 930に原画像を区分する。画像ベクトルが道路グラフの方向883とのなす角が後方左右２０°の範囲921に存在する画像ベクトルe  919eは原画像撮影位置d 916dからの垂線の足が投影面区分 917に存在するので角度160-180°セクタ 938に原画像を区分する。
【００９４】
以上に道路に対する投影面と画像のインデクス方式について説明したが、図６４に具体的な路上画像インデクス機構の構造を説明する。図４６で説明した道路グラフデータテーブルＲＤＧＤＴ 790を拡張して属性コラムの次に投影面原画像インデクステーブルアドレス873を追加して道路グラフデータテーブル  ＲＤＧＤＴm  790mを構成する端点と辺ごとに路上原画像投影用の投影面区分にさらに細分化して記述できるようにする。すなわち道路ID No.ｍの相対レコードアドレスがiの端点に対して投影面原画像インデクステーブルＰＪＩＮＸＴ 871のアドレスＰＪＩＮＸＴＡＤＲmiがリンクされ、該端点m,iに属する投影面区分が開始点より順次、相対コードアドレス874に対応して道路グラフの方向883の左側（左壁）と右側（右壁）に分けて記述される。セル数とは該端点m,iに属する投影面区分の数である。投影面区分の表現は各投影面区分に対してその開始座標で示される。投影面原画像インデクステーブルＰＪＩＮＸＴ 871には左右両壁の各投影面区分に対して投影面原画像アドレステーブルアドレス875 ＰＪＡＤＲＴＡＤＲがあり、図６８に対応した投影面原画像アドレステーブルＰＪＡＤＲＴ 872にリンクする。投影面区分に対応した路上原画像が投影面区分を見込む視線角に応じて区分化されて、各区分に含まれる原画像数が路上画像データ数869として、原画像が路上画像データアドレス870として記載される。このようにして、下記の高速検索機構が完成する。
緯度経度−＞道路ID No.−＞端点座標―＞投影面区分座標
投影面区分座標と視線方向―＞原画像
【００９５】
次に図６２に従い路上画像データベース153の構造を説明する。路上画像データベース153は路上画像一次ファイル112に取得された情報に基づき、路上画像インデクス機構152と道路グラフデータベース151と整合性を持って構成されなくてはならない。図６２の路上画像データベース153は図６１の路上画像データベース生成登録システムの処理フローに従って生成登録される。処理ブロック843では、路上画像取得システム110で1日の走行中に蓄積した路上画像一次ファイル112を撮影が終了した後、すべての画像について順次処理する。処理ブロック844では図６２の路上画像データベースの画像ヘッダ部850のヘッダーを作成するが図５９の路上画像一次ファイル112の画像ヘッダ部470のヘダーをそのまま転記する。処理ブロック845についても通常は路上画像一次ファイル112の画像ヘッダ部470のカメラパラメタをそのまま転記すればよい。処理ブロック846では、画像ヘッダ部850の撮影パラメタを各画像ごとに計算するがその処理について以下に詳述する。
【００９６】
カメラ位置は緯度、経度、高度で規定されるが、通常車載ＧＰＳ380による位置測定がＤＧＰＳである場合には、地表であることもあってそのまま正確な位置が得られるとしてよい。ＧＰＳ380による位置測定がＧＰＳである場合には誤差をふくむので、走行後に走行時刻と同時刻に測定した付近のＤＧＰＳ局から座標補正データを入手して撮影日時刻にあわせて補正を行う。路上画像取得システム110の場合、路上を２次元的に移動するのみであることと、画角に比べて撮影点と撮影対象物の距離が近いことから撮影パラメタの計算は空中画像の場合と異なり平面幾何で近似して計算してもよい。第２レコードのカメラ位置（道路ID No.端点相対レコードアドレス,端点座標(x,y),端点距離,中心線左右距離）は道路ＩＤ No，が判明していなければ図４６の地表セル道路インデックステーブル ＣＬＬＲＤＩＮＸＴ 785より検索して道路ＩＤ No，相対レコードアドレスより道路グラフアドレステーブルＲＤＧＲＡＤＲＴ 788、さらに道路グラフデータテーブルＲＤＧＤＴ 790を検索して、道路ID No.端点相対レコードアドレス,端点座標(x,y)までは直ちに判明する。
【００９７】
道路グラフの方向
2009217524.tif 000929
883は(xm,i+1−xm,i,ym,i+1−ym,ｉ)を正規化して求められ、車両進行方向
2009217524.tif 000930
853は路上画像一次ファイルの車両データ部分840より得られる正規化ベクトルである。任意のディジタルカメラαの車両進行方向に対する設定方位を
2009217524.tif 000931
に対する回転行列で表し、ディジタルカメラ設定方位
2009217524.tif 000932
859 とするとこの数値はディジタルカメラ集合体755の構造が決まれば決まる。
端点距離Ds 852は    Ds=
2009217524.tif 000933
で求められる。    ただし  
2009217524.tif 000934
=
2009217524.tif 000935
中心線左右距離Dv 853は  Dv=
2009217524.tif 000936
で求められ、道路グラフの左右いずれかにあるかは
2009217524.tif 000937
の正負で判定する。
原画像撮影位置
2009217524.tif 000938
916からの画像ベクトル
2009217524.tif 000939
904が投影面上で交わる点は、任意のスカラーａ、ｂに対して、  
2009217524.tif 000940
2009217524.tif 000941
ただし、
2009217524.tif 000942
，  
2009217524.tif 000943
，
2009217524.tif 000944
，
2009217524.tif 000945
これを解くと、    
【数１３】
2009217524.tif 000946
投影面区分の長さは通常同一とするが、投影面区分の座標が規定されているので、任意の投影面区分miri座標(xmｉri,ymｉri)までの投影面区分mir0座標(xmｉr0,ymｉr0)895からの総投影面長は判明する。上記nより投影面区分相対アドレスと画像ベクトル投影面区分内位置dc 856は単純な引き算でもとまる。同様に画像左端投影面区分内位置dl 857および画像右端投影面区分内位置dr 858も求めることができる。
【００９８】
次に処理ブロック847で処理ブロック844から846で求めた結果を図６２に示す路上画像データベース153の該当画像データ部分851に格納する。図６１の路上画像データベース生成登録システムの処理フローの最後の処理ブロック848で、処理ブロック847で登録した路上画像データを用いた動画生成のための図６４に示す路上画像インデクス機構を生成する。処理ブロック848の内容は図６３の路上画像データベース生成登録システム130の路上画像インデクス生成処理フローに述べられている。処理の内容は図６４から図６８の説明で詳細に述べた路上画像インデクス機構に基づくものであるが、処理ブロック861で道路グラフデータテーブル内の端点No.より道路グラフの方向を求め、画像ベクトル（撮影光軸）とのなす角度により分岐する。
画像ベクトル方向が道路グラフの方向に対して左側０°から２０°および右側０°から２０°のとき処理ブロック862で前方投影面処理として、直近の左投影面の投影面原画像アドレステーブルの角度160-180°区部分と直近の右投影面の投影面原画像アドレステーブルの角度0-２0°区部分に原画像データアドレスを登録する。
画像ベクトル方向が道路グラフの方向に対して左側１６０°から１８０°および右側１６０°から１８０°のとき処理ブロック863で後方投影面処理として直近の左投影面の投影面原画像アドレステーブルの角度0-２0°区部分と直近の右投影面の投影面原画像アドレステーブルの角度160-180°区部分に原画像データアドレスを登録する。
画像ベクトル方向が道路グラフの方向に対して左側２０°から１６０°のとき処理ブロック864で左投影面処理として撮影画像が視野に入れている左側投影面を選出し、処理ブロック865で選出された投影面につき、カメラ位置と投影面中点のなす角に対応じて投影面原画像アドレステーブル内の該当角度部分に原画像データアドレスを登録する。
画像ベクトル方向が道路グラフの方向に対して右側２０°から１６０°のとき処理ブロック866で右投影面処理として撮影画像が視野に入れている左側投影面を選出し、処理ブロック867で選出された投影面につき、カメラ位置と投影面中点のなす角に対応じてを投影面原画像アドレステーブル内の該当角度部分に原画像データアドレスを登録する。
【００９９】
次に、都市景観３次元動画アミューズメントシステムにおける路上動画生成処理システムにつき説明する。路上動画の生成は図６５のモデルに従い、視点と視線に最も近い原画像を選択して、画像投影面に対する視差を計算してモーフィング処理を行うが、原理的には空中３次元動画生成システムにおける１６０におけるアルゴリズムと同様であるが、人間目線であるので視線は水平面上を動き、垂直軸も傾かないとしてよい。このためモーフィングは２次元的に処理する。全体の処理を図７４に示す。
【０１００】
処理ブロック940では、グラフィックユーザインターフェイスシステム180より次の動画フレーム（次コマ）として計算すべき移動方向、移動速度、位置、視線方向ベクトルを取り込む。処理ブロック941では、この値に基づき次コマの視点位置、視線ベクトル、地表上の目標点座標を計算する。処理ブロック942では、次コマの視野が現コマの原画像に含まれる範囲か路上画像データベースの原画像の撮影パラメタと比較して判断する。含まれていない場合は、最適な原画像を求めなおす必要があり、処理ブロック944へ行く。含まれている場合は、処理ブロック943で現コマの原画像を引き続き使用する設定をおこなう。図７０の例で見ると、視点Ｒ903は原画像撮影位置a  916aで撮影した右前方視の画像が右側の投影面の原画像になりうることを示している。
【０１０１】
処理ブロック944の処理内容はより詳しく図７５の路上３次元動画生成システムの処理おける原画像検索の処理フローと図６５に示される。以下図６５を参照しながら図７５により説明する。処理ブロック950では道路グラフと視線のなす角882により図６５の区分に従い前後の仮想投影面に画像を生成するか、道路に沿った左右の投影面に画像を生成するか判定する。左右投影面視が選択された場合は、処理ブロック953で前回位置と今回位置より、道路ID
No. 端点アドレス、座標が求まるので、さらに視点位置、視線ベクトル方向と道路グラフベクトルの関係から、図６５の基準に従い、左投影面か右投影面かを決定する。さらに、処理ブロック954では、前回の位置と今回の位置の変化量、前回視線ベクトルと今回視線ベクトルの変化量より、今回の視線ベクトルと視野左端ベクトル、視野右端ベクトルが交叉する投影面区分を予測する。通常は現コマの投影区分を継続使用するか隣接する投影区分である。処理ブロック955では今回視線ベクトルが交叉する投影面区分を予測値の周辺で探索して求める。処理ブロック956では図６８の区分に従い、図６４の検索機構で投影面原画像アドレステーブルＰＪＡＤＲＴにより今回視線ベクトルと交叉する投影面区分のなす角にもっとも近い角度区分の原画像アドレスを検索して求める。処理ブロック950で図６５の判定により前後の仮想投影面に画像を生成すると判定された場合は、処理ブロック951にて、前回位置と今回位置より、道路ID No. 端点アドレス、座標が求まるので、さらに視点位置、視線ベクトル方向と道路グラフベクトルの関係から、左投影面か右投影面かを決定する。前後視の場合は投影面としては左右の投影面を使用しないが、原画像撮影位置により左右投影面にリンクして登録されているのでこの判定を行う。処理ブロック９５２では図６５の区分意従い、視線ベクトル方向と道路グラフベクトルの関係から、前方視か後方視かを判定し、直近の投影面区分を求めて、投影面原画像アドレステーブルの角度０ー２０°(前方視)または角度１６０ー１８０°(前方視)の区分にある画像を原画像として検索する。図７４の処理ブロック945にもどり、検索した新しい原画像を原画像とする。
【０１０２】
処理ブロック946では図６５の基準により分岐し、処理ブロック948の左右投影面モーフィング処理または、処理ブロック947の前後視界モーフィング処理を行う。処理ブロック948の左右投影面モーフィング処理の内容について図７０と図７１を参照しつつ以下の文章と式で説明する。
原画像ｍに対して原画像撮影位置
2009217524.tif 000947
672と画像ベクトル
2009217524.tif 000948
673（ノルム=1）と投影面が決まると、画像ベクトル
2009217524.tif 000949
673と投影面の交点
2009217524.tif 000950
と画像の左端、右端と投影面の交点
2009217524.tif 000951
と
2009217524.tif 000952
が決まる。投影面を表すベクトル
2009217524.tif 000953
は道路グラフの方向
2009217524.tif 000954
883と同一な正規化ベクトルである。
2009217524.tif 000955
の垂線を
2009217524.tif 000956
（正規化）とする。
2009217524.tif 000957
は画像ベクトル
2009217524.tif 000958
673が
2009217524.tif 000959
が投影面と交わる点であるが、
2009217524.tif 000960
を通り、画像ベクトル
2009217524.tif 000961
に垂直な平面を
2009217524.tif 000962
という。
2009217524.tif 000963
は原画像撮影位置視点
2009217524.tif 000964
671より撮影した画像(視野)である。
2009217524.tif 000965
-->
2009217524.tif 000966
への変換が存在して、これを
2009217524.tif 000967
という。これは原画像ｍの撮影行為である。視点
2009217524.tif 000968
に対して、視点座標
2009217524.tif 000969
と視線ベクトル
2009217524.tif 000970
（ノルム=1）と投影面
2009217524.tif 000971
（共通）が決まると同様に
2009217524.tif 000972
と
2009217524.tif 000973
、
2009217524.tif 000974
が決まる。
2009217524.tif 000975
を通り視線ベクトル
2009217524.tif 000976
に垂直な平面を
2009217524.tif 000977
という。平面
2009217524.tif 000978
とは投影面
2009217524.tif 000979
の中で、視点
2009217524.tif 000980
による視野で
2009217524.tif 000981
の一部を構成する。
視点
2009217524.tif 000982
の視野
2009217524.tif 000983
と
2009217524.tif 000984
は
2009217524.tif 000985
と
2009217524.tif 000986
と視野角
2009217524.tif 000987
が決まれば一意に決まる。平面
2009217524.tif 000988
の平面
2009217524.tif 000989
への写像は
2009217524.tif 000990
と
2009217524.tif 000991
と原画像ｍの画角
2009217524.tif 000992
が決まれば一意に決まる。
2009217524.tif 000993
―＞
2009217524.tif 000994
―＞
2009217524.tif 000995
の対応により
2009217524.tif 000996
の
2009217524.tif 000997
に対応する各画素が、
2009217524.tif 000998
の
2009217524.tif 000999
に対応する画素に対応付けられればモーフィングアルゴリズムは完成する。
一般に平面
2009217524.tif 001000
上の任意の点
2009217524.tif 001001
は、
2009217524.tif 001002
=a
2009217524.tif 001003
+
2009217524.tif 001004
であらわされる。
ここで垂線条件である、
2009217524.tif 001005
2009217524.tif 001006
=0  を代入すると、
2009217524.tif 001007
2009217524.tif 001008
=
2009217524.tif 001009
2009217524.tif 001010
が得られる。ここで・はベクトル内積をあらわす。
視界の中心線
2009217524.tif 001011
と投影面
2009217524.tif 001012
の交点
2009217524.tif 001013
は、
2009217524.tif 001014
が
2009217524.tif 001015
=
2009217524.tif 001016
+c
2009217524.tif 001017
を満足することからこれに代入して、
2009217524.tif 001018
（c
2009217524.tif 001019
+
2009217524.tif 001020
）=
2009217524.tif 001021
2009217524.tif 001022
よりｃ=
2009217524.tif 001023
となり、
【数１４】
2009217524.tif 001024
= 
2009217524.tif 001025
+ 
2009217524.tif 001026
2009217524.tif 001027
＝
2009217524.tif 001028
で、視点
2009217524.tif 001029
の画像中心点の投影面
2009217524.tif 001030
での座標が求められた。
【０１０３】
同様に、視点
2009217524.tif 001031
の視界の左端、右端の正規化視線ベクトルを
2009217524.tif 001032
、
2009217524.tif 001033
とし、これらと投影面
2009217524.tif 001034
の交点
2009217524.tif 001035
、
2009217524.tif 001036
の投影面
2009217524.tif 001037
での座標を求めることができる。投影面
2009217524.tif 001038
上の任意の点
2009217524.tif 001039
は、
2009217524.tif 001040
=a
2009217524.tif 001041
+
2009217524.tif 001042
であらわされ、垂線条件である、
2009217524.tif 001043
2009217524.tif 001044
=0    より、左右端の正規化視線ベクトルを
2009217524.tif 001045
、
2009217524.tif 001046
に対して、
2009217524.tif 001047
=
2009217524.tif 001048
+c
2009217524.tif 001049
ただしk=Ｌ,を満足する
2009217524.tif 001050
（c
2009217524.tif 001051
+
2009217524.tif 001052
）=
2009217524.tif 001053
2009217524.tif 001054
よりｃ=
2009217524.tif 001055
となり、
【数１５】
2009217524.tif 001056
= 
2009217524.tif 001057
+ 
2009217524.tif 001058
2009217524.tif 001059
＝
2009217524.tif 001060
で、視点
2009217524.tif 001061
の画像の左右端の投影面
2009217524.tif 001062
での座標が求められた。この平面
2009217524.tif 001063
上での座標を平面
2009217524.tif 001064
上での座標に対応付けることにより原画像である平面
2009217524.tif 001065
上のどの点を視点
2009217524.tif 001066
の画面に映せばよいか分かる。
2009217524.tif 001067
上での視点
2009217524.tif 001068
の画面の中心と左右端点の座標
2009217524.tif 001069
、
2009217524.tif 001070
、
2009217524.tif 001071
（まとめて
2009217524.tif 001072
、k=Ｌ,Ｒ,Ｃとする）が
2009217524.tif 001073
上で
2009217524.tif 001074
、
2009217524.tif 001075
、
2009217524.tif 001076
（まとめて
2009217524.tif 001077
、k=Ｌ,Ｒ,Ｃとする）に対応する。
2009217524.tif 001078
面上での画面の水平ラインを
2009217524.tif 001079
とすると
2009217524.tif 001080
面上の任意の点
2009217524.tif 001081
は任意定数aに対して
2009217524.tif 001082
=
2009217524.tif 001083
=ａ
2009217524.tif 001084
+ 
2009217524.tif 001085
で表される。画像ベクトル
2009217524.tif 001086
は
2009217524.tif 001087
に垂直だから  
2009217524.tif 001088
2009217524.tif 001089
=0なり、また、
2009217524.tif 001090
と
2009217524.tif 001091
は画像撮影位置
2009217524.tif 001092
より見て同一線上にあるから  
2009217524.tif 001093
=d(
2009217524.tif 001094
-
2009217524.tif 001095
)+
2009217524.tif 001096
であるので、d(
2009217524.tif 001097
-
2009217524.tif 001098
)+
2009217524.tif 001099
=ａ
2009217524.tif 001100
+ｂ
2009217524.tif 001101
+
2009217524.tif 001102
となり、
2009217524.tif 001103
との内積をとって
ｄ=
2009217524.tif 001104
となるから
【数１６】
2009217524.tif 001105
=
2009217524.tif 001106
となる。
2009217524.tif 001107
= 
2009217524.tif 001108
+ 
2009217524.tif 001109
2009217524.tif 001110
で既に
2009217524.tif 001111
は求まっているから、これで、視点
2009217524.tif 001112
の視界の原画面ｍの画面との対応が完成した。
【０１０４】
次に、
2009217524.tif 001113
をｙ軸に移す変換を求める。ここで、
2009217524.tif 001114
=1
2009217524.tif 001115
=
2009217524.tif 001116
として、ｚ軸周りに回転させると
2009217524.tif 001117
はｘ軸に載る。
ｚ軸周りの回転は、
【数１７】
2009217524.tif 001118
で与えられる。
平面
2009217524.tif 001119
の交点
2009217524.tif 001120
(k=L,R,C)に対して
2009217524.tif 001121
をｚ軸に移す変換を施せば、
2009217524.tif 001122
(k=L,R,C) はx軸の点に変換される。これは、原画像ｍの画面上の位置に対応する。すなわちモーフィングである。以上は２次元モーフィングであるので、図７３に水平線上の対応が画素単位で求められた。視点における視野731の原画像730における対応が水平線上で示される。垂直方向は上下対称で拡大縮小比率は水平線上と同比率である。なお、視線の動きを水平面内に限定しないのであれば、空中３次元動画生成における３次元モーフィング処理を私用してもよい。なお、図７４の処理ブロック947の前後視界モーフィング処理は、視点F 907の視界を撮影点a 916a での原画像から２次元モーフィングで処理ブロック948で述べたのと同様のアルゴリズムで生成する。
以上で本発明になる都市景観の３次元動画生成アミューズメントシステムの路上３次元動画生成に関する説明を終了する。
【０１０５】
図７３に車載用のディジタルカメラ集合体973のもうひとつの構成例を示す。本発明の都市景観の３次元動画生成では、都市の道路構造のため撮像目標とディジタルカメラ集合体の距離が短くなり、隣接する原画像間で視差が大きくなる傾向がある。その結果、生成した動画の滑らかさが劣化することがある。この問題を解決するために進行方向976に対する側方のディジタルカメラの角度ピッチを半分にし、なおかつ全体に広角レンズを採用することにより、より３次元動画生成に適した原画像を収集することができる。
【０１０６】
次に、都市景観の３次元動画生成アミューズメントシステムのグラフィックユーザインターフェイスシステム180に関する説明を図７７を用いて行う。図７７は該グラフィックユーザインターフェイスシステム180の全体構造を示している。図７７と図７８の処理フローと図７９、８０、８１のモニタ表示と入力機能によりグラフィックユーザインターフェイスシステム180が構成される。本発明になる都市景観の３次元動画生成アミューズメントシステムでは空中模擬飛行と路上歩行を自由に切り替えられることが特徴であり、処理ブロック974で空中から地上または地上から空中に切り替えられたか判定する。空中から地上への着地が選択された場合には処理ブロック975で着地点と着地後の進行方向を読み取る。図７９の空中３次元動画用グラフィックユーザインターフェイスで着地ボタン996を短く押した場合には進行方向の斜め下４５度など指定した斜め角の地上に着地し、長く押した場合には押した時間に応じて直下地点に近づくという方法もある。S地上での視線方向は飛行中の向きを維持するのが常識的である。前回から路上模擬で変化がない場合とあわせて処理ブロック974に行き、地上用グラフィックユーザインターフェイスである図８０で進行方向、速度指示を画面より読み込み、位置と速度ベクトルを更新して路上３次元動画生成システム170へ伝える。処理ブロック974で路上３次元動画生成から空中３次元動画生成に切り替わったと判定された場合は処理ブロック977にいく。地上から空中に切り替わるのは図８０でジャンピングボタン984を押された場合であり、押される時間の長さにより、時間が短い場合は進行方向斜め後方一定角度、たとえば４５°の一定高度、たとえば１００ｍ上空とし、押される時間が長いほど前方上空にするなどの方法がある。
【０１０７】
次に、前回から空中３次元動画生成であった場合とあわせて処理ブロック978の空中グラフィックユーザインタフェースシステムに行く。この内容は図７８にさらに記されている。処理ブロック979では図７９の空中グラフィックユーザインタフェースより、進行方向、スロット、昇降指示を画面より読み込み、位置と速度ベクトルを更新する。空中３次元動画生成ではコックピット表示を３次元映像表示  990に行うだけでなく、機能ボタン1001による選択によりカメラ表示に切り替えることができる。これは空中３次元動画生成システム160が始点位置のトラジェクトリと視線ベクトルのトラジェクトリを自由に取れることに対応している。処理ブロック980でコックピット表示が選択された場合には処理ブロック983に進み、視線ベクトルを進行方向に設定、視野角は規定値に設定し、空中３次元動画生成システム160に情報を伝達する。処理ブロック980でカメラが選択されたと判定された場合は、処理ブロック981で図７９の空中グラフィックユーザインタフェースよりカメラ方向、チルト角、ズーム設定値を取り込み、処理ブロック982で視点、視線、およびズームによる視野角を計算して空中３次元動画生成システム160に情報を伝達する。
【０１０８】
以下、図７９、８０、８１について今までに説明していない部分を説明する。図７９の方位インジケータ991は飛行方向を示し、高度インジケータは飛行高度を示す。地図表示988は現在の飛行位置を地図で表示する。この機能はGISとして公然実施されている。図７９は路上３次元動画生成の映像表示であり人間目線で市街を表示する。機能ボタン1001は後日に備えて機能追加を可能とするほか、地図表示983を中央の道路の上に配置してガイド機能がよくなるように工夫している。コメント表示ウィンドウ1000は地域に依存した広告などの表示が可能である。図８１は路上3次元動画生成の進行方向と視線指定の別の方法であり、画面を領域に分割しておき、マウスなどによるカーソルの画面上の位置で操作入力の意味を変えるもので、前後進998の場所を指定された場合は矢印の方向に前進ないし後退し、左折右折997の場所を指定された場合は矢印の方向に左折ないし右折進行し、左右視線変更999の場所を指定された場合は矢印の方向に視線を左向きないし右向きに変更する。
【産業上の利用可能性】
【０１０９】
本発明の３次元動画アミューズメントシステムは、都市空間の景観模擬、動画による案内、状況把握および監視、広告、商業活動のインフラとして広範囲な分野で産業上利用することができる。
【図面の簡単な説明】
【０１１０】
【図１】本発明の都市景観３次元動画アミューズメントシステム全体構成を概略的に示す図である。
【図２】図１に示す都市景観３次元動画アミューズメントシステムにおける空中画像取得の概念を示す図である。
【図３】３次元動画におけるモーフィングの概念図である。
【図４】本発明の都市景観３次元動画アミューズメントシステムにおける実画像を用いたモーフィングによる動画像生成の概念について説明する図である。
【図５】本発明の航空機による空中画像取得システムの運用例について説明する図である。
【図６】本発明の空中画像取得システムの処理フローについて説明する図である。
【図７】本発明の航空機搭載ディジタルカメラ集合体の例について説明する図である。
【図８】本発明の航空機による空中画像取得システムの航路および撮影ポイントの設定例を示す図である。
【図９】本発明の空中画像取得システムの構成例を示す図である。
【図１０】本発明の空中搭載画像取得システムのフライトナビゲーションシステム部の処理フローを示す図である。
【図１１】本発明の空中画像取得計画ファイルの構成例を示す図である。
【図１２】本発明の空中画像取得システムのフライトナビゲーションシステム部の表示画面の例を示す図である。
【図１３】本発明の空中画像取得システムのデータ取得記録システム部の情報フローを示す図である。
【図１４】本発明の空中画像取得システムの撮影制御システムの処理フローを示す図である。
【図１５】本発明の空中画像一次ファイルの構造を示す図である。
【図１６】本発明の空中画像データベース生成登録システムの処理フローを示す図である。
【図１７】本発明の空中画像データベース構成を示す図である。
【図１８】本発明のモヤ影響除去処理における画像と視野の関係を示す図である。
【図１９】本発明のモヤ影響除去処理における画像特性パラメータグラフ例を示す図である。
【図２０】本発明のモヤ影響除去処理の処理フローを示す図である。
【図２１】本発明のモヤ影響除去処理の処理結果例を示す図である。
【図２２】本発明の空中画像データベース生成登録システムの空中画像インデクス生成登録処理フローを示す図である。
【図２３】本発明の空中画像インデクス機構の構造と用語の定義を示す図である。
【図２４】本発明の空中画像インデクス機構の構造を示す図である。
【図２５】本発明の立体角セルのインデックス構造を示す図である。
【図２６】本発明の空中画像インデクスと関連テーブルの相互関連を示す図である。
【図２７】本発明のディジタルカメラ集合体の３種類の焦点距離の異なるディジタルカメラによる視野の構成例を示す図である。
【図２８】本発明の３種類の焦点距離の異なるディジタルカメラによるディジタルカメラ集合体の構成例を示す図である。
【図２９】本発明の３種類の焦点距離の異なるディジタルカメラによるディジタルカメラ集合体の撮影範囲図を示す図である。
【図３０】本発明の航空機搭載用安定プラットフォームの構造例を示す図である。
【図３１】本発明の安定プラットフォームの信号情報フローを示す図である。
【図３２】本発明の都市景観３次元動画アミューズメントシステムにおける実画像を用いたモーフィングによる動画像生成の変数を説明する図である。
【図３３】本発明の都市景観３次元動画アミューズメントシステムにおける空中動画生成処理フローを示す図である。
【図３４】本発明の都市景観３次元動画アミューズメントシステムにおける実画像を用いた３次元動画生成処理の原画像検索の処理フローを示す図である。
【図３５】本発明の３次元動画生成処理の原画像選択論理を示した図である。を示す図である。
【図３６】本発明の３次元動画生成処理での視点における視野と原画像の関係を示す図である。
【図３７】本発明の視線ベクトルとTerrainの交点の関係を示す図である。
【図３８】本発明の視点における視野と原画像の関係を示す図である。
【図３９】本発明の視点Ｐ（ｔi）からの視野を示す図である。
【図４０】本発明の路上画像取得システムの処理フローを示す図である。
【図４１】本発明の車載ディジタルカメラ集合体構成例を示す図である。
【図４２】本発明の路上画像取得システムの経路および撮影ポイントの設定例と撮影範囲を示す図である。
【図４３】本発明の路上画像取得システム鉛直方向撮影パターンと画像投影面の関係を示す図である。
【図４４】本発明のグラフによる道路の記述を説明する図である。
【図４５】本発明の緯度・経度による道路検索方式を説明する図である。
【図４６】本発明の道路グラフデータベースの構造を説明する図である。
【図４７】本発明の道路グラフデータテーブルRDGDTの構成例を示す１番目の図である。
【図４８】本発明の道路グラフデータテーブルRDGDTの構成例を示す２番目の図である。
【図４９】本発明の道路グラフデータテーブルRDGDTの構成例を示す３番目の図である。
【図５０】本発明の道路グラフデータテーブルRDGDTの構成例を示す４番目の図である。
【図５１】本発明の道路グラフデータテーブルRDGDTの構成例を示す５番目の図である。
【図５２】本発明の道路グラフデータテーブルRDGDTの構成例を示す６番目の図である。
【図５３】本発明の路上画像取得システムの構成例を示す図である。
【図５４】本発明の路上画像取得システムのカーナビゲーションシステム部の処理フローを示す図である。
【図５５】本発明の路上画像取得計画ファイルの構成例を示す図である。
【図５６】本発明の路上画像取得システムのカーナビゲーションシステムの表示画面例を示す図である。
【図５７】本発明の路上画像取得システムのデータ取得記録システム部の情報フローを示す図である。
【図５８】本発明の路上画像取得システムのデータ取得記録システム部の処理フローを示す図である。
【図５９】本発明の路上画像一次ファイルの構造を示す図である。
【図６０】本発明の車載用安定プラットフォームの構造例を示す図である。
【図６１】本発明の路上画像データベース生成登録システムの処理フローを示す図である。
【図６２】本発明の路上画像データベースの構成を示す図である。
【図６３】本発明の画像データベース生成登録システムの路上画像インデクス生成処理フローを示す図である。
【図６４】本発明の路上画像インデクス機構の構造を示す図である。
【図６５】本発明の道路グラフの方向と視線ベクトルの方向による動画生成処理を説明する図である。
【図６６】本発明の路上画像データベース生成登録システムおよび路上３次元動画生成システムにおいて視線方向が投影面を向いている場合の処理を説明する図である。
【図６７】本発明の路上画像データベース生成登録システムおよび路上３次元動画生成システムにおいて視線方向が投影面にほぼ平行な場合の処理を説明する図である。
【図６８】本発明の路上画像データベース生成登録システムおよび路上３次元動画生成システムにおいて投影面と原画像撮影光軸の関係を示す図である。
【図６９】本発明の路上画像データベースの撮影パラメタの計算法を示す図である。
【図７０】本発明の路上３次元動画生成システムにおける原画像の選択について説明する図である。
【図７１】本発明の路上３次元動画生成システムにおける投影面に対するモーフィングの方式を示す図である。
【図７２】本発明の路上３次元動画生成システムにおける投影面にほぼ平行な視界に対するモーフィングの方式を示す図である。
【図７３】本発明の路上３次元動画生成システムの処理フローを示す図である。
【図７４】本発明の路上３次元動画生成システムの処理フローを示す図である。
【図７５】本発明の路上３次元動画生成システムの処理おける原画像検索の処理フローを示す図である。
【図７６】本発明の車載ディジタルカメラ集合体のもうひとつの構成例を示す図である。
【図７７】本発明のグラフィックユーザインターフェイスシステムの処理フローを示す図である。
【図７８】本発明のグラフィックユーザインターフェイスシステムの処理の空中グラフィックユーザインターフェイスシステムの処理フローを示す図である。
【図７９】本発明のグラフィックユーザインターフェイスシステムの処理の空中グラフィックユーザインターフェイスシステムの表示例を示す図である。
【図８０】本発明のグラフィックユーザインターフェイスシステムの処理の路上グラフィックユーザインターフェイスシステムの表示例を示す図である。
【図８１】本発明のグラフィックユーザインターフェイスシステムの処理の路上グラフィックユーザインターフェイスシステムの方向盛業カーソル機能を示す図である。
【符号の説明】
【０１１１】
100  空中画像取得システム
101  空中画像取得計画ファイル
102  空中画像一次ファイル
110  路上画像取得システム
111      
路上画像取得計画ファイル
112  路上画像一次ファイル 
120  空中画像データベース生成登録システム
121  ＤＥＭファイル
122  ＤＧＰＳファイル
130  路上画像データベース生成登録システム
140      
空中画像データベース
142  空中画像インデクス機構
143  空中画像データベース
150      
路上画像データベース
151      
道路グラフデータベース
152      
路上画像インデクス機構
153      
路上画像データベース
160  空中３次元動画生成システム
165  空中画像検索エンジン
170  路上３次元動画生成システム
175  路上画像検索エンジン
180  グラフィックユーザインターフェイスシステム
190  インターネット
191  ユーザ
200  都市
210  視線
220  充分小さい立体角の範囲 1  
221      
充分小さい立体角の範囲 ｉ
222  天球
230  建物および視線方向の関係図
240  視線方向１
241  視線方向１より見た画像
250  視線方向２
251      
視線方向２より見た画像
260  空中画像 ｉ
261  空中画像 ｉ+1  
270  視点経路  P(t)  
271  時刻 ｔ の視線  
272  時刻 ｔ+δｔ の視線  
273  時刻 ｔ+2δｔ の視線  
274  時刻 ｔ+3δｔ の視線  
275  時刻 ｔ+4δｔ の視線  
276  時刻 ｔ+5δｔ の視線  
280  目標トラジェクトリ  T(t)  
300      
飛行経路
301  航空機 
310  撮影ポイント 
320  ディジタルカメラ集合体光軸方向  
330  撮影ポイント設定プロセス 
331      
撮影プロセス 
332  空中画像一次ファイル生成プロセス  
350a〜i  ディジタルカメラ
360  ディジタルカメラ集合体 
370  撮影方向 
371  飛行方向撮影間隔 
372  飛行航路間撮影間隔 
373      
航空機位置
375a〜i  ディジタルカメラ350a〜iの撮影範囲
380  GPSアンテナ
385  フライトナビゲーションシステム部 
386  フライトナビゲーションシステム
387  アビオニクス情報
388  航空計装
390  データ取得記録システム部 
391      
メタデータファイル
393  空中撮影制御システム
394  安定プラットフォーム制御システム 
395  安定プラットフォーム装置  
396  ＩＭＵ 
397  航空機床穴 
398  航空機床 
400  ＩＭＵ
420〜425  処理ブロック
430  航路No.1撮影座標ファイル  
431  航路No.２撮影座標ファイル  
432      
航路No.ｍ撮影座標ファイル 
437  撮影ガイダンス表示
438  航路内残撮影ポイント数表示
439  航路No.表示
440  撮影許容範囲 
441  飛行方向 
442  方位表示 
443  姿勢表示 
444  左右傾斜表示 
445  昇降姿勢軸表示 
446  位置偏差表示 
447  水平偏差軸 
448      
高度偏差軸  
450  安定プラットフォームの姿勢データ  
451  航空機の姿勢データ  
452  GPSアンテナの位置データ  
453  ディジタルカメラ撮影パラメタ  
454  カメラパラメタ 
455  空中画像データ 
456      
撮像ポイントデータ  
457  撮影指令
460〜465  処理ブロック
470  画像ヘッダ部分 
471  画像データ部分
472  航空機データ部分 
480〜486  処理ブロック
490  画像ヘッダ部分
491  画像データ部分
495  撮影画像 
496  近景部分ａ 
497  近景部分ｂ 
498  遠景部分 
499  撮影地表部分 
500  正規化ヒストグラム 
501  近景部分ａヒストグラム 
502  遠景部分ヒストグラム 
503  ヒストグラム下限値 
504  ヒストグラム上限値  
505  値幅
506  中央値
507  輝度上限値 
508  輝度軸
509  画素数軸
510  数値軸 
511  ディジタルカメラよりの距離軸  
512  中央値フィッティング曲線  
513  値幅フィッティング曲線  
514  近景部分ａ値幅   
515  近景部分ａ中央値 
516  遠景部分中央値 
517  遠景部分値幅 
520〜524  処理ブロック
530  モヤ影響除去前画像
531      
モヤ影響除去後画像
540〜545  処理ブロック
549  地表画像範囲
550  撮影位置 
551  画像ベクトル（正規化）  
552  画像距離 
553  フレーム回転角 
554  Terrain上中心点座標  
555  Terrain上最近右座標  
556  Terrain上最遠右座標  
557  Terrain上最遠左座標  
558  Terrain上最近左座標  
559  地表セル 
560  Terrain
570  天頂ベクトル 
571  天頂離角 
572  天頂インデックスｉ  
573  立体角セル 
574  立体角セル中心ベクトル  
575  地表セル中心点 
580  天頂インデックス０  
581  天頂インデックス１  
582  天頂インデックス２  
583  天頂インデックス３  
584  立体角セルアドレス（０．０）  
585  立体角セルアドレス（１．０）  
586  立体角セルアドレス（１．１）  
587  立体角セルアドレス（１．２）  
588  立体角セルアドレス（２．０）  
589  立体角セルアドレス（２．１）  
590      
立体角セルアドレス（２．２）
597  天頂インデックスパラメタテーブル ＺＮＰＲＭＴ 
598  方位インデックスパラメタテーブル ＤＲＰＲＭＴ
599  方位数
600  地表セル位置インデックステーブル  ＴＣＩＮＸＴ  
601  経度インデックス ＬＯＮＩＮＸ 
602  緯度インデックス 
ＬＡＴＩＮＸ
603  天頂インデックステーブルアドレス  
604  天頂インデックステーブル  ＺＮＩＮＸＴ
605  方位インデックステーブルアドレス  
606  方位インデックステーブル ＤＲＩＮＸＴ 
607  画像アドレステーブルアドレス  
608  画像アドレステーブル  ＧＡＤＤＲＴ
610  焦点の長い望遠レンズのディジタルカメラ
611  焦点の短い望遠レンズのディジタルカメラ
612  標準レンズディジタルカメラ  
613  標準レンズディジタルカメラの撮影範囲  
614  焦点の短い望遠レンズのディジタルカメラの撮影範囲
615  焦点の長い望遠レンズのディジタルカメラの撮影範囲
620j〜y  ディジタルカメラ
621  ディジタルカメラ集合体
630j〜y  ディジタルカメラ550 j〜yの撮影範囲
635  固定部
636  上下動部
637  回転部
640  回転駆動機構 
641  上下駆動機構Ａ 
642  上下駆動機構Ｂ 
643  上下駆動機構Ｃ 
644  上下駆動機構Ｄ 
645  ベアリング機構 
646  安定プラットフォームの姿勢データ  
647  ロー、ピッチ方向の制御 
648  ヨー方向の制御 
649  上下運動 
650      
回転運動  
666  空中画像ｍ−１
667  空中画像ｍ
670  原画像撮影位置Sm-1
671  原画像撮影位置Sm
672  画像ベクトルGm-1
673  画像ベクトルGm
675  視点  Ｐ（ｔ1） 
676  視点  Ｐ（ｔ2）
677  視点  Ｐ（ｔ3）
678  視点  Ｐ（ｔ4）
679  視点  Ｐ（ｔi）
680  視線ベクトルトラジェクトリ V（ｔ）
681  視線ベクトル V （ｔ1）  
682  視線ベクトル V （ｔ2）
683  視線ベクトル V （ｔ3）
684  視線ベクトル V （ｔ4）
685      
視線ベクトル V （ｔi）
690〜697  処理ブロック
700〜705  処理ブロック
710  原画像撮影位置SA
711  原画像撮影位置SB
712  原画像撮影位置SC
713  遮蔽物
714  Terrain上可視範囲  
715  Terrain上最近右座標Ｚm1 
716  Terrain上最遠右座標Ｚm2
717  Terrain上最遠左座標Ｚm3
718  Terrain上最近左座標Ｚm4
719  Terrain上中心座標ＺmC
720  Terrain上左端中点Ｚm34 
721  Terrain上右端中点Ｚm12 
722  Terrain上上端中点Ｚm23 
723  Terrain上下端中点Ｚm41 
724  Terrain上視野縦ベクトルＺmV
725  Terrain上視野横ベクトルＺmH
726  Terrain上視野垂直ベクトルｎm
727  Terrain平面
730  原画像
731  視点における視野 
732  フレーム画角(横)
733  フレーム画角(縦)      
734  視野右下端点Vi1 
735  視野右上端点Vi2
736  視野左上端点Vi3
737  視野左下端点Vi4
741〜743  処理ブロック
750a〜w  ディジタルカメラ
755  ディジタルカメラ集合体 
760a〜p 
ディジタルカメラ750a〜pの撮影範囲
765  移動経路 
766  撮影ポイント 
767  撮影方向
768  道路境界線
769  道路または通路 
770  画像投影面   
771  建物
775  端点
776  辺
777k〜n 道路ＩＤ  Ｎｏ．k〜n
779  端点座標
780  中心線グラフ
781  緯経度セル
782  緯経度セル中心点
783a〜b  垂線の足Ａ〜Ｂ
785  地表セル道路インデックステーブル CLLRDINXT
786  経度インデックス
787  緯度インデックス
788  道路グラフアドレステーブル  RDGRADRT
789  道路ID No
790  道路グラフデータテーブル  RDGDT
791  属性
792k,i〜792k,i+6  端点k,i〜k,i+6
793l,j〜793l,j+6  端点l,j〜l,j+6
794m,n-3〜794m,n  端点m,n-3〜m,n  
795k〜m 道路グラフデータテーブル  RDGDT k〜m
796  相対レコードアドレス
800  データ取得記録システム部
801  カーナビゲーションシステム部
802  カーナビゲーションシステム端末
803  車両
804  メタデータファイル
805      
路上画像データファイル
806  路上撮像制御システム
807  車両天井板
810〜813  処理ブロック
820  道路ID No.1撮影座標ファイル  
821  道路ID No.２撮影座標ファイル  
822      
道路ID No.ｍ撮影座標ファイル 
825  指定撮影経路
826  撮影ポイントデータ
827  路上画像データ
828  車両の姿勢データ 
829  安定プラットフォームの姿勢データ  
830   GPSアンテナの位置データ   
831  ディジタルカメラ撮影パラメタ  
832  路上画像データ   
834〜839  処理ブロック
840      
車両データ部分
843〜848  処理ブロック
850  画像ヘッダ部分 
851      
画像データ部分  
852  端点距離
853  中心線左右距離
854  車両進行方向 
855  原画像撮影位置の投影面区分内位置
856  画像ベクトル投影面区分内位置
857  画像左端投影面区分内位置
858      
画像右端投影面区分内位置
859      
ディジタルカメラ設定方位
860〜867  処理ブロック
869  路上画像データ数
870  路上画像データアドレス
871  投影面原画像インデクステーブル  PJINXT   
872  投影面原画像アドレステーブル    PJADRT  
873  投影面原画像インデクステーブルアドレス
874  相対レコードアドレス
875  投影面原画像アドレステーブルアドレス
876  路上視線
877  路上視点
878  前方仮想投影面
879  後方仮想投影面
880  左投影面 
881  右投影面 
882  道路グラフと視線のなす角  
883  道路グラフの方向 
884  画像撮影光軸 
885  前方投影面処理範囲  
886  左投影面処理範囲 
887  後方投影面処理範囲  
888  右投影面処理範囲    
890  端点m, i 座標 (xm,ｉ,ym,ｉ)
891  投影面区分mil0座標(xmｉl0,ymｉl0)
892  投影面区分mil1座標(xmｉl1,ymｉl1)
893  投影面区分mil2座標(xmｉl2,ymｉl2)
894  投影面区分mil3座標(xmｉl3,ymｉl3)
895  投影面区分mir0座標(xmｉr0,ymｉr0)
896  投影面区分mir1座標(xmｉr1,ymｉr1)
897  投影面区分mir2座標(xmｉr2,ymｉr2)
898  投影面区分mir3座標(xmｉr3,ymｉr3)
899  原画像撮影位置Ｌ
900  画像ベクトルＬ
901  画像左端Ｌ
902  画像右端Ｌ
903  原画像撮影位置Ｒ
904  画像ベクトルＲ
905  画像左端Ｒ
906  画像右端Ｒ
907  原画像撮影位置Ｆ
908  画像ベクトルＦ
909  画像左端Ｆ
910  画像右端Ｆ
911  原画像撮影位置Ｂ
912  画像ベクトルＢ
913  画像左端Ｂ
914  画像右端Ｂ
915  道路グラフの逆方向
916a〜d  原画像撮影位置ａ〜d
917  投影面区分
918      
投影面区分中心点
919a〜e  画像ベクトルa〜e
920  前方左右２０°の範囲
921  後方左右２０°の範囲
930  角度0-20°セクタ
931  角度20-40°セクタ
932  角度40-60°セクタ
933  角度60-80°セクタ
934  角度80-100°セクタ
935  角度100-120°セクタ
936  角度120-140°セクタ
937  角度140-160°セクタ
938  角度160-180°セクタ
940〜948  処理ブロック
950〜956  処理ブロック
960  原画像ｍ
961  原画像ｍ＋１
962  画像ベクトルＧm
963  視点Ｐi
964  視線ベクトルＶic
965  視線左端ベクトル  ＶiL
966  視線右端ベクトルＶiR
967  Ｚｍの垂線
968  投影平面Ｚｍ
969  原画像撮影位置Ｓｍ
970  原画像上視界左端QiL
971  原画像上視界右端QiR
972  原画像上視界右端QiR
973  ディジタルカメラ集合体
974〜983  処理ブロック
984  ジャンピングボタン
985  着地ボタン
986  方向転換ボタン
987  高度インジケータ
988  地図表示
989  現在地名称表示
990  ３次元映像表示
991  方位インジケータ
992  操縦ボタン
993  スロットル
994  カメラ前後方向指定
995  カメラ左右方向指定
996  ズーム指定
997  左折右折
998  前後進
999  左右視線変更
1000  コメント表示ウインドウ
1001  機能ボタン
【手続補正２】
【補正対象書類名】図面
【補正対象項目名】図２６
【補正方法】変更
【補正の内容】
【図２６】
2009217524.tif 001123
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】図４７
【補正方法】変更
【補正の内容】
【図４７】
2009217524.tif 001124
【手続補正４】
【補正対象書類名】図面
【補正対象項目名】図６３
【補正方法】変更
【補正の内容】
【図６３】
2009217524.tif 001125
【手続補正５】
【補正対象書類名】図面
【補正対象項目名】図６４
【補正方法】変更
【補正の内容】
【図６４】
2009217524.tif 001126
【手続補正６】
【補正対象書類名】図面
【補正対象項目名】図７４
【補正方法】変更
【補正の内容】
【図７４】
2009217524.tif 001127
【手続補正７】
【補正対象書類名】図面
【補正対象項目名】図７７
【補正方法】変更
【補正の内容】
【図７７】
2009217524.tif 001128
【手続補正書】
【提出日】平成21年5月22日(2009.5.22)
【手続補正１】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2009217524.tif 001129
【図３】
2009217524.tif 001130
【図５】
2009217524.tif 001131
【図６】
2009217524.tif 001132
【図７】
2009217524.tif 001133
【図８】
2009217524.tif 001134
【図９】
2009217524.tif 001135
【図１０】
2009217524.tif 001136
【図１１】
2009217524.tif 001137
【図１２】
2009217524.tif 001138
【図１３】
2009217524.tif 001139
【図１４】
2009217524.tif 001140
【図１５】
2009217524.tif 001141
【図１６】
2009217524.tif 001142
【図１７】
2009217524.tif 001143
【図１８】
2009217524.tif 001144
【図１９】
2009217524.tif 001145
【図２０】
2009217524.tif 001146
【図２２】
2009217524.tif 001147
【図２３】
2009217524.tif 001148
【図２４】
2009217524.tif 001149
【図２５】
2009217524.tif 001150
【図２６】
2009217524.tif 001151
【図２７】
2009217524.tif 001152
【図２８】
2009217524.tif 001153
【図２９】
2009217524.tif 001154
【図３０】
2009217524.tif 001155
【図３１】
2009217524.tif 001156
【図３３】
2009217524.tif 001157
【図３４】
2009217524.tif 001158
【図３５】
2009217524.tif 001159
【図３６】
2009217524.tif 001160
【図３７】
2009217524.tif 001161
【図３８】
2009217524.tif 001162
【図３９】
2009217524.tif 001163
【図４０】
2009217524.tif 001164
【図４１】
2009217524.tif 001165
【図４２】
2009217524.tif 001166
【図４３】
2009217524.tif 001167
【図４４】
2009217524.tif 001168
【図４５】
2009217524.tif 001169
【図４６】
2009217524.tif 001170
【図４７】
2009217524.tif 001171
【図４８】
2009217524.tif 001172
【図４９】
2009217524.tif 001173
【図５０】
2009217524.tif 001174
【図５１】
2009217524.tif 001175
【図５２】
2009217524.tif 001176
【図５３】
2009217524.tif 001177
【図５４】
2009217524.tif 001178
【図５５】
2009217524.tif 001179
【図５６】
2009217524.tif 001180
【図５７】
2009217524.tif 001181
【図５８】
2009217524.tif 001182
【図５９】
2009217524.tif 001183
【図６０】
2009217524.tif 001184
【図６１】
2009217524.tif 001185
【図６２】
2009217524.tif 001186
【図６３】
2009217524.tif 001187
【図６４】
2009217524.tif 001188
【図６５】
2009217524.tif 001189
【図６６】
2009217524.tif 001190
【図６７】
2009217524.tif 001191
【図６８】
2009217524.tif 001192
【図６９】
2009217524.tif 001193
【図７０】
2009217524.tif 001194
【図７１】
2009217524.tif 001195
【図７２】
2009217524.tif 001196
【図７３】
2009217524.tif 001197
【図７４】
2009217524.tif 001198
【図７５】
2009217524.tif 001199
【図７６】
2009217524.tif 001200
【図７７】
2009217524.tif 001201
【図７８】
2009217524.tif 001202
【図７９】
2009217524.tif 001203
【図８０】
2009217524.tif 001204
【図８１】
2009217524.tif 001205
【図２】
2009217524.tif 001206
【図４】
2009217524.tif 001207
【図２１】
2009217524.tif 001208
【図３２】
2009217524.tif 001209
【手続補正書】
【提出日】平成21年7月23日(2009.7.23)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
都市の任意の場所に対して、空中の任意の視点経路および任意の視線方向から見た景観を、３次元的に空中を任意に飛び回り任意の視線で任意の場所から見た動画で表示する都市景観３次元動画生成及び閲覧システムにおいて、該都市の任意の場所に対しておおむね２°から５°前後の角度で十分小さい一定の立体角ごとに見込む画像を画像データベースとして事前に準備し、都市空間の３次元数値モデルの生成および建造物表面に対するテクスチャ貼り付け処理を行うことなしに、指定された視点経路と指定された視線方向の時間変化に応じて該画像データベースから視点および視線が近い画像を順次取り出し、該視点経路と該視線に対応して画像モーフィングを行いつつ滑らかにつなぎ合わせて３次元動画を表示するシステムであって、航空機の飛行航路間隔を等間隔に設定し、かつ地表からの高度を一定に設定し、網目状の撮影点を飛行実施前に構成し、該撮影点にて重力方向のみならず複数方向の斜め方向を撮影し蓄積することができるように複数のディジタルカメラで構成されたディジタルカメラ集合体を構成し、ＧＰＳより構成される飛行管制装置が該網目状の撮影点またはその近傍に該航空機が位置していることを検出し、該ディジタルカメラ集合体を構成する各ディジタルカメラに撮影指令信号を発すると同時に、航空機位置を記録装置に記録することを特徴とする空中画像取得システムと、空中画像データベース生成登録システムと、空中データベースと、空中３次元動画生成システム、およびグラフィックユーザインターフェイスシステムより構成されることを特徴とする都市景観３次元動画生成及び閲覧システム。
【請求項２】
請求項１に記載の都市景観３次元動画生成及び閲覧システムの空中画像取得システムにおいて、重力方向よりなす角が大きい方向に対しては焦点距離の長い望遠レンズを用い、重力方向よりなす角が小さい方向に対しては焦点距離の短い望遠レンズを用いることにより、俯角の小さい画像の分解能低下を防止することを特徴とする空中画像取得システム。
【請求項３】
請求項１に記載の都市景観３次元動画生成及び閲覧システムの空中画像取得システムにおいて、該複数方向の斜め方向ディジタルカメラを該レンズの光軸が重力方向となす角が同一で、かつ水平全周方向が放射状に等間隔に分割されるように配設されることを特徴とする空中画像取得システム。
【請求項４】
請求項１に記載の都市景観３次元動画生成及び閲覧システムの空中画像取得システムにおいて、レンズ光軸が重力方向のディジタルカメラを中心に斜め方向撮影用ディジタルカメラをその周囲に点対称に放射状に配設してディジタルカメラ集合体を構成し、とくに該航空撮影用航空機の床面の撮影用円筒状空隙に機外に突起物が出ないように配設することを特徴とする空中画像取得システム。
【請求項５】
請求項１に記載の都市景観３次元動画生成及び閲覧システムの空中画像取得システムにおいて、少なくとも２種類以上の焦点距離の望遠レンズの組を用意し、その各々に対して重力方向視用カメラを中心に斜め方向撮影用カメラをその周囲に点対称に放射状に配設してディジタルカメラ集合体を構成し、とくに航空撮影用航空機の床面の円筒状空隙に機外に突起物が出ないように配設することを特徴とする空中画像取得システム。
【請求項６】
請求項1に記載の都市景観３次元動画生成及び閲覧システムの空中画像取得システムにおいて、該ディジタルカメラ集合体を安定プラットフォーム機構より吊下し、または搭載し慣性航法装置の検出信号により航空機機体の姿勢擾乱による影響を排除することを特徴とする空中画像取得システム。
【請求項７】
請求項1に記載の都市景観３次元動画生成及び閲覧システムの空中画像取得システムにおいて、太陽直射による影を避け、滑らかな３次元動画を得るために、曇天に雲の下に飛行高度を設定し、雲の下から撮影することを特徴とする空中画像取得システムおよび方法。
【請求項８】
請求項１に記載の都市景観３次元動画生成及び閲覧システムの空中画像データベース生成登録システムにおいて、空気中の水蒸気の影響を除去するため、画像中で視線方向が重力方向よりなす角に対応して連続的に各色要素ごとまたは各色要素を統合したヒストグラムを計測し、重力方向よりなす角によらずにヒストグラム特性が同一となるように画像処理を該空中画像取得システムが取得した画像に対して行い、該空中画像データベースに登録することを特徴とする空中画像データベース生成登録システム。
【請求項９】
請求項１に記載の都市景観３次元動画生成及び閲覧システムの空中画像データベース生成登録システムにおいて、該都市景観３次元動画の各コマ画像の原画像を該空中画像データベースから高速に検索する目的で、画像データに付随するメタデータとして画像に四隅の地表上の緯度経度と標高などの位置座標、撮影光軸が地表と交わる点の緯度経度と標高などの位置座標、撮影位置と撮影光軸が地表と交わるまでの距離、画像のフレームが水平面に対し撮影光軸周りに回転している角度の全部または一部を計算することを該空中画像取得システムが取得した画像に対して行い、撮影位置と撮影光軸方向とあわせて該空中画像データベースに登録することを特徴とする空中画像データベース生成登録システム。
【請求項１０】
請求項１に記載の都市景観３次元動画生成及び閲覧システムの空中画像データベース生成登録システムにおいて、該都市景観３次元動画の各コマ画像の原画像を該空中画像データベースから高速に検索する目的で、該空中画像取得システムが取得した画像または、該空中画像データベースに登録されている画像に対して、地表を緯度経度あるいは他の水平座標により網目状セルに分割し、該画像が撮影している該網目状セルを検索選定して該網目ごとに該画像が検索できるようインデクスをつけ、さらに該網目を撮影している画像の撮影点の該網目の中心点からの方位角、仰角、距離で該網目状セルより該画像が検索できるようにインデクス化して該画像を該空中画像データベースに登録することを特徴とする空中画像データベース生成登録システム。
【請求項１１】
請求項１に記載の都市景観３次元動画生成及び閲覧システムの空中３次元動画生成システムにおいて、空中を移動する時間軸ｔの関数で定義される視点経路Ｐ（ｔ）と、該視点経路Ｐ（ｔ）からの視線方向を示す視線ベクトルトラジェクトリＶ（ｔ）、さらに該視線ベクトルトラジェクトリＶ（ｔ）が画像の対象となる地点と交わる点の軌跡を目標トラジェクトリＴ（ｔ）と定義することができて、ｔ＝ｔiにおける該視線ベクトルトラジェクトリＶ（ｔi）に、撮影光軸ベクトル、撮影位置、視野角からなる属性の最も近いものを持つ画像を該空中画像データベースより検索して原画像とし、該原画像の該属性をもとに該都市景観３次元動画の各コマ画像を該各コマ画像の視線ベクトル、視点、視角よりなる属性と該原画像の属性の相違からモーフィング変換により該各コマ画像を生成し時間軸上でつなぎ合わせて滑らかな動画像とすることを特徴とする空中３次元動画生成システム。
【請求項１２】
請求項１１に記載の都市景観３次元動画生成及び閲覧システムの空中３次元動画生成システムにおいて、ｔ＝ｔiにおける該視線ベクトルトラジェクトリＶ（ｔi）に、撮影光軸ベクトル、撮影位置、視野角からなる属性の最も近いものを持つ画像を該空中画像データベースより検索して原画像とする処理において、該原画像の撮影光軸ベクトルと該視線ベクトルトラジェクトリＶ（ｔi）のなす角が所定の角度より少なく、なおかつ、該原画像は該撮影光軸ベクトルを中心としてカメラの焦点距離により一定の視野角を持つが、この視野を構成する四角錐が地表と交わる多角形が、該視線ベクトルトラジェクトリＶ（ｔi）を中心として模擬する視野を構成する四角錐が地表と交わる多角形を包含するように選定することを特徴とする空中３次元動画生成システム。
【請求項１３】
請求項１１に記載の都市景観３次元動画生成及び閲覧システムの空中３次元動画生成システムにおいて、該空中画像データベースより該原画像を選定する際、時点ｔiにおける該視線ベクトルトラジェクトリＶ（ｔi）と対象となる地点の間に存在する障害物を避けるために選定の条件を満足する複数の該原画像の中から該撮影光軸ベクトルと地表が交わる点までのベクトル長が最も小さいものを原画像として選択することを特徴とする空中３次元動画生成システム。
【請求項１４】
請求項１に記載の都市景観３次元動画生成及び閲覧システムのグラフィックユーザインターフェイスシステムにおいて、モニタ上に表示されるかまたは専用の模擬装置を介して表示される飛行ルート指定用地図を参照し、該３次元動画生成システムで生成される模擬視界を見ながら模擬操縦棹を操作して飛行方位および飛行高度を昇降し、スロットレバーを操作して飛行速度を調節することにより飛行経路と速度を制御して模擬コックピットの前方視界をモニタ上または専用の模擬装置に表示することを特徴とするグラフィックユーザインターフェイスシステム。
【請求項１５】
請求項１４に記載の都市景観３次元動画生成及び閲覧システムのグラフィックユーザインターフェイスシステムにおいて、該模擬コックピットの該模擬視界表示を航空機搭載模擬カメラ表示に切り替える機構を有し、該模擬カメラは方位およびズーミングおよびティルト角の制御を行えることを特徴とする空中グラフィックユーザインターフェイスシステム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、市街地を含む地上の景観について３次元動画を生成するシステムにおいて、特に、航空機等において上空から撮影した航空写真、あるいは路上において地上で撮影した写真を利用してするシステムに関し、特に、地上を様々な角度から撮像した写真を利用する３次元都市景観の動画を生成表示するシステムに関するものである。
【背景技術】
【０００２】
従来、都市景観を３次元で動画表示する方式には、レーザプロファイラにより都市の建造物の３次元情報を計測して立体モデルを作成したうえで建造物の壁面画像をテクスチャとして貼り付け、このようにして得られた３次元都市モデルに対して任意の視点経路とこの視線経路に沿った任意の視線方向の画像を３次元画像処理により生成し、時間的に連続表示することにより３次元動画を得るものである。都市建造物の３次元情報を得る別の方法としては地上の同一地点を異なった方向より撮影した画像を用い、ステレオ画像処理により高さ方向の情報を抽出して３次元都市モデルを生成する方法もある。この他に、必ずしも実際の都市には一対一に対応しないが都市空間３次元モデルを構築して３次元画像処理により動画を生成する方法もある。
【０００３】
これらの方法はいずれも都市の立体構造諸元すなわち３次元モデルを生成するために時間とコストを要し、さらに建物等の立体の外壁を実際と同一にするためには、外壁のパターン情報または、画像情報を張り付ける（テクスチャ貼り付け）する必要があった、このテクスチャ貼り付け情報は３次元物体の全ての方向からの情報が不可欠であり、その取得とテクスチャ貼り付けに多大の労力とコストを要するものであった。このように、任意の空中経路と視線から任意の都市部分の景観を３次元動画で表示することは強く望まれていたにもかかわらず、テクスチャ貼り付けの精度を十分現実的にできない、あるいは、情報の更新周期が長くなり、表示する映像の新鮮度、正確さに難点が生じることが多かった。また特許文献４による方法は、２枚のパノラマ画像に共通な撮影対象物を対応点させて、三角測量法により該対象物の３次元情報を得ている。特許文献４でいう中間パノラマ画像を生成するとは、３次元情報を必要とする全ての点について、該パノラマ画像で対応点を求め、三角測量により３次元情報を計算することである。（１）対応点を毎回求めるか、あるいは、（２）予め対応点を登録しておく必要がある。（１）の方法を自動的に行うとすると画像認識のプロセスが必要になり、３次元座標としてポリゴンの頂点となる点を自動的に求めることは極めて困難である。また、（２）は通常行われる写真測量により、３次元座標を予め求めておく処理を、使用するパノラマ写真の組み合わせが変化するごとに計算するということで、処理の先送りに過ぎなく、表示時点での計算負荷は従来のCG技術に比べて反って多くなる。表示対象の３次元情報を計算し、テクスチャを貼り付けるという点でも従来方法と変わらず、本発明と根本的に異なる技術である。さらに、特許文献５は航空写真を用いたインターネットによる空中遊覧システムであり、建物情報を追加できる特徴があるが、一貫して「写真データに対してステレオ処理が施され生成された３次元オブジェクトデータ」または、建物に対して変更手段により変更された「３次元オブジェクトデータ」を利用する方式であり、本発明と根本的に異なる技術である。
【０００４】
３次元模擬視界を使用する３次元動画システムには、非特許文献１のエースコンバットのように衛星より撮影した地表画像を加工して利用するものもあるが、あくまでもゲームに現実味をもたせることを目的としており実際の３次元景観とは必ずしも一致しない。また、非特許文献２のセカンドライフに見られる都市空間３次元模擬視界は、仮想都市を３次元的に表現するが現実の地図には対応していない。セカンドライフに対して都市空間をより現実的に表現するものとして現実の地図に対応した仮想都市空間の３次元３次元動画システムとして非特許文献３のCOCORによるmeet-meがあるが建造物の外壁景観、細部構造については現実とは一致しない。また、本発明になる技術は極めて大量かつ多視点、多視線方向の航空写真を事前に撮影蓄積することにあるが、航空写真を取得する従来技術として、最近はディジタル技術の急速な進歩によりアナログ式航空カメラからディジタル方式の１次元ラインセンサないし2次元撮像素子を用いた航空写真用カメラが実用化されている。さらに汎用デジタルカメラの高性能化により、航空写真分野へも適用可能となってきている。専用ソフトウェアによりディジタルカメラで撮影した斜め写真からオルソ画像を作成するシステムが特許文献１では提案されている。測量目的の航空写真では地上に基準点を予め設定し、該基準点を参照してカメラ位置と姿勢を計算し、地物の座標を求めていたが、航空機にGPS（Global Positioning System）及びIMU（Inertial Measurement Unit）を装備し、撮像時点のカメラの位置と姿勢を測定することできる。（特許文献２）撮像方向が異なる３台のＣＣＤラインセンサで測量用航空写真を撮像する技術が特許文献３で提案されている。
【０００５】
【非特許文献１】http://www.acecombat.jp/
【非特許文献２】http://www.secondlife.com/
【非特許文献３】http://www.mmet-me.jp/
【特許文献１】特開2002-357419号公報。
【特許文献２】特開2004-245741号公報。
【特許文献３】特許2807622号公報。
【特許文献４】特開2006-350852号公報。
【特許文献５】特開2002-185981号公報。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、非特許文献１の方法は、景観の材料として、高分解能衛星画像を使用してリアリズムを追求した３次元動画システムであるが、対象は海外の戦場でありまた、画像自体も制作時から更新されないので都市景観３次元動画の実現とは異なるものである。非特許文献２において提案されているシステムでは、人間目線の都市景観３次元動画表示を行っているがすべての表示は計算機上で生成された架空の世界であり現実世界と異なり、現実に則した都市景観を３次元表示する目的とは合致しないものである。非特許文献３の方法は非特許文献２の方法に改善を加えたもので現実の都市の地図に対応して建造物等を構築しているが景観自体としては現実との同一性を追求しておらず、現実とは異なるものである。
【０００７】
航空写真の取得に関した特許文献として以下のものがあるが、特許文献２において提案されているシステムでは斜め画像を２枚取得するが、斜め画像１枚だけでは本発明で必要とされる多量かつ多方向の画像を高密度で取得するのは困難である。特許文献３において提案されているシステムは、異なる３方向のＣＣＤラインセンサにより撮像するが、これらの３台のＣＣＤラインセンサは、平行かつ直線的に配置されているので測量用にステレオ画像を取得するには適しているが、本発明の目的のように都市景観の３次元動画を生成するための原画像取得のためには情報量が圧倒的に不足する。
【０００８】
特許文献１，２で、地上を多方向、大量かつ高密度で撮像するために、カメラを増設することが考えられるが、航空写真用の航空機の床面にある撮影用開口部は寸法と位置が滞空証明の対象として厳しく規定されており、開口部を拡大したり、開口部から機外に突出する形でカメラを増設することはできない。したがって、地上を高密度に多方向から撮像する必要のある実画像による都市景観３次元動画生成および閲覧システムに適した実現手段はこれまで考えられていなかった。
【０００９】
本発明は、このような実情に鑑みてなされたものであり、航空機等において空中で高密度のメッシュ点で多方向の画像を広範囲に撮像できるシステムを構築し、これら大量の画像をデータベース化し、都市の任意の位置を任意の視点で任意の方向から見た場合の最も視差の少ない画像を高速に検索するシステムを構築し、さらに指定した視点、視線、都市中の位置に対応して最も視差の少ない画像から連続的になめらかな動画像を生成するモーフィングシステムを構築した。
【課題を解決するための手段】
【００１０】
上記解決課題に鑑みて鋭意研究の結果、本発明者は都市景観３次元動画生成および閲覧システムの実現において最大の障壁となるのは、都市の建物等建造物および構築物の３次元情報を安価かつ頻繁に取得する手段がないこと、さらにこれらの３次元物体の表面に張り付ける画像の取得と貼り付けを安価かつ頻繁に行う手段を欠いていることを認識するに至った。このため、本発明者はこれらの手段を踏まずに任意の経路から任意の視線で都市の任意の部分の３次元動画を得る方法として都市のあらゆる部分の景観をあらゆる方向から事前に撮影しておき、選択された視点経路、視線方向および目標位置に対応して最適な撮影済み画像を選択し、画像を撮影したカメラの位置および光軸方向と、選択された視点と視線の相違をモーフィング処理により補償し、なめらかな動画像を得る方法を着想するに至った。
【００１１】
しかしながら、都市のあらゆる部分の景観をあらゆる方向から事前に撮影しておくことはきわめて困難である。経験上本発明者はこの目的を達成するためには立体角で数度ごとにあらゆる方向からの写真を全ての都市地点に対して準備しなければならないことを知っている。この問題を解決するために小型のディジタルカメラを多数用い、配列方法と制御方法に新規性を施した。すなわち、第一に多数の小型ディジタルカメラをディジタルカメラ集合体として形成し、従来から航空測量用航空機の床面に存在する航空測量用カメラの穴に機外に張り出すことなく収納して滞空証明取得上の問題を回避すること、第二に多方向からの写真を効率的に撮影するために、ディジタルカメラ集合体の中心部に直下撮影用のカメラを配し、その周囲に放射状に斜め方向撮影用のディジタルカメラを８ないし２４あるいは、スペース的に余裕があればそれ以上配置するのである。
【００１２】
第三に、地上を各方面から撮影したとしても、画像の分解能が地上を見る俯角によって変化することは好ましくないので、鉛直方向よりなす角を一般にオフナディア角と呼称するが、小さいオフナディア角の斜め写真用ディジタルカメラには短い焦点距離の望遠レンズを用い、大きいオフナディア角の斜め写真用ディジタルカメラには長い焦点距離の望遠レンズを用い、さらにそれらを各々放射状に同心円状に配列することにより航空機の直下からかなり大きなオフナディア角の領域まで、分解能を劣化させることなく広範囲に画像を取得するディジタルカメラ集合体を考案した。
【００１３】
第四に、本発明者は該ディジタルカメラ集合体を効率的に運用し広範な都市空間上空であらゆる地点に対して立体角数度ごとの画像を得るために航空機にGPS装置と慣性航法装置よりなるガイダンスシステムを導入し空中同一高度に緻密なメッシュ状の撮影ポイントを構成したうえで、該撮影ポイントで自動的にディジタルカメラ集合体に撮影指令を発し撮影記録するシステムを構築した。
【００１４】
第五に、大量頻繁に撮影を行う必要性から撮影コストを削減する目的で一般に航空測量が不適当な曇天に雲の下の低高度より撮影することを着想し、曇天の空中モヤによる画像劣化をディジタル画像処理により自動的に補償する方法を発明した。
【００１５】
さらに、本発明者は数度程度の立体角の撮影済み画像を任意の対象地点に対して動画生成のために高速に検索する必要があることに鑑み、本システムに適した高速画像検索機構を考案した。すなわち、地表を緯度経度あるいはXY  座標により正方形の網目状に区分する。正方形の１辺は十分小さく、たとえば５０ｍから２０ｍ程度に設定する。この網目上の正方形の各々に２次元のアドレスを付して管理する。各撮影済みの画像には、地表を撮影した画像範囲内に含まれる該網目状正方形群が存在して、撮影時のカメラ位置と該網目状正方形の中心とを結ぶベクトルが定義できる。これを正規化して原画像ベクトルと定義するが、該原画像ベクトルは指定された地表網目に対する画像を表現するインデクスとして使用できる。
【００１６】
すなわち直上を示す天頂ベクトルと該原画像ベクトルのなす角度を量子化して天頂インデックスを定義する、該なす角の量子化の基準は５度以下である。各天頂インデックスには、水平方向成分として３６０度分の全方位が含まれているので、これを立体角数度単位のセルに小分割し、該原画像ベクトルと天頂ベクトルのなす角、該原画像ベクトルの水平方向成分によりインデクシングする。この３段階のインデクシングにより必要な原画像を高速に検索することができる。３次元動画像に必要な原画像は任意の都市位置に対して立体角で数度ごとに準備されているが、この近傍を視点が通過するので、実際の視点および視線と原画像ベクトルの立体数度以下のずれは、原画像に対するモーフィング処理により滑らかにつなぐのである。
【００１７】
このように本発明になる都市景観３次元動画生成および閲覧システムでは、空中を任意に飛び回り任意の視線で任意の場所を見られるように、グラフィックユーザインターフェイスとしてインターネットを介して、空中を模擬飛行するための模擬コックピットを設け、方位、昇降および速度を自由に操縦し指定できるほか、模擬カメラに切替えてカメラの方位角、ティルト角、ズーム量を自由に変更して３次元動画を表示することもできるようにした。
【発明の効果】
【００１８】
以上、説明したように、本発明の都市景観３次元動画生成および閲覧システムによれば、コストのかかる都市空間の３次元数値モデルの生成および建造物表面に対するテクスチャ貼り付け処理を行うことなしに、空中で撮影した実画像を用いて都市の任意の場所に対して空中における任意の視点経路と視点方向に対する３次元動画を生成することができる。
【発明を実施するための最良の形態】
【００１９】
以下、添付図面を参照しながら、本発明の都市景観の３次元動画生成および閲覧システムを実施するための最良の形態を詳細に説明する。図１は、本実施形態における都市景観３次元動画生成および閲覧システムの全体構成を概略的に示す図である。該都市景観３次元動画生成生成および閲覧システムは視点が空中にある場合の３次元動画生成を行うためのグラフィックユーザインターフェイスシステム180より構成され、ユーザ191にはインターネット190を介してサービスが提供される。
【００２０】
視点が空中にある場合の３次元動画生成を行うための部分は、航空機により空中で航空写真を取得するための空中画像取得システム100と、取得した航空写真を３次元動画生成に使いやすいように加工しデータベース化するための空中画像データベース生成登録システム120と、データベース化された空中画像データベース140と、グラフィックユーザインターフェイスシステム180を通して要求されるユーザ191の要求に基づき３次元動画像を生成する空中３次元動画生成システム160より構成される。
【００２１】
以下、本発明になる３次元動画生成の基本原理を解説した後、本発明になる該都市景観３次元動画生成および閲覧システムを構成する各システムについて詳述する。
【００２２】
図２は、都市景観３次元動画生成および閲覧システムにおける空中画像取得の概念を示す図であり、本発明の最大の特徴は、都市景観３次元動画生成において第一に都市の３次元モデルを生成しないことであり、第二に生成した３次元モデルに外壁面パターンないし外壁面写真をテクスチャ貼り付けしないことであって、これら人手とコストが必要な作業を排除する代わりに、都市景観のあらゆる位置について事前にあらゆる方向から画像を取得しておき、これを必要に応じて選択、変形して利用することである。しかしながらこの方法は膨大な画像を事前に撮影する必要があるだけでなく、最適な撮影済み画像を高速に検索する必要があり、近年のディジタルカメラの進歩、各種メモリの大容量低コスト化と処理能力と通信能力の向上によって実現の条件が整ったところに、本発明による新方式の完成によって初めて実現が可能となったのである。
【００２３】
図２では都市200の上空天球222を充分小さい立体角の範囲ｉ221あるいは立体角の範囲１220のようにおおむね２°から５°前後の角度で立体的に分割して、天球222を覆う地表近くを除くすべての該充分小さい立体角に対して地表のあらゆる場所の画像を準備するための空中画像取得システム100の概念を示している。
【００２４】
図３は図２の隣接する該充分小さい立体角の範囲ｉ221で撮影された同一地点に対する画像は視差のため見え方が若干異なるが、この若干異なった画像間の視界を線形変換により画像を連続的に変形させて補間し、滑らかな３次元動画を得るためのモーフィング処理の概念を示したものである。建物および視線方向の関係図230で示される建造物を視差が比較的小さい視線方向１240と視線方向２250より見た視界は、視線方向１より見た画像241および視線方向２より見た画像251で示されるが、視線方向１240と視線方向２250のなす角が小さい場合、あるいは対象物が平面的である場合には画像を線形変換によるモーフィング処理によって相互に近似することができる。このモーフィング処理を隣接する視点の実画像の補間処理に使用するのが本発明の特徴である。
【００２５】
図４は本発明になる都市景観３次元動画生成生成および閲覧システムにおける模擬飛行による模擬視界発生の概念を説明した図である。視点経路P(t) 270に沿って視点が時刻ｔとともに移動し、その間、地表を目標トラジェクトリT(t) 280に沿って視界にとらえる。該目標トラジェクトリT(t) 280は該視点経路P(t) 270上の位置から、時刻ｔ の視線271、時刻ｔ+δｔ の視線272、時刻ｔ+2δｔの視線273、時刻ｔ+3δｔの視線 274、時刻ｔ+4δｔ の視線275、および時刻ｔ+5δｔの視線276によりδｔごとにとらえられた地表上の軌跡である。本発明では該視点経路P(t) 270からの該目標トラジェクトリT(t) 280に対する都市景観３次元動画を生成する方法として、時刻ｔの視線271から時刻ｔ+5δｔの視線276に近く視差の少ない空中画像ｉ260および空中画像ｉ+1 261を空中画像データベース143より検索し、時刻ｔの視線271、時刻ｔ+δｔ の視線272、および時刻ｔ+2δｔの視線273の間は最も視線が近い空中画像ｉ260を原画像として使用して、時刻ｔの視線271、時刻ｔ+δｔの視線272、および時刻ｔ+2δｔの視線273と空中画像ｉ260の視線の間の視点の相違による視差を空中画像ｉ260に対するモーフィング処理で補正し、時刻ｔ+3δｔの視線 274からは空中画像ｉ260よりも空中画像ｉ+1 261の方が視点の相違による視差が少ないと判断して空中画像ｉ+1 261を原画像に切り替え、時刻ｔ+3δｔ の視線 274、時刻ｔ+4δｔの視線275、時刻ｔ+5δｔ の視線276と空中画像ｉ+1 261の視線の間の視点の相違による視差を空中画像ｉ+1 261に対するモーフィング処理で補正することにより滑らかな該目標トラジェクトリT(t) 280に沿った都市景観の３次元動画生成を行うのである。
【００２６】
本発明になる方法は膨大な量の空中画像を必要とするが、その取得方法についての例を示したのが図５である。航空機301に図７に示すような多数のディジタルカメラを収容したディジタルカメラ集合体を搭載し、飛行経路300に沿って一定間隔ごとの撮影ポイント310で地表を撮影する。飛行経路300と撮影ポイント310を網目状に濃密に設定し、複数のディジタルカメラを搭載してディジタルカメラ集合体光軸方向320に示すように同時に多方向の画像を撮影することにより、図２に示す該充分小さい立体角の範囲ｉ221ごとの画像を取得する。
【００２７】
図６は空中画像取得システム100の処理フローを記したもので、以下、図１５まで、該空中画像取得システム100の詳細な実現方法を説明する。まず、撮影ポイント設定プロセス330で一定距離間隔で網目状に空中画像を撮影できるように、飛行航路と撮像ポイントを設定する。この撮影計画は図１１に構成が示される空中画像取得計画ファイル101の形で飛行航路と抗路上の撮影ポイントが定義される。次に撮影プロセス331では、航空機301が空中画像取得計画ファイル101に規定された撮影ポイント310に到達したことを判断して図９に示す空中撮影制御システム393により撮影を行う。撮影されたディジタルカメラ内の画像は空中撮影制御システム393により予め決められたタイミングごとに撮像プロセスで取得した位置および姿勢データから構成されるメタデータとともに空中画像一次ファイル102に蓄積される。
【００２８】
図７は本発明になる空中画像取得システム100を構成するディジタルカメラ集合体360の構成例を示した図である。地表をあらゆる視点から効率よく高密度に撮影する目的で、直下方向のディジタルカメラ350aの周辺に水平全周方向が放射状に等間隔に分割されるように複数の斜め方向ディジタルカメラ350bから350iまでの8台を光軸が重力方向となす角が同一となるように配置してディジタルカメラ集合体360を形成したものである。とくに航空機に搭載して撮影する場合には、滞空証明を取得する必要があり、航空写真撮影用に航空機床面にあいている穴を変更したり、あるいは該床面穴から機体外にカメラが飛び出す形で利用することは事実上不可能であるため、ディジタルカメラ集合体360をCanon社製のPowerShotなどの小型ディジタルカメラを利用して該ディジタルカメラ集合体が該航空機床面穴内に収まるよう工夫したものである。ディジタルカメラ集合体 360を構成するディジタルカメラ350a〜i以外の支持構造は、撮影方向精度が高いことを要求されるので、軽量かつ剛性の高いものであればどのようなものでもよく、ハニカム構造アルミニウム板あるいは炭素樹脂などで構成することができる。
【００２９】
図８は、航空機による空中画像取得システムの航路および撮影ポイントの設定例を示したものである。図８(ｂ)にて撮影ポイント310の設定例を示している。飛行経路300は空中に撮影ポイント310の網目を構成するために等間隔で平行な飛行航路300を図８(ｂ)で点線で結んであるようにＵターンしながら往復する形で飛行する。この間、撮影ポイント310で撮影を行う。撮影ポイント310の相互間隔は、飛行航路間撮影間隔372と  飛行方向撮影間隔371により規定される。飛行高度を約８００ｍと設定すると、飛行航路間撮影間隔372および飛行方向撮影間隔371は、図２の充分小さい立体角の範囲 ｉ221内に少なくとも１枚の画像を得るためには約８０ｍ以下に設定するのが好ましい。ディジタルカメラ集合体360で撮影した場合、図８(ａ)のディジタルカメラ350a〜iの撮影範囲375a〜iで示す範囲が撮影される。飛行高度、斜め方向ディジタルカメラ350ｂ〜iの鉛直方向となす角度、およびレンズの焦点距離の設定によって、該ディジタルカメラ350a〜iの撮影範囲375a〜iの各ディジタルカメラが撮影する範囲と相互の重複度は変化する。本発明の目的からは、相互に若干の重複しながら地表をほぼ連続的に覆うように設定することが望ましい。なお、直下方向を撮影するディジタルカメラ350aの飛行経路300に対する向きは、図８(ａ)では画像フレームの横方向を飛行経路300の進行方向にしているが、画像フレームの縦方向を飛行経路300の進行方向にしてもよい。
【００３０】
図９は空中画像取得システムの構成例を示した図であり、フライトナビゲーションシステム部385とデータ取得記録システム部390より構成される。フライトナビゲーションシステム部385は図８(ｂ)で規定される撮影ポイント310に航空機301を飛行経路300に沿って誘導するための装置であり、ＧＰＳ380より航空機位置データが周期的に得られ、航空計装388より航空機姿勢、高度、速度などのアビオニクス情報387が得られる。これらの信号インターフェイスは航空機用バス信号として標準化されているので新規性はない。
【００３１】
フライトナビゲーションシステム部385の機能は、図１１の空中画像取得計画ファイル101の内容に従い、図１０の空中画像取得システムのフライトナビゲーションシステム部の処理フローによって図１２の空中画像取得システムのフライトナビゲーションシステム部の表示画面例によってパイロットを誘導するものである。フライトナビゲーションシステム自体は既に公然実施されていて何ら新規性はないものであるが、本発明の目的を実現するために撮影ポイント310に効率的に航空機を誘導する部分が本発明に関わるところである。まず飛行前に都市のどの部分の上空画像を取得するか決定する。地図上で撮影範囲を決定し、飛行プランを策定する。飛行プランは飛行経路300を航空地図上で設定することによって行われる。
【００３２】
撮影ポイント310は本発明の目的を達成するように均一かつ高密度な網目状に地表から同一の高さで設定しなくてはならず、その結果に基づき飛行経路300を平行線で構成されるように設定する。各直線部分に図１１の空中画像取得計画ファイル101に示される航路No.を割り振り、各航路ごとに全体として網目を構成するように撮影ポイント310を割付け、各航路の開始座標と終了座標、さらにその間の撮影ポイント数と各撮影ポイント座標を緯度経度および高度で設定する。このようにして図１１の空中画像取得計画ファイル101は構築される。該空中画像取得計画ファイル101の構築に関わるグラフィックユーザインターフェイスは地図情報システムとして公然実施されている。
【００３３】
フライトナビゲーションシステム部385の機能は図１０に記載の空中画像取得システムのフライトナビゲーションシステム部の処理フローによって示される。処理ブロック420で空中取得計画ファイル101に登録されている航路No.の中から飛行予定の航路No.についてすべての撮影が終了するまで図１２の表示を順次に行う。指定された航路No.には開始座標があるので、処理ブロック421で該航路NO.を開始するために航路開始点の位置、高度、進行方向、速度を指定して図１２の内容をモニタ上に表示してガイダンスを行う。撮影を行うには、処理ブロック421で規定された条件を一定の誤差範囲、たとえば位置誤差で１０ｍから３０ｍ以下の精度、飛行方向誤差で５°以下の精度で満足しなくてはならず、満足しない場合には再度飛行航路をやり直すことになり、処理ブロック423で処理ブロック421のガイダンスを再度行う。処理ブロック422の条件を満足した場合には処理ブロック420で選択された航路No.の空中画像取得計画ファイル記載の撮影ポイント座標から最終撮影ポイントまで撮影ポイントをひとつずつ順次処理ブロック424および処理ブロック425によりガイダンスする。図１２に空中画像取得システムのフライトナビゲーションシステム部の表示画面例を示す。
【００３４】
航空機301を処理ブロック420で指定された航路No.の開始点に誘導するためには図１２の撮影ガイダンス表示437と位置偏差表示446を用いる。航空機位置373の飛行航路300からの偏差を知ることができ、航空機を操縦して偏差の解消を行う。航空機の位置に関するデータはＧＰＳ380より得られるほか、航空機計装388よりアビオニクス情報387として高度、進行方位、速度、ピッチ・ヨー・ロールの姿勢データが得られ、図１２の表示に使用される。撮影ガイダンス表示437では、航路No.表示439により飛行中の航路が示されるほか、航路内残撮影ポイント数表示438により、航路内で今後撮影しなければならない撮影ポイント数が示される。撮影ガイダンス表示437では、撮影ポイント310を飛行航路300に沿って、撮影ポイントNo.と撮影許容範囲440が表示されるので、パイロットは各撮影ポイントに対して撮影許容範囲440内を航空機が通過するように操縦する。航空機ガイダンス表示437は飛行にしたがって上から下へローリング表示することにより、常に直近の撮影ポイントととるべき飛行経路300と航空機位置373の関係が示される。航空機位置表示373は常時画面左下部となる。なお、図１２の方位表示442、姿勢表示443、位置偏差表示446はいずれも現在の航空計装では公然実施されているものである。
【００３５】
つぎに図９におけるデータ取得記録システム部 390につき詳述する。図９において、航空機301には機体下方に航空写真機設置用の航空機床穴397があり、この穴にディジタルカメラ集合体360を機外に張り出さないように設置する。図９の例では後述する安定プラットフォーム装置395により航空機床穴397に吊下する構造を採用しているが、安定プラットフォーム制御システム 394および安定プラットフォーム装置395は航空機301の姿勢に拘らずディジタルカメラ集合体360を常に地上直下に指向させ、かつ方位を規定方向に固定する機能を有するので、航空機のピッチ・ロールを常時５°以内に操縦で保てるのであれば安定プラットフォーム装置395を省略してもよい。ＩＭＵ396は慣性計測装置の英語表現の頭文字であり、安定プラットフォーム装置395に乗せることによりディジタルカメラ集合体360の姿勢を計測することができる。ディジタルカメラ集合体360の上面は航空機床398より上に出てもよい。
【００３６】
データ取得記録システム部 390には航空機301の姿勢を観測するＩＭＵ400と、ディジタルカメラ350の制御と撮像データ処理のためのプログラムを含む空中撮影制御システム393と、画像データをふくむ各種データを記憶する大容量ディスク装置で構成される空中画像一次ファイル102と、ディジタルカメラ350に対する撮影指令を出すための撮影ポイントを記憶している空中画像取得計画ファイル101を機内に搭載している。航空機301の位置計測用のＧＰＳ380のアンテナを機外に有している。
【００３７】
図１３は図９のデータ取得記録システム部 390の構成機器間の情報の流れを示している。図１４は撮影制御システム393の処理フローを説明している。撮影制御システム393はＣＰＵで構成される。撮影制御システム393はＩＭＵ396より安定プラットフォーム装置395の姿勢データ450を周期的に取り込む。安定プラットフォーム395が正常に動作している場合には、航空機301の姿勢によらず慣性空間に対して常に一定の姿勢を保っている。航空機301に固定されたＩＭＵ400は航空機の姿勢データ451を、ＧＰＳ380はＧＰＳアンテナの位置データ452を周期的に撮影制御システム393に送り込む。撮影制御システム393の処理は図１４に詳説しているが、空中画像取得計画ファイル101の内容と得られたＧＰＳアンテナの位置データ452と航空機の姿勢データ451を処理ブロック460と処理ブロック461で順次照合し、航路No.を特定し、当該航路No.の撮影終了ないし、航路離脱まで、順次処理ブロック462で指定航路の撮影点の直近点を通過中かを判定し、撮影許容範囲440内で撮影ポイントに最近接したタイミングにディジタルカメラ集合体を構成する各ディジタルカメラ350に処理ブロック463で一斉に撮影指令457を送ると同時に図１５に示す空中画像一次データファイル内の航空機データ部分472を処理ブロック464で書き込む。
【００３８】
ディジタルカメラ350は内部に本発明の時点で３２ＧＢのメモリを保有できるので撮影した空中画像データ455を少なくともひとつの航路No.が終了するまで保持することができる。航空機301は、ひとつの航路No.を終了し、次の航路No.に入るまでの間、Ｕターン飛行をするが、この間は撮影を行わないので、ディジタルカメラ350内の空中画像データ455を航空機搭載の大容量ディスク装置で構成される空中画像一次ファイル102に処理ブロック465で転送し、ディジタルカメラ350内部のメモリを空にする。
【００３９】
図１５に空中画像一次ファイル102の構成例を記したが、画像ヘッダ部470と画像データ部471は撮影した各画像ごとに用意される。ヘッダー部のカメラＩＤはディジタルカメラ集合体360を構成する各ディジタルカメラ350a〜iを識別する番号である。画像データＩＤは相互に画像が識別できるように付す認識番号であり、撮影日時刻は航空機データ部分472と対応する撮影時刻であり、空中画像データベース生成登録処理120において、統合して各ディジタルカメラ350a〜iの光軸方向を算定するのに用いられる。画像データ部分471は特にこの段階では加工を施さない。また、画像ヘッダ部470のカメラパラメタは通常は飛行中固定であるので、同一設定値を書き込む。
【００４０】
空中画像データベース生成登録システム120について図１６から図２６までを用いて詳細に説明する。図１６は全体の処理フローを記載しており、処理ブロック480では、空中画像取得システム100で1日の飛行中に蓄積した空中画像一次ファイル102を飛行が終了した後、すべての画像について順次処理する。処理ブロック481では図１７の空中画像データベースの画像ヘッダ部490のヘッダーを作成するが図１５の空中画像一次ファイル102の画像ヘッダ部470のヘッダーをそのまま転記する。処理ブロック482についても通常は空中画像一次ファイル102の画像ヘッダ部470のカメラパラメタをそのまま転記すればよい。
【００４１】
処理ブロック483では、画像ヘッダ部490の撮影パラメタを各画像ごとに計算するがその処理について以下に詳述する。カメラ位置は緯度、経度、高度で規定されるが、通常航空機搭載ＧＰＳ380による位置測定がＤＧＰＳである場合には、飛行高度が低いこともあってそのまま正確な位置が得られるとしてよい。ＧＰＳ380による位置測定がＧＰＳである場合には誤差をふくむので、着陸後に飛行時刻と同時刻に測定した付近のＤＧＰＳ局から座標補正データを入手して撮影日時刻にあわせて補正を行う。
【００４２】
撮影パラメタの計算は線形代数を使用して行い、図１７の撮影パラメタ部の計算を行う。以下、図２３を参照しながら説明する。撮影パラメタ計算に使用する線形代数は、大学教養課程水準の内容であり、コンピュータグラフィック技術者、測地技術者の間では周知である。図１７の撮影パラメタの撮影位置（緯度,経度,高度）はＧＰＳ380により求まる。北方の水平方向を指す直交座標系での単位ベクトルを基準軸とした機体のピッチ・ヨー・ロールによる座標変換と空中画像一次ファイル102における航空機データ部分472の機体基準軸に対する各カメラ（添字k=ａ〜ｉで示す）の光軸、および４隅の方向ベクトルを単位ベクトルで下記と表現する。下記は常数であり、カメラの焦点距離と、ディジタルカメラ集合体360のディジタルカメラ350ａ〜ｉの取り付ける向きにより決まる。
撮影中心光軸を画像ベクトル（正規化）  Ｇkc=ｔ(Gkcx Gkcy  Gkcz)
撮影画像右下端方位ベクトル（正規化）  Ｇk1=ｔ(Gk1x Gk1y  Gk1z)
撮影画像右上端方位ベクトル（正規化）  Ｇk2=ｔ(Gk2x Gk2y  Gk2z)
撮影画像左上端方位ベクトル（正規化）  Ｇk3=ｔ(Gk3x Gk3y  Gk3z)
撮影画像左下端方位ベクトル（正規化）  Ｇk4=ｔ(Gk4x Gk4y  Gk4z)
と定義すると、北方の水平方向を指す直交座標系での単位ベクトルを基準軸とした機体のピッチ・ヨー・ロールによる座標変換をＧkｃにおこなうと、図１７の正規化画像ベクトル(X,Y,Z)が求まる。Ｇki  （i=1,4）に対して同様の行うと図２３における撮影画像の４端の方位ベクトルが得られる。
【００４３】
図２３の地表のTerrain580は緯度、経度、標高で地表の格子点で表現されている。図２３の画像ベクトル（正規化）Ｇと551地表のTerrain580の交点を線形代数演算で求めることが出来て、Terrain上中心点座標Zc554が得られ図１７の撮影パラメタのTerrain上中心点座標（緯度,経度,標高）となる。画像距離とは撮影位置から撮影光軸がTerrain580に交わるまでの距離をいう。
【００４４】
同様にＧｋｃの代わりにＧk1,Ｇk2,Ｇk3,Ｇk4に対して計算することにより、Terrain上最近右座標555（緯度,経度,標高）、Terrain上最遠右座標556（緯度,経度,標高）、Terrain上最遠左座標557（緯度,経度,標高）、Terrain上最近左座標558（緯度,経度,標高）がそれぞれ求まる。次に、図１７撮影パラメタのフレーム回転角を求める。航空機の姿勢が基準方向であると、各ディジタルカメラのフレームの光軸を通る水平線は地球の水平線と平行であるが、機体のピッチ・ヨー・ロールがあると地球の水平線から回転角が生じ、線形代数演算で求めることが出来る。
【００４５】
次に処理ブロック484で空中のモヤの影響除去の処理を行う。本発明の空中３次元動画生成システム150では、異なる視点から撮影した原画像を使用して都市のさまざまな方向からの映像を表現する。このため原画像に直射日光による影が存在すると、撮影時刻は原画像ごとに異ならざるを得ないため動画を合成したとき極めて見づらいものとなる。これを避けるため、直射日光のない曇天に雲の下から撮影し空中画像を取得する。このため、空中画像取得計画ファイル101では飛行高度を積雲または層雲が出現する高度より低い７００〜８００ｍに設定して撮影を行う。曇天での撮影は航空測量に航空機が使用できない条件下であるので、航空機の余剰時間を安価に利用できるという利点もある。一方、空中の水分が多いため視程が晴天時より短くなる欠点がある。
【００４６】
水分は微小な水滴として直進光を乱反射、乱屈折させるため、空中の通過距離に応じて影響が発生する。特に斜め航空写真の場合には、オフナディア角が大きい程水分の影響が大きくなる。図１８はモヤの影響除去処理における画像と視野の関係を示した図で、撮影画像495の下端は近景部分ａ496で撮影地表部分499のもっとも直近部分である。撮影画像495の上端部分は遠景部分498であり、撮影地表部分499の最遠部に位置する。近景部分ａ496から遠景部分498に向けて光が空気中を通過する距離が増える結果、微小水滴による光の散乱が増え、コントラストが減少し白濁する。この結果、図１９（ａ）に示すようにモヤのない場合の画像のヒストグラムが輝度下限値から輝度上限値507まで分布した正規化ヒストグラム500であった場合、近景部分ａ496では近景部分ａヒストグラム 501となり、上限値と下限値の幅が狭くなり中央値も白い方、すなわち輝度の高いほうに偏移する。
【００４７】
この傾向は遠景部分ヒストグラム502で最も顕著となり、ヒストグラム上限値504とヒストグラム下限値 503の差である値幅 505が最小となり中央値506が最大となる。図１８の撮影画像495で、ヒストグラムをとる範囲を画面横方向は全範囲で縦方向は近景部分ａ496、近景部分ｂ497のように一定幅の短冊状にして、１ラインずつずらしながら上方に向けてヒストグラムを計算すると、図１９（ｂ）のような特性が得られる。モヤの濃度は高度によって濃淡があるが、水平方向には濃度の差がないとしてよいので、値幅フィッティング曲線513は単調減少、中央値フィッティング曲線512は単調増加として近似してよい。これらの曲線はモヤの高度による分布が不明であるので、実測値からフィッティングで求めた上で各行ごとに、フィッティング曲線から求めた値幅と中央値の補正係数で各画素値を補正する。
各画素の輝度の補正は、水平ラインごとに
（数１）
正規化ヒストグラム中央値＋（画素輝度―中央値フィッティング値）
＊正規化ヒストグラム値幅／値幅フィッティング値
で求められる。以上説明した処理は、図２０で処理ブロック520から処理ブロック524で記された処理である。図２１は本発明のモヤ影響除去処理の処理結果例を示すものであり、モヤ影響除去前画像530を処理した結果、モヤ影響除去後画像531が得られている。
【００４８】
次に処理ブロック485で処理ブロック481から484で求めた結果を図１７に示す空中画像データベース143の該当画像データ部分に格納する。図１６の空中画像データベース生成登録システムの処理フローの最後の処理ブロック486で、処理ブロック485で登録した空中画像データを用いた動画生成のために高速に該空中画像データを検索する目的でインデクスを生成する。処理ブロック486の内容は図２２の空中画像データベース登録システムの空中画像インデクス生成登録処理フローでさらに詳細に述べられている。以下、図２２にしたがって説明する。処理ブロック540の内容を図２３の空中画像インデクス機構の構造と用語の定義を参照しながら説明する。撮影位置550で撮影された画像には、図１７の空中画像データベース133の撮影パラメタとして撮影位置（緯度,経度,高度）550、正規化画像ベクトルＧ＝ｔ(X Y Z) 551、フレーム回転角553、画像距離552,Terrain上中心点座標（緯度,経度,標高）554、Terrain上最近右座標（緯度,経度,標高）555、Terrain上最遠右座標（緯度,経度,標高）556、Terrain上最遠左座標（緯度,経度,標高）557、Terrain上最近左座標（緯度,経度,標高）558が既に格納されており、図２３はそれを図示したものである。撮影位置550で撮影した画像は地表画像範囲549を捉えている。地表、Terrain580には緯度経度が定義されるので、１秒ごとにメッシュ化すると東京地方の緯度３５°付近では緯度方向で３０ｍ、経度方向で２５ｍのセルが構成できる。０．４秒ごとにメッシュ化すれば緯度方向で１２ｍ、経度方向で１０ｍのセルが構成できる。６５ｋｍ四方の都市領域を考えると、このセル数は３５Ｍセルに過ぎない。地表画像範囲549に含まれる地表セル559は地表画像範囲549の４端点が緯度経度で判明しているから容易に求めることができる。
【００４９】
各地表セルに対して、図２に示す天球222のあらゆる方向に対し、十分小さい立体角の範囲i221で画像を検索できなくてはならない。この目的で図２４（ａ）に示すように天球を地表セル559の中心から鉛直に上を向いている天頂ベクトル570を定義し、以下、該天頂ベクトルを基準に同心円状に天球を輪切りにして天頂インデクスI 572を定義する。天頂インデクスｉはi=0,1,2,…と順次定義され、i=0は天頂ベクトルであり、順次ｉが大きくなるに従い、天頂ベクトルとなす角度が同一幅で増加し、同一同心円状に天頂から水平線まで定義される。天頂インデクス572を通過して地表セル559から立体角セル中心ベクトルが定義される。立体角セル中心ベクトル574は、必ず天頂インデクス572上に一定方位角間隔で定義される。
【００５０】
図２４（ａ）で立体角セル573とは図２の十分小さい立体角の範囲I 221に対応するもので、地表セル559からの画像検索の基本単位となる。立体角セル573は立体角セル中心ベクトル574に対してなす角度がたとえば３．５°以下であるベクトルの収まる円錐と定義される。図２４は天頂方向から地表セル559を見た図である。立体角セル573は天頂インデクスI 572に対して相互に重複しながら隣接して定義され、天頂インデクスｉ572の全周をうめる。天頂ベクトル570と天頂インデクスI 570を通過する立体角セル中心ベクトル574のなす角を天頂離角571といい、天頂インデクスI 572を定義する数値となる。
【００５１】
図２５は立体角セル573のインデクス構造を示したものである。図２５（ｂ）は天頂方向から地表セル中心点575を見下ろした図である。2次元の添字のある立体角セルアドレス（ｉ，ｊ）を定義して、ｉは天頂インデクスｉ572を示し、jは天頂インデクスｉの同心円上のｊ番目の方向の立体角セルを表す。立体角セルアドレス(0,0)
584の立体角セル中心ベクトルは天頂ベクトル570であり、これを囲んで、同心円状に天球上で立体角セルアドレス(1,0) 585、立体角セルアドレス(1,1) 586、立体角セルアドレス(1,2) 587が以下、天頂インデクス１の全周を埋めるまで定義される。天頂インデクス１581の外側に天頂インデクス２に沿って、立体角セルアドレス(2,0) 588、立体角セルアドレス(2,1) 589、立体角セルアドレス(2,2) 590が天頂インデクス２の全周を埋めるまで定義される。立体角セル573は相互に重複し、天球を空隙が無いように埋め尽くされる。立体角セルの立体角は３次元動画生成が滑らかに行われるように、設定される。立体角セルアドレス数は天頂インデクスが地表に近づくにつれて多くなる。このようにしてすべての地表セルに対して、該地表セルを撮影した画像を、天球上の方向によって検索できるのである。
【００５２】
図２６に空中画像インデクススの関連テーブルの構造と相互関連を示す。天頂インデクスと天頂セルアドレスの構造は、地表セルに依存せず同一であり、この構造を天頂インデクスパラメタテーブルＺＮＰＲＭＴ597と方位インデクスパラメタテーブルＤＲＰＲＭＴ598で定義する。この構造を天頂インデクスパラメタテーブルＺＮＰＲＭＴ597は天頂インデクス０から順次、天頂インデクスｉ572に対する天頂離角571を定義し、さらに天頂インデクスｉ572に対応する中心ベクトル574が正規化ベクトルであった場合の鉛直方向成分を縦方向成分として格納する。天頂インデクスi 572に含まれる立体角セルの数は天頂から水平線に近づくにつれ増大するので、各天頂インデクスに対応した方位数ＮＤＲｉとして規定する。方向インデクスパラメタテーブルＤＲＰＲＭＴ598は天頂インデックスに対応して定義される方位数ＮＤＲｉに対応する立体角セルアドレスにつき、その立体角セル中心ベクトルの方位Ｘ成分と方位Ｙ成分を規定する。天頂インデックスパラメタテーブルＺＮＰＲＭＴ597  記載の縦方向成分とあわせてベクトルノルムが１となるように正規する。
【００５３】
次に、地表セルに対応した画像データインデクステーブルの構造について説明する。図２６の地表セル位置インデックステーブルＴＣＩＮＸＴ 600はすべての地表セル559に対して定義され、地表セルに対応して天頂インデックステーブルアドレスＡＤＤＲｉｊ  603が指定される。ＡＤＤＲｉｊの添え字は地表上の位置に対応して経度インデックスＬＯＮＩＮＸ 601がｉ、緯度インデックス  ＬＡＴＩＮＸ 602がｊであることを示している。天頂インデックステーブルアドレスＡＤＤＲｉｊ  603は、地表セルijに対応した天頂インデックステーブルＺＮＩＮＸＴ 604を示す。天頂インデックステーブルＺＮＩＮＸＴには選択された天頂インデクスｋに対応して方位インデックステーブルアドレスＡＤＤＲijk  605が定義され、これに従い方位インデックステーブルＤＲＩＮＸＴ 606が規定される。ここには天頂インデックスパラメタテーブルＺＮＰＲＭＴ  597  で指定される数の方位数があるので方位インデクスがｍであれば画像アドレステーブル608のアドレスとしてＡＤＤＲｉｊｋｍが指定される。このように選択された画像アドレステーブルとは、地表セルｉｊに対して立体角セルアドレス（ｋ，ｍ）の立体角セルに含まれる画像データ数と画像データアドレスを示しているのである。このように図２６に従い、空中画像インデクスと関連テーブルの相互関連を定義すると地表の位置から空中の任意の方向から撮影した画像を検索できるのである。
【００５４】
以上の画像データインデクス機構の説明に基づき、図２２に示す空中画像データベース登録システムの空中画像インデクス生成登録処理フローの説明を以下に行う。処理ブロック540では図２３で示されるような1枚の画像があると、地表画像範囲549に含まれるすべての地表セルを求める。処理ブロック541では処理ブロック540で求めた地表セルすべてについて処理を順次行う。処理ブロック542では地表セル中心座標から撮影位置550を見込むベクトルを求める。処理ブロック543と処理ブロック544ではでは天頂インデックスパラメタテーブルZNPRMT  597 と方位インデックスパラメタテーブルDRPRMT 598の定義から内積演算により該地表セル中心座標から撮影位置550を見込むベクトルをふくむ立体角セルアドレス（ｋ，ｍ）を求める。この情報に基づき処理ブロック545で画像データテーブルＡＤＤＲijkmの画像データ数を１つ増加して画像データアドレスを追記する。
【００５５】
図２７に３種類の焦点距離の異なるディジタルカメラによる視野の構成例を示す。本発明の都市景観の３次元動画生成では、俯角が少ない場合の原画像はオフナディア角の大きな画像となるため必然的に航空機より遠方の画像となる。このことは、俯角が少ない場合の動画像を分解能を低下させずに生成させるためにはオフナディア角の大きな場合の画像撮影時に分解能を悪化させない配慮が必要である。このため、図２７に示すようにオフナディア角が大きくなるに従い望遠レンズの焦点距離を長くし、分解能を維持すると同時に、３種類のオフナディア角のディジタルカメラを採用してオフナディア角が大きくなるほど焦点距離を長くして地表分解能が均一になるように工夫した例である。図２８に直下点撮影用にディジタルカメラ350ａを用い、ディジタルカメラ350ｂ〜ｉまでの８台を放射上に同一の小さいオフナディア角を持たせて配置し、その外側にディジタルカメラ620ｊ〜ｙまでの１６台を放射上に同一の大きいオフナディア角を持たせて配置する。ディジタルカメラの小型高性能化は著しく、既存の航空写真カメラ用航空機床穴398に充分収納することができる。図２９に３種類の焦点距離の異なるディジタルカメラによるディジタルカメラ集合体の撮影範囲例を図示する。代表的実施例としてはディジタルカメラ350ａを３５ｍｍフィルム換算焦点距離５０ｍｍ相当で直下指向、ディジタルカメラ350ｂ〜ｉを焦点距離７０ｍｍ相当でオフナディア角３５°指向、ディジタルカメラ620ｊ〜ｙを焦点距離１０５ｍｍ相当でオフナディア角６０°指向という組み合わせがある。
【００５６】
図３０に航空機搭載用安定プラットフォーム装置395のもっとも単純な構成例を示す。
安定プラットフォーム装置395は航空機床穴397をまたぎ、上部にふさぐ形で設置され、下から固定部635、上下動部636、回転部637より構成される。回転部637は回転テーブル構造をなしており、その上に密着して姿勢検出用のＩＭＵ396が設置され、回転部637の下部にはディジタルカメラ集合体360が吊下されて航空機床穴397より機外に張り出すことなくすべての下方視界をすべてのディジタルカメラ350a〜iに収めることができる。該安定プラットフォーム装置395はディジタルカメラ集合体360または621を吊下してディジタルカメラ350a〜iおよびディジタルカメラ620j〜yを用いて同様に撮影することもできる。なお、回転部637とディジタルカメラ集合体360または621の接合方法は剛性を持たせて固定することが必要である。安定プラットフォーム装置395は航空機姿勢の擾乱に対して一定の姿勢を保持することを目的としているが、対処可能な航空機の姿勢擾乱はピッチ角およびロール角で最大７から１０°、ヨー角については最大２０°を想定しておけばよい。固定部635は航空機床398に固着される。上下駆動機構Ａ〜Ｄ641〜644を介して上下動部636を保持する。上下駆動機構Ａ〜Ｄ641〜644は各々独立に上下に動きピッチ角とロール角の擾乱を補正する。上下駆動は油圧機構でも、ウォーム歯車による回転運動の上下運動への変換方式を採用してもよい。上下動部645にはさらにベアリング機構645に保持される形で回転部637が搭載される。回転駆動機構640は上下動部636に固定され、かつ回転部637が外延部に接する形で設置される。回転部637と回転駆動機構640との間は回転運動を伝達すればよく、回転部637を回転させて航空機のヨー角に対する擾乱を打ち消す。図３１に安定プラットフォーム装置の信号情報フローを示す。安定プラットフォーム制御システム  394はＩＭＵ396よりピッチ角、ヨー角、ロール角を周期的に入力し、基準値からの偏差を求めてピッチ角、ロール角の偏差を打ち消すために上下駆動機構Ａ〜Ｄ641〜644を制御して上下運動649を行わせる。ヨー角の偏差を打ち消すためには回転機構640を制御して回転運動650を行わせる。
【００５７】
次に、都市景観３次元動画生成および閲覧システムにおける空中動画生成処理につき図３２から図３９を用いて説明する。モーフィングによる空中動画像生成の概念と変数の説明を図３２で説明し、全体の処理のフローを図３３の都市景観３次元動画生成および閲覧システムにおける空中動画生成処理フローに基づき説明する。図３２において、視点経路P(t) 270に沿って視点が時刻ｔとともに移動し、その間、地表を目標トラジェクトリT(t)  280に沿って該視点経路P(t) 270上の位置から時刻ｔ1からｔ４、ｔｉまで、視線ベクトルＶ（ｔ１）からＶ（ｔ４）、Ｖ（ｔｉ）でとらえる。本発明では該視点経路P(t) 270からの該目標トラジェクトリT(t) 280に対する都市景観の３次元動画を生成する方法として、時刻ｔ１、ｔ２、ｔ３では視点Ｐ（ｔ１）675、視点Ｐ（ｔ２）676、視点Ｐ（ｔ３）677の視線に近く視差の少ない空中画像ｍ−１666を空中画像データベース130より検索し、時刻ｔ１、ｔ２、ｔ３ の視線ベクトルＶ（ｔ１）681、Ｖ（ｔ２）682、Ｖ（ｔ３）683の間は、画像ベクトルＧｍ−１672との視差の相違を空中画像ｍ−１666に対するモーフィング処理で補正し、滑らかな動画像を生成する。時刻ｔ４の視線ベクトルＶ（ｔ４）684からは空中画像ｍ−１666よりも空中画像ｍ 667の方が視点の相違による視差が少ないと判断して空中画像ｍ 667を原画像に切り替え、時刻ｔ４
の視線ベクトルＶ（ｔ４）684以降次の原画像が選ばれるまで空中画像ｍ 667との視差の相違を空中画像ｍ 667に対するモーフィング処理で補正することにより滑らかな都市景観の３次元動画生成を行うのである。
【００５８】
以上の処理を処理フローで示したのが図３３で、処理ブロック690では、グラフィックユーザインターフェイスシステム180より次の動画フレーム（次コマ）として計算すべき移動方向、移動速度、位置、視線方向ベクトルを取り込む。処理ブロック691では、この値に基づき次コマの視点位置、視線ベクトル、地表上の目標点座標を計算する。処理ブロック692では、次コマの地表インデクス位置が現コマと同一か現コマ、次コマの中心点で判断する。同一でない場合は、最適な原画像を求めなおす必要があり、処理ブロック694へ行く。同一な場合は、処理ブロック693で次コマの視線ベクトルが現コマと同じ立体角セル内か判定する。これは視線の向きが現コマとある程度変化したかを判定するもので、同一立体角セル内でないと判断された場合には処理ブロック694で最適な原画像を求めなおす必要がある。同一立体角セル内であると判断された場合には現コマの原画像を引き続き使用する。
【００５９】
処理ブロック694の処理内容はより詳しく図３４の空中動画像生成における原画像検索の処理フローと図３５の３次元動画生成処理の原画像選択論理図に示される。処理ブロック700では、次コマの中心に存在する地表セルアドレス（ｉ,ｊ）を求めその中心点と次コマの視点を結ぶ視線ベクトルをつくりこれを正規化する。処理ブロック701から703では、この正規化視線ベクトルから天頂インデクスパラメタテーブルＺＮＰＲＭＴ597および方位インデクスパラメタテーブルＤＲＰＲＭＴ598を参照して立体角セルアドレス（ｋ，ｍ）を求め、地表セルアドレス（ｉ,ｊ）と併せて画像アドレステーブルのアドレスＡＤＤＲｉｊｋｍが求まる。同一地表セルアドレスに対する同一立体角セルアドレスには画像アドレステーブルのはじめのデータで示される原画像候補が存在するので、処理ブロック704と処理ブロック705でその中から視点Ｐ（ｔｉ）からの視野の4隅の点を原画像がすべて撮影しているかを判定する。図３５で（ａ）で視点Ｐ（ｔｉ）の視野の地表上の４端点Ｔｉ１715、Ｔｉ２716、Ｔｉ３717、Ｔｉ４718のすべてが原画像撮影位置ＳＡ710、原画像撮影位置ＳＢ711、原画像撮影位置ＳＣ712からの画像に撮影されているかを判定するのが処理ブロック705の判定であり、ベクトル外積演算で容易にできる。図３５（ｂ）の例で言えば、原画像撮影位置ＳＡ710、原画像撮影位置ＳＢ711からの画像のみが視点Ｐ（ｔｉ）の視野の地表上の４端点Ｔｉ１715、Ｔｉ２716、Ｔｉ３717、Ｔｉ４718のすべてを画像に捕らえている。処理ブロック705の条件を満足する原画像をすべて求めた後、処理ブロック706で地表セルアドレス（ｉ，ｊ）に最も近い画像距離の最短の画像を原画像として選択する。画像距離は図１７空中画像データベースの撮影パラメタの１データとして計算されており、画像距離が最短の原画像を選択するとは視点と目標の間の視界をさえぎる障害物を排除する処置である。
【００６０】
次に図３３に戻り、処理ブロック697のモーフィング処理の内容について図３６を参照しつつ以下に説明する。ここでいうモーフィング処理とは原画像撮影位置Sm  671から撮影したTerrain平面Zm  727の画像Nｍをもとに、時間とともに連続的に変化する視点Pi  679から、同じく時間とともに連続的に変化する視線ベクトルViC  685で見た画像を生成する処理をいう。
【００６１】
該モーフィング処理は３次元座標に対して線形変換で表現できることは、線形代数として公知であり、一般的に言われているモーフィング処理の特殊な場合である。
【００６２】
該モーフィング処理の実現方法としては、公然実施されているMicroSoft社のDirect-Xを使用すれば、同業者であれば容易に実現できる。また、利用法およびインターフェイスはインターネット上で広く公開されている。
【００６３】
次に、都市景観の３次元動画生成アミューズメントシステムのグラフィックユーザインターフェイスシステム180に関する説明を図４０を用いて行う。図４０は該グラフィックユーザインターフェイスシステム180の処理の全体構造を示している。図４０の処理フローと図４１のモニタ表示と入力機能によりグラフィックユーザインターフェイスシステム180が構成される。。
【００６４】
図４０で処理ブロック979では図４１の空中グラフィックユーザインタフェースより、進行方向、スロット、昇降指示を画面より読み込み、位置と速度ベクトルを更新する。空中３次元動画生成ではコックピット表示を３次元映像表示  990に行うだけでなく、機能ボタン1001による選択によりカメラ表示に切り替えることができる。これは空中３次元動画生成システム160が始点位置のトラジェクトリと視線ベクトルのトラジェクトリを自由に取れることに対応している。処理ブロック980でコックピット表示が選択された場合には処理ブロック983に進み、視線ベクトルを進行方向に設定、視野角は規定値に設定し、空中３次元動画生成システム160に情報を伝達する。処理ブロック980でカメラが選択されたと判定された場合は、処理ブロック981で図７９の空中グラフィックユーザインタフェースよりカメラ方向、チルト角、ズーム設定値を取り込み、処理ブロック982で視点、視線、およびズームによる視野角を計算して空中３次元動画生成システム160に情報を伝達する。
【００６５】
以下、図４１について今までに説明していない部分を説明する。方位インジケータ991は飛行方向を示し、高度インジケータは飛行高度を示す。地図表示988は現在の飛行位置を地図で表示する。この機能はGISとして公然実施されている。
【産業上の利用可能性】
【００６６】
本発明の３次元動画生成および閲覧システムは、都市空間の景観模擬、動画による案内、状況把握および監視、広告、商業活動、およびアミューズメントのインフラとして広範囲な分野で産業上利用できるほか、事前に特定対象物を限定せず一定の領域を高密度に撮影しておき、画像表示時に特定対象についてさまざまな視点と方向から観察できる特徴を生かして防災、治安維持の目的に使用することができる。
【図面の簡単な説明】
【００６７】
【図１】本発明の都市景観３次元動画生成および閲覧システム全体構成を概略的に示す図である。
【図２】図１に示す都市景観３次元動画生成および閲覧システムにおける空中画像取得の概念を示す図である。
【図３】３次元動画におけるモーフィングの概念図である。
【図４】本発明の都市景観３次元動画生成および閲覧システムにおける実画像を用いたモーフィングによる動画像生成の概念について説明する図である。
【図５】本発明の航空機による空中画像取得システムの運用例について説明する図である。
【図６】本発明の空中画像取得システムの処理フローについて説明する図である。
【図７】本発明の航空機搭載ディジタルカメラ集合体の例について説明する図である。
【図８】本発明の航空機による空中画像取得システムの航路および撮影ポイントの設定例を示す図である。
【図９】本発明の空中画像取得システムの構成例を示す図である。
【図１０】本発明の空中搭載画像取得システムのフライトナビゲーションシステム部の処理フローを示す図である。
【図１１】本発明の空中画像取得計画ファイルの構成例を示す図である。
【図１２】本発明の空中画像取得システムのフライトナビゲーションシステム部の表示画面の例を示す図である。
【図１３】本発明の空中画像取得システムのデータ取得記録システム部の情報フローを示す図である。
【図１４】本発明の空中画像取得システムの撮影制御システムの処理フローを示す図である。
【図１５】本発明の空中画像一次ファイルの構造を示す図である。
【図１６】本発明の空中画像データベース生成登録システムの処理フローを示す図である。
【図１７】本発明の空中画像データベース構成を示す図である。
【図１８】本発明のモヤ影響除去処理における画像と視野の関係を示す図である。
【図１９】本発明のモヤ影響除去処理における画像特性パラメータグラフ例を示す図である。
【図２０】本発明のモヤ影響除去処理の処理フローを示す図である。
【図２１】本発明のモヤ影響除去処理の処理結果例を示す図である。
【図２２】本発明の空中画像データベース生成登録システムの空中画像インデクス生成登録処理フローを示す図である。
【図２３】本発明の空中画像インデクス機構の構造と用語の定義を示す図である。
【図２４】本発明の空中画像インデクス機構の構造を示す図である。
【図２５】本発明の立体角セルのインデックス構造を示す図である。
【図２６】本発明の空中画像インデクスと関連テーブルの相互関連を示す図である。
【図２７】本発明のディジタルカメラ集合体の３種類の焦点距離の異なるディジタルカメラによる視野の構成例を示す図である。
【図２８】本発明の３種類の焦点距離の異なるディジタルカメラによるディジタルカメラ集合体の構成例を示す図である。
【図２９】本発明の３種類の焦点距離の異なるディジタルカメラによるディジタルカメラ集合体の撮影範囲図を示す図である。
【図３０】本発明の航空機搭載用安定プラットフォームの構造例を示す図である。
【図３１】本発明の安定プラットフォームの信号情報フローを示す図である。
【図３２】本発明の都市景観３次元動画生成および閲覧システムにおける実画像を用いたモーフィングによる動画像生成の変数を説明する図である。
【図３３】本発明の都市景観３次元動画生成および閲覧システムにおける空中動画生成処理フローを示す図である。
【図３４】本発明の都市景観３次元動画生成および閲覧システムにおける実画像を用いた３次元動画生成処理の原画像検索の処理フローを示す図である。
【図３５】本発明の３次元動画生成処理の原画像選択論理を示した図である。を示す図である。
【図３６】本発明の３次元動画生成処理での視点における視野と原画像の関係を示す図である。
【図３７】本発明の視線ベクトルとTerrainの交点の関係を示す図である。
【図３８】本発明の視点における視野と原画像の関係を示す図である。
【図３９】本発明の視点Ｐ（ｔi）からの視野を示す図である。
【図４０】本発明のグラフィックユーザインターフェイスシステムの処理の空中グラフィックユーザインターフェイスシステムの処理フローを示す図である。
【図４１】本発明のグラフィックユーザインターフェイスシステムの処理の空中グラフィックユーザインターフェイスシステムの表示例を示す図である。
【符号の説明】
【００６８】
100  空中画像取得システム
101  空中画像取得計画ファイル
102  空中画像一次ファイル
120  空中画像データベース生成登録システム
121  ＤＥＭファイル
122  ＤＧＰＳファイル
140  空中画像データベース
142  空中画像インデクス機構
143  空中画像データベース
160  空中３次元動画生成システム
165  空中画像検索エンジン
180  グラフィックユーザインターフェイスシステム
190  インターネット
191  ユーザ
200  都市
210  視線
220  充分小さい立体角の範囲 1  
221  充分小さい立体角の範囲 ｉ
222  天球
230  建物および視線方向の関係図
240  視線方向１
241  視線方向１より見た画像
250  視線方向２
251  視線方向２より見た画像
260  空中画像 ｉ
261  空中画像 ｉ+1  
270  視点経路  P(t)  
271  時刻 ｔ の視線  
272  時刻 ｔ+δｔ の視線  
273  時刻 ｔ+2δｔ の視線  
274  時刻 ｔ+3δｔ の視線  
275  時刻 ｔ+4δｔ の視線  
276  時刻 ｔ+5δｔ の視線  
280  目標トラジェクトリ  T(t)  
300  飛行経路
301  航空機 
310  撮影ポイント 
320  ディジタルカメラ集合体光軸方向  
330  撮影ポイント設定プロセス 
331  撮影プロセス 
332  空中画像一次ファイル生成プロセス  
350a〜i  ディジタルカメラ
360  ディジタルカメラ集合体 
370  撮影方向 
371  飛行方向撮影間隔 
372  飛行航路間撮影間隔 
373  航空機位置
375a〜i  ディジタルカメラ350a〜iの撮影範囲
380  GPSアンテナ
385  フライトナビゲーションシステム部 
386  フライトナビゲーションシステム
387  アビオニクス情報
388  航空計装
390  データ取得記録システム部 
391  メタデータファイル
393  空中撮影制御システム
394  安定プラットフォーム制御システム 
395  安定プラットフォーム装置  
396  ＩＭＵ 
397  航空機床穴 
398  航空機床 
400  ＩＭＵ
420〜425  処理ブロック
430  航路No.1撮影座標ファイル  
431  航路No.２撮影座標ファイル  
432  航路No.ｍ撮影座標ファイル  
437  撮影ガイダンス表示
438  航路内残撮影ポイント数表示
439  航路No.表示
440  撮影許容範囲  
441  飛行方向  
442  方位表示  
443  姿勢表示  
444  左右傾斜表示  
445  昇降姿勢軸表示  
446  位置偏差表示  
447  水平偏差軸  
448  高度偏差軸  
450  安定プラットフォームの姿勢データ  
451  航空機の姿勢データ  
452  GPSアンテナの位置データ  
453  ディジタルカメラ撮影パラメタ  
454  カメラパラメタ 
455  空中画像データ  
456  撮像ポイントデータ  
457  撮影指令
460〜465  処理ブロック
470  画像ヘッダ部分  
471  画像データ部分
472  航空機データ部分  
480〜486  処理ブロック
490  画像ヘッダ部分
491  画像データ部分
495  撮影画像  
496  近景部分ａ  
497  近景部分ｂ  
498  遠景部分  
499  撮影地表部分  
500  正規化ヒストグラム 
501  近景部分ａヒストグラム 
502  遠景部分ヒストグラム 
503  ヒストグラム下限値 
504  ヒストグラム上限値  
505  値幅
506  中央値
507  輝度上限値  
508  輝度軸
509  画素数軸
510  数値軸 
511  ディジタルカメラよりの距離軸  
512  中央値フィッティング曲線  
513  値幅フィッティング曲線  
514  近景部分ａ値幅   
515  近景部分ａ中央値  
516  遠景部分中央値  
517  遠景部分値幅  
520〜524  処理ブロック
530  モヤ影響除去前画像
531  モヤ影響除去後画像
540〜545  処理ブロック
549  地表画像範囲
550  撮影位置  
551  画像ベクトル（正規化）  
552  画像距離  
553  フレーム回転角  
554  Terrain上中心点座標  
555  Terrain上最近右座標  
556  Terrain上最遠右座標  
557  Terrain上最遠左座標  
558  Terrain上最近左座標  
559  地表セル  
560  Terrain
570  天頂ベクトル  
571  天頂離角 
572  天頂インデックスｉ  
573  立体角セル  
574  立体角セル中心ベクトル  
575  地表セル中心点  
580  天頂インデックス０  
581  天頂インデックス１  
582  天頂インデックス２  
583  天頂インデックス３  
584  立体角セルアドレス（０．０）  
585  立体角セルアドレス（１．０）  
586  立体角セルアドレス（１．１）  
587  立体角セルアドレス（１．２）  
588  立体角セルアドレス（２．０）  
589  立体角セルアドレス（２．１）  
590  立体角セルアドレス（２．２）
597  天頂インデックスパラメタテーブル ＺＮＰＲＭＴ 
598  方位インデックスパラメタテーブル ＤＲＰＲＭＴ
599  方位数
600  地表セル位置インデックステーブル  ＴＣＩＮＸＴ  
601  経度インデックス ＬＯＮＩＮＸ 
602  緯度インデックス  ＬＡＴＩＮＸ
603  天頂インデックステーブルアドレス  
604  天頂インデックステーブル  ＺＮＩＮＸＴ
605  方位インデックステーブルアドレス  
606  方位インデックステーブル ＤＲＩＮＸＴ 
607  画像アドレステーブルアドレス  
608  画像アドレステーブル  ＧＡＤＤＲＴ
610  焦点の長い望遠レンズのディジタルカメラ
611  焦点の短い望遠レンズのディジタルカメラ
612  標準レンズディジタルカメラ  
613  標準レンズディジタルカメラの撮影範囲  
614  焦点の短い望遠レンズのディジタルカメラの撮影範囲
615  焦点の長い望遠レンズのディジタルカメラの撮影範囲
620j〜y  ディジタルカメラ
621  ディジタルカメラ集合体
630j〜y  ディジタルカメラ550 j〜yの撮影範囲
635  固定部
636  上下動部
637  回転部
640  回転駆動機構  
641  上下駆動機構Ａ  
642  上下駆動機構Ｂ  
643  上下駆動機構Ｃ  
644  上下駆動機構Ｄ  
645  ベアリング機構  
646  安定プラットフォームの姿勢データ  
647  ロー、ピッチ方向の制御 
648  ヨー方向の制御  
649  上下運動  
650  回転運動 
666  空中画像ｍ−１
667  空中画像ｍ
670  原画像撮影位置Sm-1
671  原画像撮影位置Sm
672  画像ベクトルGm-1
673  画像ベクトルGm
675  視点  Ｐ（ｔ1） 
676  視点  Ｐ（ｔ2）
677  視点  Ｐ（ｔ3）
678  視点  Ｐ（ｔ4）
679  視点  Ｐ（ｔi）
680  視線ベクトルトラジェクトリ V（ｔ）
681  視線ベクトル V （ｔ1）  
682  視線ベクトル V （ｔ2）
683  視線ベクトル V （ｔ3）
684  視線ベクトル V （ｔ4）
685  視線ベクトル V （ｔi）
690〜697  処理ブロック
700〜705  処理ブロック
710  原画像撮影位置SA
711  原画像撮影位置SB
712  原画像撮影位置SC
713  遮蔽物
714  Terrain上可視範囲  
715  Terrain上最近右座標Ｚm1 
716  Terrain上最遠右座標Ｚm2
717  Terrain上最遠左座標Ｚm3
718  Terrain上最近左座標Ｚm4
719  Terrain上中心座標ＺmC
720  Terrain上左端中点Ｚm34 
721  Terrain上右端中点Ｚm12 
722  Terrain上上端中点Ｚm23 
723  Terrain上下端中点Ｚm41 
724  Terrain上視野縦ベクトルＺmV
725  Terrain上視野横ベクトルＺmH
726  Terrain上視野垂直ベクトルｎm
727  Terrain平面
730  原画像
731  視点における視野  
732  フレーム画角(横)
733  フレーム画角(縦)       
734  視野右下端点Vi1 
735  視野右上端点Vi2
736  視野左上端点Vi3
737  視野左下端点Vi4
979〜983  処理ブロック
986  方向転換ボタン
987  高度インジケータ
988  地図表示
989  現在地名称表示
990  ３次元映像表示
991  方位インジケータ
992  操縦ボタン
993  スロットル
994  カメラ前後方向指定
995  カメラ左右方向指定
996  ズーム指定
1001  機能ボタン
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図３】
2009217524.tif 001210
【図５】
2009217524.tif 001211
【図６】
2009217524.tif 001212
【図７】
2009217524.tif 001213
【図８】
2009217524.tif 001214
【図９】
2009217524.tif 001215
【図１０】
2009217524.tif 001216
【図１１】
2009217524.tif 001217
【図１２】
2009217524.tif 001218
【図１３】
2009217524.tif 001219
【図１４】
2009217524.tif 001220
【図１５】
2009217524.tif 001221
【図１６】
2009217524.tif 001222
【図１７】
2009217524.tif 001223
【図１８】
2009217524.tif 001224
【図１９】
2009217524.tif 001225
【図２０】
2009217524.tif 001226
【図２２】
2009217524.tif 001227
【図２３】
2009217524.tif 001228
【図２４】
2009217524.tif 001229
【図２５】
2009217524.tif 001230
【図２６】
2009217524.tif 001231
【図２７】
2009217524.tif 001232
【図２８】
2009217524.tif 001233
【図２９】
2009217524.tif 001234
【図３０】
2009217524.tif 001235
【図３１】
2009217524.tif 001236
【図３３】
2009217524.tif 001237
【図３４】
2009217524.tif 001238
【図３５】
2009217524.tif 001239
【図３６】
2009217524.tif 001240
【図３７】
2009217524.tif 001241
【図３８】
2009217524.tif 001242
【図３９】
2009217524.tif 001243
【図４０】
2009217524.tif 001244
【図４１】
2009217524.tif 001245
【図１】
2009217524.tif 001246
【図２】
2009217524.tif 001247
【図４】
2009217524.tif 001248
【図２１】
2009217524.tif 001249
【図３２】
2009217524.tif 001250