(57)【要約】【課題】  実画像を用いた都市景観３次元動画を提供するシステムに対してユーザの画像投稿手段を提供する。【解決手段】  都市を上空ないし地上から高密度に多方向から撮影した画像をデータベース化し、任意の都市の位置に対して任意の視点経路と視線方向に対応した画像をデータベースから検索して、検索した画像を実際の視点との視差に対応してモーフィング処理により連続した滑らかな３次元動画に生成することを特徴とする都市景観３次元動画システムにおいてユーザの投稿した画像のメタデータを隣接する画像データベースへ登録済みの画像との関連で計算して画像データベースに登録して都市景観３次元動画生成に使用可能とする。【選択図】          図１
2010009588.tif 000002
【特許請求の範囲】
【請求項１】
実画像を利用する都市景観３次元動画システムにおいて、新規に投稿した画像を３次元動画生成システムの原画像として使用する目的で原画像データベースシステムに組み込むため、該投稿画像に関するメタデータを生成あるいは入力し、該投稿画像、該生成メタデータあるいは該入力メタデータを総合して該原画像データベースに追加登録することを特徴とするユーザコンテンツ投稿システム。
【請求項２】
請求項１の実画像を利用する都市景観３次元動画システムにおけるユーザコンテンツ投稿システムにおいて、異なる撮影位置から同一対象を撮影した、撮影位置と撮影方向と画像の撮影光軸廻りの回転角と画角または焦点距離が判明している少なくとも1対の撮影済み画像と、撮影位置と撮影方向と画像の撮影光軸廻りの回転角と画角または焦点距離が不明な投稿画像を相互に４箇所以上のタイポイントでマッチングさせることにより、該投稿画像の撮影位置と撮影方向と撮影光軸廻りの回転角と画角または焦点距離からなるメタデータを計算し生成する方法と、該投稿画像と該生成メタデータを該原画像データベースに追加登録することを特徴とするユーザコンテンツ投稿システム。
【請求項３】
請求項１または請求項２のいずれかの実画像を利用する都市景観３次元動画システムにおけるユーザコンテンツ投稿システムにおいて、該投稿画像が通路上で撮影した画像であって、撮影位置、撮影方向と画像の撮影光軸廻りの回転角と画角または焦点距離のすべてまたはその一部についてデータを得ることができないディジタルカメラまたは携帯電話付属のディジタルカメラで撮影されたことを特徴とするユーザコンテンツ投稿システム。
【請求項４】
請求項１または請求項２のいずれかの実画像を利用する都市景観３次元動画システムにおけるユーザコンテンツ投稿システムにおいて、該異なる撮影位置から同一対象を撮影した、撮影位置と撮影方向と画像の撮影光軸廻りの回転角と画角または焦点距離が判明している少なくとも1対の撮影済み画像が、該都市景観３次元動画システムの該原画像データベースに既に登録されていてユーザおよび該投稿者から閲覧することができることを特徴とするユーザコンテンツ投稿システム。
【請求項５】
請求項１から請求項４のいずれかの実画像を利用する都市景観３次元動画システムにおけるユーザコンテンツ投稿システムにおいて、異なる撮影位置から同一対象を撮影した、撮影位置と撮影方向と画像の撮影光軸廻りの回転角と画角または焦点距離が判明している少なくとも1対の撮影済み画像を相互に４箇所以上のタイポイントでマッチングさせることにより、該４箇所以上のタイポイントの実空間における位置を求め、その結果、該タイポイントの実空間における位置の撮影光軸方向の位置分散と撮影光軸と直角方向の位置分散が一定基準より少ない場合には該タイポイントの選定を棄却して別のタイポイントの選定を求めることを特徴とするユーザコンテンツ投稿システム。
【請求項６】
請求項１から請求項５のいずれかの実画像を利用する都市景観３次元動画システムにおけるユーザコンテンツ投稿システムにおいて、撮影位置と撮影方向と画像の撮影光軸廻りの回転角と画角または焦点距離が不明な画像と、該原画像データベースに既に存在する撮影位置と撮影方向と撮影光軸廻りの回転角と画角または焦点距離が判明している画像とを４箇所以上のタイポイントでマッチングさせ、数値計算的手法によりタイポイントマッチングの過程で発生した誤差を収束させることにより撮影位置と方向と撮影光軸廻りの回転角と画角または焦点距離を計算し該投稿画像と該生成メタデータを該原画像データベースに追加登録することを特徴とするユーザコンテンツ投稿システム。
【請求項７】
請求項６の実画像を利用する都市景観３次元動画システムにおけるユーザコンテンツ投稿システムにおいて、異なる撮影位置から同一対象を撮影した、撮影位置と撮影方向と画像の撮影光軸廻りの回転角と画角または焦点距離が判明している少なくとも1対の撮影済み画像と、撮影位置と撮影方向と画像の撮影光軸廻りの回転角と画角または焦点距離が不明な投稿画像を相互に画像認識により自動的に４箇所以上のタイポイントでマッチングさせ、数値計算的手法によりタイポイントマッチングの過程で発生した誤差を収束させることにより撮影位置と撮影方向と撮影光軸廻りの回転角と画角または焦点距離を計算し該投稿画像と該生成メタデータを該原画像データベースに追加登録することを特徴とするユーザコンテンツ投稿システム。
【請求項８】
請求項７の実画像を利用する都市景観３次元動画システムにおけるユーザコンテンツ投稿システムにおいて、異なる撮影位置から同一対象を撮影した、撮影位置と撮影方向と画像の撮影光軸廻りの回転角と画角または焦点距離が判明している少なくとも1対の撮影済み画像を画像認識により自動的に相互に４箇所以上のタイポイントでマッチングさせることにより、該４箇所以上のタイポイントの実空間における位置を求め、その結果、該タイポイントの実空間における位置の撮影光軸方向の位置分散と撮影光軸と直角方向の位置分散が一定基準より少ない場合は該タイポイントの選定を棄却して別のタイポイントを自動的に選定することを特徴とするユーザコンテンツ投稿システム。
【請求項９】
請求項１から請求項８のいずれかの実画像を利用する都市景観３次元動画システムにおけるユーザコンテンツ投稿システムにおいて、該投稿画像と生成したメタデータが、３次元動画生成システムの該原画像データベースに登録済みの画像に比較して画像品質がよいか、基準品質に達しているかを評価して、該基準品質に達していれば該原画像データベースに登録することを特徴とするユーザコンテンツ投稿システム。
【請求項１０】
請求項１から請求項９のいずれかの実画像を利用する都市景観３次元動画システムにおけるユーザコンテンツ投稿システムにおいて、現在有効な配信中のコンテンツが投稿するコンテンツの内容によりどのように変化するか投稿受付前かつ配信前に投稿者が閲覧評価できると同時に画面上の表示位置あるいは表示形態について他のあるいは既存の投稿者と競合する場合には、オークションにより最も高い価格を応札したものが採用されることを特徴とするユーザコンテンツ投稿システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、市街地を含む地上の景観を様々な角度から撮像した写真を利用する３次元都市景観の動画を生成表示するシステムにおいて、広く利用者が撮影した画像を投稿することを可能にし利用者の投稿コンテンツによってサービスの品質を高めることを目的とするユーザコンテンツ生成システムに関するものである。
【背景技術】
【０００２】
従来、都市景観を３次元で動画表示する方式として、都市の建造物の立体モデルを作成し建造物の壁面をテクスチャーマッピングにより貼り付け、得られた３次元都市モデルに対して３次元画像処理により３次元動画を得る方法がある。
【０００３】
また、別の方法では、空中および通路上に高密度のメッシュ点を設定してそこから多方向の画像を広範囲に撮像できるシステムを構築し、これら大量の画像をデータベース化し、都市の任意の位置を任意の視点で任意の方向から見た場合の最も視差の少ない画像を高速に検索するシステムを構築し、さらに指定した視点、視線、都市中の位置に対応して最も視差の少ない画像から連続的になめらかな動画像をモーフィングにより生成する方法もある。（特許文献４）この方法は極めて大量かつ多視点、多視線方向の航空写真または市街地の路上写真を事前に撮影蓄積することにあるが、航空写真を取得する従来技術として、最近はディジタル技術の急速な進歩によりアナログ式航空カメラからディジタル方式の１次元ラインセンサないし2次元撮像素子を用いた航空写真用カメラが実用化されている。
【０００４】
さらに汎用デジタルカメラの高性能化により、航空写真分野へも適用可能となってきている。専用ソフトウェアによりディジタルカメラで撮影した斜め写真からオルソ画像を作成するシステムが特許文献１では提案されている。測量目的の航空写真では地上に基準点を予め設定し、該基準点を参照してカメラ位置と姿勢を計算し、地物の座標を求めていたが、航空機にGPS（Global Positioning System）及びIMU（Inertial Measurement Unit）を装備し、撮像時点のカメラの位置と姿勢を測定することできる。（特許文献２）撮像方向が異なる３台のＣＣＤラインセンサで測量用航空写真を撮像する技術が特許文献３で提案されている。
【０００５】
【特許文献１】特開2002-357419号公報。
【特許文献２】特開2004-245741号公報。
【特許文献３】特許2807622号公報。
【特許文献４】特願2008-60351
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、これらの方法はいずれも３次元動画に用いる画像または３次元情報をユーザが満足するようにユーザが投稿などの参加行為によって改善する手段を欠いている。本来、都市景観を３次元で動画表示する場合、リアリティーを向上させようとすると表示情報の詳細化と高精度化および更新周期の短縮を行わなければならず、コンテンツの品質向上に伴い運営経費が加速度的に上昇する結果、コンテンツの品質向上が制約される欠点があった。
【０００７】
上記の解決すべき課題に鑑みて鋭意研究の結果、本発明者は都市景観３次元動画システムにおいて最大の障壁となるのは、人間目線で見た通路からの都市景観をユーザが満足する水準に品質向上させる手段であることに気がついた。とくに、３次元ＣＧＩの場合には作りこんだ３次元モデルとテクスチャーマッピングにより画像のリアリティー、更新周期、詳細度などの品質が予め決まり、ユーザが投稿などの形で参加して品質向上を行うことができない。また、空中および通路上に高密度のメッシュ点を設定してそこから多方向の画像を広範囲に撮像しデータベース化し、任意の位置と視点からの最も視差の少ない画像を検索して動画像をモーフィングにより連続的になめらかに生成する方法でも、画像撮影はシステムを準備運用する側が行い、ユーザが満足するようにユーザの画像投稿により改善向上させる手段がなかったことが問題であった。
【０００８】
都市景観３次元動画システムの目的の一つに、市街の案内や店舗の広告があり、これらの目的のためには対象となる建物の映像を当該店舗の運営者や広告を行うものが満足する品質のものである必要があるが、従来、当該店舗運営者あるいは広告主等が自分の意思で動画の原画像となる画像の品質を向上させる手段は存在しなかった。とくに、都市空間のメッシュ点で大量に撮影した画像から最適な画像を視点と視線により検索し、モーフィングにより動画生成する方法では原画像となる写真の撮影位置、撮影方向、撮影機の焦点距離ないし画像の画角、画像の撮影光軸廻りの回転角などのメタデータが必要である。しかしながらこれらのメタデータを投稿画像において得ることは極めて難しい。位置情報についてはGPS付きの携帯電話があり携帯電話に付属するカメラを使用すれば誤差はあるもののある程度得ることができるが、本投稿システムで求められる位置精度は概ね１ｍ以下であり精度が不足する。また、撮影方向を含めてカメラの光軸方向を測定する手段はディジタルカメラあるいは携帯電話付属のカメラにはついていない。さらに撮影画面の画角ないしレンズ焦点距離に至っては最近のカメラはズーム機能を有しているのが普通でありこれを正確に画像投稿者が特定して投稿するのは困難である。
【０００９】
この問題を解決するためにメタデータが判明し、異なった撮影位置から同一地点を重複撮影している少なくとも１対の撮影済み画像を用いて、該一対の画像と新規に登録する投稿画像との間で同一個所を撮影している点を画像上でタイポイントとして対応づけることにより該投稿画像のメタデータを算出する。このメタデータの算出により投稿画像を都市景観３次元動画生成システムのユーザ投稿画像として生成動画の原画像として登録し使用することが可能となり、ユーザが希望する水準生成動画像の品質を高めることが可能となった。
【００１０】
また、画像投稿を行おうとする者は、その投稿画像により利益を得るものが第一に考えられる。特に繁華街の店舗およびビルの通路からの画像については、その場所で営業を行っているものが考えられる。この場合、投稿した画像が特定のものの利益になることから、同一箇所の画像についていずれの投稿画像を都市景観３次元動画の原画像に利用すべきかという競合が起こりえる。この場合に該競合を合理的に解決する方法が必要となる。
本発明は投稿画像のいずれを採用すべきかという競合が発生した場合には、インターネット上で公開オークションを行って、最も高価な金額を提示した投稿者の画像を採用することにより該競合を解決した。
【課題を解決するための手段】
【００１１】
上記解決課題に鑑みて鋭意研究の結果、本発明者は都市景観３次元動画システム用画像投稿システムの実現において最大の障壁となるのは、新規投稿画像を一般ユーザに求めるため、画像の品質を高めようとするユーザに新規画像投稿を広く求めるほど、一般に普及しているディジタルカメラの使用を受容せざるを得ず、都市景観３次元動画システムために必要な正確な画像の撮影位置、撮影方向、画像の水平方向からの傾き、焦点距離などのメタデータが得られないことであり、この解決を図ることとした。また、新規投稿画像を一般ユーザに求めるため、新規投稿画像の品質維持と、他のユーザとのコンテンツ投稿の競合に関する合意を市場原理に基づき合理的に解決することとした。
【００１２】
この目的のために、第一に、都市景観３次元動画システムの画像データベースに登録されている画像は相互に重複していて、かつ各々の画像のメタデータが正確に把握されていること、第二に新規投稿画像は該投稿者の関心が極めて高い場所であり、グラフィックユーザインターフェイスを用意することにより該投稿者の協力が得られることに注目した。すなわち、投稿画像の撮影対象については該都市景観３次元動画システムを利用して新規投稿画像の位置をユーザに表示特定してもらうこと、さらに新規投稿画像と視差があって同一部分を撮影している既登録画像を少なくとも１対用いて、画像上での同一対象点を複数、グラフィックユーザインターフェイスにより投稿者に無償で指定してもらうことを活用した。
【００１３】
具体的技術解決策は、第一に、正確なメタデータのある都市景観３次元動画システムの画像データベースより新規投稿画像と対象が重複する１対の視差のある画像を選出し、新規投稿画像を含めた３枚の画像間でタイポイントの指定、すなわち同一対象点の対応を画像上でつけることである。この結果、該画像データベース上の１対の画像に対しては３角測量の原理により実３次元空間における３次元座標が確定する。
【００１４】
第二に、３次元座標が判明していて、新規投稿画像上での２次元座標が判明している複数のタイポイントで指定された対象点につき、新規投稿画像のメタデータを決めて実際に新規投稿画像上の２次元座標に該対象点の像が一致するようにすることである。メタデータは解析的には解けないので、タイポイント指定で使用した隣接する１対の画像の平均値を該新規投稿画像のメタデータの初期値とし、最大傾斜法による収束計算によりメタデータを求める。この際、該対象点の全てが同一平面上にあるか、最悪の場合では新規投稿画像の光軸に垂直な平面上に存在すると、指定された撮影位置と撮影方向に対して画像を拡大縮小するだけで新規投稿画像上のタイポイントで指定した該対象点の実画像が、該対象点の３次元座標から求めた画面上での計算値と一致してしまい、焦点距離ないし画角を正しく求めることができなくなる。このため、タイポイントの光軸方向の深度分散について検定を行い、一定値以下の場合にはタイポイントの再設定を求める。
【００１５】
第三は、投稿する画像が該都市景観３次元動画システムのコンテンツの品質を高め、投稿者のみならずユーザ全般の満足を増すものでなくてはならないので、投稿画像の品質を検査すると同時に、重複する投稿画像については、インターネット上でオークションとし最も高い応札額を入れた投稿者の画像が優先表示されるようにする。なお、重複が発生するまでは新規投稿画像が品質基準を満たしている限り無償で採用し、該都市景観３次元動画システムの画像データベースに登録することにより、ユーザ参加による画像品質、コンテンツ品質の向上を可能とする。
【発明の効果】
【００１６】
以上、説明したように、本発明の都市景観３次元動画投稿システムによれば、メタデータの存在しない投稿画像をすでに画像データベースに登録済みのメタデータのある原画像とタイポイントで対応付けることにより該投稿画像のメタデータを算出することが可能となり、ユーザの望む品質の３次元動画生成用の原画像をUGC（User Generated Contents）として自由に追加登録することが可能となり、コストをかけることなしにサービス品質の向上が可能となった。
【発明を実施するための最良の形態】
【００１７】
以下、添付図面を参照しながら、本発明の都市景観３次元動画システム用画像投稿システムを実施するための最良の形態を詳細に説明する。図１は、本実施形態における都市景観３次元動画システム用画像投稿システムの全体構成を示す図である。該都市景観３次元動画生成システム用画像投稿システムは３次元動画生成を行うための都市景観３次元動画生成システム１８０および画像データベースシステム１８５と、画像投稿と投稿画像を画像データベースシステム１８５に登録するための画像投稿スーパーバイザ１００、タイポイント手動設定システム１１０、タイポイント自動設定システム１２０、タイポイント自動測量システム１３０、タイポイント評価システム１４０、メタデータ算出システム１５０、画像品質評価システム１６０、投稿画像登録システム１７０、オークション投稿システム１７５より構成され、さらに画像投稿を行うユーザ１９８とインターネット１９０およびグラフィックユーザインターフェイスシステム１９０を介して情報交信を行う。
【００１８】
以下、図１を構成する各構成部分の内容について説明を行う。都市景観３次元動画生成システム１８０は、特願2008-60351「都市景観の３次元動画アミューズメントシステム」に詳細に記載されているように、都市空間の空中および通路上に高密度に設定されたメッシュ点から撮影した多方向の画像をデータベース化し、都市の任意の位置を任意の視点で任意の方向から見た場合の最も視差の少ない画像を該データベースより高速に検索し、さらに指定した視点、視線、都市中の位置に対応して最も視差の少ない画像から連続的になめらかな動画像をモーフィングにより連続的に生成する方法である。この方法ではモーフィングを行う原画像の撮影点位置と撮影方向と画像の撮影光軸廻りの回転角と画角または焦点距離よりなるメタデータが正確に把握されていないと動画生成の原画像として用いることができない。
【００１９】
図１に記載の各構成システムはユーザ１９８がインターネット１９０を介して投稿した画像を都市景観３次元動画生成システム１８０の画像データベース１８５に登録可能なようにメタデータを計算し、画像の品質を評価し、さらにユーザの投稿する画像を画像データベース１８５に登録し、この際にユーザ間に競合が発生した場合には、これをオークションにより解決するものである。
【００２０】
本発明になるシステムの特徴は該都市景観３次元動画生成システム１８０の動画生成用の画像データベース１８８の原画像が、相互にかなりの割合で重複し、かつすべての画像について該メタデータが明確になっていることを利用し、新規に撮影した画像について、同一対象を撮影したメタデータが判明している重複画像との間で対応をつけることにより新規に撮影した画像についてのメタデータを算出し、既に存在する該画像データベースシステム１８５の画像として登録可能ならしめることにある。
【００２１】
図２に示すのは、画像データベース１８８に格納するための画像を撮影するためのディジタルカメラ集合体２０５の構成例であり、特願2008-60351「都市景観の３次元動画アミューズメントシステム」に詳述されている。該ディジタルカメラ集合体２０５は複数のディジタルカメラ２００ａ〜ｈを水平各方向に配置し、図３（ｂ）に記載のように車両２０６に搭載し、図３（ｃ）のように市街を走行する。ディジタルカメラ集合体２０５は撮影が計算機制御されており、位置をGPSで、姿勢を慣性航法装置でオンライン測定し、一定周期ごとにディジタルカメラ２００ａ〜ｈに一斉に撮影指令を出すとともにその時点の位置と姿勢を記録し、撮影した画像の各々に対するメタデータを計出するのである。
【００２２】
図３（ａ）は実際の運用例を示したものである。図３（ｂ）の車両２０６を移動経路２１０に沿って走行させ、撮影ポイント２１３で撮影を行う。車両２０６上のディジタルカメラ集合体２０５が撮影方向２１１の画像を同時に撮影する。撮影ポイント２１３は撮影画像が相互に重複するように近接して設定されるので、図４に示すように建物２２０の前を移動経路２１０に沿って移動すると、同一の建物２２０に対して、視線方向１  ２２１、視線方向２  ２２２、および視線方３  ２２３の各方向から、視線方向１より見た画像２２４、視線方向２より見た画像２２５、および視線方向3より見た画像２２６が得られ、メタデータと共に記憶される。
【００２３】
図１の本発明の都市景観３次元動画生成システム用画像投稿システムでは、インターネット１９５を介してユーザ１９８がグラフィックユーザインターフェイスシステム１９０を介して新規撮影画像の投稿を行い、画像データベース１８８への登録を行う。該都市景観３次元動画生成システム用画像投稿システムの全体制御は画像投稿スーパーバイザ１００が行い、該処理の流れは図１４に規定されている。
【００２４】
ユーザ１９８の起動によりタイポイント受付測量処理４００が起動される。該内容の詳細は図１５の処理フローに記載される。まず、処理ブロック４２０で都市景観３次元動画生成システム１８０が保有する、場所を指定して動画を表示する機能を利用して、新規投稿しようとする画像の住所、位置より近辺の画像をグラフィックユーザインターフェイスシステム１９０で表示させる。新規に投稿する画像と重複する市街画像を表示し、新規投稿画像が中央に来るような位置に視点と視線を操作する。画像データベース１８８に登録されている画像は必ず相互に重複しているので、投稿画像をはさむ形で左右に画像データベース１８８内に画像が存在するのでその画像を図５および図６のように表示させる。ここで、処理ブロック４２１により異なる視線方向より見た同一対象画像の対応点を指定するタイポイント処理を自動で行うか、手動で行うかの選択を行う。処理ブロック４２３のタイポイント自動選定はステレオ画像からＤＥＭ（Ｄｉｇｉｔａｌ  Ｅｌｅｖａｔｉｏｎ  Ｍａｐ）を抽出する場合などに利用されるパターンマッチングを使用することが可能で、かかる技術は公然実施されている。
【００２５】
ここでは、処理ブロック４２２について説明する。処理ブロック４２３は以下に述べるタイポイントの対応付けを自動的に行うものである。図４において視線方向２より見た２２５を新規投稿画像とすると、図５はユーザ１９８のモニタ上に表示される画面例であり、画面左側に建物２２０を左側から撮影した画像を表示し、画面右側に新規投稿画像を表示する。モニタ上の左右両側を対比して対応する点を選定する。これがタイポイントａ〜ｄ  ２３１〜２３３であり、カーソルを移動させながらクリックして指定することができる。次に図６で示すように建物２２０を右側から撮影した画像をモニタ上の右側に表示し、視線方向２より見た２２５を新規投稿画像を左側に表示して、図５で行ったタイポイントａ〜ｄ  ２３１〜２３３の対応付けを行う。以上が図１におけるタイポイント手動設定システム１１０、タイポイント自動設定システム１２０に対応する。なお、図１２に示すのは投稿画像を撮影する状況例を示したものであり、投稿者がコンテンツとして採用してもらいたい画像、たとえば自分の店舗の正面を撮影する例である。
【００２６】
次に処理ブロック４２４でタイポイントで指定された各点の３次元座標を求める。この部分は図１のタイポイント自動測量システム１３０に対応する。この時点で判明しているのは、メタデータの判明している２画像と、メタデータの判明していない新規画像、および各画像上での対応点４点以上の画像上での２次元座標である。画像上の２次元座標と、実世界の３次元座標の対応付け方を、以下図７、図９、および図１０を使用して説明する。
明細書中にスミ付き括弧で記載した数式は通常の数学記法に従うが、本文中では記号の記述に制約があるので下記原則に従う。３次元または２次元の点は大文字のローマ字で表記し、３次元または２次元の成分を有する。時間的変化のある場合は（）を後につけ、その中に時間情報を記す。スミ付き括弧で記載した数式では、ベクトルをイタリックスの大文字ローマ字で記載するが、本文中では大文字ローマ字で記載し、識別が必要な場合には文字の前に”（ベクトル）”と付記する。３次元または２次元の点は原点に対するベクトルでも表記できる。スミ付き括弧で記載した数式では、行列を太字の大文字ローマ字で記載するが、本文中では大文字ローマ字で記載し、識別が必要な場合には文字の前に”（行列）”と付記する。角度についてはギリシャ文字を用い、平面、線等を示す記号については記号の前に平面、線等の記述を付記する。
【００２７】
図７は撮影画像と実世界の対応関係を示す図であり、画像撮影位置  ２４０、
【数１】
2010009588.tif 000003
より画像ベクトル２４５
【数２】
2010009588.tif 000004
の方向を画像範囲Λ２５５を撮影する。撮影された画像は画像面Ω２４８上に２次元座標で投影される。画像面Ω２４８に画像ベクトルＲ２４５は直交する。画像距離ρ２４７は画像撮影位置Ｘ  ２４０、と画像面Ω２４８との間の距離である。図９は画像面Ω２４８に関する変数定義と画像面Ω２４８上のタイポイントの２次元座標位置とタイポイントの実世界における３次元座標関係を示す。画像面Ω２４８はフレーム横幅Ｈ２８７とフレーム縦幅Ｖ２８８の寸法を有し、撮影位置Ｘ２４０より画像ベクトルＲ２４５の方向に、画像距離ρ４７の距離の位置に画像中心点Ｏ２４６を中心に視線方向を示す画像ベクトルＲ２４５に直交して存在する。撮影カメラの焦点距離特性により、フレーム横幅Ｈ２８７に対するフレーム画角（横）ΨＨ２８５とフレーム縦幅Ｖ２８８に対するフレーム画角（縦）ΨＹ２８６が決まる。画像面Ω２４８は横軸である画像Ｖ軸２９０と縦軸である画像Ｗ軸２９１により２次元座標が定義される。撮影位置Ｘ２４０と画像面タイポイントａ  Ｙａ２６０とタイポイントa実座標Ｚａ２８０は一直線上に存在する。この関係は、その他の画像面タイポイントｂ  Ｙｂ２６１とタイポイントｂ  実座標Ｚｂ２８１の間、画像面タイポイントｃ  Ｙｃ２６２とタイポイントｃ  実座標Ｚｃ２８２の間にも成立する。画像面Ω２４８は一般に横軸である画像Ｖ軸２９０が水平線２８９に対して傾いており、これをフレーム回転角φ２４９と表わす。
【００２８】
画像面Ω２４８上のタイポイントは画像Ｖ 軸２９０と画像Ｗ軸２９１による、すなわちＶＷ軸による２次元座標と実世界におけるＸＹＺ軸による３次元座標が存在する。図１０はこの２つの座標体系間の関連と相互変換を説明するものである。画像面Ω２４８上のＶＷ軸２次元座標点を
【数３】
2010009588.tif 000005
とし、同一点のＸＹＺ軸３次元座標を
【数４】
2010009588.tif 000006
とする。ここでｉ＝ａ，ｂ，ｃ．ｄ．．．であり、タイポイントの識別子を表す。図１０（ａ）は画像面Ω２４８が原点上でＸＹ軸面に一致している場合であり、
【数５】
2010009588.tif 000007
の関係がある。画像撮影位置Ｘ２４０はＺ軸上に存在し座標は、（０  ０  −ρ）である。画像ベクトルＲ２４５はＺ軸と一致させてある。図１０（ａ）をＺ軸の周りにφ回転させたのが図１０（ｂ）であり、変換はΦＺで与えられ、図１０（ｂ）をＸ軸の周りにθ回転させたのが図１０（ｃ）であり、変換はΦＸで与えられ、、図１０（ｃ）をＹ軸の周りにδ回転させたのが図１０（ｄ）であり、変換はΦＹで与えられる。
【数６】
2010009588.tif 000008
【００２９】
Ｚ軸から開始して、Ｚ軸、Ｘ軸、Ｙ軸の周りにそれぞれφ  θ  δ回転させることにより任意の画像ベクトルＲ２４５と、画像面Ω２４８を得ることができるので、次の変換Φとその逆変換Φ−１は、それぞれVW軸による２次元座標を実世界におけるＸＹＺ軸による３次元座標へ写像する変換と、その逆変換である。
【数７】
2010009588.tif 000009
【数８】
2010009588.tif 000010
【００３０】
したがって、画像ベクトルＲ２４５は回転φ  θ  δを用いて、下記のように表現できる。ここで  ｃｏｓθの負値は棄却してある。
【数９】
2010009588.tif 000011
【００３１】
これにより、画像面タイポイントｉ実写値Ｙｉ１００を画像面Ω２４８上の２次元座標と実世界の３次元座標に相互に変換する式は数１０により与えられる。
【数１０】
2010009588.tif 000012
【００３２】
数１０の第一式により、画像上のタイポイント２次元座標は、画像のメタデータが判明すれば実世界の３次元座標に変換できるので、以下、処理ブロック４２４の処理内容を図８を用いて説明する。
撮影位置１  Ｘ１２４０および撮影位置２  Ｘ２２４１の画像はメタデータの判明している画像であり、撮影位置ｕ  Ｘｕ２４２の画像はメタデータが判明していない。
【００３３】
いま、撮影位置１  Ｘ１２４０および撮影位置２  Ｘ２２４１の座標を数１１で表し、
【数１１】
2010009588.tif 000013
画像面１のタイポイントｉの３次元座標を
【数１２】
2010009588.tif 000014
画像面２のタイポイントｉの３次元座標を
【数１３】
2010009588.tif 000015
とする。また、タイポイントｉの対象物の実世界における３次元座標を
【数１４】
2010009588.tif 000016
とする。ここで、添え字ｉはタイポイントａ〜ｄを一般的に表しており、i=a,b,c,d…である。
【数１５】
2010009588.tif 000017
【数１６】
2010009588.tif 000018
数１５と数１６からＺｉを消去して、
【数１７】
2010009588.tif 000019
【００３４】
1/Ｋ１ｕおよび1/Ｋ２ｕについて解いて
【数１８】
2010009588.tif 000020
【数１９】
2010009588.tif 000021
数１８と数１９より数２０と数２１を得る。すなわち、処理ブロック４２４で求めるべきタイポイントの実世界での３次元座標値である。
【数２０】
2010009588.tif 000022
【数２１】
2010009588.tif 000023
【００３５】
次に、処理ブロック４２５で目標点深度を評価する。この部分は図１においてタイポイント評価システム１４０に対応する。タイポイントで指定した点の実世界での位置が画像撮影位置Ｘ１２４０またはＸ２２４１からほぼ等しい距離に存在すると、新規登録する画像のメタデータを求めるときに、立体情報が得られず、焦点距離に対する誤差が拡大する。この問題を解決するために、i=a,b,c,d…のタイポイントすべてについて
【数２２】
2010009588.tif 000024
の分散を求めて、一定値より分散が少ないときは処理ブロック４２６で目標深度を採用せずに処理ブロック４２７で選定したタイポイントによる新規投稿画像の登録を放棄するか、再度タイポイントを設定しなおすかをユーザ１９８にグラッフィックユーザインターフェイスシステム１９０を介して問い合わせる。登録を放棄する場合はそのまま終了し、登録を放棄しない場合は処理ブロック４２８でタイポイント自動選定が選ばれている場合には処理ブロック４２３でタイポイント自動選定処理を選定領域を前回と変えて再試行する。処理ブロック４２８でタイポイント自動選定が選択されていない場合には、処理ブロック４２９でタイポイント再設定を要求するメッセージをユーザ１９８にグラッフィックユーザインターフェイスシステム１９０を介して送り、処理ブロック４２１に戻ってタイポイントの設定をやり直す。
【００３６】
処理ブロック４２６で目標点深度がＯＫと判断された場合には、図１４の処理ブロック４０１の新規画像メタデータ算出処理に移行する。この部分は図１におけるメタデータ算出システム１５０に対応する。なお、処理ブロック４２５、４２６における目標点深度評価の基準は分散が１０％以上あることが好ましいが、実施に当たって調整することが望ましい。
【００３７】
処理ブロック４０１の新規画像メタデータ算出処理を説明するにあたって、計算の原理を図８と図１１を用いて、以下説明する。図８において、撮影位置ｕ  Ｘｕ２４３の新規登録画像は、撮影位置ｕ  Ｘｕ２４３、画像撮影方向（画像ベクトルＲ２４５とフレーム回転角φ、またはＸＹＺ各軸周りの回転角φ  θ  δ）、および焦点距離（フレーム画角（縦）ΨＶ２４６、フレーム画角（横）ΨＨ２４５）より構成されるメタデータが判明していない。i=a,b,c,d…のタイポイントについては、全ての点について、画像上の２次元座標と、実世界における対応点の３次元座標が判明している。このような条件のもとで該メタデータを算出するのが処理ブロック４０１の内容である。該メタデータについては解析的に解けないことが分かっているので、初期条件を与えた上で収束計算により、数値計算で解く。
【００３８】
図１１（ａ）はメタデータが解けた状態を示す。画像撮影位置ｕ、Ｘｕ２４３と画像面タイポイントｉ実写値Ｙｉ３００とタイポイントｉ実座標Ｚｉ３０２は同一直線上に存在する。しかし、メタデータが正しく求められていない状態では、図１１（ｂ）のようにタイポイントｉ実座標Ｚｉ３０２と画像撮影位置ｕ、Ｘｕ２４３を結んだ直線と画像面Ω２４８の交点である画像面タイポイントｉ計算値Ｙｉ３０１は画像面タイポイントｉ実写値  Ｙi＊３００と一致しない。ＹｉとＹi＊をi=a,b,c,d…に対して一致させるプロセスでメタデータを収束計算により求める。Ｘｕ２４３は数１７で定義される。以下、処理ブロック４０１の内容を図１６に詳述しているので、図１６に沿って説明する。
【数２３】
2010009588.tif 000025
【００３９】
処理ブロック４３０では、画像メタデータに対して収束計算の初期値を設定する。
撮影位置ｕ  Ｘｕ２４３、画像撮影方向（画像ベクトルＲ２４５）は収束計算の初期値を隣接するメタデータの判明している画像撮影位置１、Ｘ１２４１と画像撮影位置２、Ｘ２２４２の中間として平均値で数２４により求める。
【数２４】
2010009588.tif 000026
【００４０】
撮影方向を示す画像ベクトルＲは数９によりＸ軸、Ｙ軸周りの回転、θおよびδに変換できる。また、フレーム回転角φは水平として０、焦点距離に関係する画像距離ρ２４７については画像撮影位置１、Ｘ１２４１と画像撮影位置２、Ｘ２２４２の画像と同じとする。収束計算刻み係数εは処理ブロック４３７〜４４２で自動調整機能があるので、たとえば０．０１などとしてよい。メタデータを一般的にｐｊ、ただしｊ＝１，７と記述する。ｐｊはxux、xuｙ、xuｚ、θ、δ、φ、ρより構成される。
【００４１】
図１１（ａ）よりＸｕ、Ｙｉ、Ｚｉが同一直線上にあること、ＲとΩが直交することから数２５が成り立つ。ここでｋは定数である。
【数２５】
2010009588.tif 000027
ここでｋ，Ｏを消去すると、
【数２６】
2010009588.tif 000028
となり、
【数２７】
2010009588.tif 000029
の関係が有ることから、画像面タイポイント計算値Ｙｉ３０１が数２８で求まる。
【数２８】
2010009588.tif 000030
【００４２】
数２８で求まった画像面Ω上のタイポイントｉの位置はタイポイントｉの実世界での３次元座標から逆算したものであり、メタデータｐｊが実際と異なるため画像面タイポイントｉ実写値Ｙｉ３００と一致しない。処理ブロック４３１では、実写値の２次元座標位置をＩＶｉ＊、ＩＷｉ＊をとすると、数２９の評価関数
【数２９】
2010009588.tif 000031
により全てのタイポイントに対して画像面Ω上での誤差の２乗の和を求める。求めるべきメタデータ未知数が７つあるので、独立な方程式が７以上必要であり、タイポイントは４以上必要となる。ただし、最小二乗法による数値計算を用いているのでタイポイントは４より多くてもかまわない。
【００４３】
処理ブロック４３２ではメタデータｐｊの変化に対する評価関数変化の感度を求める。数２９をメタデータｐｊで偏微分した以下の数３０から数３６の式の計算を行う。
【数３０】
2010009588.tif 000032
【００４４】
【数３１】
2010009588.tif 000033
【００４５】
【数３２】
2010009588.tif 000034
【００４６】
【数３３】
2010009588.tif 000035
【００４７】
【数３４】
2010009588.tif 000036
【００４８】
【数３５】
2010009588.tif 000037
【００４９】
【数３６】
2010009588.tif 000038
【００５０】
処理ブロック４３３、４３６〜４４３は収束計算の制御に関するロジックであり、処理ブロック４３２で求めた感度により処理ブロック４３４でメタデータを修正して処理ブロック４３５で数２９による評価関数Ｊの計算を行う。処理ブロック４３４の修正刻み幅εは評価関数Ｊの値が減少する限り2倍ずつ増加される。また、評価関数Ｊが減少しない場合は減少するまで１／２され、自動調整される。処理部ブロック４４４では評価関数が十分０に近づいたか判定し、０に近い、すなわち、メタデータが実際に撮影したカメラの値に一致したとき計算を終了する。
【００５１】
以上で図１４の処理ブロック４０１の処理は完了し、新規投稿画像のメタデータが判明し、画像データベース１８８に登録可能な状態となった。処理ブロック４０２では新規登録する画像が従来登録されている画像に比べて品質が確保されているか自動的にチェックする。この部分は図１の画像品質評価システム１６０に対応する。詳細には図１７で説明している。図１７のチェックは必ずしも全てを行う必要はないが品質チェックの一例である。処理ブロック４５０では新規登録画像の画素数と置き換わる対象の画像の画素数を比較して画像が詳細化しているか判定する。処理ブロック４５１では画像のヒストグラムを求め、平均値と分散が一定の範囲で偏りがないことをチェックする。処理ブロック４５２は画質を示すカラーバランス、ヒストグラムの各種パラメタが周辺画像および置換対象画像と一定値以上異なるかチェックして異なる画像の場合には妨害的意図を持った画像と判断して拒絶する。いずれかの品質チェックに不合格となった場合には処理ブロック４５４で不合格表示を行って新規画像登録処理を打ち切り終了する。
【００５２】
全ての品質チェックに合格した場合には、処理ブロック４０３に進み、画像投稿の競合をチェックしてオークションによる競合解決を行う。この部分は図１のオークション投稿システム１７５に対応する。詳細な処理は図１８の処理フローと図１３の表示画面を用いて詳細に説明する。処理ブロック４６０では、新規投稿を行う予定の画像領域とその周辺領域の既登録画像領域、および重複ないし近接する有償画像領域を有償画像単価とともに市街地写真３１０の中に表示する。表示例は図１３に示され、新規投稿画像３１４に対して既登録画像ａ３１１と既登録画像ｂ３１２は領域が重複するが既登録画像ｃ３１３は重複しない。
【００５３】
既登録の投稿画像と新規投稿画像が領域的に重複する場合には、画像単価とともに図１３の既登録画像の領域表示とともに、オークションウィンドウ３１５にオークション情報３１６として応札可能単価、画像全体としての合計応札額を表示する。該応札可能単価は、重複する有償投稿画像が存在する場合にはその単価にオークションに競り勝つためのきりのよい一定価格を上乗せした数値である。また該合計応札額は、該応札可能単価に新規投稿画像の面積を乗じたものである。既登録画像として競合画像が存在する場合には競合情報ａ３１７、競合情報ｂ３１８、競合情報ｃ３１９などのようにオークションウィンドウ３１５に表示する。処理ブロック４６１では新規投稿画像が登録済み画像と領域が重複するかチェックし、重複しない場合には、処理ブロック４６５で新規投稿画像を無償画像として領域を規定して、その領域での最優先画像として画像データベースに登録する。なお投稿者が希望すれば後から出てくる競合を排除する目的で有償登録することも許容する。
【００５４】
処理ブロック４６１で新規投稿画像が登録済み投稿画像と重複した場合には処理ブロック４６２で重複しないように新規投稿画像の領域を縮小するかユーザ１９８に問い合わせ、領域が重複しないように変更された場合には処理ブロック４６５に行く。領域の重複が解消しない場合には処理ブロック４６３に行きオークションとなる。従来登録されている画像単価より高い価格で新規画像投稿者が入札した場合には応札が受け入れられ、処理ブロック４６４で新規投稿画像を有償画像として領域・単価を規定して、その領域での最優先画像として画像データベースに登録する。なお、画像面積に画像単価を乗じたものが合計応札額となる。処理ブロック４６３でオークションで既登録画像より高い画像単価を入れなかった場合には、新規投稿画像は受け入れられることなく終了する。
【００５５】
処理ブロック４６４および処理ブロック４６５の画像データベースへの登録処理は、画像データベースが登録画像ごとに図１９のような構成にすることができるため、画像データ部分４７２に付随する画像メタデータ部分４７１の各項目を以上に述べてきた数値よりそのまま、あるいは計算して埋めればよい。「画像データＩＤ」は画像データベースシステム１８５が割り当てる識別子である。「撮影日時刻」はユーザ１９８が入力する情報である。「カメラＩＤ」はユーザ１９８がカメラ形式等の情報または撮影者ＩＤを入力してもよいし、画像データベースシステム１８５が自動的に割り当ててもよい。「画素数（縦、横）」は投稿画像自体に含まれる情報である。また登録の過程で画像領域を削減した場合には削減後の数値にする。「画角（縦、横）」は
【数３７】
2010009588.tif 000039
で求められる。変数の定義は図９に示すとおりである。
【００５６】
「カメラ位置（緯度、経度、高度）」は数２３の値より緯度、経度に変換して求められる。「正規化視線ベクトル」は画像ベクトルＲ２４５である。「カメラ回転角」はＺ軸廻りの回転角φである。「視線ベクトル長」は画像距離ρ２４７である。「カメラ位置（道路リンクデータ）」は都市景観「３次元動画生成システム１８０が道路位置に対応して画像データベース１８８をアクセスするためのリンク情報であり、特許文献４に実施方法が記載されている。
【産業上の利用可能性】
【００５７】
本発明の都市景観３次元動画生成システム用画像投稿システムは都市景観に関するWeb情報サービスにおいて、UGC（User
Generated Contents）の構築システムとして産業上利用することができる。
【図面の簡単な説明】
【００５８】
【図１】本発明の都市景観３次元動画生成システム用画像投稿システムの全体構成を概略的に示す図である。
【図２】図１に示す画像データベースシステムを構成する画像を撮影するためのディジタルカメラ集合体の構成例を示す図である。
【図３】図１に示す画像データベースシステムを構成する画像を撮影するためのディジタルカメラ集合体の運用方法の概念を示す図である。
【図４】図１に示す画像データベースシステムを構成する画像の構成を概略的に示す図である。
【図５】本発明の都市景観３次元動画生成システム用画像投稿システムの図１に示すタイポイント手動設定システムの入力方法例を示す図である。
【図６】本発明の都市景観３次元動画生成システム用画像投稿システムの図１に示すタイポイント手動設定システムのもうひとつの入力方法例を示す図である。
【図７】本発明の都市景観３次元動画生成システム用画像投稿システムのタイポイント自動測量システムの変数を図示した図である。
【図８】本発明の都市景観３次元動画生成システム用画像投稿システムのタイポイント自動測量システムの処理を図示した図である。
【図９】本発明の都市景観３次元動画生成システム用画像投稿システムで使用する画像とタイポイント自動測量システムおよびメタデータ算出システムで使用される変数の関係を示す図である。
【図１０】本発明の都市景観３次元動画生成システム用画像投稿システムの画像上で使用する２次元座標系と実世界の３次元座標系の変換を図示する図である。
【図１１】本発明の都市景観３次元動画生成システム用画像投稿システムのメタデータ算出システムで収束計算のアルゴリズムと評価基準を示す図である。
【図１２】本発明の都市景観３次元動画生成システム用画像投稿システムの運用例を示す図である。
【図１３】本発明の都市景観３次元動画生成システム用画像投稿システムのオークション投稿システムのグラフィックユーザインターフェイス例を示す図である。
【図１４】本発明の都市景観３次元動画生成システム用画像投稿システムの全体の処理の流れを示すフロー図である。
【図１５】本発明の都市景観３次元動画生成システム用画像投稿システムのタイポイント受付および測量処理の流れを示すフロー図である。
【図１６】本発明の都市景観３次元動画生成システム用画像投稿システムの新規画像メタデータ算出処理の流れを示すフロー図である。
【図１７】本発明の都市景観３次元動画生成システム用画像投稿システムの画像品質チェック処理の流れを示すフロー図である。
【図１８】本発明の都市景観３次元動画生成システム用画像投稿システムの画像投稿競合処理の流れを示すフロー図である。
【図１９】本発明の都市景観３次元動画生成システム用画像投稿システムの画像登録ひ必要なメタデータを示す図である。
【符号の説明】
【００５９】
100  画像投稿スーパーバイザー 
110  タイポイント手動設定システム
120  タイポイント自動設定システム
130  タイポイント自動測量システム
140  タイポイント評価システム
150  メタデータ算出システム
160  画像品質評価システム
170  投稿画像登録システム
175  オークション投稿システム  
180  都市景観３次元動画生成システム
181  画像検索エンジン
185  画像データベースシステム
186  画像インデクス
188  画像データベース
190  グラフィックユーザインターフェイスシステム
195  インターネット
198  ユーザ
200a〜h  ディジタルカメラ
205  ディジタルカメラ集合体
206  車両 
210  移動経路    
211  撮影方向
212  道路境界線
213  撮影ポイント 
220  建物
221  視線方向１
222  視線方向２
223  視線方向３
224  視線方向１より見た画像  
225  視線方向２より見た画像
226  視線方向3より見た画像
230  タイポイントａ
231  タイポイントｂ
232  タイポイントｃ
233  タイポイントｄ
240  画像撮影位置
241  画像撮影位置1 
242  画像撮影位置2
243  画像撮影位置u
245  画像ベクトル（正規化）  
246  画像中心点
247  画像距離
248  画像面
249  フレーム回転角
250  画像中心点対象物座標
251  画像右下対象物座標
252  画像右上対象物座標
253  画像左上対象物座標  
254  画像左下対象物座標
255  画像範囲
256  画像面１
257  画像面２
258  画像面ｕ
260  画像面タイポイントa
261  画像面タイポイントｂ
262  画像面タイポイントｃ
263  画像面タイポイントｄ
264  画像面１タイポイントa
265  画像面１タイポイントｂ
266  画像面１タイポイントｃ
267  画像面１タイポイントｄ
268  画像面２タイポイントa
269  画像面２タイポイントｂ
270  画像面２タイポイントｃ
271  画像面２タイポイントｄ
272  画像面ｕタイポイントa
273  画像面ｕタイポイントｂ
274  画像面ｕタイポイントｃ
275  画像面ｕタイポイントｄ
280  タイポイントa実座標 
281  タイポイントｂ実座標  
282  タイポイントｃ実座標  
283  タイポイントｄ実座標
285  フレーム画角(横)
286  フレーム画角(縦)
287  フレーム横幅
288  フレーム縦幅
289  水平線
290  画像V軸
291  画像W軸
292  画像右下端点
293  画像右上端点
294  画像左上端点
295  画像左下端点
296  Ｚ軸廻りフレーム回転角
297  Ｘ軸廻りフレーム回転角 
298  Ｙ軸廻りフレーム回転角
300  画像面タイポイントｉ実写値
301  画像面タイポイントｉ計算値
302  タイポイントｉ実座標
310  市街地写真
311  既登録有償画像ａ
312  既登録有償画像ｂ
313  既登録有償画像ｃ
314  新規投稿画像
315  オークションウィンドウ
316  オークション情報
317  競合情報ａ
318  競合情報ｂ
319  競合情報ｃ
400〜404  処理ブロック
420〜429  処理ブロック
430〜444  処理ブロック
450〜454  処理ブロック
460〜465  処理ブロック
470  原画像データベース
471  画像メタデータ部分  
472  画像データ部分  
【図１】
2010009588.tif 000040
【図２】
2010009588.tif 000041
【図４】
2010009588.tif 000042
【図５】
2010009588.tif 000043
【図６】
2010009588.tif 000044
【図７】
2010009588.tif 000045
【図８】
2010009588.tif 000046
【図９】
2010009588.tif 000047
【図１０】
2010009588.tif 000048
【図１１】
2010009588.tif 000049
【図１３】
2010009588.tif 000050
【図１４】
2010009588.tif 000051
【図１５】
2010009588.tif 000052
【図１６】
2010009588.tif 000053
【図１７】
2010009588.tif 000054
【図１８】
2010009588.tif 000055
【図１９】
2010009588.tif 000056
【図３】
2010009588.tif 000057
【図１２】
2010009588.tif 000058