(57)【要約】【課題】撮影した画像に付加情報を重畳して表示する。【解決手段】撮影したときの撮影位置や撮影方向などの撮影情報とその撮影位置を含む地図情報を取得する。これにより、撮影した画像のどのあたりにどの建物が写っているのかを算出することができるので、写っている建物に関する付加情報を取得し、撮影した画像に重畳して表示することができる。【選択図】図１
2009140402.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮影する撮影手段と、
前記画像を撮影したときの撮影位置及び撮影方向を計測する位置計測手段と、
オブジェクトの特徴点を含む地図情報を取得する地図情報取得手段と、
前記地図情報上における、前記撮影位置と前記撮影方向にある前記オブジェクトの特徴点とを結ぶ線同士がなす角度に基づいて前記画像における縦方向の特徴線を算出する第１特徴算出手段と、
前記特徴線に基づいて前記画像に写った前記オブジェクトの位置を特定する位置特定手段と、
を有することを特徴とする情報表示装置。
【請求項２】
前記位置計測手段は、前記撮影方向に関して上下方向の傾きをさらに計測するものであって、
前記画像を撮影したときの高度を測定する高度測定手段と、
前記特徴線毎に、その特徴線に対応するオブジェクトまでの距離と前記傾きと前記高度に基づいて前記特徴線上の特徴点を算出する第２特徴算出手段と、
を有することを特徴とする請求項１記載の情報表示装置。
【請求項３】
前記オブジェクトに関する付加情報を記憶させたデータベースから前記画像における位置が特定された前記オブジェクトに対応する前記付加情報を取得する付加情報取得手段と、
前記画像を表示するとともに、前記画像における前記オブジェクトの位置に対応させて前記付加情報を表示する表示手段と、
を有することを特徴とする請求項１又は２記載の情報表示装置。
【請求項４】
前記画像又は前記特徴線のいずれかを回転させてそれぞれを重ね合わせ、前記画像に写ったオブジェクトの特徴点が前記特徴線と重なる部分が多いときの回転角度を検出する回転角度検出手段を有することを特徴とする請求項１乃至３のいずれかに記載の情報表示装置。
【請求項５】
撮影手段により、画像を撮影するステップと、
位置計測手段により、前記画像を撮影したときの撮影位置及び撮影方向を計測するステップと、
地図情報取得手段により、オブジェクトの特徴点を含む地図情報を取得するステップと、
第１特徴算出手段により、前記地図情報上における、前記撮影位置と前記撮影方向にある前記オブジェクトの特徴点とを結ぶ線同士がなす角度に基づいて前記画像における縦方向の特徴線を算出するステップと、
位置特定手段により、前記特徴線に基づいて前記画像に写った前記オブジェクトの位置を特定するステップと、
を有することを特徴とする情報表示方法。
【請求項６】
前記位置計測手段は、前記撮影方向に関して上下方向の傾きをさらに計測するものであって、
高度測定手段により、前記画像を撮影したときの高度を測定するステップと、
第２特徴算出手段により、前記特徴線毎に、その特徴線に対応するオブジェクトまでの距離と前記傾きと前記高度に基づいて前記特徴線上の特徴点を算出するステップと、
を有することを特徴とする請求項５記載の情報表示方法。
【請求項７】
付加情報取得手段により、前記オブジェクトに関する付加情報を記憶させたデータベースから前記画像における位置が特定された前記オブジェクトに対応する前記付加情報を取得するステップと、
表示手段により、前記画像を表示するとともに、前記画像における前記オブジェクトの位置に対応させて前記付加情報を表示するステップと、
を有することを特徴とする請求項５又は６記載の情報表示方法。
【請求項８】
回転角度検出手段により、前記画像又は前記特徴線のいずれかを回転させてそれぞれを重ね合わせ、前記画像に写ったオブジェクトの特徴点が前記特徴線と重なる部分が多いときの回転角度を検出するステップを有することを特徴とする請求項５乃至７のいずれかに記載の情報表示方法。
【請求項９】
請求項１乃至４のいずれか１項に記載した情報表示装置が有する各手段としてコンピュータを機能させるための情報表示プログラム。
【請求項１０】
請求項１乃至４のいずれか１項に記載した情報表示装置が有する各手段としてコンピュータを機能させるための情報表示プログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影した画像に情報を付加する技術に関する。
【背景技術】
【０００２】
ＱＲコード等の撮影装置で認識可能な識別子を利用して映像に情報を付加させるシステムが提案されている。識別子は実空間に置いた場合に発見しやすい模様で描かれており、実空間にこの識別子を置くことでカメラで撮影した映像内の識別子の位置に仮想的に情報を付加することが可能となる。つまり、あるオブジェクトの周辺に識別子を配置することで、そのオブジェクトを撮影した映像に識別子固有の情報を付加することが可能である。
【０００３】
識別子として可視光の点滅を利用した手法が提案されている（特許文献１、非特許文献１参照）。この手法では、情報を付加したいオブジェクトに可視光を発光する装置を設置する。撮影装置は、オブジェクトを撮影するとともに、可視光の点滅間隔により送信される情報も受信する。これにより、撮影したオブジェクトに受信した情報を付加することが可能となる。可視光は遠くまで届くので、遠方のオブジェクトに付加された情報を取得することが可能である。例えば、ビルにこの発光装置を設置することで、このビルを撮影した画像に情報を付加することが可能である。
【特許文献１】特開２００５−５６０５４号公報
【非特許文献１】松下伸行、外４名、「ＩＤ  Ｃａｍ：シーンとＩＤを同時に取得可能なイメージセンサ」、インタラクション２００２、２００２年、p.9-16
【発明の開示】
【発明が解決しようとする課題】
【０００４】
このように、オブジェクトに仮想的に情報を付加するためには、そのオブジェクトに装置や識別子を設置する必要がある。また、オブジェクトに付加した情報を得るためには、その識別子などを含めて撮影する必要がある。
【０００５】
しかしながら、情報を付加したいオブジェクトのすべてに識別子などを配置することや、あらゆる方向から情報が取得できるようにするためにオブジェクトの全方向に識別子を設置することは非現実的である。
【０００６】
本発明は、上記に鑑みてなされたものであり、その課題とするところは、オブジェクトに識別子を配置することなく、撮影した画像に付加情報を重畳して表示することにある。
【課題を解決するための手段】
【０００７】
第１の本発明に係る情報表示装置は、画像を撮影する撮影手段と、画像を撮影したときの撮影位置及び撮影方向を計測する位置計測手段と、オブジェクトの特徴点を含む地図情報を取得する地図情報取得手段と、地図情報上における、撮影位置と撮影方向にあるオブジェクトの特徴点とを結ぶ線同士がなす角度に基づいて画像における縦方向の特徴線を算出する第１特徴算出手段と、特徴線に基づいて画像に写ったオブジェクトの位置を特定する位置特定手段と、を有することを特徴とする。
【０００８】
本発明にあっては、画像を撮影したときの撮影位置及び撮影方向と、オブジェクトの特徴点を含む地図情報を取得し、地図情報上において撮影位置からオブジェクトの特徴点を結ぶ線同士がなす角度を求め、この角度を用いて、撮影した画像を横方向に分割する縦方向の特徴線を算出することで、特徴線間に写ったオブジェクトを特定することができる。
【０００９】
上記情報表示装置において、位置計測手段は、撮影方向に関して上下方向の傾きをさらに計測するものであって、画像を撮影したときの高度を測定する高度測定手段と、特徴線毎に、その特徴線に対応するオブジェクトまでの距離と傾きと高度に基づいて特徴線上の特徴点を算出する第２特徴算出手段と、を有することを特徴とする。
【００１０】
本発明にあっては、高度と傾きを計測することにより、オブジェクトと地面との境界を特定することが可能となる。
【００１１】
上記情報表示装置において、オブジェクトに関する付加情報を記憶させたデータベースから画像における位置が特定されたオブジェクトに対応する付加情報を取得する付加情報取得手段と、画像を表示するとともに、画像におけるオブジェクトの位置に対応させて付加情報を表示する表示手段と、を有することを特徴とする。
【００１２】
本発明にあっては、撮影した画像における位置を特定したオブジェクトに対応する付加情報を取得することにより、撮影した画像にその付加情報を重畳して表示することが可能となる。付加情報は、例えばオブジェクト（建物など）に関連した広告や道案内などである。
【００１３】
上記情報表示装置において、画像又は特徴線のいずれかを回転させてそれぞれを重ね合わせ、画像に写ったオブジェクトの特徴点が特徴線と重なる部分が多いときの回転角度を検出する回転角度検出手段を有することを特徴とする。
【００１４】
本発明にあっては、撮影した画像と算出した特徴線とを少しずつ回転させて重ね合わせ、画像に写ったオブジェクトの特徴点と特徴線とが重なる部分が多いときの回転角度を検出することにより、画像を撮影したときの情報表示装置の回転角度を算出することが可能となる。
【００１５】
第２の本発明に係る情報表示方法は、撮影手段により、画像を撮影するステップと、位置計測手段により、画像を撮影したときの撮影位置及び撮影方向を計測するステップと、地図情報取得手段により、オブジェクトの特徴点を含む地図情報を取得するステップと、第１特徴算出手段により、地図情報上における、撮影位置と撮影方向にあるオブジェクトの特徴点とを結ぶ線同士がなす角度に基づいて画像における縦方向の特徴線を算出するステップと、位置特定手段により、特徴線に基づいて画像に写ったオブジェクトの位置を特定するステップと、を有することを特徴とする。
【００１６】
第３の本発明に係る情報表示プログラムは、上記情報表示装置が有する各手段としてコンピュータを機能させることを特徴とする。
【００１７】
第４の本発明に係る記録媒体は、上記情報表示プログラムを記録したことを特徴とする。
【発明の効果】
【００１８】
本発明によれば、オブジェクトに識別子を配置することなく、撮影した画像に付加情報を重畳して表示することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態について図面を用いて説明する。
【００２０】
図１は、本実施の形態における情報表示装置の構成を示すブロック図である。同図に示す情報表示装置１は、撮影部１１、位置計測部１２、向き計測部１３、傾き計測部１４、高度計測部１５、通信部１６、縦特徴点特定部１７、横特徴点特定部１８および表示部１９を備える。情報表示装置１を、演算処理装置、記憶装置、メモリ等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは情報表示装置１が備える記憶装置に記憶されており、ＣＤ−ＲＯＭ、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。以下、各部の詳細について説明する。
【００２１】
撮影部１１は、風景映像などを撮影し画像を入力する。撮影部１１が入力する画像は、静止画像に限らず動画であってもよい。
【００２２】
位置計測部１２、向き計測部１３、傾き計測部１４および高度計測部１５は、撮影部１１が画像を撮影したときの撮影位置、撮影方向、情報表示装置１の傾きおよび撮影高度を計測する。撮影位置はＧＰＳ（Global Positioning System）を用いて計測し、撮影方向と傾きは二軸センサあるいは三軸センサを用いて計測する。高度は高度計を用いて計測する。
【００２３】
通信部１６は、地図情報データベース２０と付加情報データベース３０に接続される。通信部１６は、地図情報データベース２０から地図情報を取得し、付加情報データベース３０から撮影した画像に関連する付加情報を取得する。
【００２４】
縦特徴点特定部１７は、撮影部１１の画角、撮影位置、撮影方向および地図情報に基づいて撮影した画像に現れる縦方向の特徴線を特定する。縦方向の特徴線とは、例えば、建物の角など撮影した画像において縦方向（上下方向）に現れる特徴的な線である。
【００２５】
横特徴点特定部１８は、撮影部１１の画角、傾き、撮影高度および縦方向の特徴線に基づいて撮影した画像に現れる横方向の特徴点を特定する。横方向の特徴点とは、例えば、建物と地面との境界線など撮影した画像において横方向（左右方向）に現れる特徴点である。縦特徴点特定部１７および横特徴点特定部１８の処理の詳細については後述する。
【００２６】
表示部１９は、付加情報データベース３０から取得した付加情報を撮影部１１で撮影した画像に重畳して表示する。付加情報は、縦特徴点特定部１７、横特徴点特定部１８が検出した特徴線、特徴点に基づいて撮影した画像に写っているオブジェクト（建物、ランドマークなど）を特定し、特定したオブジェクトに対応させて重ねて表示する。
【００２７】
図２は、情報表示装置１を利用する様子を示す模式図である。同図に示すように、利用者が情報表示装置１により建物２０１を含む風景を撮影すると、情報表示装置１は、画像内の建物２０１を特定し、その建物に関連する付加情報を取得して表示する。
【００２８】
次に、情報処理装置の処理の流れを説明する。図３は、情報表示装置１の処理の流れを示すフローチャートである。
【００２９】
まず、撮影部１１により風景を撮影し、画像を得る（Ｓ３０１）。
【００３０】
続いて、位置計測部１２、向き計測部１３、傾き計測部１４および高度計測部１５により、撮影時の撮影位置、撮影方向、傾きおよび高度を計測する（Ｓ３０２）。
【００３１】
続いて、縦特徴点特定部１７が縦方向の特徴線を算出する（Ｓ３０３）。まず、縦特徴点特定部１７は、位置計測部１２、向き計測部１３から撮影位置、撮影方向を取得する。そして、撮影位置を含む地図情報を通信部１６を介して地図情報データベース２０から取得する。図４に示すように、地図情報は、上空から見たときの建物の輪郭などの形状を含む。図４上のＡ〜Ｋは、建物を示し、点Ｏは撮影位置を示している。撮影位置、撮影方向および画角ψxを考慮することで、撮影した領域を推測することが可能である。画角ψxは撮影部１１から取得する。
【００３２】
そして、縦特徴点特定部１７は、地図情報を用いて撮影した画像内における建物の位置関係を算出する。建物の位置関係は、図５に示すように、地図情報上の点Ｏから撮影方向を中心に画角ψxの領域内にある建物の角に対して線を引き、その線と符号４０１で示す基準線とがなす角度ａiを用いて算出する。撮影した画像の解像度がｘ×ｙピクセルの場合、撮影した画像におけるｉ番目の特徴線の幅ｘiは次式で表すことができる。
【数１】
2009140402.tif 000003
【００３３】
図６に示す画像のように、上記の式で算出した幅ｘi毎に縦線（縦方向の特徴線）を引くことで建物の角などの特徴点の位置を特定することができる。図６において、実線は建物と別の建物との境界に相当し、点線は建物の角に相当する。これにより、撮影した画像において、図６の実線間にどの建物が写っているのかを推定することができる。
【００３４】
続いて、横特徴点特定部１８が横方向の特徴点を算出する（Ｓ３０４）。横特徴点特定部１８は、傾き計測部１４、高度計測部１５から傾きθと高度ｈを取得する。図７に示すように、傾きθは情報表示装置１を上下方向にどれだけ傾けたのか示している。つまり、傾きθは撮影した画像の奥行き方向が水平方向に対してどれだけ傾いているのか示し、高度ｈは情報表示装置１が地表からどれだけ離れているのか示している。
【００３５】
横方向の特徴点は、縦特徴点特定部１７が算出した縦方向の特徴線ごとに求める。つまり、図６の実線および点線ごとに横方向の特徴点を算出する。
【００３６】
図８に示すように、利用者が建物の屋上から撮影した場合など高度ｈが十分高い場合は、建物２０１だけが写り、地面など横方向の特徴点は現れない。具体的には、次式が成り立つときにはその縦方向の特徴線において横方向の特徴点が現れない。
【数２】
2009140402.tif 000004
【００３７】
ここで、ｋは撮影位置から建物２０１までの距離を示し、ψyは画角を示す。距離ｋは、地図情報を用いることで計算可能である。
【００３８】
一方、図９に示すように、利用者が地上から撮影し高度ｈが低い場合は、撮影した画像に地面など写る場合があり、建物と地面との境界を横方向の特徴点として検出することができる。具体的には、次式が成り立つときである。
【数３】
2009140402.tif 000005
【００３９】
このとき、横方向の特徴点は、各縦方向の特徴線ごとに次式を用いて計算することができる。
【数４】
2009140402.tif 000006
【００４０】
ここで、ｙi1は画像上で建物に相当する部分、ｙi2は画像上で道路に相当する部分となる。図１０に示すように、縦方向の特徴線をｙi1とｙi2とに分割し、建物ごとにこの分割点（横方向の特徴点）を結ぶことで、図１１に示すように、建物と地面との境界を算出することができる。
【００４１】
続いて、撮影した画像が画像の奥行き方向の軸に対してどれだけ回転しているかを検出する（Ｓ３０５）。回転角度は三軸センサを用いて検出することができる。三軸センサを用いないで回転角度を検出する方法については後述する。
【００４２】
続いて、表示部１９は、検出された建物に関する付加情報を通信部１６を介して付加情報データベース３０から取得し（Ｓ３０６）、図１２に示すように、上記で算出した建物の位置に合うように撮影した画像に重ねて付加情報を表示する（Ｓ３０７）。撮影した画像が回転している場合は、その回転角度に合わせて付加情報の表示位置を回転させる。
【００４３】
このように、撮影した画像に写る建物の位置を推測することができるので、付加情報データベース３０に建物のテナントの広告を登録することで、撮影した画像に仮想的に広告を表示することが可能となる。また、付加情報データベース３０にランドマーク情報や道路情報を登録することで道案内などにも利用することが可能となる。
【００４４】
次に、三軸センサを用いないで画面の回転角度を求める方法について説明する。まず、撮影した画像において、建物の特徴点となる色や輝度の変化が高いところを強調させてエッジ画像を得る。図１３に示すように、エッジ画像５０１と縦方向の特徴線を算出した画像との回転角度を０度から３６０度まで少しずつ角度をずらしながら重ね合わせ、特徴線とエッジとが重なる画素が一番多い角度を回転角度として採用する。なお、特徴線を算出した画像を回転させた場合、撮影した画像の角などに推測されていない新たな建物が写っていることがあるが、これらの建物は考慮しないものとする。
【００４５】
また、地図情報に建物の高さの情報を含むときは、図１４に示すように、建物Ｈの後ろに存在する建物６０１を検出することができる。建物の屋上部分は、上記の横特徴点特定部１８による方法と同様に算出することができる。
【００４６】
以下、情報表示装置１の利用方法について簡単に説明する。
【００４７】
街頭広告には場所の制限があり、街頭広告を出せる企業は少ない。そこで、本情報表示装置１によりあるビルを撮影した場合に、そのビルに仮想的に広告を表示することが可能となる。
【００４８】
また、地図を利用して道案内をする場合、地図と実際の風景とを頭の中で対応付けなければならない。そこで、本情報表示装置１により目の前の風景を撮影することで、撮影した画像の道路部分に矢印を重畳して表示したり、目的のビルに目印を表示することが可能となる。これにより、利用者が情報表示装置１で撮影するだけで案内情報が表示されるので、利用者にとってわかりやすい道案内をすることができる。
【００４９】
さらに、地図情報にビルの高さや山の高さなどの情報を入力しておくことで、展望台などに本情報表示装置１を設置し、目立ったビルや山などに情報を付加することが可能となる。
【００５０】
付加情報データベース３０に情報を追加するコミュニケーションツールにも応用することができる。例えば、ある建物のテナントに対して感想や口コミを付加情報データベース３０に記憶させることで、その建物を情報表示装置１により撮影することで他の人の感想などを閲覧することが可能となる。
【００５１】
以上説明したように、本実施の形態によれば、撮影したときの撮影位置や撮影方向などの撮影情報とその撮影位置を含む地図情報を取得することで、撮影した画像のどのあたりにどの建物が写っているのかを算出することができるので、写っている建物に関する付加情報を付加情報データベース３０から取得し、撮影した画像に重畳して表示することができる。
【００５２】
本実施の形態によれば、撮影時の上下方向の傾きと高度を取得することにより、撮影した建物と地面との境界を算出することができるので、撮影した画像の道路部分に道案内を重畳して表示することが可能となる。
【００５３】
本実施の形態によれば、エッジ画像５０１を得て、縦方向の特徴線を算出した画像との回転角度を少しずつずらしながら重ね合わせ、特徴線とエッジとが重なる画素が一番多い角度を回転角度として採用することにより、三軸センサを用いないで画面の回転角度を求めることができる。
【図面の簡単な説明】
【００５４】
【図１】一実施の形態における情報表示装置の構成を示すブロック図である。
【図２】上記情報表示装置を利用する様子を示す模式図である。
【図３】上記情報表示装置の動作の流れを示すフローチャートである。
【図４】上記情報表示装置で用いる地図情報を示す図である。
【図５】地図情報上でオブジェクトの特徴点まで線を引いた様子を示す図である。
【図６】上記地図情報から算出した縦方向の特徴線を示す図である。
【図７】傾き及び高度を説明するための説明図である。
【図８】オブジェクトまでの距離、傾き及び高度により横方向の特徴点を算出する様子を示す図である。
【図９】オブジェクトまでの距離、傾き及び高度により横方向の特徴点を算出する様子を示す別の図である。
【図１０】算出した横方向の特徴点を示す図である。
【図１１】上記情報表示装置が算出したオブジェクトの位置を示す図である。
【図１２】撮影した画像に付加情報を重畳して表示した様子を示す図である。
【図１３】撮影した画像を回転して回転角度を求める様子を示す図である。
【図１４】オブジェクトの高さ情報を利用してオブジェクトの位置を算出した様子を示す図である。
【符号の説明】
【００５５】
１…情報表示装置
１１…撮影部
１２…位置計測部
１３…向き計測部
１４…傾き計測部
１５…高度計測部
１６…通信部
１７…縦特徴点特定部
１８…横特徴点特定部
１９…表示部
２０…地図情報データベース
３０…付加情報データベース
【図１】
2009140402.tif 000007
【図２】
2009140402.tif 000008
【図３】
2009140402.tif 000009
【図４】
2009140402.tif 000010
【図５】
2009140402.tif 000011
【図６】
2009140402.tif 000012
【図７】
2009140402.tif 000013
【図８】
2009140402.tif 000014
【図９】
2009140402.tif 000015
【図１０】
2009140402.tif 000016
【図１１】
2009140402.tif 000017
【図１２】
2009140402.tif 000018
【図１３】
2009140402.tif 000019
【図１４】
2009140402.tif 000020