(57)【要約】      （修正有）【課題】撮影された画像内の映像物にかかる付加情報を取得し表示する。【解決手段】表示画面内に表示された映像対象物を対象物認識情報に基づき検知する認識手段２０３と、検知された各映像対象物に対応した認識マークを検知された各映像対象物の表示サイズに応じたサイズで描画するマーク描画手段２０５と、認識マークが前記表示画面内の予め設定された表示判定領域内に当該表示判定領域のサイズに対する一定値以上の割合の大きさで描画された場合に、通信回線を介して認識マークに対応した映像対象物にかかる対象物情報の検索を行う重ね表示情報決定手段２０７と、検索取得された対象物情報を出力画面に対して表示する画像表示手段２１０を備えた。【選択図】図２
2011009915.tif 000002
【特許請求の範囲】
【請求項１】
対象物の撮影を行うカメラ部と、前記カメラ部により撮影された映像を予め設定された出力画面に対して表示する出力表示制御部と、前記出力画面に表示された映像対象物にかかる情報を示す対象物情報を予め設定されたネットワーク回線を介して取得する対象物情報取得部とを備えた対象物情報表示装置であって、
前記出力画面内に表示された映像対象物を、予め設定された対象物認識情報に基づき検知する映像対象物検知手段と、
前記映像対象物が検知された場合に当該検知された各映像対象物に対応した認識マークを前記表示画面上に描画する認識マーク描画手段と、
前記描画される認識マークの描画サイズを前記検知された各映像対象物の表示サイズに応じて決定する認識マーク描画サイズ制御手段とを有し、
前記対象物情報取得部が、前記認識マークが前記表示画面内の予め設定された表示判定領域内に当該表示判定領域のサイズに対する一定値以上の割合の大きさで描画された場合に、前記ネットワーク回線を介して前記認識マークに対応した前記映像対象物にかかる対象物情報の検索を行う映像対象物検索手段を備え、
前記出力表示制御部が、前記対象物情報取得部により検索取得された前記対象物情報を前記出力画面に対して表示する対象物情報出力制御手段を備えたことを特徴とする対象物情報表示装置。
【請求項２】
請求項１に記載の対象物情報表示装置において、
前記認識マーク描画手段は、前記表示画面上に前記認識マークが描画されているときに前記カメラ部による拡大縮小表示撮影が行われた場合に、前記表示画面に表示された映像対象物の拡大縮小割合に応じて、前記描画された認識マークの描画サイズを拡大縮小制御する認識マーク拡大縮小制御機能を備えたことを特徴とする対象物情報表示装置。
【請求項３】
請求項１又は２に記載の対象物情報表示装置において、
前記認識マーク描画手段は、
前記映像対象物が検知された場合に、前記検知された映像対象物が前記出力画面内に表示された位置に応じて前記認識マークの描画位置を決定する認識マーク描画位置決定機能を備えたことを特徴とする対象物情報表示装置。
【請求項４】
請求項１又は２に記載の対象物情報表示装置において、
前記認識マーク描画手段は、
前記映像対象物が検知された場合に、前記検知された映像対象物が前記出力画面内で表示された位置に応じて前記認識マークの描画位置を決定する認識マーク描画位置決定機能と、
前記各認識マークとして前記検知された映像対象物それぞれとの対応関係を示す対応関係マークを描画する対応関係マーク描画機能とを備えたことを特徴とする対象物情報表示装置。
【請求項５】
請求項１に記載の対象物情報表示装置において、
前記映像対象物検知手段に、特定のテキスト情報を含む対象物を検知するための認識対象リストを前記対象物認識情報として記憶する認識対象リスト記憶手段を併設したことを特徴とする対象物情報表示装置。
【請求項６】
対象物の撮影を行うカメラ部と、前記カメラ部により撮影された映像を予め設定された出力画面に対して表示する出力表示制御部とを備えた構成により、前記出力画面に表示された映像対象物にかかる情報である対象物情報を予め設定されたネットワーク回線を介して取得する対象物情報表示方法であって、
前記出力画面内に表示された映像対象物を予め設定された対象物認識情報に基づき検知し、
前記映像対象物が検知された場合に、当該検知された各映像対象物に対応した認識マークを、前記検知された各映像対象物の表示サイズに応じたサイズで前記表示画面上に描画し、
前記認識マークが前記表示画面内の予め設定された表示判定領域内に当該表示判定領域のサイズに対する一定値以上の割合の大きさで描画された場合に、前記ネットワーク回線を介して前記認識マークに対応した前記映像対象物にかかる対象物情報の検索を行い、
前記対象物情報取得部により検索取得された前記対象物情報を前記出力画面に対して表示することを特徴とする対象物情報表示方法。
【請求項７】
対象物の撮影を行うカメラ部と、前記カメラ部により撮影された映像を予め設定された出力画面に対して表示する出力表示制御部とを備えた対象物情報表示装置により、前記出力画面に表示された映像対象物にかかる情報である対象物情報を予め設定されたネットワーク回線を介して取得するための対象物情報表示プログラムであって、
前記出力画面内に表示された映像対象物を予め設定された対象物認識情報に基づき検知する処理を行う映像対象物検知機能、
前記映像対象物が検知された場合に、当該検知された各映像対象物に対応した認識マークを、前記検知された各映像対象物の表示サイズに応じたサイズで前記表示画面上に描画する処理を行う認識マーク描画機能、
前記認識マークが前記表示画面内の予め設定された表示判定領域内に当該表示判定領域のサイズに対する一定値以上の割合の大きさで描画された場合に、前記ネットワーク回線を介して前記認識マークに対応した前記映像対象物にかかる対象物情報を検索する処理を行う映像対象物検索機能、
前記対象物情報取得部により検索取得された前記対象物情報を前記出力画面に対して表示する処理を行う対象物情報出力制御機能、
を前記対象物情報表示装置の備えたコンピュータに実行させることを特徴とする対象物情報表示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影された映像に含まれる映像対象物にかかる付加情報を示す対象物情報を取得する技術に関する。
【背景技術】
【０００２】
撮影対象物を撮影するカメラと、撮影された画像や映像を表示する表示画面とを備えると共に、表示画面上に表示された画像や映像中からテキスト情報などの映像対象物を特定しこの特定された映像対象物に係る付加情報を取得する手法が開示されている（特許文献１）。
また、これに対する関連技術として、取得された映像対象物の付加情報を、映像物と同一の表示画面上に重畳して表示するための手法が開示されている（特許文献２）。
更に、これに対する関連技術として、撮影された画像から、テキストに限らず一般の物体などを認識する手法が開示されている（特許文献３）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−６０５３５公報
【特許文献２】特表２００８−５１０２５４公報
【特許文献３】特開２００１−３０７０９６公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１に開示された関連技術では、キー入力によりテキスト検索を行うという操作を代替するための手法であり、実際に撮影された画像内の映像対象物に付加的な情報を重畳して表示することができないという不都合がある。
また、上記特許文献２に開示された関連技術では、付加情報を表示画面上に自動的に重ね表示した場合、利用者の意図を反映しない付加情報が表示されてしまったり、これにより表示画面の視認性を妨げてしまったりするといった不都合が生じ得る。
【０００５】
更に、上記特許文献３に開示された関連技術では、画面上に異なる複数の映像対象物が表示されている場合などには、どの物体（映像対象物）に対する付加情報を表示画面上に表示するかを決定することが困難となる。
また、例えば、付加情報を表示する映像対象物を特定するために、操作ボタン等を備え利用者が画面上で特定の映像対象物を直接選択する構成とした場合、操作が煩雑になってしまうという不都合がある。
この場合、例えば、通常の虫眼鏡やルーペなどに対する操作と比較して、直感的な操作性が大きく損なわれてしまうことになり、利用者は映像対象物の付加情報を、容易で直感的な操作により表示させることができないといった不都合がある。
【０００６】
［発明の目的］
本発明は、上記関連技術の有する不都合を改善し、利用者により撮影され出力表示された映像対象物にかかる付加情報を直感的且つ簡易な操作により取得し表示する対象物情報表示装置、対象物情報表示方法、対象物情報表示プログラムを提供することを、その目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明に係る対象物情報表示装置は、対象物の撮影を行うカメラ部と、前記カメラ部により撮影された映像を予め設定された出力画面に対して表示する出力表示制御部と、前記出力画面に表示された映像対象物にかかる情報を示す対象物情報を予め設定されたネットワーク回線を介して取得する対象物情報取得部とを備えた対象物情報表示装置であって、前記出力画面内に表示された映像対象物（テキスト情報、特定の物質）を、予め設定された対象物認識情報に基づき検知する映像対象物検知手段と、前記映像対象物が検知された場合に当該検知された各映像対象物に対応した認識マークを前記表示画面上に描画する認識マーク描画手段と、前記描画される認識マークの描画サイズを前記検知された各映像対象物の表示サイズに応じて決定する認識マーク描画サイズ制御手段とを有し、前記対象物情報取得部が、前記認識マークが前記表示画面内の予め設定された表示判定領域内に当該表示判定領域のサイズに対する一定値以上の割合の大きさで描画された場合に、前記ネットワーク回線を介して前記認識マークに対応した前記映像対象物にかかる対象物情報の検索を行う映像対象物検索手段を備え、前記出力表示制御部が、前記対象物情報取得部により検索取得された前記対象物情報を前記出力画面に対して表示する対象物情報出力制御手段を備えた構成をとっている。
【０００８】
又、本発明にかかる対象物情報表示方法は、対象物の撮影を行うカメラ部と、前記カメラ部により撮影された映像を予め設定された出力画面に対して表示する出力表示制御部とを備えた構成により、前記出力画面に表示された映像対象物にかかる情報である対象物情報を予め設定されたネットワーク回線を介して取得する対象物情報表示方法であって、前記出力画面内に表示された映像対象物を予め設定された対象物認識情報に基づき検知し、前記映像対象物が検知された場合に、当該検知された各映像対象物に対応した認識マークを、前記検知された各映像対象物の表示サイズに応じたサイズで前記表示画面上に描画し、前記認識マークが前記表示画面内の予め設定された表示判定領域内に当該表示判定領域のサイズに対する一定値以上の割合の大きさで描画された場合に、前記ネットワーク回線を介して前記認識マークに対応した前記映像対象物にかかる対象物情報の検索を行い、
前記対象物情報取得部により検索取得された前記対象物情報を前記出力画面に対して表示することを特徴とすることを特徴としている。
【０００９】
更に、本発明にかかる対象物情報表示プログラムは、対象物の撮影を行うカメラ部と、前記カメラ部により撮影された映像を予め設定された出力画面に対して表示する出力表示制御部とを備えた対象物情報表示装置により、前記出力画面に表示された映像対象物にかかる情報である対象物情報を予め設定されたネットワーク回線を介して取得するための対象物情報表示プログラムであって、前記出力画面内に表示された映像対象物を予め設定された対象物認識情報に基づき検知する処理を行う映像対象物検知機能、前記映像対象物が検知された場合に、当該検知された各映像対象物に対応した認識マークを、前記検知された各映像対象物の表示サイズに応じたサイズで前記表示画面上に描画する処理を行う認識マーク描画機能、前記認識マークが前記表示画面内の予め設定された表示判定領域内に当該表示判定領域のサイズに対する一定値以上の割合の大きさで描画された場合に、前記ネットワーク回線を介して前記認識マークに対応した前記映像対象物にかかる対象物情報を検索する処理を行う映像対象物検索機能、前記対象物情報取得部により検索取得された前記対象物情報を前記出力画面に対して表示する処理を行う対象物情報出力制御機能、を前記対象物情報表示装置の備えたコンピュータに実行させることを特徴としている。
【発明の効果】
【００１０】
本発明は、以上のように構成され機能するので、これによると、出力画面内の映像物が
検知されたことを示す認識マークを出力画面内の映像対象物の大きさに応じて描画する手段と、認識マークが一定の大きさに拡大された場合に映像対象物に係る付加情報を通信手段を介して取得する手段とを備えた構成としたことにより、対象物の撮影を行い表示した映像対象物に係る情報を簡易に取得すると共に表示することができる対象物情報表示装置、対象物情報表示方法、および対象物情報表示プログラムを提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明による対象物情報表示装置の概観の一実施形態を示す概略構成図である。
【図２】図１に開示した対象物情報表示装置の内部構成の一実施形態を示す概略ブロック図である。
【図３】図１に開示した対象物情報表示装置における全体的な動作を示すシーケンスチャートである。
【図４】図１に開示した対象物情報表示装置における対象物（菓子パッケージ）における撮影状態の一例を示す説明図である。
【図５】図１に開示した対象物情報表示装置における対象物（菓子パッケージ）における認識マークの描画を行う手法の一例を示す説明図である。
【図６】図１に開示した対象物情報表示装置における対象物（菓子パッケージ）情報の表示手法の一例を示す説明図である。
【図７】図１に開示した対象物情報表示装置における対象物（カブトムシ）の特定の手法の一例を示す説明図である。
【図８】図１に開示した対象物情報表示装置における対象物（カブトムシ）情報の表示手法の一例を示す説明図である。
【発明を実施するための形態】
【００１２】
［実施形態］
次に、本発明の実施形態について、その基本的構成内容を説明する。
【００１３】
本実施形態である拡張表示装置（対象物情報表示装置）１００は、図１（ａ）、（ｂ）に示すように筐体形状を有し、その外装部裏面（図１（ｂ））に、撮影対象物（対象物）の撮影を行うためのカメラレンズ１０１（図１（ｂ））を備え、その外装部表面（図１（ａ））側に、カメラレンズ１０１を介して撮影された映像が出力表示される表示画面１０２を備えた構成となっている。
【００１４】
また、拡張表示装置１００は、その外装部側面に、カメラレンズ１０１による拡大撮影および縮小撮影の制御を行うためのインターフェイスとしてのズームダイアル１０３を備えている。
これにより、拡張表示装置１００のユーザは、このズームダイアル１０３を操作することにより、表示画面１０２に出力表示される撮影物の拡大縮小表示を調整することができる。
【００１５】
次に、拡張表示装置（対象物情報表示装置）１００の内部構成について、図２のブロック図に基づき詳説する。
拡張表示装置（対象物情報表示装置）１００は、ズームダイアル１０３による操作（入力）を検知すると共に検知されたズームダイアル１０３の操作内容（拡大縮小操作情報）を撮影手段（カメラ部）２０２に通知することによりズーム撮影を制御するズーム制御手段２０１と、カメラレンズ１０１を介して対象物の撮影を行うと共に、ズーム制御手段２０１から通知された拡大縮小操作情報に基づきカメラレンズ１０１における拡大縮小を制御する撮影手段２０２と、撮影手段２０２により撮影された映像内における対象物である、テキスト情報、特定の物質などの映像対象物を検知する認識手段（映像対象物検知手段）２０３を備えた構成となっている。
尚、認識手段２０３は、対象物を検知するためのリファレンス情報としての対象物認識情報を記憶保持する対象物認識情報保持機能を備えている。
【００１６】
また、拡張表示装置１００は、認識手段２０３により映像対象物が検知された場合に、検知された各映像対象物に対応した認識マークを設定すると共に、この認識マークの描画位置、およびサイズを、前記検知された各映像対象物の表示サイズに応じて決定するマーク位置サイズ決定手段（認識マーク描画サイズ制御手段）２０４と、決定された認識マークを表示画面１０２に描画するマーク描画手段（認識マーク描画手段）２０５を有する。
【００１７】
更に、拡張表示装置１００は、マーク描画手段２０５により描画された認識マークが、表示画面１０２内の予め設定された表示判定領域内に、この表示判定領域のサイズに対する一定値以上の割合の大きさで描画されているか否かを判定する重ね表示可否判定手段２０６と、表示判定領域内の認識マークが一定値以上の割合の大きさで描画された場合に、拡張表示装置１００内に予め設けられた通信手段（ネットワーク回線）２０８を介して、描画された認識マークに対応した映像対象物にかかる情報としての対象物情報の検索を行う重ね表示情報決定手段（映像対象物検索手段）２０７と、この重ね表示情報決定手段２０７により検索取得された対象物情報を画像表示手段（出力表示制御部）２１０に対して送信する重ね情報描画手段（対象物情報出力制御手段）２０９を備えた構成としている。
【００１８】
尚、重ね表示可否判定手段２０６、重ね表示情報決定手段２０７、重ね情報描画手段２０９は、対象物情報取得部に相当する。
【００１９】
撮影手段２０２は、利用者によりカメラレンズ１０１が向けられた、テキスト（文字列）や対象物などの撮影対象物を撮影する。
尚、拡張表示装置１００の利用者は、撮影対象物が表示画面１０２内に適切なサイズで表示されるように、拡張表示装置１００本体を対象物に近づけたり対象物から遠ざけたり、ズーム制御手段２０１を操作することによりズーミング等を行い、撮影対象物が表示画面１０２内に表示させることができるものとする。
【００２０】
認識手段２０３は、表示画面１０２内に表示された撮影画像の中で、拡張表示装置１００の２０３に「認識可能」と判定するものを認識可能物リストとして記憶保持する認識可能物リスト記憶手段を備えている。
尚、この認識可能物リスト記憶手段は、拡張表示装置１００内に予め設置されたＨＤＤ（ハードディスクドライブ）などの記憶装置により実現されるものとする。
【００２１】
また、認識手段２０３は、出力画面１０２内に表示された映像対象物（テキスト情報、特定の物質、生物などを含む）のうち、上記認識可能物リストに基づき検知される映像対象物を特定する認識物特定機能を備えている。
尚、この認識物特定機能については、撮影された画像（映像）から、テキストなどに限らず一般の物体などを認識するための画像認識技術（例えば、特開２００１−３０７０９６など）を利用する設定としてもよい。
これにより、本実施形態では、撮影された画像から画像認識技術により特定の映像対象物（物体やテキストなど）を抽出することができ、この映像対象物に対してマーキングを行うことができる。
【００２２】
認識手段２０３は、表示画面１０２に表示されたテキストや物体（対象物）などの映像対象物を認識可能対象物リストに予め登録された認識可能物として特定した場合に、この映像対象物を認識したことをマーク位置サイズ決定手段２０４に通知する。
【００２３】
尚、撮影された画像中から映像対象物を特定する手法として、例えば、特開２００１−３０７０９６に開示された画像認識の手法を利用する設定としてもよい。
【００２４】
マーク位置サイズ決定手段２０４は、認識可能なものとして特定された映像対象物に対応した星マーク（認識マークに相当）を設定する（認識マーク設定機能）。このとき、マーク位置サイズ決定手段２０４は、星マークの表示画面１０２内における表示位置、および表示サイズを決定する。
【００２５】
また、マーク位置サイズ決定手段２０４は、設定する星マークと特定された映像対象物との対応関係を明確にするため、表示画面１０２内における星マークの描画位置を、映像対象物の表示位置から一定の範囲内の位置（領域）に星マークを描画するものとする。
【００２６】
具体的には、マーク位置サイズ決定手段２０４は、図７に示すように、映像対象物として認識手段２０３により認識されたカブトムシの近傍左上に星マークが表示されるように、描画位置を設定する。
【００２７】
マーク描画手段２０５は、マーク位置サイズ決定手段２０４により設定された描画マーク（星マーク）のサイズおよび位置を示す情報に基づき、画像表示手段２１０を介して表示画面１０２に星マークを出力表示する描画マーク出力表示制御機能を有する。
尚、出力表示された星マークは、ズームダイアル１０３のズーム操作（拡大縮小操作）に伴って、その大きさが拡大縮小表示されるものとする。
【００２８】
重ね表示可否判定手段２０６は、マーク描画手段２０５により星マークが描画された場合に、その表示位置およびサイズの監視を開始する（描画マーク位置サイズ監視機能）。
このとき、重ね表示可否判定手段２０６は、表示画面１０２内に予め設定された重ね情報表示判定エリア（ここでは、表示画面１０２内左上部）に星マークが表示されているか否かの判定を行う（描画マーク表示領域判定機能）。
【００２９】
また、重ね表示可否判定手段２０６は、星印の１つが一定のサイズ以上の大きさで重ね情報表示判定エリア内に入るように表示された場合に、「重ね表示可」と判定する。
一方、重ね情報表示判定エリアに星マークが表示されていない場合、重ね表示可否判定手段２０６は、表示画面１０２の状態を「重ね表示不可」の状態と判定する。このとき、表示画面１０２には、撮影対象物が特定（認識）可能であることをしめす星マークが表示されたままの状態となっているものとする。
【００３０】
例えば、図７は、映像対象物であるカブトムシに対応した星マークが表示画面１０２内の重ね情報表示判定エリアに表示されている状態を例示している。ここでは、表示された星マークの表示サイズが、予め設定された割合に比して小さいため、後述する重ね情報検索機能が起動されない。
【００３１】
重ね表示情報決定手段２０７は、重ね表示可否判定手段２０６が描画マーク（星マーク）の描画位置に基づき「重ね表示可」と判定した場合に、判定エリア内に表示された星マークに対応した映像対象物に係る付加情報（重ね表示情報）の検索を開始する重ね情報検索機能を備えている。
【００３２】
重ね表示情報決定手段２０７は、この重ね情報検索機能を実行することにより、通信手段２０８を介してインターネットに接続されたサーバ上に記憶されたウェブ情報などを検索して、撮影対象物（映像対象物）に係る付加情報を検索結果として取得する。
【００３３】
重ね情報描画手段２０９は、表示画面１０２内に予め設定された重ね情報表示判定エリアに星マークが予め設定された一定以上の大きさで表示されているか否かの判定を行う。
これにより、例えば、利用者が意図しない映像対象物が認識され、重ね情報が表示されてしまうことにより、画面の一部を覆ってしまい、結果として撮影された画面を見づらくなってしまうといった状態が生じるのを軽減することができる。
【００３４】
また、重ね情報描画手段２０９は、重ね情報表示判定エリアに星マークが一定以上の大きさで表示されている場合に、重ね表示情報決定手段２０７による検索結果（付加情報）を、重ね情報描画手段２０９を介して表示画面１０２に対して出力表示する（重ね情報出力表示機能）。
これにより、利用者は自分の意図にあった映像対象物の付加情報の表示および非表示を、簡易な操作により制御することができる。
【００３５】
具体的には、図８に示すように、星マークが重ね情報表示判定エリア内に一定以上大きさに表示されている場合に、画像表示手段２１０は、検索結果であるカブトムシの属性情報（「カブトムシ  大型の昆虫で、成虫は夏に・・・」）を撮影された映像に重畳して（ここでは、噴出しの形式で）出力表示する。
【００３６】
これにより、例えば拡張表示装置１００の利用者が、表示画面上に表示された物体（この場合はカブトムシ）が何であるかを知らない場合でも、拡張表示装置１００で撮影することにより、この物体に関する情報が表示画面上に表示され、撮影された物体に重ねて付加情報（重ね情報）を表示するか否かを、通常の虫眼鏡と同様な操作により決定することができる。
画像表示手段２１０は、マーク描画手段２０５が描画マーク（星マーク）を表示画面１０２に対して出力表示する動作を制御し、また、重ね情報描画手段２０９が検索結果である付加情報を表示画面１０２に対して出力表示する動作を制御する出力表示制御機能を備えている。
【００３７】
［実施形態の動作説明］
次に、本実施形態の全体の動作について、その内容を概説する。
まず、表示画面１０２内に表示された映像対象物を、認識手段２０３が、予め設定された対象物認識情報に基づき検知する（映像対象物検知工程）。
ここで、認識手段２０３により映像対象物が検知された場合に、マーク描画手段２０５が、検知された各映像対象物に対応した認識マークを、検知された各映像対象物の表示サイズに応じたサイズで前記表示画面上に描画する（認識マーク描画工程）。
【００３８】
次に、重ね表示情報決定手段２０７が、認識マークが前記表示画面内の予め設定された表示判定領域内に当該表示判定領域のサイズに対する一定値以上の割合の大きさで描画された場合に、ネットワーク回線（通信回線２０８）を介して認識マークに対応した前記映像対象物にかかる対象物情報の検索を行い（映像対象物検索工程）、次いで、画像表示手段２１０が、検索取得された対象物情報を前記出力画面に対して表示する（対象物情報出力制御工程）。
【００３９】
尚、ここで、上記映像対象物検知工程、認識マーク描画工程、映像対象物検索工程、および対象物情報出力制御工程については、その実行内容をプログラム化し、コンピュータに実行させる構成としてもよい。
【００４０】
次に、本実施形態における拡張表示装置１００の動作について、図４のフローチャートに基づき詳説する。
【００４１】
まず、拡張表示装置１００の利用者が、拡張表示装置１００のカメラレンズ１０１）を向けることにより、テキスト（文字列）や対象物などの撮影対象物を撮影する（ステップＳ３０１：画像を撮影）。
ここで、利用者は、撮影対象物が表示画面１０２内に適切なサイズで表示されるように、拡張表示装置１００本体を対象物に近づけたり対象物から遠ざけたり、ズーム制御手段２０１を操作することによりズーミング等を行い、撮影対象物が表示画面１０２内に表示させる（ステップＳ３０２：画像を表示）。
【００４２】
このとき、撮影対象物として、例えば、菓子のパッケージを撮影した場合、図４に示すように、図表示画面１０２の中央部分に、映像対象物としての菓子のパッケージが表示される。
ここでは、表示された菓子パッケージ撮影画像の表示領域が予め設定された領域の大きさより小さいため、また、菓子パッケージ撮影画像が重ね情報表示の判定エリア内に入っていない。
つまり、菓子パッケージ撮影画像が重ね情報表示の判定エリア内に表示されていないため、認識手段２０３は、菓子パッケージを撮影対象物として検知していない。
尚、本実施形態では、重ね情報表示の判定エリアは、表示画面１０２内の左上領域（点線部：図４）に設定されているものとする。
【００４３】
ここで、拡張表示装置１００の利用者が、ズームダイアル１０３を使って貸しパッケージに対してズームインをするか、拡張表示装置１００のカメラレンズ１０１を菓子パッケージに近づけることにより、例えば、図５に示すように、表示画面１０２内で大きく菓子パッケージが表示される。
このとき、認識手段２０３は、表示画面１０２に表示された菓子パッケージのテキストやバーコードを検知すると共に、このテキストや対象物などの映像対象物に基づき、予め設定された認識可能物リストを参照する（ステップＳ３０３：認識可能なものを検索）。
ここで、認識手段２０３は、表示画面１０２に表示されたテキストや物体（ここでは、テキスト、バーコード）を認識可能物リストに予め登録された撮影対象物として特定した場合に、撮影対象物を認識したことをマーク位置サイズ決定手段２０４に通知する。
【００４４】
次いで、マーク位置サイズ決定手段２０４が、認識可能なものとして検索された映像対象物に対応した星マーク（描画マーク）を設定する。このとき、マーク位置サイズ決定手段２０４は、星マークの表示画面１０２内における表示位置、および表示サイズを決定する（ステップＳ３０４）。
尚、マーク位置サイズ決定手段２０４は、映像対象物との対応関係を明確にするため、表示画面１０２内での映像対象物の表示位置に対して、予め設定された近似領域に星マークを描画するものとする。
【００４５】
具体的には、マーク位置サイズ決定手段２０４が、テキスト（・・・チップス）、テキスト（・・・株式会社）およびバーコードそれぞれに対応した星マークの描画位置、およびその描画サイズを設定する。
また、マーク描画手段２０５が、図５に示すように、設定された３つの星マークを、撮影対象物に重ねて表示画面１０２上に表示する。
【００４６】
尚、このとき、３つの星マークは、図５に示すように、表示画面１０２左上部分に設定された重ね情報表示の判定エリア内に入っていないため、重ね情報の検索機能は起動されない。
【００４７】
ここで、重ね表示可否判定手段２０６が、描画された３つの星マークの表示位置およびサイズを、監視する動作を開始する。このとき、重ね表示可否判定手段２０６は、表示画面１０２内に予め設定された重ね情報表示判定エリア（ここでは、表示画面１０２内左上部）に星マークが表示されているか（入っているか）否かの判定を行う。
【００４８】
次いで、利用者が、上記撮影対象物を撮影しながら拡張表示装置１００を移動させることにより、図６に示すように、星印の１つが一定のサイズ以上の大きさで重ね情報表示判定エリア内に入るように表示された場合に、重ね表示可否判定手段２０６は、「重ね表示可」と判定する（ステップＳ３０５：Ｙ）。
【００４９】
一方、重ね表示可否判定手段２０６は、重ね情報表示判定エリアに星マークが表示されていない場合には（ステップＳ３０５：Ｎ）、表示画面１０２の状態を「重ね表示不可」の状態と判定し、これにより、表示画面１０２には、撮影対象物が特定（認識）可能であることをしめす星マークが表示されたままの状態となっているものとする（ステップＳ３０８）。
【００５０】
重ね表示可否判定手段２０６が「重ね表示可」と判定した場合（ステップＳ３０５：Ｙ）、判定エリア内に表示された星マークに対応した撮影対象物に係るオブジェクト情報（重ね表示情報）を、重ね表示情報決定手段２０７が検索する（重ね情報検索起動工程：ステップＳ３０６）。
ここで、重ね表示情報決定手段２０７により行われる重ね情報検索は、通信手段２０８を介してインターネットに接続されたサーバ上に記憶されたウェブ情報などを検索することにより実行される。
【００５１】
次いで、重ね表示情報決定手段２０７が検索結果を取得した場合、重ね情報描画手段２０９が、この検索結果（重ね情報）を、図６に示すように、表示画面１０２に対して出力表示する（重ね情報を表示：ステップＳ３０７）。
【００５２】
具体的には、重ね表示情報決定手段２０７は、図６に示すように、・・・チップスというテキスト情報に係り、検索取得された重ね情報を、噴出しの形式で表示画面１０２に表示している。ここで、表示画面１０２には、図６に示すように、・・・チップスのカロリーや塩分の情報や、・・・チップス（商品）の製造業者のホームページのＵＲＬやこの・・・チップスの評判が掲載されたホームページのＵＲＬが重ね情報として出力表示されている。
【００５３】
以上のように、本実施形態である拡張表示装置１００を利用することにより、利用者はルーペや虫眼鏡を利用するのと同等の簡易な操作により、映像対象物に関する付加情報を簡易に出力画面上に表示することができる。
また、利用者は、拡張表示装置を移動したり傾けたりといった直感的な操作により、詳細情報を見たい映像対象物に対応したマークの画面上における表示位置とサイズを制御することにより、映像対象物の付加情報や詳細情報を表示することができる。
【００５４】
更に、拡張表示装置の利用者は、表示画面に表示された映像対象部が何であるかを知らない場合でも、この拡張表示装置を撮影対象物に向けるという簡易な操作を行うことにより、映像対象物に関する付加情報を取得することができ、更には、この付加情報を表示するかどうかを、通常の虫眼鏡と同様な直感的な操作により確定することができる。
【産業上の利用可能性】
【００５５】
本発明は、携帯電話やデジタルカメラなどの写真や映像撮影機能を有する撮影装置がインターネットワークなどの広域ネットワークに対して通信接続可能に設定されたシステムに適用することができる。
【符号の説明】
【００５６】
１００  拡張表示装置
１０１  カメラレンズ（カメラ部）
１０２  表示画面（出力画面）
２０１  ズーム制御手段
２０２  撮影手段（カメラ部）
２０３  認識手段（映像対象物検知手段）
２０４  マーク位置サイズ決定手段（認識マーク描画サイズ制御手段）
２０５  マーク描画手段（認識マーク描画手段）
２０６  重ね表示可否判定手段
２０７  重ね表示情報決定手段（対象物情報取得部（映像対象物検索手段））
２０８  通信手段（ネットワーク回線）
２０９  重ね情報描画手段（対象物情報出力制御手段）
２１０  画像表示手段（出力表示制御部）
【図１】
2011009915.tif 000003
【図２】
2011009915.tif 000004
【図３】
2011009915.tif 000005
【図４】
2011009915.tif 000006
【図５】
2011009915.tif 000007
【図６】
2011009915.tif 000008
【図７】
2011009915.tif 000009
【図８】
2011009915.tif 000010