(57)【要約】【課題】  付加情報を表示する撮像装置において、不要な付加情報を自動で排除し、撮像装置でピントが合っている位置の付加情報を撮像画像に付加し表示する仕組みを提供することを目的とする。【解決手段】  本発明は、位置情報と対応付けられた付加情報を記憶している記憶部を有する付加情報管理サーバと通信可能な、撮像部を有する撮像装置であって、付加情報管理サーバから、自機の位置の周囲の位置情報と対応付けられた付加情報を取得する。自機の位置と撮像面の向きを示す方位を検出して、撮像エリアを特定し、特定された撮像エリアの位置情報を有する付加情報を抽出し、さらに、特定された撮像エリア内でも所定の距離範囲の付加情報を抽出する。撮像された画像内の所定の表示位置に抽出した付加情報を表す文字列を合成し、合成した画像を表示することを特徴とする。【選択図】図３
2015089021.tif 000002
【特許請求の範囲】
【請求項１】
位置情報と対応付けられた付加情報を記憶している記憶手段を有する付加情報管理サーバと通信可能な、撮像手段を有する撮像装置であって、
自機の位置を検出する位置検出手段と、
前記撮像手段の撮像面の向きを示す方位を検出する方位検出手段と、
前記検出した位置及び方位の内容に基づいて前記撮像手段の撮像エリアを特定する撮像エリア特定手段と、
前記付加情報管理サーバから、前記検出した位置に基づいて、前記記憶手段に記憶された位置情報と対応付けられた付加情報を取得する付加情報取得手段と、
前記取得した付加情報の内、前記特定された撮像エリアの位置情報を有する付加情報を抽出し、さらに、該特定された撮像エリア内でも所定の距離範囲の付加情報を抽出する付加情報抽出手段と、
前記撮像手段で撮像された画像内の所定の表示位置に前記抽出した付加情報を表す文字列を合成する合成手段と、
前記文字列を合成した画像を表示する表示手段と
を有することを特徴とする撮像装置。
【請求項２】
前記所定の距離範囲とは、前記撮像手段で焦点が合う距離とすることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像手段で焦点が合う距離とは、被写界深度の前端と後端内の距離であることを特徴とする請求項２に記載の撮像装置。
【請求項４】
ユーザの入力を受け付ける入力手段を有し、
前記入力手段により、前記距離範囲を変更する距離範囲変更手段と、
前記付加情報抽出手段は、前記距離範囲変更手段により変更された距離範囲の付加情報を抽出することを特徴とする請求項１乃至３に記載の撮像装置。
【請求項５】
前記撮像手段で撮像した画像のオブジェクトを検出するオブジェクト検出手段と、
前記所定の表示位置とは、前記検出したオブジェクトと前記付加情報抽出手段で抽出された付加情報とを対応付け、該オブジェクトと重ならないように該付加情報を配置する位置であることを特徴とする請求項１乃至４に記載の撮像装置。
【請求項６】
位置情報と対応付けられた付加情報を記憶している記憶手段を有する付加情報管理サーバと通信可能な、撮像手段を有する撮像装置を制御する撮像制御手段であって、
自機の位置を検出する位置検出工程と、
前記撮像手段の撮像面の向きを示す方位を検出する方位検出工程と、
前記検出した位置及び方位の内容に基づいて前記撮像手段の撮像エリアを特定する撮像エリア特定工程と、
前記付加情報管理サーバから、前記検出した位置に基づいて、前記記憶手段に記憶された位置情報と対応付けられた付加情報を取得する付加情報取得工程と、
前記取得した付加情報の内、前記特定された撮像エリアの位置情報を有する付加情報を抽出し、さらに、該特定された撮像エリア内でも所定の距離範囲の付加情報を抽出する付加情報抽出工程と、
前記撮像手段で撮像された画像内の所定の表示位置に前記抽出した付加情報を表す文字列を合成する合成工程と、
前記文字列を合成した画像を表示する表示工程と
を有することを特徴とする撮像制御方法。
【請求項７】
請求項６に記載された撮像制御方法を実行するためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置で撮像中の領域にある属性情報を、撮像画像に合成して表示する撮像装置に関する。
【背景技術】
【０００２】
近年、携帯端末の位置測位機能により取得する位置情報を利用して、近くにある施設や象徴物の案内情報をサーバ等から自動で取得し、携帯端末の撮像機能で撮像された撮像画像に合成して、表示部（ディスプレイ）に表示するシステムが普及している。その代表例が、頓智ドット株式会社が提供するセカイカメラ（登録商標）である。セカイカメラ（登録商標）は、撮像機能によって目の前の景色を画面上に映し出された上で、その場所・対象物（建物・看板など）に関連する「エアタグ」と呼ばれる付加情報を重ねて表示するものである。
【０００３】
また、特許文献１は、撮像装置などを介して撮像された現実の画像とその画像内に映り込んでいる物に関するバーチャルな情報とをリアルタイムで合成し、表示すること可能にするビューア装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−５９１３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、現状のセカイカメラ（登録商標）や特許文献１に記載のビューア装置では、撮像範囲内に存在するある程度の距離以内の「エアタグ」と呼ばれる付加情報や属性情報が全て表示されてしまうため、撮像方向に複数の「エアタグ」が存在する場合、複数の「エアタグ」や属性情報が重なり、奥にある「エアタグ」や属性情報が埋もれて確認できないという問題が生じている。
【０００６】
セカイカメラ（登録商標）の場合は、奥にある「エアタグ」を確認するために、以下の操作により対応することができる。
【０００７】
・手前にある「エアタグ」をスワイプ（たとえば、手前の「エアタグ」を画面外へフリック）する。
・表示する情報の条件を絞り込む（ラーメン屋関係の情報のみなど）
【０００８】
しかし、セカイカメラ（登録商標）の技術は、ユーザが気付かない付加情報を「エアタグ」として表示して、ユーザに気付かせることが目的の一つと考えられるため、確認したい場所の付加情報を最初から表示しておく方が望ましい。
【０００９】
本発明は、上記の課題を解決するために、不要な付加情報を自動で排除し、撮像装置で注目している位置の付加情報を撮像画像に付加し表示する仕組みを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明は、位置情報と対応付けられた付加情報を記憶している記憶手段を有する付加情報管理サーバと通信可能な、撮像手段を有する撮像装置であって、自機の位置を検出する位置検出手段と、前記撮像手段の撮像面の向きを示す方位を検出する方位検出手段と、前記検出した位置及び方位の内容に基づいて前記撮像手段の撮像エリアを特定する撮像エリア特定手段と、前記付加情報管理サーバから、前記検出した位置に基づいて、前記記憶手段に記憶された位置情報と対応付けられた付加情報を取得する付加情報取得手段と、前記取得した付加情報の内、前記特定された撮像エリアの位置情報を有する付加情報を抽出し、さらに、該特定された撮像エリア内でも所定の距離範囲の付加情報を抽出する付加情報抽出手段と、前記撮像手段で撮像された画像内の所定の表示位置に前記抽出した付加情報を表す文字列を合成する合成手段と、前記文字列を合成した画像を表示する表示手段とを有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、不要な付加情報を自動で排除し、撮像装置で注目している位置の付加情報を撮像画像に付加し表示できるという効果を有する。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係る撮像装置のハードウェア構成を示すブロック図である。
【図２】本発明の実施形態に係る付加情報管理サーバのハードウェア構成を示すブロック図である。
【図３】本発明の一実施形態を示すシステムの全体構成を示すシステム構成図である。
【図４】本発明の撮像システムにおいて、撮像装置が付加情報管理サーバから付加情報を受信し、付加情報を合成するまでの流れを説明するシーケンスチャートである。
【図５】本発明における被写体と撮像装置の位置関係とその撮像結果および文字合成結果の一例を示す模式図である。
【図６】本発明における付加情報抽出範囲を設定する設定画面のイメージの一例を示す模式図である。
【図７】撮像画像と付加情報とをディスプレイ部１１７に表示した一例をしめした模式図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して、本発明の実施形態を詳細に説明する。まず、図１を参照して、本発明を実施する撮像装置１００のハードウェア構成について説明する。なお、撮像装置１００は必ずしも撮像専用ではなくてもよく、携帯端末や携帯電話が以下の機能を有していてもよい。
【００１４】
撮像装置１００は、いわゆるデジタルカメラから成り、撮像用のレンズ１０１、撮像素子（以下、「ＣＣＤ」と称する）１０２、カメラ信号処理部（以下、「ＡＤＣ」と称する）１０３、画像処理部１０４、システムコントローラ１１０、バッファメモリ１１１、フラッシュＲＯＭ１１２、インターフェース回路（以下、「Ｉ／Ｆ回路」と称する）１１３、カードホルダ１１４、メモリカード１１５、ディスプレイドライバ１１６、および操作部１２０を備える。
【００１５】
レンズ１０１は、レンズ等であり、対物レンズ、ズームレンズ、およびフォーカスレンズなどで構成される。ズームレンズおよびフォーカスレンズについては、不図示の駆動機構により光軸方向へ駆動される。撮像素子１０２は、レンズ１０１から入射した撮像光を結像し、電気信号（アナログ信号）に変換して出力するＣＣＤイメージセンサで構成される。
【００１６】
カメラ信号処理部（ＡＤＣ）１０３は、撮像素子１０２から受けた電気信号にデジタル変換やホワイトバランス調整などの信号処理を行なって、デジタル信号に変換する機能を有する。システムコントローラ１１０は、画像処理部１０４、バッファメモリ１１１、フラッシュＲＯＭ１１２、Ｉ／Ｆ回路１１３、ディスプレイドライバ１１６、サウンドドライバ１１８、ＬＥＤドライバ１２８、および操作部１２０に接続されている
【００１７】
画像処理部１０４は、前処理部１０５、ＹＣ処理部１０６、電子ズーム処理部１０７、圧縮部１０８、および伸長部１０９を備え、カメラ信号処理部１０３から出力されるデジタル信号から画像データを生成し、各種画像処理を行う機能を有する。
【００１８】
前処理部１０５は、入力される画像データに基づく画像のホワイトバランスを調整するホワイトバランス処理や画像のガンマ補正処理を行う機能を有する。ホワイトバランス処理は、画像の色合いを、実物の色合いに近くなるように調整したり、光源（蛍光灯や太陽光など）に合った適正な色に調整したりする処理である。ガンマ補正処理は、画像のコントラストを調整する処理である。なお、前処理部１０５は、ホワイトバランス処理およびガンマ補正処理以外の画像処理を実行することも可能である。
【００１９】
ＹＣ処理部１０６は、入力される画像データに基づく画像を、輝度情報「Ｙ」と、輝度信号と青色の色差情報「Ｃｂ」と、輝度信号と赤色の色差情報「Ｃｒ」とに分離する機能を有する。電子ズーム処理部１０７は、画像の一部（例えば中央部）を所定の大きさでトリミングし、トリミングした画像を信号処理で元画像の大きさに拡大する機能を有する。
【００２０】
電子ズーム処理部１０７は、例えば、撮像された１６００×１２００ドットの画像から中央の１０２４×７６８ドットの画像を切り出し、データ補間を行いながら１６００×１２００ドットのサイズに拡大することができる。
【００２１】
圧縮部１０８は、画像データをＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）方式などの圧縮形式によって圧縮する機能を有する。伸長部１０９は、圧縮されている画像データを伸長する機能を有する。例えば、画像データをＪＰＥＧ方式で圧縮する場合、まず、画像データの高周波成分と低周波成分の割合を数値化する離散コサイン変換処理が行われる（ＤＣＴ処理）。次に、画像の階調やグラデーションを表現する段階を数値（量子化ビット数）で表現する量子化処理が行われる。最後に、ハフマン符号化処理で画像データが圧縮される。
【００２２】
具体的には、画像データの信号文字列が一定のビット毎に区切られ、出現頻度が高い文字列に対してより短い符号が与えてられてゆく。なお、圧縮処理を行わないで画像データを記録する方式の場合は、圧縮部１０８および伸長部１０９を省略することができる。また、画像データの圧縮形式は、ＪＰＥＧ方式に限らず、ＧＩＦ（Ｇｒａｐｈｉｃａｌ  Ｉｎｔｅｒｃｈａｎｇｅ  Ｆｏｒｍａｔ）形式などであっても、同様に処理を行うことができる。
【００２３】
バッファメモリ１１１には、画像処理部１０４で画像処理が行われる際に、一時的に画像データが保存される。フラッシュＲＯＭ１１２には、撮像装置１００の各種設定情報や、後述する指定された構図情報等が保存される。Ｉ／Ｆ回路１１３は、システムコントローラ１１０から出力される画像データを、メモリカード１１５に記録可能なデータ形式に変換する。また、Ｉ／Ｆ回路１１３は、メモリカード１１５から読み出された画像データ等を、システムコントローラ１１０で処理可能なデータ形式に変換する。
【００２４】
カードホルダ１１４は、記録媒体であるメモリカード１１５を撮像装置１００に着脱可能にする機構を備えると共に、メモリカード１１５との間でデータ通信が可能な電気接点を備える。また、カードホルダ１１４は、撮像装置１００で利用される記録媒体の種類に応じた構造を有する。メモリカード１１５は、フラッシュメモリなどの半導体記憶素子を内蔵し、カードホルダ１１４に着脱可能なカード型の記録媒体である。メモリカード１１５には、撮像装置１００で撮像された画像データを記録することができる。
【００２５】
ディスプレイドライバ１１６は、システムコントローラ１１０から出力される画像データをディスプレイ１１７で表示可能な信号に変換する。具体的には、ディスプレイドライバ１１６は、システムコントローラ１１０から出力されるデジタルの画像データをアナログ画像信号に変換する処理を行い、次に画像サイズをディスプレイ１１７の表示可能エリアのサイズに適したサイズに変換する処理を行う。
【００２６】
サウンドドライバ１１８は、システムコントローラ１１０から出力される音声データをスピーカ２１９で鳴動可能な信号に変換する処理を行う。ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）ドライバ１２８は、システムコントローラ１１０から出力される命令に従いランプ１２９の制御を行う。
【００２７】
操作部１２０は、電源スイッチ１２１、モードダイヤル１２２、撮像ボタン１２３、タッチパネルキー１２４、ズームボタン１２５、および閲覧（再生）ボタン１２６を備え、ユーザからの操作入力を受け付けて、操作内容に応じた信号をシステムコントローラ１１０に出力する。なお、操作部１２０には、図示の操作ボタン以外の操作ボタン類も含まれるが、それらの説明は省略する。
【００２８】
モードダイヤル（選択ボタン）１２２は、撮像動作のモードを切り替えるための回転可能なダイヤルである。ユーザはモードダイヤル１２２を操作することで、複数の撮像動作モードを選択することが可能である。なお、本発明の実施形態で、モードダイヤルは、ダイヤル式機構として記載をするが、例えば、ダイヤルではなくスライド式のボタンであってもよい。つまり、モードダイヤル１２２について、その機構はダイヤルに限定されず、カメラのモードを切り替えられるための機構を備えていることが本質である。
【００２９】
また、撮像動作モードの例として、構図を用いて撮像を行う場合、その構図の指示入力を受付けることが可能なモード等があるが、尚、このようなモードへの切替方法については、ダイヤルに限定されず、ディスプレイ１１７上のタッチパネル（不図示）などによる切替方法であってもよい。
【００３０】
閲覧ボタン１２６は、撮像した画像データを閲覧する閲覧モード（再生モード）に切り替えるためのボタンである。閲覧ボタン１２６が押下されると、撮像モードから閲覧モードに移行する。なお、閲覧モードへの切替方法については、前述のように、閲覧ボタン１２６の押下に限定されず、ディスプレイ１１７上のタッチパネルなどによる移行方法であってもよい。
【００３１】
閲覧モードでは、システムコントローラ１１０が、Ｉ／Ｆ回路１１３を介して、カードホルダ１１４に装着されているメモリカード１１５から設定情報と画像データを読み出す。設定情報は、現在装着されているメモリカード１１５に記録されている画像の枚数および記録されている画像データの容量などである。読み出される画像データは、例えば、画像１枚分の画像データまたはサムネイルデータである。なお、メモリカード１１５から読み出される画像データは、上述したように所定の圧縮形式で圧縮されている。
【００３２】
メモリカード１１５から読み出された画像データは、Ｉ／Ｆ回路１１３およびシステムコントローラ１１０を介して、ディスプレイドライバ１１６へ入力される。ディスプレイドライバ１１６は、入力された画像データをディスプレイ１１７に表示させる。
【００３３】
タッチパネルキー１２４は、ディスプレイ上に表示される操作キーであり、ユーザが撮像装置１００に対する所定の指示や機能選択を行うためのキーである。ユーザは、タッチパネルキー１２４により、撮像装置１００に対する各種設定情報やユーザ認証情報などの操作入力を行うことができる。
【００３４】
また、タッチパネルキー１２４により、ディスプレイ１１７にメニュー画面や撮像装置１００に対して各種設定情報を設定するための画面を表示したり、撮像装置１００が有する所定の機能を選択することができる。
【００３５】
さらに、タッチパネルキー１２４により、撮像装置１００で撮像された画像データをディスプレイ１１７上にプレビュー表示させることができる。プレビュー表示とは、撮像装置１００で撮像した画像を、その直後にディスプレイ１１７に表示させる機能である。
【００３６】
なお、プレビュー表示については、ディスプレイ１１７上に撮像した画像を１枚のみ表示する構成に限定されず、サムネイル画像を含む複数の画像を表示するように構成してもよい。また、プレビュー表示の切り替えについては、タッチパネルキー１２４の押下に限らず、他のボタンの押下などの一般的な方法を利用して切り替えられる構成にしてもよい。また、プレビュー表示画面で、プレビュー表示画像の削除や編集などが行えるように構成してもよい。
【００３７】
レンズ制御部１２７は、レンズ１０１のレンズに対して、ズーム、フォーカス、絞り等の制御を行う。また、撮像装置１００は、被写体を撮像して画像データを得る撮像モードと当該撮像モードで得た画像データを表示する閲覧（再生）モードとを備える。
【００３８】
なお、音声についてはマイクやスピーカを用いることで、撮像装置１００と同様に記録、及び再生が可能である。また、映像（動画）記録時には、通常音声記録も同時に行われ、圧縮部１０８および伸長部１０９で、映像と音声が多重化される。
【００３９】
また、撮像装置１００における撮像動作について図１を用いて説明する。まず、ユーザが電源スイッチ１２１を操作し、撮像装置１００の電源をＯＮにする。すると、撮像装置１００に内蔵されているバッテリー（不図示）から各回路へ電源供給されて、撮像装置１００の起動処理（レンズバリアを開く動作制御およびマイクロコンピューターのリセット処理など）が行われる。
【００４０】
撮像装置１００は、電源ＯＦＦ時に電源スイッチ１２１が押下されると電源ＯＮとなり、自動的に撮像モードとなるように構成されている。また、電源ＯＦＦ時に閲覧ボタンが押下されると電源ＯＮとなり、自動的に閲覧モードとなるように構成されている。
【００４１】
撮像装置１００が撮像モードに移行すると、光学画像がレンズ１０１を介して撮像装置１００内へ入射し、撮像素子（ＣＣＤ）１０２に結像される。ＣＣＤ１０２は、入射される光学画像を電気信号に変換して、カメラ信号処理部（ＡＤＣ）１０３へ出力する。ＡＤＣ１０３は、入力される電気信号（アナログ信号）をデジタル信号に変換する。ＡＤＣ１０３から出力されるデジタル信号は画像処理部１０４に入力される。
【００４２】
画像処理部１０４内の前処理部１０５では、入力されるデジタル信号に基づき画像データを生成し、ホワイトバランス処理およびガンマ補正処理などが行われる。画像処理部１０４内のＹＣ処理部１０６では、画像データが輝度信号Ｙと色差信号ＣｒおよびＣｂとに分離され、色差信号ＣｒおよびＣｂの情報量を減らす処理が行われる。
【００４３】
色差信号ＣｒおよびＣｂの情報量の削減処理は、例えば、画像の主走査方向の色情報を間引く「４：２：２ダウンサンプリング処理」や、画像の縦横方向の色情報を間引く「４：１：１ダウンサンプリング処理」などがある。なお、前処理部１０５およびＹＣ処理部１０６で画像処理を行う際は、画像データを一時的にバッファメモリ１１１に保存し、随時バッファメモリ１１１に保存されている画像データを読み出しながら画像処理が行われる。
【００４４】
画像処理部１０４から出力される画像データ（非圧縮）はシステムコントローラ１１０に入力される。システムコントローラ１１０は、画像処理部１０４から出力される画像データを、ディスプレイドライバ１１６へ出力する。
【００４５】
ディスプレイドライバ１１６は、入力される画像データ（デジタル信号）をアナログ画像信号に変換すると共に、アナログ画像信号に基づく画像のサイズをディスプレイ１１７で表示可能なサイズに調整する。
【００４６】
また、ディスプレイドライバ１１６は、ディスプレイ１１７に画像を表示させるよう制御する。このとき、ディスプレイ１１７に表示される画像は、ＣＣＤ１０２、ＡＤＣ１０３、および画像処理部１０４で、連続的に信号処理されて生成される画像（スルー画像）である。
【００４７】
ディスプレイ１１７にスルー画像が表示されている状態で、ユーザが希望のタイミングで撮像ボタン１２３を操作すると、システムコントローラ１１０は画像処理部１０４に制御信号を出力する。画像処理部１０４に制御信号が入力されると、圧縮部１０８は、前処理部１０５およびＹＣ処理部１０６で画像処理された画像データをバッファメモリ１１１へ保存し、圧縮処理を行う。
【００４８】
具体的には、画像データの高周波成分と低周波成分の割合を数値化する離散コサイン変換処理（ＤＣＴ処理）や、画像の階調やグラデーションを表現する段階を量子化ビット数で表現する量子化処理や、画像データの信号文字列を一定のビット毎に区切り、出現頻度が高い文字列に対して、より短い符号を与えてゆくハフマン符号化処理などが実行される。圧縮された画像データは、システムコントローラ１１０およびディスプレイドライバ１１６を介してディスプレイ１１７に表示される。また、圧縮された画像データは、カードホルダ１１４を介してメモリカード１１５に記録される。
【００４９】
撮像ボタン１２３が操作される前にズームボタン１２５が操作されると、システムコントローラ１１０は光学ズーム処理や電子ズーム処理を実行し、画像の大きさを拡大または縮小させることができる。そして、ズームボタン１２５の操作後、撮像ボタン１２３が操作されると、拡大または縮小された画像の画像データがメモリカード１１５へ記録される。
【００５０】
次に、図２を参照して、本発明で利用する付加情報管理サーバ２００のハードウェア構成について説明する。
【００５１】
図２は、本発明の実施形態における付加情報管理サーバ２００に適用可能な情報処理装置のハードウェア構成図である。
【００５２】
図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０３あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ  ／  Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、画像管理を実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。
【００５３】
２０２はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０３あるいは外部メモリ２１１からＲＡＭ２０２にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。
【００５４】
また、２０５は入力コントローラで、キーボードやポインティングデバイス等の入力装置２０９からの入力を制御する。２０６はビデオコントローラで、ディスプレイ装置２１０等の表示器への表示を制御する。これらは必要に応じて操作者が使用するものである。
【００５５】
２０７はメモリコントローラで、ブートプログラム，各種のアプリケーション，フォントデータ，ユーザファイル，編集ファイル，各種データ等を記憶するハードディスク（ＨＤ）や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１１へのアクセスを制御する。
【００５６】
また、外部メモリ２１１のハードディスク（ＨＤ）は、撮像装置１００から送信される撮像画像を受信し、記憶する大容量のメモリ領域を有している。
【００５７】
２０８は通信Ｉ／Ｆ（インタフェース）コントローラで、ネットワーク（例えば、無線ＬＡＮなど）を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。
【００５８】
なお、ＣＰＵ２０１は、例えばＲＡＭ２０２内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ装置２１０上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ装置２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。
【００５９】
本発明を実現するための後述するフローチャートに示す各ステップの処理は、コンピュータで読み取り実行可能なプログラムにより実行され、そのプログラムは外部メモリ２１１に記録されている。そして、必要に応じてＲＡＭ２０２にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、上記プログラムの実行時に用いられる定義ファイル及び各種情報テーブル等も、外部メモリ２１１に格納されており、これらについての詳細な説明も後述する。
【００６０】
次に、図３のシステムブロック図を参照して、本発明のシステム構成を説明する。
【００６１】
図３は、本発明の一実施形態を示すシステムの全体構成を示すシステム構成図の一例である。
【００６２】
撮像装置１００ａ〜ｃは、図１で説明した撮像機能を有する装置の例である。なお、撮像装置１００ａ〜ｃは、図１により説明した撮像装置の機能の他に、位置情報検出機能は有している。なお、図１により説明した全て機能を有していなくても良い。
【００６３】
付加情報管理サーバ２００は、図２で説明した情報処理機能を有する装置の例である。撮像装置１００ａ〜ｃと、付加情報管理サーバ２００は、無線ＬＡＮやＷｉ−Ｆｉ（登録商標）などによりお互いに通信可能である。付加情報管理サーバ２００は、位置情報毎の付加情報を保存・管理する付加情報管理サーバであり、各撮像装置１００ａ〜ｃからの位置情報を受信し、受信した位置情報を参照して、各撮像装置１００ａ〜ｃの周囲の付加情報を送信してきた撮像装置に配信する処理を行う。
【００６４】
次に、図４のフローチャートを参照して、撮像装置が付加情報を表示し撮像する処理手順について説明する。
【００６５】
図４は、本発明の撮像システムにおいて、撮像装置が付加情報管理サーバから付加情報を受信し、付加情報を合成するまでの流れを説明するシーケンスチャートであり、撮像装置１００及び付加情報管理サーバ２００のそれぞれのシステムコントローラ（図１の１１０）及びＣＰＵ（図２の２０１）の制御の下、処理が実行される。なお、Ｓ４０１〜Ｓ４１３は各処理ステップを示す。
【００６６】
図４のフローチャートは、撮像装置を起動し、ユーザが撮像操作を開始すると開始される。
【００６７】
ユーザが、撮像したい被写体に撮像装置を向けて撮像を開始すると、ステップＳ４０１の処理を開始し、ステップＳ４０１において、撮像装置１００のシステムコントローラ１１０は、被写体にピントを合わせ、ステップＳ４０２において、被写体へのピントがあったかどうかを判断する、ピントが合わない間はピント調整を続け、ピントがあったと判断された場合は、次のステップＳ４０３へと処理を進める。
【００６８】
ステップＳ４０３では、撮像装置１００のシステムコントローラ１１０は、ピントがあった被写体を背景と共に撮像する。
【００６９】
次に、ステップＳ４０４において、撮像装置１００のシステムコントローラ１１０は、撮像装置１００の位置情報をＧＰＳ通信などにより取得する（位置検出部）。また、撮像装置の撮像方位情報を電子コンパスなどにより測定する（方位検出部）。
【００７０】
次に、ステップＳ４０５において、撮像装置１００のシステムコントローラ１１０は、撮像装置１００の周辺の付加情報を受信するため、ステップＳ４０４で取得した位置情報を付加情報管理サーバに送信する。
【００７１】
次に、付加情報管理サーバのＣＰＵ２０１は、ステップＳ４０６において、撮像装置１００から受信した位置情報の周辺の付加情報を付加情報記憶部から抽出する。その後、ステップＳ４０７において、ステップＳ４０６で抽出した付加情報ならびにその付加情報の位置情報を撮像装置１００に送信する。
【００７２】
送信された付加情報およびその付加情報の位置情報を、ステップＳ４０８において、撮像装置１００のシステムコントローラ１１０が、付加情報管理サーバから受信する（付加情報取得部）。
【００７３】
次に、ステップＳ４０９において、撮像装置１００のシステムコントローラ１１０は、ステップＳ４０３で撮像した際の撮影距離（ピントの合う距離）を取得する。撮影距離は、たとえば、撮像時に取得したＥｘｉｆ情報の被写体距離などを利用する。
【００７４】
次に、ステップＳ４１０において、撮像装置１００のシステムコントローラ１１０は、ステップＳ４０９で取得した撮影距離、ステップＳ４０４で取得した位置情報および撮像方位情報を利用して、被写体の位置候補を算出する。被写体の位置候補を算出した結果の例を図５、図６を参照して説明する。
【００７５】
図５は、本発明における被写体と撮像装置の位置関係とその撮像結果および文字合成結果の一例を示す模式図である。図５（ａ）は、本発明における地図上の被写体の配置を示した図であり、２０が撮像装置の位置を示す。また、破線で囲まれた扇形で示される範囲が撮像装置の撮像範囲（撮像エリア特定部）になる。２２から２５の星や黒丸が付加情報を有する位置であり、ユーザが２２の星印の被写体を中心に撮像した撮像画像が図５（ｃ）である。
【００７６】
破線で囲まれた扇形の撮像範囲の中で、ユーザがピントを合わせた距離周辺の付加情報のみを表示させるために、ステップＳ４０９で取得した撮影距離を利用する。なお、撮影距離が「１０．４３ｍ」などのように範囲を持たず一つの値しか持ち得ない場合は、図６のような距離情報に幅を持たせる値を入力する画面を表示し、ユーザの入力を促しても良い（距離範囲変更部）。図６を参照して、付加情報を取得する前後の幅の変更画面を説明する。
【００７７】
図６は、本発明における付加情報抽出範囲を設定する設定画面のイメージの一例を示す模式図である。
【００７８】
図６の６００は、撮影距離の前後の付加情報を抽出する範囲を指定する画面イメージであり、撮影距離から、前方６０１の距離と後方６０２の距離だけ付加情報を抽出する範囲を指定可能になる。
【００７９】
なお、付加情報を抽出する範囲はデフォルトで前後数メートルと設定しても良いし、撮影距離の前後１／１０と設定していても良い。
【００８０】
図６の設定画面によって設定された付加情報抽出範囲は、図５（ａ）の灰色領域２６として表示する。図５（ａ）の図面は、ディスプレイ部１１７に表示される図５（ｃ）の２１の部分に表示されている。
【００８１】
また、図６による付加情報抽出範囲の設定方法の他に、たとえば、図５（ｃ）に表示されている２１の部分をユーザが操作することにより付加情報抽出範囲を設定することも可能である。図５（ｃ）の２１を拡大した図が図５（ａ）に対応するが、図５（ａ）に対し、灰色領域２６の幅２７を、たとえばタッチスクリーンなどの入力手段により手動で広げることによって、付加情報抽出範囲を拡大することができる。タッチスクリーンなどにより付加情報抽出範囲、すなわち灰色領域２６を広げた結果が図５（ｂ）の図になる。図５（ｂ）は、付加情報抽出範囲である灰色領域２６が図５（ａ）よりも広がっており、図５（ｂ）では、図５（ａ）で付加情報抽出範囲に含まれていなかった２４の付加情報も抽出されることになる。図４のフローチャートの説明に戻る。
【００８２】
ステップＳ４１０において、付加情報の抽出範囲を算出すると、次に図４のステップＳ４１１において、撮像装置１００のシステムコントローラ１１０は、ステップＳ４０８で取得した付加情報の内、付加情報の位置情報が付加情報抽出範囲内の付加情報を抽出する。
【００８３】
続いて、ステップＳ４１２において、撮像装置１００のシステムコントローラ１１０は、ステップＳ４１１で抽出した付加情報を撮像画像に合成し、ステップＳ４１３において、合成された撮像画像を表示して、本発明の処理を終える。合成された撮像画像の例を図５を参照して説明する。
【００８４】
図５（ｃ）は付加情報抽出範囲が図５（ａ）の場合の付加情報が付加された撮像画像であり、図５（ｄ）は付加情報抽出範囲が図５（ｂ）の場合の付加情報が付加された撮像画像である。撮像画像である図５（ｃ）や図５（ｄ）には、各被写体（位置情報）２２〜２４のそばに、付加情報が吹き出しとして表示されている。図５（ｃ）と図５（ｄ）の違いとしては、図５（ｃ）には表示されていない２４の付加情報が、図５（ｄ）では表示されている点である。これは、ステップＳ４１０において、ユーザが付加情報抽出範囲を図５（ａ）より図５（ｂ）に広げ、被写体（位置情報）２４を含むことになったためである。
【００８５】
以上のように、撮像装置の撮影距離を利用して抽出する付加情報を制限することにより、複数ある付加情報の中でユーザがピント（焦点）を合わせた領域の付加情報のみを表示することが出来る効果を有する。
【００８６】
また、別の実施例として、撮像状況での被写界深度と撮影距離とにより、ピント（焦点）が合う範囲（距離範囲）を算出し、撮像範囲の中からピントが合う範囲の付加情報のみを取得しても良い。なお、被写界深度の前端と後端はレンズの焦点距離、レンズの絞り値などにより算出され、被写界深度の前端と後端内をピントが合う距離範囲としても良い。
【００８７】
また、別の実施例として、ディスプレイ部１１７に付加情報の吹き出しを表示する際に、被写体をオブジェクトと認識して、オブジェクトと付加情報の吹き出しが重ならないように表示することも可能である。図7を参照して、実施例の説明を行う。
【００８８】
図7は、撮像画像と付加情報とをディスプレイ部１１７に表示した一例をしめした模式図である。
【００８９】
図7の７００は、オブジェクト３２と吹き出し３３が重なっている例である。この吹き出しの位置ではオブジェクト３２の詳細が確認できない。これは、吹き出しを付加情報が有する位置情報の右側に必ず表示するように設定されているためである。
【００９０】
本発明では、７１０の３５や３６のように撮像画像に撮像されている被写体をオブジェクトとして認識する（オブジェクト検出部）。オブジェクト認識技術は、公知の技術を利用し、たとえば輪郭抽出やパターンマッチングなどを利用する。
【００９１】
撮像装置の撮像位置と撮像方位から、オブジェクトと認識された被写体の位置に存在する付加情報を特定し、付加情報３３や３４をオブジェクト３５や３６と重ならないように表示する。その結果、７１０の吹き出し３３のようにオブジェクトと重なることなく表示することができる。
【００９２】
この処理により、付加情報がオブジェクトと重なって、他の付加情報を有するオブジェクトが確認できない（たとえば、７００の場合、３２が見辛い）点を改善することができる。
【００９３】
以上の処理により、付加情報管理サーバから付加情報を受信し、撮像装置に付加情報を表示する際の付加情報と背景画像の見やすさを改善することができる。
【００９４】
上記実施形態では、撮像装置と付加情報管理サーバとに適用する場合を説明したが、付加情報管理サーバの構成を撮像装置に持たせることにより、撮像装置のみで実施することも可能である。
【００９５】
なお、特に図示しないが、記録媒体に記憶されるプログラム群を管理する情報、例えばバ−ジョン情報，作成者等も記憶され、かつ、プログラム読み出し側のＯＳ等に依存する情報、例えばプログラムを識別表示するアイコン等も記憶される場合もある。
【００９６】
さらに、各種プログラムに従属するデータも同じディレクトリに管理されている。また、インスト−ルするプログラムやデータが圧縮されている場合に、解凍するプログラム等も記憶される場合もある。
【００９７】
本実施形態における図４に示す機能が外部からインスト−ルされるプログラムによって、撮像機能を有する情報処理装置により遂行されていてもよい。そして、その場合、ＣＤ−ＲＯＭやフラッシュメモリやＦＤ等の記録媒体により、あるいはネットワークを介して外部の記録媒体から、プログラムを含む情報群を出力装置に供給される場合でも本発明は適用されるものである。
【００９８】
以上のように、前述した実施形態の機能を実現するソフトウェアのプログラムコ−ドを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュ−タ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコ−ドを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。
【００９９】
この場合、記録媒体から読み出されたプログラムコ−ド自体が本発明の新規な機能を実現することになり、そのプログラムコ−ドを記憶した記録媒体は本発明を構成することになる。
【０１００】
プログラムコ−ドを供給するための記録媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＤＶＤ−ＲＯＭ，磁気テ−プ，不揮発性のメモリカ−ド，ＲＯＭ，ＥＥＰＲＯＭ，シリコンディスク等を用いることができる。
【０１０１】
また、コンピュ−タが読み出したプログラムコ−ドを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコ−ドの指示に基づき、コンピュ−タ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１０２】
さらに、記録媒体から読み出されたプログラムコ−ドが、コンピュ−タに挿入された機能拡張ボ−ドやコンピュ−タに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコ−ドの指示に基づき、その機能拡張ボ−ドや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１０３】
また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
【０１０４】
さらに、本発明を達成するためのソフトウェアによって表されるプログラムをネットワーク上のサーバ，データベ−ス等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
【０１０５】
なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。
【符号の説明】
【０１０６】
１００ａ〜ｃ  撮像装置
２００  付加情報管理サーバ
【図１】
2015089021.tif 000003
【図２】
2015089021.tif 000004
【図３】
2015089021.tif 000005
【図４】
2015089021.tif 000006
【図５】
2015089021.tif 000007
【図６】
2015089021.tif 000008
【図７】
2015089021.tif 000009