(57)【要約】【課題】通信状況の悪い場所であっても撮像画像中の注目被写体に係わる情報を短時間で取得可能な撮像装置、及びこのような撮像装置を用いた情報提供システムを提供すること。【解決手段】撮像装置は、被写体を撮像して撮像画像データを取得するためのイメージセンサ１０２と、イメージセンサ１０２を介して取得される撮像画像データから注目被写体の撮像画像データを抽出する注目被写体抽出回路１０８と、注目被写体抽出回路１０８によって抽出された注目被写体の撮像画像データから注目被写体に係わる特徴量を抽出する特徴量抽出回路１０９と、特徴量抽出回路１０９によって抽出された特徴量から注目被写体に対応した参照物に係わる参照情報を取得する情報取得回路１１０とを有し、情報取得回路１１０で取得された参照情報を表示するモニタ１１５とを有している。【選択図】図１
2009272931.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して撮像画像を取得する撮像部と、
前記撮像画像から注目被写体の画像を抽出する注目被写体抽出部と、
前記抽出された注目被写体の画像から注目被写体に係わる特徴量を抽出する特徴量抽出部と、
前記抽出された特徴量から注目被写体に対応した参照物に係わる参照情報を取得する情報取得部と、
前記取得された参照情報をユーザに提供する情報提供部と、
を具備することを特徴とする撮像装置。
【請求項２】
前記情報取得部は、前記特徴量と前記参照情報とを関連付けて記憶する記憶部を有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記参照情報は、前記参照物の総称、前記参照物の個称、前記参照物を示す画像、前記参照物を識別するためのコードの少なくとも１つを含むことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記参照情報は、前記注目被写体に係わる詳細な情報をさらに含むことを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記特徴量抽出部は、前記注目被写体の全体に係わる特徴量と前記注目被写体の一部に係わる特徴量の少なくとも何れか一方を前記注目被写体に係わる特徴量として抽出することを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記注目被写体の全体に係わる特徴量は、前記注目被写体の外形、前記注目被写体の全体の色の分布、前記注目被写体の全体におけるテクスチャ構造を含み、前記注目被写体の一部に係わる特徴量は、前記注目被写体の一部の形状、前記注目被写体の一部の色の分布、前記注目被写体の一部におけるテクスチャ構造を含むことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記特徴量抽出部は、前記撮像画像が取得された位置に関する情報、前記撮像画像が取得された位置の高度に関する情報、前記撮像画像が取得された時間に関する情報、前記撮像画像が取得された際の前記撮像装置の周辺温度に関する情報の少なくとも何れか１つを前記注目被写体に係わる特徴量としてさらに抽出することを特徴とする請求項５又は６に記載の撮像装置。
【請求項８】
前記記憶部は、前記撮像装置に対して着脱自在に構成されていることを特徴とする請求項２に記載の撮像装置。
【請求項９】
前記情報取得部は、前記取得した参照情報を、前記抽出された注目被写体に対応付けて前記記憶部に記憶させることを特徴とする請求項２に記載の撮像装置。
【請求項１０】
前記情報取得部は、前記取得した参照情報を、前記撮像画像に対応付けて前記記憶部に記憶させることを特徴とする請求項２に記載の撮像装置。
【請求項１１】
前記情報提供部は、前記記憶部に記憶された撮像画像の再生時に、該撮像画像に対応付けられた参照情報をユーザに提供することを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記情報取得部は、参照情報の取得レベルに応じて前記参照情報の取得を制限することを特徴とする請求項１に記載の撮像装置。
【請求項１３】
前記情報提供部は、前記参照情報を文字表示若しくは音声の何れかの形態でユーザに提供することを特徴とする請求項１に記載の撮像装置。
【請求項１４】
前記撮像の際に前記撮像部に前記被写体の像を結像させる光学系と、
前記光学系のフォーカス状態を検出するフォーカス検出部と、
を含み、
前記注目被写体検出部は、前記フォーカス検出部によるフォーカス状態の検出の結果、最もフォーカスが合っている被写体を前記注目被写体として抽出することを特徴とする請求項１に記載の撮像装置。
【請求項１５】
前記撮像画像の中の任意の被写体を指定するための入力部材を含み、
前記注目被写体検出部は、前記入力部材を介して指定された被写体を前記注目被写体として抽出することを特徴とする請求項１に記載の撮像装置。
【請求項１６】
前記注目被写体検出部は、前記注目被写体の画像を抽出するに先立って、前記撮像画像をリサイズすることを特徴とする請求項１に記載の撮像装置。
【請求項１７】
前記特徴量抽出部によって抽出された特徴量を、前記撮像装置の外部に通信自在に接続されており、特徴量から注目被写体に対応した参照情報を取得する外部データベースサーバに送信する特徴量送信部と、
前記外部データベースサーバで取得された参照情報を受信する特徴量受信部と、
をさらに具備することを特徴とする請求項１乃至１６の何れか１項に記載の撮像装置。
【請求項１８】
前記特徴量抽出部によって抽出された特徴量に対応した参照情報が前記記憶部に記憶されていない場合又はユーザの指示を受けた場合に、前記特徴量抽出部によって抽出された特徴量を、前記撮像装置の外部に通信自在に接続されており特徴量から注目被写体に対応した参照情報を取得する外部データベースサーバに送信する特徴量送信部と、
前記外部データベースサーバで取得された参照情報を受信する特徴量受信部と、
をさらに具備することを特徴とする請求項２、８、９、１０、１１の何れか１項に記載の撮像装置。
【請求項１９】
請求項１７又は１８に記載の撮像装置と、前記撮像装置に通信自在に接続された外部データベースサーバとを有する情報提供システムであって、
前記特徴量から注目被写体に対応した参照情報を取得するサーバ検索部と、
前記撮像装置に前記サーバ検索部で取得された参照情報が提供可能か否かを判定する判定部と、
前記認証部により前記サーバ検索部で取得された参照情報が提供可能であると判定された場合に、前記サーバ検索部で取得された参照情報の前記撮像装置への提供に応じて課金する課金部と、
を具備することを特徴とする情報提供システム。
【請求項２０】
前記特徴量送信部は、前記特徴量に加えてユーザを特定するために必要な情報を前記外部データベースサーバに送信し、
前記外部データベースサーバは、さらに、前記ユーザを特定するために必要な情報を用いて参照情報を取得することを特徴とする請求項１９に記載の情報提供システム。
【請求項２１】
前記特徴量送信部は、前記特徴量に加えて前記撮像画像を前記外部データベースサーバに送信し、
前記外部データベースサーバは、前記撮像画像から前記注目被写体に係わる特徴量を抽出して参照情報を取得することを特徴とする請求項１９に記載の情報提供システム。
【請求項２２】
前記課金部は、前記サーバ検索部による前記参照情報の取得が行われた場合に、該参照情報の取得に応じた課金を行うことを特徴とする請求項１９に記載の情報提供システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像から注目被写体を抽出し、この抽出した注目被写体に関連した参照情報を提供可能な撮像装置、及びこのような撮像装置を用いた情報提供システムに関する。
【背景技術】
【０００２】
近年、ユーザが撮影した画像の中の所定の被写体を注目被写体として抽出し、この注目被写体が何であるかを所定のデータベースを参照することによって特定し、この特定した注目被写体に係わる参照情報をユーザに提供する情報提供サービスが開始されてきている。このような情報提供サービスにおいては、データベースにアクセスするためにＰＣ（Personal Computer）等の汎用の端末装置が用いられたり、専用の情報処理装置が用いられたりしている。また、特許文献１では、携帯電話機等の携帯端末装置を用いて撮像画像中の注目被写体の詳細情報を取得できるようにしている。
【特許文献１】特開２００３−３２３４４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ここで、特許文献１等の従来の手法では、端末装置からサーバ上のデータベースにアクセスして参照情報を取得するようにしている。したがって、通信状況によっては注目被写体に係わる参照情報を取得することができなかったり、参照情報を取得するのに時間がかかったりする場合が考えられる。また、通信時間が長くなると消費電力も大きくなる。このため、通信を行うことなく参照情報を取得できるようにするか、なるべく短時間で注目被写体に係わる参照情報を取得できるようにすることが望ましい。
【０００４】
本発明は、上記の事情に鑑みてなされたもので、通信状況の悪い場所であっても撮像画像中の注目被写体に係わる情報を短時間で取得可能な撮像装置、及びこのような撮像装置を用いた情報提供システムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記の目的を達成するために、本発明の第１の形態の撮像装置は、被写体を撮像して撮像画像を取得する撮像部と、前記撮像画像から注目被写体の画像を抽出する注目被写体抽出部と、前記抽出された注目被写体の画像から注目被写体に係わる特徴量を抽出する特徴量抽出部と、前記抽出された特徴量から注目被写体に対応した参照情報を取得する情報取得部と、前記取得された参照情報をユーザに提供する情報提供部とを具備することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、通信状況の悪い場所であっても撮像画像中の注目被写体に係わる情報を短時間で取得可能な撮像装置、及びこのような撮像装置を用いた情報提供システムを提供することができる。
【発明を実施するための最良の形態】
【０００７】
［第１の実施形態］
まず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る撮像装置の構成を示す図である。図１に示す撮像装置１００は、光学系１０１と、イメージセンサ１０２と、アナログ/デジタル（Ａ/Ｄ）変換回路１０３と、プリプロセス回路１０４と、フォーカス検出回路１０５と、ランダムアクセスメモリ（ＲＡＭ）１０６と、画像処理回路１０７と、注目被写体抽出回路１０８と、特徴量抽出回路１０９と、情報取得回路１１０と、画像圧縮伸長回路１１１と、フラッシュメモリ１１２と、記録媒体１１３と、表示回路１１４と、モニタ１１５と、入力回路１１６と、制御回路１１７と、データバス１１８とを有している。
【０００８】
光学系１０１は、図示しない被写体からの光学像をイメージセンサ１０２上に結像させるための光学系である。イメージセンサ１０２は、光学系１０１を介して結像された光学像をアナログ電気信号（撮像画像信号）に変換する画素の前面に、例えばＢａｙｅｒ配列の色フィルタが配置されて構成されている。なお、イメージセンサ１０２は、ＣＣＤ方式の撮像素子とＣＭＯＳ方式の撮像素子の何れも用いることが可能である。
【０００９】
Ａ/Ｄ変換回路１０３は、イメージセンサ１０２から出力される撮像画像信号をデジタル化して撮像画像データを得る。プリプロセス回路１０４は、Ａ/Ｄ変換回路１０３で得られた撮像画像データに対して、ホワイトバランス調整処理等の前処理を施す。ホワイトバランス調整処理は撮像画像データの各色成分（Ｂａｙｅｒ配列の場合にはＲ、Ｇｒ、Ｇｂ、Ｂ）のゲインを調整することで、撮像画像データの色バランスを調整する処理である。フォーカス検出回路１０５は、光学系１０１のフォーカス調整に用いるための合焦評価値を演算する。
【００１０】
ＲＡＭ１０６は、ＳＤＲＡＭ等から構成され、Ａ/Ｄ変換回路１０３で得られた撮像画像データ等を一時記憶する。画像処理回路１０７は、Ａ/Ｄ変換回路１０３で得られ、ＲＡＭ１０６に一時記憶された撮像画像データに対して各種の画像処理を施す。この画像処理としては、撮像画像データから輝度データＹと色差データＣｂ、Ｃｒとを生成する処理、撮像画像データにおけるノイズを除去する処理、撮像画像データにおける階調特性（ガンマ特性）を補正する処理、撮像画像データの画角サイズを変更する処理等が含まれる。
【００１１】
注目被写体抽出回路１０８は、撮像画像データから、ユーザが注目していると考えられる注目被写体の撮像画像データを抽出する。特徴量抽出回路１０９は、注目被写体抽出回路１０８によって抽出された注目被写体の撮像画像データから、形状や色等の特徴量を抽出する。情報取得回路１１０は、特徴量抽出回路１０９で抽出された特徴量とフラッシュメモリ１１２又は記録媒体１１３か何れか一方のデータベースに登録された参照情報とを比較し、注目被写体に係わる参照情報をフラッシュメモリ１１２又は記録媒体１１３から取得する。
【００１２】
画像圧縮伸長回路１１１は、画像処理回路１０７における画像処理後のデータをＪＰＥＧ方式やＭＰＥＧ方式等を用いて圧縮して圧縮画像データを生成するとともに、圧縮画像データの伸長を行う。
【００１３】
フラッシュメモリ１１２は、撮像装置１００を制御するための各種のプログラムやパラメータを記憶するとともに、注目被写体と参照される各種の参照物の参照情報をデータベースとして記憶する。ここで、参照情報は、参照物の総称及び個称等のユーザが最も知りたいと考えられる情報を基本情報として有しており、この他に、参照物を示す画像や参照物を識別するための識別コード、参照物の詳細情報を有していても良い。記録媒体１１３は、例えば図１の撮像装置に対して着脱自在に構成されたメモリカードである。この記録媒体１１３には、画像圧縮伸長回路１１１において得られた圧縮画像データが記録されるとともに、注目被写体と比較される各種の参照物の参照情報がデータベースとして記録されている。
【００１４】
表示回路１１４は、撮像画像データに基づく画像表示を行うための各種処理を行う。この処理としては、例えばモニタ１１５の表示サイズに合わせて撮像画像データのリサイズをする処理、撮像画像データや注目被写体に係わる参照情報のＯＳＤデータをモニタ１１５に出力するための同期信号を生成する処理等が含まれる。モニタ１１５は、例えば液晶ディスプレイ等であり、撮像画像データに基づく画像や注目被写体に係わる参照情報等を表示する。
【００１５】
入力回路１１６は、ユーザが、制御回路１１７に対して各種の指示を行うための回路であり、各種ボタンやタッチパネル等の操作部材を含む。この指示は、撮像データの画角サイズの変更指示や注目被写体の抽出方法の指定指示等を含む。制御回路１１７は、ＣＰＵを含んで構成され、撮像装置１００の各種処理を制御する。データバス１１８は、撮像装置１００内で発生した各種のデータを転送するための転送路である。
【００１６】
次に、図１に示す撮像装置の動作について説明する。  
光学系１０１を通して得られた光学像はイメージセンサ１０２で受光されて撮像画像信号に変換される。イメージセンサ１０２において得られた撮像画像信号は、Ａ/Ｄ変換回路１０３へ出力されてデジタル化される。Ａ/Ｄ変換回路１０３において得られた撮像画像データは、プリプロセス回路１０４とフォーカス検出回路１０５とに出力される。プリプロセス回路１０４では入力された撮像画像データに対する前処理が行われる。前処理された撮像画像データは、データバス１１８を介してＲＡＭ１０６に一時記憶される。
【００１７】
また、フォーカス検出回路１０５は、入力された撮像画像データに基づいて合焦評価値を演算する。この合焦評価値は制御回路１１７に出力される。制御回路１１７は、合焦評価値に従って光学系１０１を駆動させ、光学系１０１のフォーカス調整を行う。これにより、イメージセンサ１０２を介して得られる撮像データにおける被写体に光学系１０１のフォーカスが合わせられることになる。撮影時には、フォーカス調整後の撮像画像データがＲＡＭ１０６に一時記憶される。
【００１８】
ＲＡＭ１０６に記憶された撮像画像データは画像処理回路１０７によって読み出される。画像処理回路１０７は、読み出した撮像画像データに対して、ノイズ除去、輝度・色差変換、ガンマ補正等の各種の画像処理を施す。画像処理がなされた後の撮像画像データは、データバス１１８を介してＲＡＭ１０６に一時記憶される。このＲＡＭ１０６に記憶された画像処理後の撮像画像データは、表示回路１１４又は画像圧縮伸長回路１１１によって読み出される。表示回路１１４は、読み出した撮像画像データを、モニタ１１５の表示サイズに適したサイズにリサイズ（通常は縮小）する。さらに、表示回路１１４は、撮像画像の表示タイミングに同期した各種の同期信号を生成し、この同期信号に従って、モニタ１１５に画像表示を行う。
【００１９】
また、画像圧縮伸長回路１１１は、読み出した画像処理後の撮像画像データをＪＰＥＧ方式（静止画の場合）又はＭＰＥＧ方式（動画の場合）に従って圧縮し、圧縮により得られた圧縮画像データを記録媒体１１３に記録させる。
【００２０】
次に、注目被写体に係わる参照情報をユーザに提供する情報提供の処理について説明する。この情報提供の一連の処理は、例えば、撮影後の画像表示の際に実行されるものである。上述したように、撮影によって得られる撮像画像データは画像処理回路１０７において処理された後、ＲＡＭ１０６に一時記憶される。その後、表示回路１１４の処理に従って、ＲＡＭ１０６に記憶された撮像画像データに基づく画像がモニタ１１５に表示される。このとき、注目被写体の抽出が行われる。注目被写体は、ユーザが手動で選択したものを抽出するようにしても良いし、注目被写体抽出回路１０８が自動的に注目被写体を抽出するようにしても良い。
【００２１】
図２は、ユーザが注目被写体を手動で選択する際のモニタ１１５の画面表示を示す図である。ユーザは、モニタ１１５に表示されている画像３０１内の所定の領域を選択枠３０２によって指定することで注目被写体の選択を行うことが可能である。選択枠３０２は、例えば入力回路１１６に含まれる十字キー１１６ａやタッチパネル等によって移動させたり、サイズを変更したりすることが可能である。
【００２２】
また、注目被写体を自動的に抽出する場合の手法としては、例えば、画像３０１内で、色、輝度、形状等の特徴量の大きい被写体を注目被写体として抽出する手法や、光学系１０１のフォーカスが合っている被写体を注目被写体として抽出する手法等が考えられる。このような自動抽出手法の何れの手法を使用するかをユーザが選択できるようにしても良い。
【００２３】
注目被写体に対応した撮像画像データが抽出されると、この注目被写体の撮像画像データが、画像処理回路１０７により、フラッシュメモリ１１２又は記録媒体１１３内のデータベースに予め登録されている形状データ（詳細は後述する）の大きさに合わせてリサイズされる。その後、リサイズされた注目被写体部分の撮像画像データは、特徴量抽出回路１０９に送られる。これを受けて特徴量抽出回路１０９は、注目被写体の特徴量の抽出を行う。本実施形態においては、注目被写体の形状及び注目被写体の色の分布を特徴量として抽出する。注目被写体の形状は、ハイパスフィルタ等を用いて注目被写体の高コントラスト部（エッジ部）を抽出する。また、注目被写体の色の分布は、注目被写体部分の撮像画像データの分布である。
【００２４】
特徴量抽出回路１０９において抽出された特徴量は情報取得回路１１０に送られる。これを受けて情報取得回路１１０は、注目被写体に対応した参照物に係わる参照情報の取得を行う。即ち、情報取得回路１１０は、特徴量抽出回路１０９から送られた特徴量とフラッシュメモリ１１２又は記録媒体１１３内のデータベースに登録されている形状データとを比較し、この比較結果に基づいて注目被写体に対応した参照物に係わる参照情報を取得する。
【００２５】
図３は、形状データの一例を示した図である。形状データは、円、楕円、多角形等の代表的な形状を示す画像データであり、図３（ａ）に示すような注目被写体の外形を推定するための形状データと、図３（ｂ）に示すような注目被写体の一部の形状を推定するための形状データの２種類がある。
【００２６】
例えば、注目被写体が花である場合、まず、花の形状のデータを抽出し、この花の形状のデータと図３（ａ）に示す各形状データとを比較する。そして、抽出した花の形状データと各形状データとの類似度（例えば、外形データと形状データの画素毎の差分の和を百分率で示したもの）を算出する。これにより、花の外形形状を推定することができる。さらに、花の形状のデータと図３（ｂ）に示す各形状データとを比較する。そして、抽出した花の形状データと各形状データとの類似度を算出する。これにより、花の細部の形状を推定することができる。
【００２７】
以上の比較の後、注目被写体の外形の形状との類似度及び注目被写体の細部の形状との類似度が所定レベル以上高い参照物の参照情報を、注目被写体に対応した参照物に係わる参照情報として取得する。例えば、花であれば、図３（ａ）の各形状データに対応した外形を有する花の総称がそれぞれ何であるか、その中で図３（ｂ）の各形状データに対応した形状の葉や花弁を有する花の個称がそれぞれ何であるかといった情報をデータベースに予め登録しておくことで、上述の比較により花の総称や個称を特定することが可能である。即ち、本実施形態の手法では、葉や茎を含めた花の外形及び色の分布によって大まかな花の特定を行うとともに、花弁の形状や葉の形状や色の分布によって細かな花の特定を行うことが可能である。
【００２８】
以上のように、本実施形態では、実際に撮影して得られた撮像画像データと実写の画像データとを直接比較する訳ではないので、比較的短時間で比較を行うことが可能である。また、外形のみの比較だけではなく、細部の比較も行うことにより、比較的高精度の注目被写体の特定を行うことができる。
【００２９】
ここで、特徴量として、注目被写体の表面の模様（テクスチャ構造）等を抽出するようにしても良い。また、ＧＰＳ等により撮像装置１００に位置検出機能を持たせるようにすれば、撮影位置情報や撮影時の高度情報を特徴量と抽出することもできる。また、撮像装置１００に時計機能を持たせるようにすれば、撮影日時を特徴量とすることもできる。さらには、撮像装置１００に温度検出機能を持たせるようにすれば、撮影時における撮像装置１００の周辺温度を特徴量とすることもできる。例えば、花であれば、花の種類によって生息地や開花時期等が異なっていることが多いため、生息地や開花時期等の情報を参照情報としてデータベースに登録しておくことで、より高精度の注目被写体の特定を行うことができる。
【００３０】
図４は、上述した参照情報の取得までの処理の流れについて示すフローチャートである。ここで、図４に示す一連の処理は撮影後の画像表示の際に制御回路１１７の制御に従って実行されるものである。
【００３１】
撮影後の画像表示の後、制御回路１１７は、注目被写体抽出回路１０８により、撮像画像データの中から注目被写体に対応した部分の撮像画像データを抽出する（ステップＳ１）。注目被写体の撮像画像データを抽出した後、制御回路１１７は、この注目被写体の撮像画像データを画像処理回路１０７においてリサイズした後、特徴量抽出回路１０９に送る。これを受けて特徴量抽出回路１０９は、特徴量の抽出を行う（ステップＳ２）。特徴量の抽出後、制御回路１１７は、抽出した特徴量を情報取得回路１１０に送る。その後、情報取得回路１１０は、上述したような注目被写体に係わる参照情報の取得処理を行う（ステップＳ３）。
【００３２】
情報取得回路１１０における参照情報の取得処理の後、制御回路１１７は、情報取得回路１１０において参照情報の取得を行うことができたか、即ちステップＳ２で抽出された特徴量に対応した参照情報がデータベースに登録されていたか否かを判定する（ステップＳ４）。
【００３３】
ステップＳ４の判定において、情報取得回路１１０において参照情報の取得を行うことができた場合、制御回路１１７は、類似度が高いと考えられる上位１０個の参照物に係わる参照情報のうちの基本情報（参照物の総称又は個称）をＲＡＭ１０６に一時記憶させる（ステップＳ５）。その後に、参照情報の呈示処理を行う。この参照情報の呈示処理については後述する。
【００３４】
また、ステップＳ４の判定において、情報取得回路１１０において参照情報の取得を行うことができなかった場合、制御回路１１７は、ステップＳ２で抽出された特徴量に対応した参照情報がデータベースに登録されていない旨を示す情報をＲＡＭ１０６に一時記憶させる（ステップＳ６）。その後に、参照情報の呈示処理を行う。
【００３５】
図５は、図４の処理を模式化して示した図である。なお、図５の例は、注目被写体が花である例を示している。
【００３６】
上述したように、データベースには、形状データの組み合わせと、その組み合わせによって示される参照物との対応付け情報が予め登録されている。図５の例では、外形が形状データ（星型）４０１の花の「総称」と「ゆり」とを対応付けておき、花弁の位置の形状が形状データ４０３の花の個称と「カサブランカ」とを対応付けておくようにする。さらに、「カサブランカ」の原産地や開花時期等の詳細情報も対応付けておく。その他の花についても同様の対応付けを行っておく。
【００３７】
図５の例では、注目被写体５０１の外形と形状データ４０１との類似度が最も高く、次いで形状データ４０２との類似度が高い。したがって、注目被写体５０１は、総称が「ゆり」である可能性が最も高く、「菊」である可能性もあることが識別される。
【００３８】
また、注目被写体５０１の花弁に対応した位置における形状は、形状データ４０３との類似度が最も高く、次いで、形状データ４０４、４０５の順で類似度が高い。したがって、注目被写体５０１は、総称「ゆり」である可能性がより高まり、さらに個称が「カサブランカ」である可能性が高いと識別される。
【００３９】
ここで説明した例では、形状のみの比較であるが、実際には色の分布やテクスチャ構造、生息地や開花時期等の参照情報も用いて比較を行う。
【００４０】
以上のような比較を行って、注目被写体と類似度が高いとされる上位１０個の参照物を特定する。その後、特定した結果をユーザに呈示する。なお、類似度が高い参照物が１０個に満たない場合であってもその類似度が高い参照物の参照情報をユーザに呈示する。
【００４１】
次に、本実施形態の撮像装置の参照情報の呈示処理について説明する。この処理は図４の処理の後に行われるものである。
【００４２】
まず、参照情報はＯＳＤ(On Screen Display)データとしてデータベースに登録しておく。図４の処理の後、モニタ１１５への表示のためにＲＡＭ１０６に記憶された撮像画像データと注目被写体に係わる参照情報とが表示回路１１４に出力される。
【００４３】
表示回路１１４は、モニタ１１５に対するタイミング信号を生成し、該生成したタイミング信号をモニタ１１５に出力する。また、表示回路１１４は、ＲＡＭ１０６から読み出した撮像画像データをモニタ１１５の画角に合わせてリサイズする。さらに、表示回路１１４は、注目被写体に係わる参照情報を撮像画像データに重畳し、モニタ１１５に出力する。参照情報を取得できた場合には、モニタ１１５に、図６（ａ）に示すようにして類似度の高い参照物の基本情報（図６（ａ）では総称）６０１が類似度とともに表示される。なお、基本情報は、上位１０個の参照物に対応した情報を全て表示させるようにしても良いし、図６（ａ）のように一部のみ表示させておき、ユーザの操作によって逐次表示を切り換え可能としても良い。一方、参照情報を取得できなかった場合には、モニタ１１５に、図６（ｂ）に示すようにして類似度の高い参照物が未登録であった旨を示す情報６０２が表示される。
【００４４】
ここで、図６（ａ）のようにして表示された基本情報の中の何れかの情報がユーザによって選択された場合には、その選択された基本情報が図６（ｃ）に示すようにして表示される。
【００４５】
次に、本実施形態による撮像装置の撮像画像データの保存方法について説明する。撮影後にＲＡＭ１０６に記憶された撮像画像データは、画像圧縮伸長回路１１１に出力される。画像圧縮伸長回路１１１は、撮像画像データを、例えばＪＰＥＧ方式等の所定の圧縮フォーマットに従って圧縮する。また、圧縮された圧縮画像データに、例えば、Ｅｘｉｆ（Exchangeable image file format）ヘッダ等の所定のヘッダ情報を付加して撮像画像ファイルを生成される。その後にこの撮像画像ファイルを記録媒体１１３に記録させる。
【００４６】
ここで、ヘッダ情報には、撮影時の撮影条件（撮影モード、露出条件等）の他に、データベースから取得した参照情報の基本情報を書き込んでおく。ヘッダ情報に書き込んでおく基本情報は、類似度の高い上位１０個の参照物の基本情報を全て書き込むようにしても良いし、ユーザが選択した参照情報のみを書き込むようにしても良い。ヘッダ情報に参照情報の基本情報を書き込んでおくことにより、撮像画像データの再生時には新たに注目被写体の特定を行うことなく、基本情報から注目被写体に係わる参照情報を取得することが可能となる。また、参照情報を全て書き込まずに、基本情報だけを書き込むようにすることで、撮像画像ファイルの容量の削減にもつながる。
【００４７】
なお、撮像画像ファイルに特徴量抽出回路１０９で抽出された特徴量を書き込んでおくようにしても良い。
【００４８】
次に、本実施形態による撮像装置の撮像画像データの再生方法について説明する。撮像画像データの再生時には、記録媒体１１３に記録されている撮像画像ファイルの圧縮画像データがＲＡＭ１０６に一時記憶される。このＲＡＭ１０６に記憶された圧縮画像データは画像圧縮伸長回路１１１に出力される。画像圧縮伸長回路１１１は、圧縮画像データを伸長した後、ＲＡＭ１０６に出力する。
【００４９】
また、情報取得回路１１０は、伸長した撮像画像データに付随しているＥｘｉｆヘッダに書き込まれている撮像画像データに係わる参照情報の基本情報に従い、フラッシュメモリ１１２又は記録媒体１１３に記録されているデータベースから参照情報を取得する。その後、情報取得回路１１０は、取得した参照情報のＯＳＤデータをＲＡＭ１０６に一時記憶させる。
【００５０】
ＲＡＭ１０６記憶された伸長後の撮像画像データと参照情報のＯＳＤデータとは表示回路１１４に出力される。表示回路１１４は、モニタ１１５に対するタイミング信号を生成してモニタ１１５へ出力する。また、表示回路１１４は、撮像画像データをモニタ１１５の画角に合わせてリサイズするとともに、参照情報のＯＳＤデータを撮像画像データに重畳してモニタ１１５へ出力する。これにより、撮像画像とともに参照情報がモニタ１１５に表示される。
【００５１】
以上説明したように、本実施形態によれば、撮像装置内のデータベースによって注目被写体の特定を行うことができるので、注目被写体を電波状況の悪い場所でも特定することが可能である。また、注目被写体の特定を比較的短時間で行うことができるので、結果として低消費電力で注目被写体を特定可能である。
【００５２】
［第２の実施形態］
次に、本発明の第２の実施形態について説明する。図７は、本発明の第２の実施形態における情報提供システムの構成を示す図である。図７に示す情報提供システムは、撮像装置１００と外部データベースサーバ２００とを有している。
【００５３】
撮像装置１００は、基本的な構成は第１の実施形態に準じたものである。しかしながら、第２の実施形態においては、撮像装置１００が特徴量送信回路１１９と結果受信回路１２０とを有している点が異なる。特徴量送信回路１１９は、外部データベースサーバ２００へ撮像画像データ又は注目被写体の特徴量、及び撮像装置１００のユーザを識別するための情報を送信する。結果受信回路１２０は、外部データベースサーバ２００から送信される注目被写体に係わる参照情報を受信する。
【００５４】
外部データベースサーバ２００は、特徴量受信部２０１と、認証部２０２と、サーバ検索部２０３と、サーバデータベース２０４と、課金部２０５と、結果送信部２０６とを有している。
【００５５】
特徴量受信部２０１は、撮像装置１００の特徴量送信回路１１９から送信された撮像画像データ又は特徴量、及び撮像装置１００のユーザを識別するための情報を受信する。認証部２０２は、ユーザを識別するための情報から、参照情報を撮像装置１００に提供が可能か否かを認証する。サーバ検索部２０３は、特徴量受信部２０１及び認証部２０２を介して入力される撮像画像データ又は注目被写体の特徴量から、サーバデータベース２０４を参照して注目被写体に係わる参照情報を取得する。サーバデータベース２０４には、各種の参照物に関する参照情報がデータベースとして登録されている。課金部２０５は、参照情報を撮像装置１００に送信する際に課金を行う。結果送信部２０６は、サーバ検索部２０３による参照情報の取得結果及び課金部２０５における課金情報を撮像装置１００の結果受信回路１２０に送信する。
【００５６】
次に、図８は、第２の実施形態における参照情報の取得までの処理の流れについて示すフローチャートである。なお、図８において、図４と同様の処理については図４と同様のステップ符号を付している。即ち、図８のステップＳ１〜ステップＳ５までは図４と同様の処理であるので説明を省略する。
【００５７】
図８のステップＳ４の判定において、情報取得回路１１０において参照情報の取得を行うことができなかった場合に、制御回路１１７は、注目被写体に係わる情報（例えば注目被写体の部分の撮像画像データ又特徴量）をＲＡＭ１０６に一時記憶させる。その後、制御回路１１７は、ＲＡＭ１０６に記憶させた注目被写体に係わる情報を、特徴量送信回路１１９を介して外部データベースサーバ２００に送信することで、参照情報の提供を要求する（ステップＳ１６）。なお、通信状態が悪い場合等は、通信状態がよくなってから通信を開始することが望ましい。
【００５８】
外部データベースサーバ２００の特徴量受信部２０１は、受信された注目被写体に係わる情報（撮像画像データ又は特徴量）をサーバ検索部２０３に出力する。サーバ検索部２０３は、入力された撮像画像データとサーバデータベース２０４に登録されている参照物の実写画像とのマッチング（或いは特徴量を抽出して比較を行うようにしても良い）、又は入力された特徴量とサーバデータベース２０４に登録されている参照情報との比較によって、注目被写体に係わる参照情報を取得する（ステップＳ１７）。参照情報の取得後、サーバ検索部２０３は、取得した参照情報を課金部２０５に出力する。なお、参照情報を取得できなかった場合には、その旨を示す情報を課金部２０５に出力する。
【００５９】
また、特徴量受信部２０１は、ユーザを識別するための情報を認証部２０２に出力する（ステップＳ１８）。認証部２０２は、入力されたユーザを識別するための情報から、参照情報の提供を要求してきた撮像装置１００がユーザ登録を行っていることを確認する。そして、この確認結果を示す認証情報を課金部２０５に出力する。参照情報の提供を要求してきた撮像装置１００がユーザ登録を行っていることを確認した場合に、課金部２０５は、サーバ検索部２０３で取得された参照情報に、外部データベースサーバ２００の使用料を示す情報を付加し、これらの情報を、結果送信部２０６を介して撮像装置１００に送信する（ステップＳ１９）。
【００６０】
外部データベースサーバ２００から送信された参照情報及び使用料を示す情報は結果受信回路１２０で受信される。制御回路１１７は、結果受信回路１２０で受信された参照情報及び使用料を示す情報をＲＡＭ１０６に一時記憶させる。また、フラッシュメモリ１１２に、外部データベースサーバ２００から転送されてきた参照情報を新たに追加する。
【００６１】
一般に、サーバではデジタルカメラのような撮像装置１００に比べて大規模なデータベースを持たせることが可能である。このため、撮像装置１００よりも詳細な特徴量の抽出や抽出した特微量に対応したデータ検索が可能であり、撮像装置１００よりも正しく注目被写体を特定できる可能性が高い。
【００６２】
ここで、ステップＳ４の判定において、参照情報の取得が行えた場合にはその参照情報がモニタ１１５に表示される。上位１０個まで表示された参照情報にユーザが所望する情報が必ずしも含まれているとは限らない。このような場合に、これらの参照情報を外部データベースサーバ２００に転送できるようにしても良い。このようにすれば、外部データベースサーバ２００から、撮像装置１００では得られないさらなる参照情報、例えば花の場合には、花の細かな分類名や亜種情報、原産地や生育分布、育て方等も取得することが可能である。
【００６３】
以上説明したように、本実施形態によれば、第１の実施形態と同様の効果が得られるとともに、撮像装置１００のみでは参照情報の取得ができなかった場合に、外部データベースサーバ２００を利用して参照情報の取得を行うことが可能である。
【００６４】
［第３の実施形態］
次に、本発明の第３の実施形態について説明する。図９は、本発明の第３の実施形態における情報提供システムの構成を示す図である。図９に示す情報提供システムは、撮像装置１００と外部データベースサーバ２００とを有している。
【００６５】
第３の実施形態における撮像装置１００は、音声圧縮伸長回路１２１、音声回路１２２と、各種センサ類１２３とを有している。音声圧縮伸長回路１２１は、注目被写体に係わる参照情報の音声データをＭＰ３(MPEG-1 Audio Layer-3）等の圧縮方法を用いて圧縮するとともに、圧縮音声データを伸長する。音声回路１２２は、外部から音声を入力するためのマイクロフォンと、マイクロフォンを介して入力された音声データを認識するための音声認識回路と、音声を外部に出力するためのスピーカとを有して構成されている。各種センサ類１２３は、ＧＰＳ(Global Positioning System）衛星から送信される測位電波を収得するＧＰＳ受信回路を始めとし、高度や温度を測定するセンサ、及び時計等の各種センサ類である。
【００６６】
外部データベースサーバ２００の構成は第２の実施形態で説明したものと同様であるので説明を省略する。
【００６７】
第３の実施形態においては、情報提供レベルに応じて注目被写体に係わる参照情報の提供に制限をかける。この情報提供レベルは、基本情報と詳細情報の何れかから選択することが可能となっている。なお、情報提供レベルは、初期状態では基本情報となっており、ユーザは、入力回路１１６により情報提供レベルの設定を行うことが可能である。また、情報提供レベルの設定を、音声回路１２２を用いた音声入力によって行えるようにしても良い。さらには、詳細情報の中でも情報提供レベルを選択できるようにしても良い。
【００６８】
図１０は、第３の実施形態における参照情報の取得までの処理の流れについて示すフローチャートである。なお、図１０において、図８と同様の処理については図８と同様のステップ符号を付している。
【００６９】
図１０のステップＳ３において、参照情報の取得を行った後、制御回路１１７は、参照情報のうちの基本情報のみをユーザに呈示するか否かを判定する（ステップＳ１００）。ステップＳ１００の判定において、基本情報のみを呈示する、即ち情報提供レベルが基本情報に設定されている場合には図８と同様の処理が行われる。即ち、制御回路１１７は、情報取得回路１１０において参照情報の取得を行うことができたか否かを判定し、参照情報を取得できた場合にはモニタ１１５に参照情報を表示させる。一方、参照情報を取得できなかった場合に、制御回路１１７は、外部データベースサーバ２００に参照情報の提供を要求する。
【００７０】
また、ステップＳ１００の判定において、基本情報以外の詳細情報を呈示する、即ち情報提供レベルが詳細情報に設定されている場合に、制御回路１１７は、注目被写体の撮像画像データと各種センサ類１２３の検出結果（ＧＰＳ受信回路を介して取得される撮影位置情報、高度センサによって測定される高度、温度センサによって測定される温度、時計によって測定される撮影時刻等）、及び情報提供レベルを、特徴量送信回路１１９を介して外部データベースサーバ２００に送信する（ステップＳ１０１）。外部データベースサーバ２００のサーバ検索部２０３は、ステップＳ１０１において送信された情報に基づいてサーバデータベース２０４から参照情報を取得する。参照情報の取得後、サーバ検索部２０３は、詳細情報の提供レベルが設定されている場合には、その提供レベルに応じた参照情報のみを課金部２０５に出力する（ステップＳ１０２）。その後、認証部２０２は、参照情報の提供を要求してきた撮像装置１００がユーザ登録を行っていることを確認する。そして、この確認結果を示す認証情報を課金部２０５に出力する。参照情報の提供を要求してきた撮像装置１００がユーザ登録を行っていることを確認した場合に、課金部２０５は、サーバ検索部２０３で取得された参照情報に、外部データベースサーバ２００の使用料を示す情報を付加し、これらの情報を、結果送信部２０６を介して撮像装置１００に送信する（ステップＳ１９）。
【００７１】
外部データベースサーバ２００から送信された参照情報及び使用料を示す情報は、結果受信回路１２０で受信される。制御回路１１７は、結果受信回路１２０で受信された参照情報及び使用料を示す情報をＲＡＭ１０６に一時記憶させる。また、フラッシュメモリ１１２に、外部データベースサーバ２００から転送されてきた参照情報を新たに追加する。
【００７２】
図１１は、情報提供レベルを詳細情報とした場合の表示例を示す図である。第３の実施形態において、注目被写体に係わる参照情報のうちの詳細情報はＯＳＤデータと圧縮音声データとから構成されている。外部データベースサーバ２００から参照情報のうちの詳細情報が送信されてくると、送信されてきた参照情報がＲＡＭ１０６に一時記憶される。その後、注目被写体に係わる参照情報が撮像画像データとともに表示回路１１４に出力される。表示回路１１４は、モニタ１１５に対するタイミング信号を生成してモニタ１１５へ出力する。また、表示回路１１４は、撮像画像データをモニタ１１５の画角に合わせてリサイズし、このリサイズした撮像画像データに参照情報のＯＳＤデータを重畳してモニタ１１５へ出力する。これにより、図１１に示すような参照情報の詳細情報がモニタ１１５に表示される。
【００７３】
一方、注目被写体に係わる参照情報の圧縮音声データは音声圧縮伸長回路１２１に出力される。音声圧縮伸長回路１２１は、参照情報の圧縮音声データを伸長する。伸長した音声データはＲＡＭ１０６に一時記憶される。ＲＡＭ１０６に記憶された音声データは、音声回路１２２へ出力される。この音声データに基づいて、音声回路１２２のスピーカから注目被写体に係わる音声が出力される。
【００７４】
次に、本実施形態による撮像装置の撮像画像データの保存方法について説明する。撮影後にＲＡＭ１０６に記憶された撮像画像データは、画像圧縮伸長回路１１１に出力される。画像圧縮伸長回路１１１は、撮像画像データを、例えばＪＰＥＧ方式等の所定の圧縮フォーマットに従って圧縮する。また、圧縮された圧縮画像データに、例えば、Ｅｘｉｆ（Exchangeable image file format）ヘッダ等の所定のヘッダ情報を付加して撮像画像ファイルを生成する。その後、この撮像画像ファイルを記録媒体１１３に記録させる。さらに、参照情報に圧縮音声データが含まれている場合にはこの圧縮音声データも撮像画像ファイルに記録させる。
【００７５】
次に、本実施形態による撮像装置の撮像画像データの再生方法について説明する。撮像画像データの再生時には、記録媒体１１３に記録されている撮像画像ファイルの圧縮画像データ及び圧縮音声データがＲＡＭ１０６に一時記憶される。記憶された圧縮画像データは画像圧縮伸長回路１１１に出力される。画像圧縮伸長回路１１１は、圧縮画像データを伸長した後、ＲＡＭ１０６に出力する。一方、圧縮音声データは、音声圧縮伸長回路１２１に出力される。音声圧縮伸長回路１２１は、圧縮音声データを伸長した後、ＲＡＭ１０６に出力する。
【００７６】
また、情報取得回路１１０は、伸長した撮像画像データに付随しているＥｘｉｆヘッダに書き込まれている撮像画像データに係わる参照情報の基本情報に従い、フラッシュメモリ１１２又は記録媒体１１３に記録されているデータベースから参照情報を取得する。その後、情報取得回路１１０は、取得した参照情報のＯＳＤデータをＲＡＭ１０６に一時記憶させる。
【００７７】
ＲＡＭ１０６記憶された伸長後の撮像画像データと参照情報のＯＳＤデータとは表示回路１１４に出力される。表示回路１１４は、モニタ１１５に対するタイミング信号を生成してモニタ１１５へ出力する。また、表示回路１１４は、撮像画像データをモニタ１１５の画角に合わせてリサイズするとともに、参照情報のＯＳＤデータを撮像画像データに重畳してモニタ１１５へ出力する。これにより、撮像画像とともに参照情報がモニタ１１５に表示される。また、ＲＡＭ１０６記憶された伸長後の音声データは音声回路１２２に出力される。音声回路１２２はこの音声データを再生してスピーカから参照物に係わる音声を出力する。
【００７８】
以上説明したように、本実施形態によれば、第２の実施形態と同様の効果が得られるとともに、情報提供レベルに応じてユーザに呈示する情報を制限することが可能である。
【００７９】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【００８０】
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【図面の簡単な説明】
【００８１】
【図１】本発明の第１の実施形態に係る撮像装置の構成を示す図である。
【図２】ユーザが注目被写体を手動で選択する際のモニタの画面表示を示す図である。
【図３】形状データの一例を示した図である。
【図４】参照情報の取得までの処理の流れについて示すフローチャートである。
【図５】図４の処理を模式化して示した図である。
【図６】参照情報を表示する際の例を示す図である。
【図７】本発明の第２の実施形態における情報提供システムの構成を示す図である。
【図８】本発明の第２の実施形態における参照情報の取得までの処理の流れについて示すフローチャートである。
【図９】本発明の第３の実施形態における情報提供システムの構成を示す図である。
【図１０】本発明の第３の実施形態における参照情報の取得までの処理の流れについて
【図１１】情報提供レベルを詳細情報とした場合の表示例を示す図である。
【符号の説明】
【００８２】
１００…撮像装置、１０１…光学系、１０２…イメージセンサ、１０３…アナログ/デジタル（Ａ/Ｄ）変換回路、１０４…プリプロセス回路、１０５…フォーカス検出回路、１０６…ランダムアクセスメモリ（ＲＡＭ）、１０７…画像処理回路、１０８…注目被写体抽出回路、１０９…特徴量抽出回路、１１０…情報取得回路、１１１…画像圧縮伸長回路、１１２…フラッシュメモリ、１１３…記録媒体、１１４…表示回路、１１５…モニタ、１１６…入力回路、１１６ａ…十字キー、１１７…制御回路、１１８…データバス、１１９…特徴量送信回路、１２０…結果受信回路、１２１…音声圧縮伸長回路、１２２…音声回路、１２３…各種センサ類、２００…外部データベースサーバ、２０１…特徴量受信部、２０２…認証部、２０３…サーバ検索部、２０４…サーバデータベース、２０５…課金部、２０６…結果送信部
【図１】
2009272931.tif 000003
【図２】
2009272931.tif 000004
【図３】
2009272931.tif 000005
【図４】
2009272931.tif 000006
【図５】
2009272931.tif 000007
【図６】
2009272931.tif 000008
【図７】
2009272931.tif 000009
【図８】
2009272931.tif 000010
【図９】
2009272931.tif 000011
【図１０】
2009272931.tif 000012
【図１１】
2009272931.tif 000013