(57)【要約】  オブジェクト情報の提供方法及びそれを適用した撮影装置が提供される。本オブジェクト情報の提供方法によると、撮影された映像又は撮影された映像に含まれているオブジェクトのパターン情報が外部サーバに伝送し、前記外部サーバから前記オブジェクトに対する情報を受信し、前記受信された情報を画面に表示する。それにより、ユーザは正体を知りたいと思うオブジェクトを撮影する簡単な操作を行うだけで、そのオブジェクトに対する情報を提供することが可能になる。
2013502662.tif 000002
【特許請求の範囲】
【請求項１】
映像を撮影するステップと、
撮影された映像又は撮影された映像に含まれているオブジェクトのパターン情報を外部サーバに伝送するステップと、
前記外部サーバから前記オブジェクトに対する情報を受信するステップと、
前記受信された情報を画面に表示するステップと
を含むオブジェクト情報の提供方法。
【請求項２】
前記伝送ステップは、
前記撮影された映像に含まれているオブジェクトのパターン情報が抽出されている場合、前記パターン情報を前記外部サーバに伝送することを特徴とする請求項１に記載のオブジェクト情報の提供方法。
【請求項３】
前記外部サーバでオブジェクトのパターンデータのみでオブジェクトが認識できない場合、前記撮影された映像を前記外部サーバに伝送するステップを更に含むことを特徴とする請求項１に記載のオブジェクト情報の提供方法。
【請求項４】
前記伝送ステップは、
前記撮影された映像に含まれているオブジェクトのパターン情報が抽出されていない場合、前記撮影された映像を前記外部サーバに伝送することを特徴とする請求項１に記載のオブジェクト情報の提供方法。
【請求項５】
前記表示ステップは、
前記受信された情報を前記撮影された映像とともに画面に表示することを特徴とする請求項１に記載のオブジェクト情報の提供方法。
【請求項６】
前記撮影された映像に含まれているオブジェクトのカテゴリを選択するためのカテゴリ選択メニューを表示するステップを更に含むことを特徴とする請求項１に記載のオブジェクト情報の提供方法。
【請求項７】
前記カテゴリ選択メニューから選択されたカテゴリ情報を前記外部サーバに伝送するステップを更に含むことを特徴とする請求項６に記載のオブジェクト情報の提供方法。
【請求項８】
前記オブジェクト情報に基づいて、前記オブジェクトに関連する機能のリストをディスプレイするステップと、
前記リストから選択された機能を行うステップと
を更に含むことを特徴とする請求項１に記載のオブジェクト情報の提供方法。
【請求項９】
前記オブジェクト情報に基づいて、前記オブジェクトに関連する機能を行うステップを更に含むことを特徴とする請求項１に記載のオブジェクト情報の提供方法。
【請求項１０】
前記オブジェクト情報に基づいて、前記撮影された映像の状況を認識し、前記撮影された映像の状況に関連する機能を行うステップを更に含むことを特徴とする請求項１に記載のオブジェクト情報の提供方法。
【請求項１１】
映像を撮影する撮像素子と、
外部サーバと通信できるように接続される通信部と、
前記撮影された映像又は撮影された映像に含まれているオブジェクトのパターン情報が外部サーバに伝送され、前記外部サーバから前記オブジェクトに対する情報が受信され、前記受信された情報が画面に表示されるように制御する制御部と
を含む撮影装置。
【請求項１２】
前記制御部は、
前記撮影された映像に含まれているオブジェクトのパターン情報が抽出されている場合、前記パターン情報が前記外部サーバに伝送されるように制御することを特徴とする請求項１１に記載の撮影装置。
【請求項１３】
前記制御部は、
前記外部サーバでオブジェクトのパターンデータのみでオブジェクトが認識できない場合、前記撮影された映像を前記外部サーバに伝送することを特徴とする請求項１１に記載の撮影装置。
【請求項１４】
前記制御部は、
前記撮影された映像に含まれているオブジェクトのパターン情報が抽出されていない場合、前記撮影された映像が前記外部サーバに伝送されるように制御することを特徴とする請求項１１に記載の撮影装置。
【請求項１５】
前記制御部は、
前記受信された情報が前記撮影された映像とともに画面に表示されるように制御することを特徴とする請求項１１に記載の撮影装置。
【請求項１６】
前記制御部は、
前記撮影された映像に含まれているオブジェクトのカテゴリを選択するためのカテゴリ選択メニューが表示されるように制御することを特徴とする請求項１１に記載の撮影装置。
【請求項１７】
前記制御部は、
前記カテゴリ選択メニューから選択されたカテゴリ情報を前記外部サーバに伝送することを特徴とする請求項１６に記載の撮影装置。
【請求項１８】
前記制御部は、
前記オブジェクト情報に基づいて、前記オブジェクトに関連する機能のリストを表示し、前記リストから選択された機能を行うことを特徴とする請求項１１に記載の撮影装置。
【請求項１９】
前記制御部は、
前記オブジェクト情報に基づいて、前記オブジェクトに関連する機能を行うことを特徴とする請求項１１に記載の撮影装置。
【請求項２０】
前記制御部は、
前記オブジェクト情報に基づいて、前記撮影された映像の状況を認識し、前記撮影された映像の状況に関連する機能を行うことを特徴とする請求項１１に記載の撮影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オブジェクト情報の提供方法及びそれを適用した撮影装置に関し、より詳細には、撮影装置を通じて撮影された映像に含まれているオブジェクトの情報を提供するためのオブジェクト情報の提供方法及びそれを適用した撮影装置に関する。
【背景技術】
【０００２】
人びとは新しい事物に接した際、その事物が如何なるものか知るために、一旦カメラを用いて当該事物を写真に収めておく。そして、撮影した写真を参考にして百科辞典やインターネットなどを検索し、当該事物に対する情報を手に入れるようになる。
このように、新しい事物や、建物や、動物などを初めて接した際、ユーザはそれが何かを特定するために、長時間を投資しなければならない。
【０００３】
最近、ほとんどの携帯電話にはカメラが装着されて発売されている。なお、ほとんどの人びとが携帯電話を持ち歩いているといっても過言ではない。つまり、ほとんどの人がカメラを持ち歩いていることになる。
人びとは初めて接する事物に対し、それを写真に収めておくことが一般的である。これにより、撮影装置を用いて事物の情報を容易に提供するための方法が模索されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、撮影された映像又は撮影された映像に含まれているオブジェクトのパターン情報を外部サーバに伝送し、前記外部サーバから前記オブジェクトに対する情報を受信し、前記受信された情報を画面に表示するオブジェクト情報の提供方法及びそれを適用した撮影装置を提供することにある。
【課題を解決するための手段】
【０００５】
前記目的を達成するための本発明の一実施形態に係るオブジェクト情報の提供方法は、映像を撮影するステップと、撮影された映像又は撮影された映像に含まれているオブジェクトのパターン情報を外部サーバに伝送するステップと、前記外部サーバから前記オブジェクトに対する情報を受信するステップと、前記受信された情報を画面に表示するステップとを含む。
そして、前記伝送ステップは、前記撮影された映像に含まれているオブジェクトのパターン情報が抽出されている場合、前記パターン情報を前記外部サーバに伝送してもよい。
【０００６】
なお、前記外部サーバでオブジェクトのパターンデータのみでオブジェクトが認識できない場合、前記撮影された映像を前記外部サーバに伝送するステップを更に含むこともできる。
そして、前記伝送ステップは、前記撮影された映像に含まれているオブジェクトのパターン情報が抽出されていない場合、前記撮影された映像を前記外部サーバに伝送することができる。
【０００７】
なお、前記表示ステップは、前記受信された情報を前記撮影された映像とともに画面に表示することができる。
そして、前記撮影された映像に含まれているオブジェクトのカテゴリを選択するためのカテゴリ選択メニューを表示するステップを更に含んでよい。
なお、前記カテゴリ選択メニューから選択されたカテゴリ情報を前記外部サーバに伝送するステップを更に含むこともできる。
【０００８】
そして、前記オブジェクト情報に基づいて、前記オブジェクトに関連する機能のリストをディスプレイするステップと、前記リストから選択された機能を行うステップとを更に含むことができる。
なお、前記オブジェクト情報に基づいて、前記オブジェクトに関連する機能を行うステップを更に含むこともできる。
そして、前記オブジェクト情報に基づいて、前記撮影された映像の状況を認識し、前記撮影された映像の状況に関連する機能を行うステップを更に含むことも可能である。
【０００９】
一方、本発明の一実施形態に係る撮影装置は、映像を撮影する撮像素子と、外部サーバと通信できるように接続される通信部と、前記撮影された映像又は撮影された映像に含まれているオブジェクトのパターン情報が外部サーバに伝送され、前記外部サーバから前記オブジェクトに対する情報が受信され、前記受信された情報が画面に表示されるように制御する制御部とを含む。
そして、前記制御部は、前記撮影された映像に含まれているオブジェクトのパターン情報が抽出されている場合、前記パターン情報が前記外部サーバに伝送されるように制御してよい。
なお、前記制御部は、前記外部サーバでオブジェクトのパターンデータのみでオブジェクトが認識できない場合、前記撮影された映像を前記外部サーバに伝送してよい。
【００１０】
そして、前記制御部は、前記撮影された映像に含まれているオブジェクトのパターン情報が抽出されていない場合、前記撮影された映像が前記外部サーバに伝送されるように制御することができる。
なお、前記制御部は、前記受信された情報が前記撮影された映像とともに画面に表示されるように制御することができる。
【００１１】
そして、前記制御部は、前記撮影された映像に含まれているオブジェクトのカテゴリを選択するためのカテゴリ選択メニューが表示されるように制御することができる。
なお、前記制御部は、前記カテゴリ選択メニューから選択されたカテゴリ情報を前記外部サーバに伝送することができる。
【００１２】
そして、前記制御部は、前記オブジェクト情報に基づいて、前記オブジェクトに関連する機能のリストを表示し、前記リストから選択された機能を行うことができる。
なお、前記制御部は、前記オブジェクト情報に基づいて、前記オブジェクトに関連する機能を行うことができる。
【００１３】
そして、前記制御部は、前記オブジェクト情報に基づいて、前記撮影された映像の状況を認識し、前記撮影された映像の状況に関連する機能を行ってよい。
【発明の効果】
【００１４】
本発明の多様な実施形態によると、撮影された映像又は撮影された映像に含まれているオブジェクトのパターン情報を外部サーバに伝送し、前記外部サーバから前記オブジェクトに対する情報を受信し、前記受信された情報を画面に表示するオブジェクト情報の提供方法及びそれを適用した撮影装置が提供できるようになり、ユーザは正体を知りたいと思うオブジェクトを撮影する簡単な操作を行うだけで、そのオブジェクトに対する情報を得ることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態に係る撮影装置の構成を詳細に示すブロック図である。
【図２】本発明の一実施形態に係る撮影された映像に含まれているオブジェクトの情報を提供するための方法を説明するためのフローチャートである。
【図３】本発明の一実施形態に係るテントウムシを撮影した状態で情報検索命令アイコンをタッチする様子を示す図である。
【図４】本発明の一実施形態に係るテントウムシに関する情報が示された画面を示す図である。
【図５】本発明の一実施形態に係るエッフェル塔を撮影した状態で情報検索命令アイコンをタッチする様子を示す図である。
【図６】本発明の一実施形態に係るエッフェル塔に関する情報が示された画面を示す図である。
【図７】本発明の一実施形態に係る撮影された映像に含まれているオブジェクトの情報を多様な方式で提供する過程を示す図である。
【図８】本発明の一実施形態に係る撮影された映像に含まれているオブジェクトの情報を多様な方式で提供する過程を示す図である。
【図９】本発明の一実施形態に係る撮影された映像に含まれているオブジェクトの情報を多様な方式で提供する過程を示す図である。
【図１０】本発明の一実施形態に係る撮影された映像に含まれているオブジェクトの情報を多様な方式で提供する過程を示す図である。
【図１１】本発明の一実施形態に係る撮影された映像に含まれているオブジェクトの情報を多様な方式で提供する過程を示す図である。
【図１２】本発明の一実施形態に係る撮影された映像に含まれているオブジェクトの情報を多様な方式で提供する過程を示す図である。
【図１３】本発明の一実施形態に係る撮影された映像に含まれているオブジェクトの情報を多様な方式で提供する過程を示す図である。
【図１４】本発明の一実施形態に係るオブジェクトの認識前にオブジェクトのカテゴリ選択メニューを表示している画面を示す図である。
【発明を実施するための形態】
【００１６】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。
図１は、本発明の一実施形態に係る撮影装置１００の構成を詳細に示すブロック図である。図１に示すように、撮影装置１００は、レンズ部１１０と、撮像素子１２０と、映像処理部１３０と、制御部１４０と、操作部１５０と、映像出力部１６０と、ディスプレイ１７０と、コーデック１８０と、保存部１９０及び通信部１９５を備える。
【００１７】
レンズ部１１０は、被写体の光を集めて撮像領域に光学像が結像する。
撮像素子１２０は、レンズを通じて入射する光を電気信号に光電変換し、電気信号に対して所定の信号処理を行う。このような機能を行う撮像素子１２０は、画素及びＡＤコンバータを備える。各画素はアナログ型の映像信号を出力し、ＡＤコンバータはそれをデジタル型の映像信号に変換して出力する。
【００１８】
映像処理部１３０は、撮像素子１２０から入力される映像に対する信号処理を行い、撮影された映像をディスプレイするために処理された映像信号を映像出力部１６０に伝送する。なお、映像処理部１３０は、撮影された映像を保存するためにコーデック１８０で処理された映像信号を出力する。
【００１９】
具体的に、映像処理部１３０は、撮像素子１２０から出力される映像信号に対してフォーマット変換と映像スケールとを調整するためのデジタルズームや、ＡＷＢ（Ａｕｔｏ  Ｗｈｉｔｅ  Ｂａｌａｎｃｅ）や、ＡＦ（Ａｕｔｏ  Ｆｏｃｕｓ）、ＡＥ（Ａｕｔｏ  Ｅｘｐｏｓｕｒｅ）などを行う。
なお、映像処理部１３０は、撮影された映像に含まれているオブジェクトを抽出する。ここで、オブジェクトとは、撮影された映像の被写体のことを意味する。オブジェクトは、撮影された映像に含まれている人物や建物、動物、昆虫などを例として挙げることができる。
【００２０】
具体的に、映像処理部１３０は撮影された映像に含まれているオブジェクトのパターン情報を抽出する。例えば、映像処理部１３０はオブジェクトの境界部分を検出し、その境界部分をオブジェクトのパターン情報として認識する。そして、映像処理部１３０は検出された境界を中心とする色相の変化、境界の模様、境界をベースとするオブジェクトの輪郭を認識する。映像処理部１３０は、このような色相や模様、輪郭を含むパターン情報に基づいて撮影された映像に含まれているオブジェクトを抽出する。
【００２１】
そして、映像処理部１３０は抽出されたパターン情報を制御部１４０に伝送する。すると、制御部１４０は抽出されたパターン情報を参考映像と比較し、パターン情報が対応する参考映像を抽出する。ここで、参考映像とは、オブジェクト認識のための各オブジェクトの代表的なイメージのことを意味する。
【００２２】
このように、映像処理部１３０は撮影された映像に含まれているオブジェクトが抽出できる。
なお、映像処理部１３０は、保存部１９０に保存されているコンテンツの映像をコーデック１８０を介して受信して処理する。そして、処理されたコンテンツの映像を映像出力部１６０に出力する。
【００２３】
映像出力部１６０は、映像処理部１３０から受信された映像信号を内部ディスプレイ１７０又は外部出力端子に出力する。
ディスプレイ１７０は、撮影された映像を画面に表示する。なお、ディスプレイ１７０は撮影された映像に含まれているオブジェクトの情報を表示することもできる。
【００２４】
コーデック１８０は、映像処理部１３０から受信した映像信号をエンコーディングする。そして、コーデック１３０は、エンコーディングされている映像信号を保存部１９０に伝送する。なお、コーデック１８０は、保存部１９０に保存されているコンテンツのエンコーディングされた映像信号をデコーディングする。そして、コーデック１８０は、デコーディングされている映像信号を映像処理部１３０に伝送する。
【００２５】
即ち、コーデック１８０は、撮影された映像を保存する場合にエンコーディングし、保存されているコンテンツ映像を映像処理部１３０に出力する場合にデコーディングする。
【００２６】
保存部１９０は、撮像素子１２０で撮影された映像を圧縮した形で保存する。なお、保存部１９０は、オブジェクトを認識するための参考映像が保存されている。そして、保存部１９０は、オブジェクトの情報を検索するためのデータベースが保存されている。例えば、保存部１９０には百科事典データベースが保存されていてよい。
保存部１９０は、フラッシュメモリや、ハードディスク、ＤＶＤなどを用いて実現されてもよい。
【００２７】
操作部１５０は、ユーザの操作により命令を入力される。操作部１５０は撮影装置１００の表面にボタンの形態で設けられてよく、ディスプレイ１７０上でタッチスクリーンの形態で設けられてもよい。なお、操作部１５０は、ユーザから撮影されたオブジェクトに対する情報検索命令を入力される。ここで、情報検索命令とは、撮影されたオブジェクトが何かに対する情報を百科事典などから検索して画面に表示されるようにする命令である。
【００２８】
通信部１９５は、インターネットなどの多様なネットワークを通じて外部サーバに通信できるように接続される。通信部１９５は、有線ＬＡＮなどの有線ネットワークを用いて外部サーバに接続することができ、無線ＬＡＮ又はブルートゥースなどの無線ネットワークを用いて外部サーバに接続してもよい。
【００２９】
制御部１４０は、撮影装置１００の作動全般を制御する。具体的に、制御部１４０は映像に含まれているオブジェクトの情報が画面に表示されるように制御する。ここで、オブジェクトの情報とは、オブジェクトがどのようなものかに対する詳細な情報のことを意味する。例えば、オブジェクトの情報は、オブジェクトに対する辞書的な意味、百科事典上の情報などであってよい。
【００３０】
操作部１５０を介して情報検索命令が入力されると、制御部１４０は撮影された映像からオブジェクトが抽出されるように映像処理部１３０を制御する。そして、制御部１４０は抽出されたパターン情報を参考映像と比較し、パターン情報が対応する参考映像を抽出する。ここで、参考映像とは、オブジェクト認識のための各オブジェクトの代表的なイメージのことを意味する。そして、制御部１４０は対応する参考映像に含まれているオブジェクトが撮影されたオブジェクトと同一であると把握し、撮影された映像に含まれているオブジェクトがどのようなものかを認識する。
【００３１】
ここで、オブジェクトとは、撮影された映像の被写体のことを意味する。オブジェクトは、撮影された映像に含まれている人物や建物、動物、昆虫などを例として挙げることができる。従って、オブジェクトが人物である場合、制御部１４０は顔認識技術を用いてオブジェクトの顔パターン情報を抽出し、参考映像の中から対応する顔映像を検索する。そして、対応する参考映像が存在する場合、撮影されたオブジェクトに示される人物は、その参考映像に対応する人物であると決定される。
【００３２】
なお、オブジェクトが昆虫である場合、制御部１４０は昆虫のパターン情報を抽出し、参考映像の中から対応する昆虫映像を検索する。そして、対応する参考映像が存在する場合、撮影されたオブジェクトに示される昆虫は、その参考映像に対応する昆虫であると決定される。
このような過程に通じて、制御部１４０は撮影された映像に含まれているオブジェクトを認識するようになる。
【００３３】
そして、保存部１９０にオブジェクト情報に対するデータベースが存在すると、制御部１４０は、一旦保存部１９０に保存されているデータベースからオブジェクトの情報を検索する。制御部１４０は、検索されたオブジェクト情報が画面に表示されるようにディスプレイ１７０を制御する。
【００３４】
一方、制御部１４０は、オブジェクトが認識できない場合、撮影された映像が外部サーバに伝送されるように制御する。ここで、外部サーバとは、映像からオブジェクトを認識し、多様なオブジェクトに対する情報を提供する機能を行うサーバである。このような外部サーバは、処理速度及び保存容量において撮影装置１００に比べて優れているため、外部サーバがオブジェクトを認識してオブジェクトの情報を検索すると、より正確にオブジェクトを認識してより詳細なオブジェクト情報を得ることができるようになる。従って、制御部１４０がオブジェクトを認識することができない場合、制御部１４０は外部サーバに撮影された映像を伝送する。
【００３５】
一方、制御部１４０は、オブジェクトのパターン情報を抽出した場合、パターン情報のみを外部サーバに伝送するようにできる。イメージを全て伝送する場合、伝送量が多く処理速度が遅くなるおそれがあるため、制御部１４０はオブジェクトのパターン情報は抽出できるものの、オブジェクトが認識できない場合、オブジェクトのパターン情報のみを外部サーバに伝送してよい。それにより、制御部１４０は外部サーバを通じてオブジェクト情報を提供する場合に処理速度を向上させることができるようになる。
【００３６】
このとき、外部サーバでオブジェクトのパターン情報のみでオブジェクトが認識できない場合、制御部１４０は撮影された映像を外部サーバに伝送し直すようになる。これは、外部サーバが撮影された原本映像に基づいてより正確にオブジェクトが認識できるようにするためである。
【００３７】
そして、制御部１４０は、外部サーバから撮影された映像に含まれているオブジェクトの認識結果を受信する。そして、制御部１４０は外部サーバから認識されたオブジェクトの情報を受信する。
【００３８】
一方、保存部１９０にオブジェクト情報に対するデータベースが存在していない場合、制御部１４０は外部サーバに認識されているオブジェクトに対する情報を要請する。すると、外部サーバは、オブジェクトに対する情報を内蔵されている百科事典データベース又はインターネット上のデータベースから検索し、検索されたオブジェクトの情報を撮影装置に提供する。従って、制御部１４０は、外部サーバからオブジェクトに対する情報を受信できるに制御する。
そして、制御部１４０は、受信されたオブジェクト情報が画面に表示されるように制御する。
【００３９】
このように、制御部１４０は、撮影された映像に含まれているオブジェクト情報を提供できるようになる。従って、ユーザは特定オブジェクトを撮影する操作のみで、該当オブジェクトに対する情報を容易に確認できるようになる。
【００４０】
図２は、本発明の一実施形態に係る撮影された映像に含まれているオブジェクトの情報を提供するため方法を説明するためのフローチャートである。
まず、撮影装置１００は特定オブジェクトが含まれている映像を撮影する（Ｓ２１０）。ここで、撮影は、撮影装置１００が撮像素子１２０によって検知された映像を保存する状態だけでなく、撮影装置１００が撮像素子１２０によって検知された映像をディスプレイ１７０に表示する状態（即ち、撮影待ち受け状態）も含む。
【００４１】
この状態で、撮影装置１００は、ユーザの操作により撮影されたオブジェクトに対する情報検索命令を入力される（Ｓ２２０）。ここで、情報検索命令とは、撮影されたオブジェクトが何かに対する情報を百科事典などから検索して画面に表示するようにする命令である。
【００４２】
情報検索命令が入力されると、撮影装置１００は撮影された映像に含まれているオブジェクトが認識できるか否かを判断する（Ｓ２３０）。もし、撮影された映像に含まれているオブジェクトが認識できる場合（Ｓ２３０−Ｙ）、撮影装置１００は撮影された映像からオブジェクトを抽出する（Ｓ２４０）。
【００４３】
具体的に、撮影装置１００は撮影された映像に含まれているオブジェクトのパターン情報を抽出する。例えば、撮影装置１００は撮影された映像からオブジェクトの境界部分を検出し、その境界部分をオブジェクトのパターン情報として認識する。そして、撮影装置１００は検出された境界を中心にした色相の変化、境界の模様、境界をベースとするオブジェクトの輪郭を認識する。撮影装置１００は、このような色相や模様、輪郭を含むパターン情報に基づいて撮影された映像に含まれているオブジェクトを抽出する。
【００４４】
そして、撮影装置１００は抽出されたパターン情報を参考映像と比較し、パターン情報が対応する参考映像を抽出する。ここで、参考映像とは、オブジェクト認識のための各オブジェクトの代表的なイメージのことを意味する。そして、撮影装置１００に対応する参考映像に含まれているオブジェクトが撮影されたオブジェクトと同一であると把握すると、撮影された映像に含まれているオブジェクトがどのようなものかを認識できる。
【００４５】
ここで、オブジェクトとは、撮影された映像の被写体のことを意味する。オブジェクトは、撮影された映像に含まれている人物や建物、動物、昆虫などを例として挙げることができる。従って、オブジェクトが人物である場合、撮影装置１００は顔認識技術を用いてオブジェクトの顔パターン情報を抽出し、参考映像の中から対応する顔映像を検索する。そして、対応する参考映像が存在する場合、撮影されたオブジェクトに示される人物は、その参考映像に対応する人物であると決定される。
【００４６】
なお、オブジェクトが昆虫である場合、撮影装置１００は昆虫のパターン情報を抽出し、参考映像の中から対応する昆虫映像を検索する。そして、対応する参考映像が存在する場合、その撮影されたオブジェクトに示される昆虫は参考映像に対応する昆虫であると示される。
【００４７】
このような過程に通じて、撮影装置１００は撮影された映像に含まれているオブジェクトを認識するようになる。
その後に、撮影装置１００は、保存部１９０にオブジェクト情報が存在するか否かを判断する（Ｓ２５０）。保存部１９０には各種オブジェクトの情報を検索するためのデータベースが保存されている。例えば、保存部１９０には百科事典データベースが保存されていてよい。
【００４８】
従って、撮影装置１００の保存部１９０にオブジェクト情報に対するデータベースが存在すると（Ｓ２５０−Ｙ）、撮影装置１００は一旦保存部１９０に保存されているデータベースからオブジェクトの情報を検索する（Ｓ２６０）。
そして、撮影装置１００は検索されたオブジェクト情報を画面に表示する（Ｓ２７０）。
【００４９】
一方、撮影装置１００がオブジェクトを認識することができない場合（Ｓ２３０−Ｎ）、撮影装置１００は撮影された映像を外部サーバに伝送する（Ｓ２８０）。ここで、外部サーバとは、映像からオブジェクトを認識し、多様なオブジェクトに対する情報を提供する機能を行うサーバである。このような外部サーバは処理速度及び保存容量において撮影装置１００に比べて優れているため、外部サーバがオブジェクトを認識してオブジェクトの情報を検索すると、より正確にオブジェクトを認識してより詳細なオブジェクト情報を得ることができるようになる。従って、撮影装置１００がオブジェクトを認識することができない場合、撮影装置１００は外部サーバに撮影された映像を伝送する。
【００５０】
一方、撮影装置１００は、オブジェクトのパターン情報を抽出した場合、パターン情報のみを外部サーバに伝送してよい。イメージを全て伝送する場合、伝送量が多く処理速度が遅くなるおそれがあるため、撮影装置１００はオブジェクトのパターン情報は抽出できるものの、オブジェクトが認識できない場合、オブジェクトのパターン情報のみを外部サーバに伝送してよい。それにより、撮影装置１００は外部サーバを通じてオブジェクト情報を提供する場合に処理速度を向上させることができるようになる。
【００５１】
このとき、外部サーバでオブジェクトのパターン情報のみでオブジェクトが認識できない場合、撮影装置１００は撮影された映像を外部サーバに伝送し直すようになる。これは、外部サーバが撮影された原本映像に基づいてより正確にオブジェクトが認識できるようにするためである。
そして、撮影装置１００は、外部サーバから撮影された映像に含まれているオブジェクトの認識結果を受信する（Ｓ２８３）。そして、撮影装置１００は外部サーバから認識されたオブジェクトの情報を受信する（Ｓ２８６）。
【００５２】
一方、撮影装置１００にオブジェクト情報に対するデータベースが存在していない場合（Ｓ２５０−Ｎ）、撮影装置１００は外部サーバに認識されているオブジェクトに対する情報を要請する（Ｓ２６０）。すると、外部サーバは、オブジェクトに対する情報を内蔵されている百科事典データベースから検索し、検索されたオブジェクトの情報を撮影装置に提供する。なお、外部サーバは、オブジェクトに対する情報をインターネット上のデータベース（例えば、ＹａｈｏｏやＧｏｏｇｌｅ、Ｎａｖｅｒなどのポータルサイト）から検索し、検索されたオブジェクトの情報を撮影装置に提供する。従って、撮影装置１００は外部サーバからオブジェクトに対する情報を受信する（Ｓ２９３）。
【００５３】
その後、撮影装置１００は受信されたオブジェクト情報を画面に表示する（Ｓ２７０）。
このような過程を通じて、撮影装置１００は撮影された映像に含まれているオブジェクトの情報が提供できるようになる。従って、ユーザは特定オブジェクトを撮影する操作を行うだけで、当該オブジェクトに対する情報を容易に確認できるようになる。
【００５４】
以下では、図３ないし図６を参考にし、撮影された映像に含まれているオブジェクトの情報を表示する過程について説明する。図３は、本発明の一実施形態に係るテントウムシ３１０を撮影した状態で、情報検索命令アイコン３２０をタッチする様子を示す図である。図４は、本発明の一実施形態に係るテントウムシに関する情報が示された画面を示す図である。
【００５５】
図３に示すように、ユーザは撮影装置１００を用いてテントウムシ３１０を撮影した状態である。この状態で、ユーザが情報検索命令アイコン３２０をタッチすると、撮影装置１００は撮影されたテントウムシ３１０をオブジェクトとして認識する。そして、撮影装置１００はテントウムシ３１０に対する情報を保存部１９０に保存されているデータベースから検索する。
【００５６】
一方、撮影装置１００がテントウムシ３１０を認識することができなかった場合、撮影装置１００は外部サーバに撮影された映像を伝送することもできる。そして、撮影装置１００は外部サーバからテントウムシ３１０に対する情報を受信する。
そして、図４に示すように、撮影装置１００は撮影された映像に含まれているオブジェクトがテントウムシ３１０であることを認識し、テントウムシ３１０に対する情報を検索又は受信して画面に表示する。
【００５７】
図５は、本発明の一実施形態に係るエッフェル塔４１０を撮影した状態で情報検索命令アイコン４２０をタッチする様子を示す図である。図６は、本発明の一実施形態に係るエッフェル塔４１０に関する情報が示された画面を示す図である。
図５に示すように、ユーザは撮影装置１００を用いてエッフェル塔４１０を撮影した状態である。この状態で、ユーザが情報検索命令アイコン４２０をタッチすると、撮影装置１００は撮影されたエッフェル塔４１０をオブジェクトとして認識するようになる。そして、撮影装置１００はエッフェル塔４１０に対する情報を保存部１９０に保存されているデータベースから検索する。
【００５８】
一方、撮影装置１００がエッフェル塔４１０を認識することができなかった場合、撮影装置１００は外部サーバに撮影された映像を伝送することもできる。そして、撮影装置１００は外部サーバからエッフェル塔４１０に対する情報を受信する。
【００５９】
そして、図６に示すように、撮影装置１００は撮影された映像に含まれているオブジェクトがエッフェル塔４１０であることを認識し、エッフェル塔４１０に対する情報を検索又は受信して画面に表示する。
【００６０】
以下では、図７ないし図１３を参考にし、撮影装置１００で撮影された映像に含まれているオブジェクトの情報を提供する過程の全般について説明する。図７ないし図１３は、本発明の一実施形態に係る撮影された映像に含まれているオブジェクトの情報を多様な方式で提供する過程を示す図である。
【００６１】
図７は、撮影装置１００がエッフェル塔５１０を撮影した状態を示す図である。その後に、図８のように、撮影装置１００は画面に情報検索命令項目５２０に含まれているメニューを表示する。
【００６２】
そして、図８のように、ユーザが情報検索命令項目５２０をタッチすると、図９に示すように、撮影装置１００は外部サーバ５３０に撮影された映像を伝送する。そして、撮影装置１００は外部サーバ５３０からオブジェクト情報であるエッフェル塔５１０に対する情報を受信する。即ち、外部サーバ５３０が撮影された写真に含まれているオブジェクトがエッフェル塔５１０であることを認識し、エッフェル塔５１０に対する情報を検索して撮影装置１００に伝送するのである。
【００６３】
その後、図１０に示すように、撮影装置１００は画面にエッフェル塔に対する情報５４０を画面に表示する。そして、図１１に示すように、ユーザが保存ボタン５５０をタッチすると、撮影装置１００は画面に表示されているエッフェル塔に対する情報５４０を保存部１９０に保存するようになる。そして、図１２に示すように、撮影装置１００はエッフェル塔に対する情報５４０の保存が完了すると、保存が完了したことを画面に表示するようになる。
【００６４】
即ち、撮影装置１００は、画面に表示されているオブジェクトに対する情報を保存部１９０に保存することができる。従って、ユーザは一度検索したことのあるオブジェクトに対する情報は、今後保存されたファイルで繰り返し確認できるようになる。
なお、撮影装置１００は、撮影された映像と検索されたオブジェクト情報を同時に表示することもできる。具体的に、図１３に示すように、撮影装置１００は画面にエッフェル塔が撮影されている映像５７０がエッフェル塔に対する情報５７５とともに表示されていることを確認することができる。従って、ユーザは一度に撮影された映像と撮影された映像に含まれているオブジェクトの情報を同時に確認できるようになる。
【００６５】
以上のような過程を通じて、撮影装置１００は撮影された映像に含まれているオブジェクトの情報が提供できるようになる。従って、ユーザは特定オブジェクトを撮影する操作だけで当該オブジェクトに対する情報を容易に確認できるようになる。
【００６６】
以下では、図１４を参考にし、オブジェクトを認識する前にオブジェクトのカテゴリを選択する様子について説明する。図１４は、本発明の一実施形態に係るオブジェクトの認識前にオブジェクトのカテゴリ選択メニュー６００を表示している画面を示す図である。
図１４に示すように、撮影装置１００は画面にカテゴリ選択メニュー６００を表示している。ここで、カテゴリとは、撮影された映像に含まれているオブジェクトの種類に対するカテゴリのことを意味する。例えば、図１４に示すように、カテゴリは植物や昆虫、哺乳類、建物及びその他を含んでよい。
【００６７】
撮影装置１００は、情報検索命令が入力されると（即ち、図２のＳ２２０のステップの後に）、カテゴリ選択メニュー６００を画面に表示することができる。すると、ユーザは撮影された画面に含まれているオブジェクトがどのカテゴリに該当するかが選択できるようになる。そして、撮影装置１００は、ユーザによって選択されたカテゴリ内でオブジェクトを認識するようになる。従って、撮影装置１００はより正確かつ迅速にオブジェクトを認識してオブジェクトの情報を検索できるようになる。
【００６８】
なお、撮影装置１００は選択されたカテゴリに対する情報を外部サーバに伝送することもできる。すると、外部サーバは選択されたカテゴリを参考にしてオブジェクトを認識するため、より正確かつ迅速にオブジェクトが認識できるようになる。
【００６９】
一方、撮影装置１００は外部サーバから受信されたオブジェクトの情報を用いてオブジェクトに関連する機能目録をディスプレイしたり、オブジェクトに関連する機能を行うこともできる。
【００７０】
例えば、受信されたオブジェクトの情報が自動車である場合、撮影装置１００は最も近い自動車整備所に電話をかける機能、又は最も近いガソリンスタンドの地図を表示するなどの機能を行うこともできる。なお、撮影装置１００は自動車に関連する機能の目録を画面にディスプレイし、ユーザによって選択された機能を行ってよい。
【００７１】
また、受信されたオブジェクトの情報が子犬である場合、撮影装置１００は現在の位置から最も近い動物病院又はペットショップに電話をかける機能又はペットの飼い方に関するインターネット検索機能を行うこともできる。また、撮影装置１００は子犬に関連する機能の目録を画面にディスプレイし、ユーザによって選択された機能を行うこともできる。
【００７２】
このように、撮影装置１００は、撮影された映像に含まれているオブジェクトに関連する機能を自動的に行うため、ユーザは撮影装置１００を用いて特定オブジェクトを撮影するだけで所望の機能を実行させることができるようになる。
【００７３】
また、撮影装置１００は撮影された映像のオブジェクト情報に基づいて、イメージが表す状況を認識することもできる。そして、撮影装置１００は、特定状況が認識された場合、当該状況に対応する機能を行うこともできる。
【００７４】
例えば、撮影装置１００は撮影された映像に停止している車２台が含まれている場合、それを事故状況と認識することもできる。従って、撮影装置１００は事故状況が認識された場合、事故状況に関連する機能を行うようになる。例えば、撮影装置１００は自動車保険会社に電話をかける機能を行ったり、自動車保険会社の電話番号を画面にディスプレイすることもできる。
【００７５】
なお、撮影装置１００は撮影された映像に火が画面全般に含まれている場合、それを火災状況と認識することもできる。この場合、撮影装置１００は火災状況に関連する機能を行うようになる。例えば、撮影装置１００はサイレンを鳴らす機能を行ったり、消防庁に電話をかける機能を行うこともできる。
【００７６】
このように、撮影装置１００は、撮影された映像の状況を認識し、それに対応する機能を行うこともできる。
本実施形態において、撮影装置１００は映像を撮影可能な機器であれば、如何なる機器であっても適用されてよい。例えば、撮影装置１００は、カメラが搭載された携帯電話、ＭＰ３プレーヤ、ＰＤＡ、ノートパソコンなどであってよい。
【００７７】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００７８】
１１０  レンズ部
１２０  撮像素子
１３０  映像処理部
１６０  映像出力部
１７０  ディスプレイ
１４０  制御部
１８０  コーデック
１９５  通信部
１５０  操作部
１９０  保存部
【図１】
2013502662.tif 000003
【図２】
2013502662.tif 000004
【図３】
2013502662.tif 000005
【図４】
2013502662.tif 000006
【図５】
2013502662.tif 000007
【図６】
2013502662.tif 000008
【図７】
2013502662.tif 000009
【図８】
2013502662.tif 000010
【図９】
2013502662.tif 000011
【図１０】
2013502662.tif 000012
【図１１】
2013502662.tif 000013
【図１２】
2013502662.tif 000014
【図１３】
2013502662.tif 000015
【図１４】
2013502662.tif 000016
【手続補正書】
【提出日】平成24年2月27日(2012.2.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
映像を撮影するステップと、
撮影された映像又は撮影された映像に含まれているオブジェクトのパターン情報を外部サーバに伝送するステップと、
前記外部サーバから前記オブジェクトに対する情報を受信するステップと、
前記受信された情報を画面に表示するステップと
を含むオブジェクト情報の提供方法。
【請求項２】
前記伝送ステップは、
前記撮影された映像に含まれているオブジェクトのパターン情報が抽出されている場合、前記パターン情報を前記外部サーバに伝送することを特徴とする請求項１に記載のオブジェクト情報の提供方法。
【請求項３】
前記外部サーバでオブジェクトのパターンデータのみでオブジェクトが認識できない場合、前記撮影された映像を前記外部サーバに伝送するステップを更に含むことを特徴とする請求項１又は２に記載のオブジェクト情報の提供方法。
【請求項４】
前記伝送ステップは、
前記撮影された映像に含まれているオブジェクトのパターン情報が抽出されていない場合、前記撮影された映像を前記外部サーバに伝送することを特徴とする請求項１ないし３のうちいずれか一項に記載のオブジェクト情報の提供方法。
【請求項５】
前記表示ステップは、
前記受信された情報を前記撮影された映像とともに画面に表示することを特徴とする請求項１ないし４のうちいずれか一項に記載のオブジェクト情報の提供方法。
【請求項６】
前記撮影された映像に含まれているオブジェクトのカテゴリを選択するためのカテゴリ選択メニューを表示するステップを更に含むことを特徴とする請求項１ないし５のうちいずれか一項に記載のオブジェクト情報の提供方法。
【請求項７】
前記カテゴリ選択メニューから選択されたカテゴリ情報を前記外部サーバに伝送するステップを更に含むことを特徴とする請求項６に記載のオブジェクト情報の提供方法。
【請求項８】
前記オブジェクト情報に基づいて、前記オブジェクトに関連する機能のリストをディスプレイするステップと、
前記リストから選択された機能を行うステップと
を更に含むことを特徴とする請求項１ないし７のうちいずれか一項に記載のオブジェクト情報の提供方法。
【請求項９】
前記オブジェクト情報に基づいて、前記オブジェクトに関連する機能を行うステップを更に含むことを特徴とする請求項１ないし８のうちいずれか一項に記載のオブジェクト情報の提供方法。
【請求項１０】
前記オブジェクト情報に基づいて、前記撮影された映像の状況を認識し、前記撮影された映像の状況に関連する機能を行うステップを更に含むことを特徴とする請求項１ないし９のうちいずれか一項に記載のオブジェクト情報の提供方法。
【請求項１１】
映像を撮影する撮像素子と、
外部サーバと通信できるように接続される通信部と、
前記撮影された映像又は撮影された映像に含まれているオブジェクトのパターン情報が外部サーバに伝送され、前記外部サーバから前記オブジェクトに対する情報が受信され、前記受信された情報が画面に表示されるように制御する制御部と
を含む撮影装置。
【請求項１２】
前記制御部は、
前記撮影された映像に含まれているオブジェクトのパターン情報が抽出されている場合、前記パターン情報が前記外部サーバに伝送されるように制御することを特徴とする請求項１１に記載の撮影装置。
【請求項１３】
前記制御部は、
前記外部サーバでオブジェクトのパターンデータのみでオブジェクトが認識できない場合、前記撮影された映像を前記外部サーバに伝送することを特徴とする請求項１１又は１２に記載の撮影装置。
【請求項１４】
前記制御部は、
前記撮影された映像に含まれているオブジェクトのパターン情報が抽出されていない場合、前記撮影された映像が前記外部サーバに伝送されるように制御することを特徴とする請求項１１ないし１３のうちいずれか一項に記載の撮影装置。
【請求項１５】
前記制御部は、
前記受信された情報が前記撮影された映像とともに画面に表示されるように制御することを特徴とする請求項１１ないし１４のうちいずれか一項に記載の撮影装置。
【国際調査報告】
2013502662.tif 000017
2013502662.tif 000018