(57)【要約】【課題】  動画撮像機能を有するモバイル機器に対して小型軽量化を損ねる機能を追加することなく、撮像された映像に係る複雑な処理を行えるようにし、その処理結果をモバイル機器における処理に反映させることで、撮像に係る利便性を向上させる。【解決手段】  カメラ一体型記録再生装置（モバイル機器）１０の撮像部１１によって撮像された画像情報は、送受信部１５によって、ネットワーク６０を通じてサーバ７０に送信される。サーバでは、被写体認識処理部７２による認識処理によって、あらかじめ登録画像データベース７３に格納されている参照画像に映っている所望の被写体が、現在撮像されているか否かの判断処理が行われ、その判断結果に応じた制御コマンドが送り返される。例えば、所望の被写体が現在撮像されていない場合には、ズームアウトやパン／チルトの動作を行わせる制御コマンドが生成されて、所望の被写体の探索が行われる。【選択図】  図１
2006025376.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
前記撮像手段による撮影に関する情報を作成する撮影情報作成手段と、
前記撮影情報作成手段により作成された撮影情報と、撮像装置あるいは撮影者を特定するＩＤ情報とを所定のサーバに送信する信号送信手段と、
前記所定のサーバによって前記撮影情報を用いて処理が行われた結果として得られる制御情報を、前記所定のサーバから受信する信号受信手段とを有し、
前記制御情報により、その動作が制御されるように構成されている撮像装置。
【請求項２】
前記撮影情報は、前記撮像手段により撮像された画像信号を含むことを特徴とする請求項１に記載の撮像装置。
【請求項３】
参照情報を作成する参照情報作成手段と、
前記参照情報を前記所定のサーバに送信するための参照情報送信手段とを有し、
前記制御情報は、前記所定のサーバにおける前記参照情報と送信用情報とを用いた処理により得られたものであることを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記撮像手段により撮像された前記画像信号を記録媒体に記録する記録手段を有し、
前記所定のサーバに送信する前記撮影情報に含まれる画像信号が、前記撮像手段により撮像され、記録に供する画像信号に対して情報量が削減された画像信号であることを特徴とする請求項２に記載の撮像装置。
【請求項５】
撮像装置との通信を行うことが可能な処理サーバであって、
参照情報を、撮像装置あるいはその使用者を特定する前記ＩＤ情報と共に格納するための参照情報データベースと、
前記撮像装置から、前記撮像装置により作成されＩＤ情報を伴った撮影情報を受信する撮影情報受信手段と、
受信された前記ＩＤ情報に対応する参照情報を呼び出し、前記参照情報と前記撮影情報とを用いた処理により、制御情報を作成する制御情報作成手段と、
前記制御情報を前記撮像装置に対して送信する制御情報送信手段とを、
有する処理サーバ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、目標となる所望の被写体を撮像するための撮像装置及び処理サーバに関する。
【背景技術】
【０００２】
近年、デジタルビデオカメラや動画撮像機能付き携帯電話機など、動画撮像機能を有するモバイル機器の普及率が高くなってきており、誰もが気軽に動画撮像が楽しめるようになってきている。
【０００３】
また、例えば、下記の特許文献１には、監視カメラなどによって常に画像を撮像し、例えば、画像処理手段によって、所定の被写体（ペット）を自動識別して、被写体の行動を示す行動情報を記録することが可能なペット監視システムが開示されている。なお、撮像手段によって常に撮像が行われるようにするほか、撮像手段の近傍にセンサを設置して、センサによって被写体となり得るペットが撮像範囲内にいることが検出された場合にのみ撮像が行われるようにする構成も開示されている。
【０００４】
また、例えば、下記の特許文献２には、広視野角の魚眼レンズを備えたＣＣＤ装置と、ＣＣＤ装置によって撮像された映像を伝送する伝送手段と、インターネットなどを介して伝送手段から映像を受信するコンピュータ装置とにより構成されており、コンピュータ装置が、ＣＣＤ装置で撮像された映像（曲面画像）を平面画像に変換して出力することが可能な遠隔映像認識システムが開示されている。
【特許文献１】特開２００３−８５号公報（図１、２、段落００１６−００２９）
【特許文献２】特開２００３−６９９９０号公報（図１、段落００１５−００３０）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の動画撮像機能を有するモバイル機器（例えば、デジタルビデオカメラ）を用いて連続した画像の撮像を行う場合、撮像を行う者（ユーザ）は被写体追尾のために、自らイベントに参加したり、自らが被写体となったりする機会が非常に少なくなるという問題がある。また、例えば、多数の人物が複雑に動き回るイベント（例えば、運動会）などでは、目視だけでは目標となる被写体を見失う可能性があり、また、簡単な認識機能（例えば、色認識や音声認識）を追加しても目標となる被写体を捕らえる確実性は低いことが予想される。一方、モバイル機器に要請されている小型軽量化やコストの低減を図るためには、モバイル機器に複雑な処理を行うための高機能処理手段を新たに追加することは好ましくないのが現状である。
【０００６】
また、上述した特許文献１及び２に開示されている技術によれば、カメラによって撮像された映像をネットワークなどを介して所定のコンピュータに供給し、このコンピュータによって処理することは可能であるが、この処理結果を利用して、撮像手段における撮像の態様を変化させたり、撮像手段を利用しているユーザに対して有用な情報を提供したりすることに関しては、全く示唆されていない。
【０００７】
上記課題を解決するため、本発明では、動画撮像機能を有するモバイル機器に対して小型軽量化を損ねる機能を追加することなく、撮像された映像に係る複雑な処理を行えるようにし、その処理結果をモバイル機器における処理に反映させることで、撮像に係る利便性を向上させるための撮像装置及び処理サーバを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明によれば、撮像手段と、
前記撮像手段による撮影に関する情報を作成する撮影情報作成手段と、
前記撮影情報作成手段により作成された撮影情報と、撮像装置あるいは撮影者を特定するＩＤ情報とを所定のサーバに送信する信号送信手段と、
前記所定のサーバによって前記撮影情報を用いて処理が行われた結果として得られる制御情報を、前記所定のサーバから受信する信号受信手段とを有し、
前記制御情報により、その動作が制御されるように構成されている撮像装置が提供される。
【０００９】
さらに、本発明によれば、上記発明に加えて、前記撮影情報は、前記撮像手段により撮像された画像信号を含むことを特徴とする撮像装置が提供される。
【００１０】
さらに、本発明によれば、上記発明に加えて、参照情報を作成する参照情報作成手段と、
前記参照情報を前記所定のサーバに送信するための参照情報送信手段とを有し、
前記制御情報は、前記所定のサーバにおける前記参照情報と送信用情報とを用いた処理により得られたものであることを特徴とする撮像装置が提供される。
【００１１】
さらに、本発明によれば、上記発明に加えて、前記撮像手段により撮像された前記画像信号を記録媒体に記録する記録手段を有し、
前記所定のサーバに送信する前記撮影情報に含まれる画像信号が、前記撮像手段により撮像され、記録に供する画像信号に対して情報量が削減された画像信号であることを特徴とする撮像装置が提供される。
【００１２】
また、上記目的を達成するため、本発明によれば、撮像装置との通信を行うことが可能な処理サーバであって、
参照情報を、撮像装置あるいはその使用者を特定する前記ＩＤ情報と共に格納するための参照情報データベースと、
前記撮像装置から、前記撮像装置により作成されＩＤ情報を伴った撮影情報を受信する撮影情報受信手段と、
受信された前記ＩＤ情報に対応する参照情報を呼び出し、前記参照情報と前記撮影情報とを用いた処理により、制御情報を作成する制御情報作成手段と、
前記制御情報を前記撮像装置に対して送信する制御情報送信手段とを、
有する処理サーバが提供される。
【発明の効果】
【００１３】
本発明の撮像装置及び処理サーバは、上記構成を有しており、動画撮像機能を有する撮像装置（モバイル機器）に対して小型軽量化を損ねる機能を追加することなく、撮像された映像に係る複雑な処理を行って、その処理結果を撮像装置における処理に反映させることで、撮像に係る利便性が向上されるという効果を有している。特に、目標とする被写体の認識処理（画像認識処理）をサーバに任せるとともに、その処理結果に応じた制御コマンドをサーバから受信することによって、撮像装置において、撮像に係る被写体の特定や被写体の探索、追尾などが可能となる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照しながら、本発明の実施の形態について説明する。
【００１５】
まず、本発明の概要について説明する。本発明は、カメラ一体型記録再生装置（例えば、デジタルビデオカメラなど）で動画撮像をする際に、目標となる被写体（所望の被写体）を特定するための被写体認識機能などの複雑な処理をサーバに任せ、サーバから、この処理結果のみを受けて利用することができるようにするものである。すなわち、カメラ一体型記録再生装置は、小型軽量化を維持したまま、サーバを援用して被写体認識機能（例えば、顔認識処理や輪郭認識処理など）の処理結果を取得することが可能となる。
【００１６】
＜第１の実施の形態＞
まず、本発明の第１の実施の形態について説明する。図１は、本発明の第１の実施の形態におけるシステム構成の一例を示す図である。図１には、カメラ一体型記録再生装置（撮像装置、モバイル機器）１０、雲台（撮像機器支持装置）５０、ネットワーク６０、サーバ（画像認識処理サーバ）７０が図示されている。なお、ここでは、カメラ一体型記録再生装置１０は１台のみ図示されているが、サーバ７０は、複数のカメラ一体型記録再生装置１０に係る制御・管理を行うことが可能である。また、カメラ一体型記録再生装置１０と雲台５０とをまとめて、撮像側又は撮像システムと呼ぶこともある。
【００１７】
図１に示すカメラ一体型記録再生装置１０は、撮像部１１、信号処理部１２、記録再生部１３、送信用情報信号生成部１４、送受信部１５、各種センサ１６、ズーム部１７、マイクロプロセッサ１８、操作部１９、表示部２０、接続部２１、さらに、これらの各構成要素を接続する内部バス２５を有している。なお、ここでは、撮像によって取得した情報を記録媒体に記録するとともに、記録媒体から情報を読み出して再生することができるデジタルビデオカメラなどのカメラ一体型記録再生装置１０を一例に挙げて説明を行うが、必ずしも再生機能や記録機能を有する必要はなく、再生機能を有さないカメラ一体型記録装置や、記録再生機能を有さないネットワークカメラ、監視カメラなどであってもよい。また、図１に示すカメラ一体型記録再生装置１０として、動画撮像機能を有する携帯電話機を利用することも可能である。
【００１８】
撮像部１１は、レンズなどにより構成された外部の景色や人物（被写体）などを撮像するための手段である。また、信号処理部１２は、撮像部１１から出力された信号に係る処理を行う手段であり、例えば、光信号を電気信号に変換する手段を含んでいる。すなわち、撮像部１１及び信号処理部１２は、外部の景色や人物などを撮像し、その撮像情報（動画情報や静止画情報、音声情報を含む）を電気信号として出力する撮像用ユニットである。なお、ここでは、不図示だが、撮像部１１による撮像に伴って、外部の音声を取得し、撮像情報と同期した音声信号を生成する音声取得部を有していてもよい。
【００１９】
信号処理部１２によって処理された信号（撮像情報を含む信号）は、記録再生部１３及び送信用情報信号生成部１４に出力される。なお、以下の説明を明瞭にするため、記録再生部１３による信号処理を信号処理Ａ、送信用情報信号生成部１４及び送受信部１５による信号処理を信号処理Ｂと呼ぶことにする。
【００２０】
記録再生部１３は、信号処理部１２から供給された信号に対して信号処理Ａを行い、記録媒体（テープ、ディスク、メモリなど）への記録用信号に変換するとともに、変換後の信号を当該記録媒体に記録するための手段である。すなわち、記録再生部１３によって、撮像情報が所定の記録媒体に記録される。
【００２１】
一方、送信用情報信号生成部１４は、信号処理部１２から供給された信号に対して信号処理Ｂを行い、ネットワーク６０を通じてサーバ７０に撮像情報やその他の情報を送信可能とするための手段である。送信用情報信号生成部１４は、信号処理部１２から供給された信号に基づいて、所定のフォーマットを有する送信用情報信号を生成し、生成後の送信用情報信号を送受信部１５に出力する。
【００２２】
送受信部１５は、送信用情報信号生成部１４から上述の送信用情報信号を受けて、この送信用情報信号を所定のネットワーク６０を通じてサーバ７０に送信するとともに、サーバ７０から所定のコマンド（後述するズーム制御コマンド、パン制御コマンド、チルト制御コマンドなど）を受信するための手段である。なお、送受信部１５がネットワーク６０に接続するための通信は、無線通信であることが望ましいが、有線通信であってもよい。
【００２３】
また、各種センサ１６は、例えば、撮像画像のフォーカス調整や絞り調整を始めとする外部環境に適応した撮像を行うための外部環境情報取得機能である。本発明では、この各種センサ１６として任意の機能を搭載することが可能である。
【００２４】
また、ズーム部１７は、ズームインやズームアウトの調整を行うための手段である。なお、このズーム部１７によるズームインやズームアウトと連動して、例えば、フォーカス調整が自動的に行われるように構成されていることが望ましい。
【００２５】
また、マイクロプロセッサ１８は、カメラ一体型記録再生装置１０の各構成要素の制御及び信号制御を行うための制御手段である。なお、このマイクロプロセッサ１８によって所定のプログラムを実行することによって、カメラ一体型記録再生装置１０に係る様々な制御を行うことも可能である。
【００２６】
また、操作部１９は、カメラ一体型記録再生装置１０のユーザが手動で操作を行うための手段である。この操作部１９によって、ユーザは、例えば、カメラ一体型記録再生装置１０による撮像開始や撮像終了の指示を行うことが可能である。また、表示部２０は、撮像部１１によって撮像されている画像や、所定の記録媒体に記録された情報の再生画像を表示するためのモニタであり、例えば、液晶ディスプレイやビューファインダなどによって実現可能である。
【００２７】
また、接続部２１は、外部機器との接続を可能とする接続インタフェースであり、例えば、ＩＥＥＥ１３９４やＵＳＢなどの機器間接続用インタフェースによって実現可能である。なお、ここでは、カメラ一体型記録再生装置１０を支持する雲台５０内の電気回路と接続されている。
【００２８】
カメラ一体型記録再生装置１０の接続部２１に接続されている雲台５０は、カメラ一体型記録再生装置１０と電気的に接続されるとともに、カメラ一体型記録再生装置１０を支える支持手段としての機能も有している。この雲台５０は、駆動部５１を有している。駆動部５１は、接続部２１を介してカメラ一体型記録再生装置１０から供給される駆動信号（具体的には、後述のパン制御信号やチルト制御信号）に基づいて、カメラ一体型記録再生装置１０の撮像方向を変更することが可能な手段である。例えば、駆動部５１は、駆動信号に基づいて、カメラ一体型記録再生装置１０本体を水平方向又は垂直方向に回動させることが可能なモータなどを有している。
【００２９】
一方、ネットワーク６０は、カメラ一体型記録再生装置１０とサーバ７０との通信を中継する通信媒体であり、例えば、インターネットやＬＡＮなどによって実現される。なお、ネットワーク６０は、広域ネットワークに限定されず、例えば、ＩＥＥＥ１３９４ケーブルやＵＳＢケーブルなどを介して、カメラ一体型記録再生装置１０とサーバ７０とが直接接続される態様とすることも可能である。
【００３０】
また、サーバ７０は、通信部７１、被写体認識処理部７２、登録画像データベース７３、コマンド生成部７４を有している。通信部７１は、ネットワーク６０を介して、カメラ一体型記録再生装置１０との通信を行うための手段である。この通信部７１によって、サーバ７０は、カメラ一体型記録再生装置１０から送信用情報信号を受信するとともに、コマンド生成部７４によって生成された所定のコマンドをカメラ一体型記録再生装置１０に対して送信することが可能となる。
【００３１】
また、被写体認識処理部７２は、送信用情報信号に含まれるカメラ一体型記録再生装置１０によって撮像された画像情報や、参照画像の画像解析を行い、被写体の人物特定を行うための手段である。被写体認識処理部７２では、例えば、送信用情報信号に含まれる被写体の画像から、被写体の顔認識処理が行われるとともに、登録画像データベース７３に登録されている参照画像と、送信用情報信号に含まれる被写体の画像との比較処理が行われて、被写体が、参照画像に映っている人物と一致するか否かが判定される。なお、被写体認識処理部７２は、高い認識処理機能を有することが望ましく、低解像度の画像情報でも目標となる被写体の認識や、多数の対象物が撮像されている画像情報から目標となる被写体の認識が確実にできる機能を実装していることが望ましく、特に、認識の確実性・信頼性の高い顔認識技術を実装していることが望ましい。
【００３２】
また、登録画像データベース７３は、被写体認識処理部７２における被写体の人物特定を行う際に参照される参照画像を格納するためのデータベースである。なお、被写体認識処理部７２における被写体の人物特定の前に、登録画像データベース７３に参照画像があらかじめ格納される必要がある。また、登録画像データベース７３に登録される参照画像は複数でもよく、例えば、後述の図３に模式的に示すように登録画像データベース７３に参照画像が登録される。
【００３３】
また、コマンド生成部７４は、被写体認識処理部７２による人物特定に係る処理結果に応じて、カメラ一体型記録再生装置１０における撮像の態様を制御するためのコマンドを生成する手段である。具体的には、コマンド生成部７４によって、ズーム制御コマンド（ズームイン信号やズームアウト信号）、パン制御コマンドやチルト制御コマンド（パン制御信号やチルト制御信号）が生成される。
【００３４】
次に、図２のフローチャートを参照しながら、被写体認識処理部７２における被写体の人物特定の前に行われる必要がある登録画像データベース７３への参照画像の登録処理について説明する。図２は、本発明の第１の実施の形態における登録画像データベースへの参照画像の登録の際のカメラ一体型記録再生装置側の処理例を示すフローチャートである。
【００３５】
まず、カメラ一体型記録再生装置１０において、ユーザによって、参照画像の登録開始操作が行われる（ステップＳ１０１）。この登録開始操作は、具体的には、参照画像として登録する画像の選択操作などである。例えば、ユーザは、参照画像として登録する被写体を撮像することによって、被写体が撮像された画像を取得したり、あらかじめ記録媒体に記録されている画像を表示部２０に表示しながら、所望の被写体が撮像された適切な画像を参照画像として選択したりすることが可能である。
【００３６】
ステップＳ１０１において参照画像として登録する画像が選択された場合、この参照画像に対して、画像ＩＤ及び機器ＩＤが付加される（ステップＳ１０３、Ｓ１０５）。この画像ＩＤは、複数の画像を参照画像として、サーバ７０に登録した場合でも、特定の画像を識別することを可能とするために付加されるものであり、例えば、画像ＩＤによって、複数の被写体のそれぞれが撮像されている画像の識別、すなわち、複数の被写体のそれぞれの識別を行うことが可能となる。また、機器ＩＤは、カメラ一体型記録再生装置１０を識別するための情報であり、この機器ＩＤの付加によって、サーバ７０側で複数のカメラ一体型記録再生装置１０をそれぞれ選別して、参照画像の管理を行うことが可能となる。
【００３７】
そして、カメラ一体型記録再生装置１０において送信操作が行われた場合（ステップＳ１０７で「はい」）には、参照画像、画像ＩＤ、機器ＩＤのセットの情報（参照画像＋画像ＩＤ＋機器ＩＤの情報）がサーバ７０に送信される（ステップＳ１０９）。参照画像＋画像ＩＤ＋機器ＩＤの情報を受信したサーバ７０では、これらの情報に基づいて、参照画像の登録処理が行われる。
【００３８】
図３は、本発明の第１の実施の形態における登録画像データベースに参照画像が登録された状態を模式的に示す図である。サーバ７０の登録画像データベース７３では、機器ＩＤ（図３に示す機器ＩＤ：０００１、０００２・・・）ごとに参照画像が管理される。さらに、各機器ＩＤに関連して、参照画像が画像ＩＤ（図３に示す画像ＩＤ：Ｎ００１、Ｎ００２、Ｎ００３・・・）ごとに管理される。したがって、例えば、機器ＩＤ：０００１、画像ＩＤ：Ｎ００１のセットから、参照画像ｄａｔａ００１が特定されるように、画像ＩＤ及び機器ＩＤのセットから所望の参照画像が特定される。
【００３９】
サーバ７０は、参照画像の登録を完了した場合、カメラ一体型記録再生装置１０に対して登録完了情報を返信する。また、参照画像の登録が完了できなかった場合には、カメラ一体型記録再生装置１０に対してエラー発生情報を返信する。カメラ一体型記録再生装置１０が、サーバ７０から登録完了情報を受信した場合（ステップＳ１１１で「はい」）には、サーバ援用機能の準備が完了となる（ステップＳ１１３）。一方、参照画像＋画像ＩＤ＋機器ＩＤの情報を送信してから所定の時間が経過してもサーバ７０から登録完了情報を受信できない場合（タイムオーバの場合）や、サーバ７０からエラー発生情報を受信した場合（ステップＳ１１５で「はい」）には、表示部２０などを用いてメッセージを表示することによって、その旨を通知し（ステップＳ１１７）、参照画像＋画像ＩＤ＋機器ＩＤの情報の送信が再度行われるようにする。
【００４０】
以上の図２のフローチャートに示す処理によって、サーバ７０の登録画像データベース７３において、同一機器（同一のカメラ一体型記録再生装置１０）に対して複数の参照画像が登録可能となるとともに、画像ＩＤ及び機器ＩＤの２つのＩＤによって、参照画像が特定可能となる。これにより、機器ＩＤが一致するカメラ一体型記録再生装置１０からのみ、その機器ＩＤに関連付けられた参照画像にアクセスすることが可能となり、必要とする参照画像を画像ＩＤによって選択することが可能となる。
【００４１】
なお、上述の参照画像の登録処理では、カメラ一体型記録再生装置１０から参照画像の登録が行われる態様について説明しているが、ＰＣなどからサーバ７０にアクセスして、参照画像の登録を行えるようにすることも可能である。また、ここでは、参照画像と関連付けられる情報の１つとして、カメラ一体型記録再生装置１０を識別する機器ＩＤが用いられているが、カメラ一体型記録再生装置１０のユーザを特定するユーザＩＤを用いてもよく、これによって、複数のカメラ一体型記録再生装置１０を有する同一ユーザが、ユーザＩＤを用いることによって、どのカメラ一体型記録再生装置１０を利用している場合でも、自分が登録した参照画像にアクセスすることが可能となる。
【００４２】
次に、図４を参照しながら、カメラ一体型記録再生装置１０による撮像時におけるカメラ一体型記録再生装置１０及びサーバ７０の動作の概要について説明する。図４は、本発明の第１の実施の形態におけるカメラ一体型記録再生装置１０による撮像時の処理に係る流れを示すシーケンスチャートである。なお、サーバ７０の登録画像データベース７３への参照画像の登録は既に行われており、サーバ援用に係る準備が完了しているものとする。
【００４３】
カメラ一体型記録再生装置１０において撮像動作が開始されると、カメラ一体型記録再生装置１０からサーバ７０に対して、画像ＩＤ及び機器ＩＤが付加された撮像情報がリアルタイムに送信される（ステップＳ４０１）。なお、付加される画像ＩＤは、ユーザによって選択された目標となる被写体（利用する参照画像）に応じて決定される。
【００４４】
サーバ７０は、画像ＩＤ及び機器ＩＤから参照画像を特定するとともに、カメラ一体型記録再生装置１０から受信した撮像情報の画像解析を行って、撮像情報内に存在する被写体と、参照画像に映っている被写体とが一致するか否かを判断する比較処理を行う（ステップＳ４０３）。そして、この比較処理結果に応じて、カメラ一体型記録再生装置１０に係る動作を制御するための制御コマンドを生成し（ステップＳ４０５）、カメラ一体型記録再生装置１０に対して制御コマンドを送信する（ステップＳ４０７）。
【００４５】
サーバ７０から制御コマンドを受信したカメラ一体型記録再生装置１０は、この制御コマンドに基づく動作を行うことによって、被写体の特定、ズームやパン・チルトなどの撮像態様の変更など、様々な動作を行うことが可能となる。例えば、サーバ７０からパン制御コマンドやチルト制御コマンドを含む情報を受信した場合、これらのコマンドは、接続部２１を通じて雲台５０の駆動部５１に、パン制御信号やチルト制御信号などの駆動信号として供給され、駆動部５１は、これらの駆動信号に基づいたパン動作（撮像方向を水平方向に移動）やチルト動作（撮像方向を垂直方向に移動）を行う。また、例えば、サーバ７０からズーム制御コマンドを含む情報を受信した場合、このコマンドは、ズーム部１７に供給され、ズームインやズームアウトなどの動作が行われる。
【００４６】
上述した図４のシーケンスチャートに示す動作について、カメラ一体型記録再生装置１０及びサーバ７０のそれぞれに関して、図５及び図６を参照しながら、さらに詳細に説明する。
【００４７】
まず、カメラ一体型記録再生装置１０の動作について説明する。図５は、本発明の第１の実施の形態におけるカメラ一体型記録再生装置の動作を示すフローチャートである。カメラ一体型記録再生装置１０において撮像が開始されると、その撮像情報は、信号処理Ａ（記録再生部１３による処理）によって処理されるとともに、信号処理Ｂ（送信用情報信号生成部１４及び送受信部１５による処理）によって処理される。信号処理Ｂでは、送信用情報信号生成部１４によって、撮像情報に対して、参照画像を特定するための画像ＩＤ及び機器ＩＤが付加され、ネットワーク６０を通じてサーバ７０に送信するための送信用情報信号に変換されて、送受信部１５からサーバ７０に送信される（ステップＳ５０１：図４のステップＳ４０１に対応）。
【００４８】
なお、送信用情報信号に含まれる撮像情報としては、撮像された動画情報をそのまま利用することも可能であり、また、撮像された動画情報からキャプチャされた静止画情報を利用することも可能である。また、サーバ７０への送信用情報信号の送信（すなわち、撮像情報の送信）は定期的に行われることが望ましく、例えば、ＭＰＥＧのｉピクチャ間隔で、周期的に送信用情報信号の生成及びサーバ７０への送信が行われるように構成することが可能である。
【００４９】
そして、カメラ一体型記録再生装置１０は、絶えずサーバ７０に対して撮像情報の送信を行うとともに、サーバ７０からの制御コマンドの送信の待機状態となる（ステップＳ５０３）。そして、送受信部１５によって、サーバ７０から制御コマンドを受信した場合には、マイクロプロセッサ１８によって、制御コマンドの解釈が行われ、この制御コマンドに応じた動作が行われる（ステップＳ５０５：図４のステップＳ４０９に対応）。このときの動作は、サーバ７０によって生成された制御コマンドに完全に依存している。なお、制御コマンド及び制御コマンドに係る動作の具体例については、後で説明する。
【００５０】
このように、サーバ７０からの制御コマンドに基づいた動作は、ユーザによる終了操作が行われるまで続けられ、例えば、ユーザによって終了操作（撮像の終了操作やサーバ援用機能の終了操作）が行われた場合（ステップＳ５０７で「はい」）に、動作は終了となる。
【００５１】
次に、サーバ７０の動作について説明する。図６は、本発明の第１の実施の形態におけるサーバの動作を示すフローチャートである。サーバ７０は、カメラ一体型記録再生装置１０におけるステップＳ５０１の処理によって送信される撮像情報を受信し、受信した撮像情報から画像ＩＤ及び機器ＩＤを認識する（ステップＳ６０１）。そして、登録画像データベース７３内に格納されている情報を参照して、画像ＩＤ及び機器ＩＤから参照画像を検索し、特定する（ステップＳ６０３）。
【００５２】
参照画像が特定されたら、サーバ７０の被写体認識処理部７２は、撮像情報内に含まれる撮像画像の画像認識を行い、特定された参照画像との比較処理を行う。例えば、撮像画像内に映っている人物像、及び、参照画像内の人物像の両方の輪郭や顔などを画像認識技術によって認識して、相互を比較する処理を行う（ステップＳ６０５：図４のステップＳ４０３に対応）。
【００５３】
そして、ステップＳ６０５の比較結果が一致の場合（すなわち、参照画像内に映っている被写体が撮像情報の画像内にも映っている場合）には、「比較結果＝一致」に応じたＯＫメッセージを生成する（ステップＳ６０７）。一方、ステップＳ６０５の比較結果が不一致の場合（すなわち、参照画像内に映っている被写体が撮像情報の画像内に映っていない場合）には、「比較結果＝不一致」に応じた制御コマンドを生成する（ステップＳ６０９：図４のステップＳ４０５に対応）。なお、「比較結果＝一致」の場合には、ＯＫメッセージを生成する代わりに、何も行わないようにすることも可能であり、また、被写体の撮像が継続されるような制御コマンドを生成することも可能である。
【００５４】
そして、ＯＫメッセージや制御コマンドを生成したサーバ７０は、撮像情報を受信したカメラ一体型記録再生装置１０（機器ＩＤによって特定されるカメラ一体型記録再生装置１０）に対して、ＯＫメッセージ又は制御コマンドを返す（ステップＳ６１１：図４のステップＳ４０７に対応）。
【００５５】
次に、具体的な制御コマンド及び制御コマンドに基づくカメラ一体型記録再生装置１０の動作について説明する。基本的には、参照画像内に映っている被写体が撮像情報の画像内に映っているか否かによって、サーバ７０における制御コマンドの生成処理の態様は異なるものとなる。
【００５６】
図４のステップＳ４０３（図６のステップＳ６０５）において、参照画像内に映っている被写体が撮像情報の画像内にも映っていると判断された場合には、現在、目標となる被写体が既に撮像方向に存在し、撮像されている状態なので、特に処理が行われる必要がない。したがって、サーバ７０は、制御コマンドやメッセージの生成及び送信を行わなくてもよい。
【００５７】
また、図６のフローチャートのステップＳ６０７及びＳ６１１に示すように、サーバ７０はＯＫメッセージの生成及び送信を行うことも可能である。ＯＫメッセージを受信したカメラ一体型記録再生装置１０は、例えば、表示部２０において、現在撮像されている撮像画像上に、目標となる被写体が映っていることを示す情報（例えば、ＯＫの文字や記号など）をスーパインポーズすることによって、ユーザに対して、目標となる被写体が撮像されている旨を報知することが可能である。
【００５８】
また、目標となる被写体がフレームアウトせず、常に撮像され続けるように、目標となる被写体の自動追尾処理を行うことも可能である。この自動追尾処理では、目標となる被写体が常に撮像情報の画像内に撮像されるようにするための制御コマンドが生成される。例えば、サーバ７０は、撮像情報の画像内における被写体の位置を確認し、目標となる被写体が常に撮像情報の画像内の中心に映るようにパン制御コマンドやチルト制御コマンドを生成して、カメラ一体型記録再生装置１０に送信することによって、被写体の追尾が可能となる。また、サーバ７０が、被写体の動きを検出及び予想して、被写体がフレームアウトしそうになった段階で、パン制御コマンドやチルト制御コマンドを生成して、被写体が常に撮像され続けるようにすることも可能である。
【００５９】
また、例えば、サーバ７０は、目標となる被写体を強調表示するための表示制御コマンドを生成して、カメラ一体型記録再生装置１０に送信することも可能である。この場合には、表示制御コマンドの実行によって、例えば、表示部２０において、現在撮像されている撮像画像内の目標となる被写体の位置を示す矢印マークを表示するなどの処理を行うことが可能となる。
【００６０】
一方、図４のステップＳ４０３（図６のステップＳ６０５）において、参照画像内に映っている被写体が撮像情報の画像内に映っていないと判断された場合には、現在、目標となる被写体が撮像されていない状態であり、被写体の探索が行われる必要がある。このとき、サーバ７０は、被写体の探索に係る制御コマンドを生成して送信する。
【００６１】
被写体の探索に係る制御コマンドとしては、ズームアウト制御コマンド、パン制御コマンド、チルト制御コマンドなどが利用可能である。例えば、サーバ７０は、ズームアウト制御コマンドを生成して、カメラ一体型記録再生装置１０に送信することが可能である。カメラ一体型記録再生装置１０のズーム部１７は、このズームアウト制御コマンドに基づくズームアウト処理を行うことによって、撮像範囲が広がり、撮像情報の画像内に目標となる被写体がフレームインする可能性がある。
【００６２】
また、例えば、サーバ７０は、パン制御コマンドやチルト制御コマンドを生成して、カメラ一体型記録再生装置１０に送信することが可能である。これらのコマンドは接続部２１を通じて雲台５０に送られ、雲台５０の駆動部５１が、撮像方向を水平方向又は垂直方向に回動させる処理を行う。これによって、撮像方向が変化して撮像可能空間が走査され、撮像情報の画像内に目標となる被写体が見つかる可能性がある。なお、サーバ７０における被写体の探索処理（被写体の探索に係る制御コマンドの生成処理及び送信処理）は、目標となる被写体が発見されるまで行われることが望ましい。
【００６３】
また、参照画像内に映っている被写体が撮像情報の画像内にも映っている場合にＯＫメッセージを送信するのと同様に、参照画像内に映っている被写体が撮像情報の画像内に映っていない場合に、単にＮＧメッセージを生成して送信することも可能である。この場合も、例えば、カメラ一体型記録再生装置１０の表示部２０において、現在撮像されている撮像画像上に、目標となる被写体が映っていないことを示す情報（例えば、ＮＧの文字や記号など）をスーパインポーズすることによって、ユーザに対して、目標となる被写体が撮像されていない旨を報知することが可能である。これにより、ユーザは、他の人物などに撮像方向を変える操作を行うことによって、目標となる被写体が撮像されるようにすることが可能となる。
【００６４】
また、上述したサーバを援用したシステムに、さらに課金システムを加えることも可能である。例えば、カメラ一体型記録再生装置１０内のメモリなどにプリペイド情報を持たせ、サーバ７０側で、参照画像内に映っている被写体が撮像情報の画像内にも映っていると判断された場合や、制御コマンドが生成及び送信された場合に、サーバ７０からカメラ一体型記録再生装置１０に対して、制御コマンドを含む制御信号の情報量に応じた課金信号が送信されるようにし、カメラ一体型記録再生装置１０は、この課金信号を受けて、課金信号によって指示される額をプリペイド残額から減額するように構成することが可能である。また、プリペイド残額がゼロになった場合には、サーバ７０を援用する被写体認識サービスは、一時中断となる。なお、上述の課金システムは一例であり、任意の課金システムや課金方法（従量制や時間性など）を利用することが可能である。
【００６５】
以上、説明したように、上述の第１の実施の形態によれば、カメラ一体型記録再生装置１０は、被写体認識機能を有するサーバ７０を援用し、目標となる被写体の認識処理及び認識結果に基づくコマンドの生成処理をサーバ７０に任せることによって、カメラ一体型記録再生装置１０に小型軽量化を損ねる機能を付加することなく、目標とする被写体の認識や自動追尾を行ったり、目標とする被写体が撮像されていない場合に、被写体の探索を行ったりすることが可能となる。
【００６６】
＜第２の実施の形態＞
上述の第１の実施の形態では、カメラ一体型記録再生装置１０内に送信用情報信号生成部１４及び送受信部１５が内蔵されている構成としたが、第２の実施の形態では、カメラ一体型記録再生装置１０を、従来のデジタルビデオカメラと同様に、撮像機能、記録機能、再生機能のみを有する装置とし、図１に示す送信用情報信号生成部１４及び送受信部１５の機能を雲台５０に設けるようにしている。したがって、例えば、従来のデジタルビデオカメラに、後述する雲台９０（図７参照）を接続することによって、本発明が実現可能となる。
【００６７】
図７は、本発明の第２の実施の形態におけるシステム構成の一例を示す図である。図７には、カメラ一体型記録再生装置８０、雲台９０、ネットワーク６０、サーバ７０が図示されている。図１に示すシステム構成との差異は、図１に示すカメラ一体型記録再生装置１０に含まれる送信用情報生成部１４及び送受信部１５が、送信用情報生成部９１及び送受信部９２として、雲台９０に含まれている点である。そして、信号処理Ｂのために送信用情報信号生成部９１及び送受信部９２に対して供給される撮像情報やその他の情報や、サーバ７０から受信した制御コマンドなどは、接続部２１を介して、カメラ一体型記録再生装置８０と雲台９０との間でやり取りされる。
【００６８】
図７の構成によれば、上述のように、例えば、カメラ一体型記録再生装置８０として、従来の小型軽量化されたデジタルビデオカメラを使用し、このデジタルビデオカメラに雲台９０を接続するだけで、上述した第１の実施の形態と同一の動作及び効果を実現することが可能となる。なお、図７に示す構成では、第１の実施の形態で説明した動作と同一の動作（例えば、図２、５、６に示すフローチャートの動作や図４に示すシーケンスチャートの動作）を行うことが可能である。
【産業上の利用可能性】
【００６９】
本発明は、動画撮像機能を有する撮像装置（モバイル機器）に対して小型軽量化を損ねる機能を追加することなく、撮像された映像に係る複雑な処理を行って、その処理結果を撮像装置における処理に反映させることで、撮像に係る利便性が向上されるという効果を有しており、目標となる所望の被写体を撮像するための技術に適用される。特に、イベント開催会場などの多数の人物が存在する場所において、多数の人物の中から所望の被写体を特定するための技術に利用可能である。また、本発明に係る機器の利用及び貸し出しシステムや、被写体認識サービスを用いた課金システムとして利用可能である。
【図面の簡単な説明】
【００７０】
【図１】本発明の第１の実施の形態におけるシステム構成の一例を示す図である。
【図２】本発明の第１の実施の形態における登録画像データベースへの参照画像の登録の際のカメラ一体型記録再生装置側の処理例を示すフローチャートである。
【図３】本発明の第１の実施の形態における登録画像データベースに参照画像が登録された状態を模式的に示す図である。
【図４】本発明の第１の実施の形態におけるカメラ一体型記録再生装置による撮像時の処理に係る流れを示すシーケンスチャートである。
【図５】本発明の第１の実施の形態におけるカメラ一体型記録再生装置の動作を示すフローチャートである。
【図６】本発明の第１の実施の形態におけるサーバの動作を示すフローチャートである。
【図７】本発明の第２の実施の形態におけるシステム構成の一例を示す図である。
【符号の説明】
【００７１】
１０、８０  カメラ一体型記録再生装置（撮像装置、モバイル機器）
１１  撮像部
１２  信号処理部
１３  記録再生部
１４、９１  送信用情報信号生成部
１５、９２  送受信部
１６  各種センサ
１７  ズーム部
１８  マイクロプロセッサ
１９  操作部
２０  表示部
２１  接続部
２５  内部バス
５０、９０  雲台（撮像機器支持装置）
５１  駆動部
６０  ネットワーク
７０  サーバ（画像認識処理サーバ）
７１  通信部
７２  被写体認識処理部
７３  登録画像データベース
７４  コマンド生成部
【図１】
2006025376.tif 000003
【図２】
2006025376.tif 000004
【図３】
2006025376.tif 000005
【図４】
2006025376.tif 000006
【図５】
2006025376.tif 000007
【図６】
2006025376.tif 000008
【図７】
2006025376.tif 000009