(57)【要約】【課題】画像データに適切なキーワードを簡単に付加できる画像キーワード編集システム、画像キーワード提供サーバ、画像キーワード編集装置を提供する。【解決手段】ネットワーク10に接続されて、画像データに関連するキーワードを提供する画像キーワード提供サーバ30と、ネットワーク10を介して画像キーワード提供サーバ30に接続可能な画像キーワード編集装置20とを有し、画像キーワード編集装置20は、画像データの画像特徴部を、ネットワーク10を介して画像キーワード提供サーバ30に送信し、画像キーワード提供サーバ30は、画像キーワード編集装置20から受信した画像特徴部を有する類似の画像データに関連するキーワードを、ネットワーク10を介して画像キーワード編集装置20に送信し、画像キーワード編集装置20は、画像キーワード提供サーバ30から受信したキーワードを編集して、対応する画像データに関連付けて記録する。【選択図】図１
2008269411.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークに接続されて、画像データに関連するキーワードを提供する画像キーワード提供サーバと、
前記ネットワークを介して前記画像キーワード提供サーバに接続可能な画像キーワード編集装置とを有し、
前記画像キーワード編集装置は、画像データの画像特徴部を、前記ネットワークを介して前記画像キーワード提供サーバに送信し、
前記画像キーワード提供サーバは、前記画像キーワード編集装置から受信した前記画像特徴部を有する類似の画像データに関連するキーワードを、前記ネットワークを介して前記画像キーワード編集装置に送信し、
前記画像キーワード編集装置は、前記画像キーワード提供サーバから受信した前記キーワードを編集して、対応する画像データに関連付けて記録することを特徴とする画像キーワード編集システム。
【請求項２】
前記画像キーワード編集装置は、
被写体を撮影して、その画像データを関連するキーワードとともに記録するデジタルカメラ機能と、前記ネットワークに接続可能な通信機能とを有する、カメラ付き携帯通信端末からなることを特徴とする請求項１に記載の画像キーワード編集システム。
【請求項３】
ネットワークに接続されて、画像データに関連するキーワードを提供する画像キーワード提供サーバであって、
複数の画像データを、関連するキーワードとともに記録した画像データベースと、
前記ネットワークを介して受信した画像特徴部に基づいて、前記画像データベースから類似の画像データに関連するキーワードを作成するキーワード作成部とを有し、
前記キーワード作成部で作成したキーワードを、前記画像特徴部の送信元に、前記ネットワークを介して提供するように構成したことを特徴とする画像キーワード提供サーバ。
【請求項４】
前記キーワード作成部は、
前記受信した画像特徴部に基づいて、前記画像データベースから類似の画像データを検索する類似画像検索手段と、
該類似画像検索手段で検索された類似の画像データに関連するキーワードを集計するキーワード集計手段とを有し、
前記キーワード集計手段で集計されたキーワードを、前記画像特徴部の送信元に提供するように構成したことを特徴とする請求項３に記載の画像キーワード提供サーバ。
【請求項５】
前記キーワード集計手段は、集計したキーワードのうち、出現頻度の高いキーワードをリストとして、前記画像特徴部の送信元に提供するように構成したことを特徴とする請求項４に記載の画像キーワード提供サーバ。
【請求項６】
画像データに関連するキーワードを提供する画像キーワード提供サーバに、ネットワークを介して接続可能な画像キーワード編集装置であって、
前記ネットワークを介して前記画像キーワード提供サーバと通信する通信手段と、
被写体を撮影して画像データを出力する撮像手段と、
該撮像手段で撮影された前記被写体の画像データから画像特徴部を抽出する画像特徴部抽出手段と、
前記被写体の画像データを表示するとともに、前記画像キーワード提供サーバから提供される当該画像データに関連するキーワードを表示する表示手段と、
該表示手段に表示されたキーワードから所望のキーワードを選択するキーワード選択手段と、
前記撮像手段で撮影した被写体の画像データを記録するとともに、前記キーワード選択手段で選択された当該画像データに関連するキーワードを記録する画像記録手段とを有し、
前記撮像手段で撮影された前記被写体の画像データを前記表示手段に表示するとともに、該画像データの画像特徴部を前記画像特徴部抽出手段で抽出して、前記通信手段により前記ネットワークを介して前記画像キーワード提供サーバへ送信し、前記画像キーワード提供サーバから前記ネットワークを介して前記通信手段により受信される前記画像特徴部に対応するキーワードを前記表示手段に表示して、該表示手段に表示されたキーワードから前記キーワード選択手段により所望のキーワードを選択し、該選択されたキーワードを対応する画像データに関連付けて前記画像記録手段に記録するように構成したことを特徴とする画像キーワード編集装置。
【請求項７】
前記画像特徴部抽出手段は、前記画像データから人物の顔を含む部分画像を前記画像特徴部として抽出することを特徴とする請求項６に記載の画像キーワード編集装置。
【請求項８】
前記画像特徴部抽出手段は、前記画像データから合焦点周辺を含む部分画像を前記画像特徴部として抽出することを特徴とする請求項６に記載の画像キーワード編集装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データに、関連するキーワードを付加して記録する画像キーワード編集システム、およびこれに用いる画像キーワード提供サーバ並びに画像キーワード編集装置に関するものである。
【背景技術】
【０００２】
従来、デジタルカメラやカメラ付き携帯電話などのデジタル画像を記録する携帯撮影端末では、撮影したデジタル画像を、後に整理、検索し易いように、携帯撮影端末の入力手段を用いて、キーワードをユーザが自ら入力し、その入力されたキーワードを、例えば画像データのヘッダに付加することにより、関連付けして記録することが知られている。また、携帯撮影端末で撮影して得た画像データを、パソコンやウェブサーバに転送した後、ユーザがキーボード入力によって、画像データにキーワードを付加するソフトウェアやシステムも知られている。
【０００３】
ところが、ユーザがマニュアルでキーワードを入力するのは、手間がかかる。そこで、このような手間を省き、画像データに、関連する情報を簡単に付加できるシステムとして、最近では、例えば、携帯撮影端末の位置情報を、ネットワークを介してサーバに送信し、その位置情報に関わる関連情報をサーバから取得して、その取得した関連情報を画像データに付加するシステムが提案されている（例えば、特許文献１，２参照）。
【０００４】
また、他のシステムとして、携帯撮影端末に搭載されている時計からの日時情報や、ＧＰＳセンサなどからの位置情報を、撮影時に、画像データに付加して記録した後、当該画像データに付加されている位置情報および日時情報を、ネットワークを介してサーバに送信することにより、サーバから最新の関連情報を取得して、当該画像データの関連情報を自動的に更新するようにしたシステムも提案されている（例えば、特許文献３参照）。
【０００５】
【特許文献１】特開２００３−２４４５９２号公報
【特許文献２】特開２００４−８０２４３号公報
【特許文献３】特開２００６−１４６４７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１〜３に開示のシステムにあっては、少なくとも携帯撮影端末の位置情報を必要とするため、位置情報の取得機能のない携帯撮影端末や、端末側の画像データ若しくはサーバ側のデータベースにある画像データに位置情報が記録されていない場合には、適切な関連情報が得られないことになる。
【０００７】
また、携帯撮影端末の位置や時間によって、関連情報を取得するため、取得できる関連情報が極めて限定的になることも懸念される。さらに、特許文献３に開示のように、関連情報を自動的に更新する場合には、ユーザ側において、適切と思われない関連情報に更新される恐れもある。
【０００８】
したがって、かかる点に鑑みてなされた本発明の目的は、画像データに、適切なキーワードを簡単に付加できる画像キーワード編集システム、およびこれに用いる画像キーワード提供サーバ並びに画像キーワード編集装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成する請求項１に係る画像キーワード編集システムの発明は、
ネットワークに接続されて、画像データに関連するキーワードを提供する画像キーワード提供サーバと、
前記ネットワークを介して前記画像キーワード提供サーバに接続可能な画像キーワード編集装置とを有し、
前記画像キーワード編集装置は、画像データの画像特徴部を、前記ネットワークを介して前記画像キーワード提供サーバに送信し、
前記画像キーワード提供サーバは、前記画像キーワード編集装置から受信した前記画像特徴部を有する類似の画像データに関連するキーワードを、前記ネットワークを介して前記画像キーワード編集装置に送信し、
前記画像キーワード編集装置は、前記画像キーワード提供サーバから受信した前記キーワードを編集して、対応する画像データに関連付けて記録することを特徴とするものである。
【００１０】
請求項２に係る発明は、請求項１に記載の画像キーワード編集システムにおいて、
前記画像キーワード編集装置は、
被写体を撮影して、その画像データを関連するキーワードとともに記録するデジタルカメラ機能と、前記ネットワークに接続可能な通信機能とを有する、カメラ付き携帯通信端末からなることを特徴とするものである。
【００１１】
さらに、上記目的を達成する請求項３に係る画像キーワード提供サーバの発明は、
ネットワークに接続されて、画像データに関連するキーワードを提供する画像キーワード提供サーバであって、
複数の画像データを、関連するキーワードとともに記録した画像データベースと、
前記ネットワークを介して受信した画像特徴部に基づいて、前記画像データベースから類似の画像データに関連するキーワードを作成するキーワード作成部とを有し、
前記キーワード作成部で作成したキーワードを、前記画像特徴部の送信元に、前記ネットワークを介して提供するように構成したことを特徴とするものである。
【００１２】
請求項４に係る発明は、請求項３に記載の画像キーワード提供サーバにおいて、
前記キーワード作成部は、
前記受信した画像特徴部に基づいて、前記画像データベースから類似の画像データを検索する類似画像検索手段と、
該類似画像検索手段で検索された類似の画像データに関連するキーワードを集計するキーワード集計手段とを有し、
前記キーワード集計手段で集計されたキーワードを、前記画像特徴部の送信元に提供するように構成したことを特徴とするものである。
【００１３】
請求項５に係る発明は、請求項４に記載の画像キーワード提供サーバにおいて、
前記キーワード集計手段は、集計したキーワードのうち、出現頻度の高いキーワードをリストとして、前記画像特徴部の送信元に提供するように構成したことを特徴とするものである。
【００１４】
さらに、上記目的を達成する請求項６に係る画像キーワード編集装置の発明は、
画像データに関連するキーワードを提供する画像キーワード提供サーバに、ネットワークを介して接続可能な画像キーワード編集装置であって、
前記ネットワークを介して前記画像キーワード提供サーバと通信する通信手段と、
被写体を撮影して画像データを出力する撮像手段と、
該撮像手段で撮影された前記被写体の画像データから画像特徴部を抽出する画像特徴部抽出手段と、
前記被写体の画像データを表示するとともに、前記画像キーワード提供サーバから提供される当該画像データに関連するキーワードを表示する表示手段と、
該表示手段に表示されたキーワードから所望のキーワードを選択するキーワード選択手段と、
前記撮像手段で撮影した被写体の画像データを記録するとともに、前記キーワード選択手段で選択された当該画像データに関連するキーワードを記録する画像記録手段とを有し、
前記撮像手段で撮影された前記被写体の画像データを前記表示手段に表示するとともに、該画像データの画像特徴部を前記画像特徴部抽出手段で抽出して、前記通信手段により前記ネットワークを介して前記画像キーワード提供サーバへ送信し、前記画像キーワード提供サーバから前記ネットワークを介して前記通信手段により受信される前記画像特徴部に対応するキーワードを前記表示手段に表示して、該表示手段に表示されたキーワードから前記キーワード選択手段により所望のキーワードを選択し、該選択されたキーワードを対応する画像データに関連付けて前記画像記録手段に記録するように構成したことを特徴とするものである。
【００１５】
請求項７に係る発明は、請求項６に記載の画像キーワード編集装置において、
前記画像特徴部抽出手段は、前記画像データから人物の顔を含む部分画像を前記画像特徴部として抽出することを特徴とするものである。
【００１６】
請求項８に係る発明は、請求項６に記載の画像キーワード編集装置において、
前記画像特徴部抽出手段は、前記画像データから合焦点周辺を含む部分画像を前記画像特徴部として抽出することを特徴とするものである。
【発明の効果】
【００１７】
本発明によれば、画像データの画像特徴部を、画像キーワード提供サーバに送信するので、画像キーワード提供サーバから広範囲のキーワードを得ることが可能になるとともに、該画像キーワード提供サーバから提供されるキーワードを編集して記録するので、画像データに適切なキーワードを簡単に付加することが可能となる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施形態について、図を参照して説明する。
【００１９】
図１は、本発明の一実施形態に係る画像キーワード編集システムの概略構成を示す機能ブロック図である。この画像キーワード編集システムは、ネットワーク１０に接続可能な画像キーワード編集装置２０と、ネットワーク１０に接続された画像キーワード提供サーバ３０とを有しており、画像キーワード編集装置２０において、画像データの画像特徴部を、ネットワーク１０を介して画像キーワード提供サーバ３０に送信することにより、その画像特徴部を有する類似の画像データに関連するキーワードを、画像キーワード提供サーバ３０からネットワーク１０を介して取得し、その取得したキーワードを編集して、対応する画像データに関連付けて、すなわち画像データに付加して記録するものである。
【００２０】
画像キーワード編集装置２０は、ネットワーク１０を介して画像キーワード提供サーバ３０と通信する通信手段２１と、被写体（図示せず）を撮影して画像データを出力する撮像手段２２と、撮像手段２２から得られる被写体の画像データから画像特徴部を抽出する画像特徴部抽出手段２３と、被写体の画像データを表示するとともに、画像キーワード提供サーバ３０から提供される当該画像データに関連するキーワードを表示する表示手段２４と、表示されたキーワードから所望のキーワードを選択するキーワード選択手段２５と、選択されたキーワードを、対応する画像データとともに記録する画像記録手段２６とを有している。
【００２１】
画像特徴部抽出手段２３は、画像データから、例えば、人物の顔を含む部分画像、あるいは合焦点周辺を含む部分画像を、画像特徴部として抽出するように構成する。なお、人物の顔を含む部分画像は、例えば、特開２００３−３２３６１５号公報に開示されている公知の技術を適用して抽出することができ、また、合焦点周辺を含む部分画像は、例えば、撮像手段２２における撮影時のＡＦ情報を用いて、あるいはコントラスト法を適用して抽出することができる。
【００２２】
このような画像キーワード編集装置２０は、例えば、カメラ付き携帯電話や、ネットワークに接続する無線カード等の無線通信機能を搭載したデジタルカメラをもって構成することができる。この場合、表示手段２４は、カメラ付き携帯電話やデジタルカメラに搭載されているモニタ画面を用いて構成でき、キーワード選択手段２５は、十字キー等の操作キーを用いて構成することができる。
【００２３】
画像キーワード提供サーバ３０は、ネットワーク１０との通信部３１と、複数の画像データを関連するキーワードとともに記録した画像データベース３２と、通信部３１によりネットワーク１０から受信した画像特徴部に基づいて画像データベース３２から類似の画像データに関連するキーワードを作成するキーワード作成部３３とを有している。キーワード作成部３３は、受信した画像特徴部に基づいて、画像データベース３２から類似の画像データを検索する類似画像検索手段３４と、検索した類似の画像データに関連するキーワードを集計するキーワード集計手段３５とを有している。
【００２４】
図２は、画像データベース３２に記録する画像データと、関連するキーワードとを模式的に示す図である。図２に示すように、画像データベース３２には、複数の画像データと、各画像データに対応する、例えば、人物の名前、職業、撮影場所、イベント名等の各種の関連するキーワードを格納しておく。なお、図２には、後述する動作の説明の便宜上、画像データ中に、人物を識別するアルファベットを付している。
【００２５】
以下、本実施形態に係る画像キーワード編集システムの動作例について説明する。
【００２６】
図３は、画像キーワード編集装置２０の動作を示すフローチャートである。画像キーワード編集装置２０では、撮像手段２２により被写体を撮影したら（ステップＳ１）、その画像データを、表示手段２４に供給して表示するとともに、画像記録手段２６に供給して記録し（ステップＳ２）、さらに、画像特徴部抽出手段２３に供給して、画像特徴部を抽出する（ステップＳ３）。
【００２７】
ここで、撮像手段２２により、例えば、図４（ａ）に示すように、２人の人物を含む画像を撮影した場合において、画像特徴部抽出手段２３で人物の顔を含む部分画像を画像特徴部として抽出する場合には、図４（ｂ）に示すように、画像データに含まれる２人の人物の顔を含む部分画像を、それぞれ画像特徴部１および画像特徴部２として抽出する。また、画像特徴部抽出手段２３で合焦点周辺を含む部分画像を画像特徴部として抽出する場合には、図４（ｃ）に示すように、最もピントが合っている部分画像を画像特徴部として抽出する。なお、図４（ｂ）および（ｃ）には、説明の便宜上、抽出した人物を識別するアルファベットを付している。
【００２８】
画像特徴部抽出手段２３において、所要の画像特徴部を抽出したら、その抽出した画像特徴部を、通信手段２１によりネットワーク１０を介して画像キーワード提供サーバ３０へ送信する（ステップＳ４）。
【００２９】
その後、ステップＳ４で送信した画像特徴部に対応するキーワードを、画像キーワード提供サーバ３０からネットワーク１０を介して通信手段２１で受信したら（ステップＳ５）、その受信したキーワードを表示手段２４に表示して（ステップＳ６）、その表示されたキーワードからキーワード選択手段２５により所望のキーワードを選択し（ステップＳ７）、その選択されたキーワードを対応する被写体の画像データに関連付けて画像記録手段２６に記録する（ステップＳ８）。
【００３０】
図５は、ステップＳ６による表示手段２４へのキーワード表示態様の一例を示している。ここでは、画像キーワード編集装置２０を、ネットワーク１０との無線通信機能を搭載したデジタルカメラ４０をもって構成し、そのモニタ画面４１を用いて表示手段２４を構成し、十字キー等の操作キー４２を用いてキーワード選択手段２５を構成した場合を示している。
【００３１】
図５において、モニタ画面４１には、送信した画像特徴部の元となる画像データ（撮影画像）を表示し、その撮影画像に重畳して、画像キーワード提供サーバ３０から提供されたキーワードを、選択を促すメッセージとともに表示する。このモニタ画面４１に表示されたキーワードは、操作キー４２の操作により選択する。図５では、キーワードとして、隆夫、由美、料理、クリスマス、ブーツが表示され、黒丸を付した隆夫、由美が選択された場合を示している。
【００３２】
このように、表示手段２４を構成するモニタ画面４１に、キーワードの付加対象である撮影画像を表示しながら、画像キーワード提供サーバ３０から提供されたキーワードを表示することにより、ユーザは撮影画像を見ながらより適切なキーワードを容易に選択することが可能となる。
【００３３】
図６は、画像キーワード提供サーバ３０の動作を示すフローチャートである。画像キーワード提供サーバ３０では、画像キーワード編集装置２０からネットワーク１０に送信された画像特徴部を通信部３１で受信したら（ステップＳ１１）、その受信した画像特徴部に基づいて、類似画像検索手段３４において画像データベース３２から類似の画像データを検索する（ステップＳ１２）。なお、検索される類似の画像データには、当該画像データに関連するキーワードも含まれている。
【００３４】
類似の画像データを検索したら、次に、キーワード集計手段３５において、検索された類似の画像データに関連するキーワードを集計して統計処理し（ステップＳ１３）、出現頻度の高い送信すべきキーワードを作成して（ステップＳ１４）、その作成したキーワードを通信部３１からネットワーク１０を介して、画像特徴部の送信元である画像キーワード編集装置２０へ送信する（ステップＳ１５）。
【００３５】
ここで、画像特徴部として、例えば、図４（ｂ）に示した人物の顔を含む２人の部分画像Ａ，Ｂを受信し、類似画像検索手段３４による検索の結果、図２に示した３枚の画像データが類似の画像データとして検索された場合には、それらの類似の画像データに関連する全てのキーワードのうち、出現頻度が例えば２以上のキーワードを作成する。この場合には、図５に示した、隆夫、由美、料理、クリスマス、ブーツのキーワードを作成して、リストとして画像キーワード編集装置２０へ送信する。
【００３６】
画像キーワード編集装置２０では、この画像キーワード提供サーバ３０からのキーワードを受信することにより、図３に示したステップＳ５以降の動作を実行する。
【００３７】
なお、画像キーワード編集装置２０には、キーワードの取得モードとして、例えば、リアルタイムモードとアフターモードとを選択可能に設ける。リアルタイムモードでは、撮影毎に、ネットワーク１０に無線接続して、上述したように、撮影した画像データのキーワードを画像キーワード提供サーバ３０からリアルタイムで取得し、キーワードの取得に同期して、ネットワーク１０との無線接続を切断するようにする。また、アフターモードでは、画像の撮影後に、任意のタイミングでネットワーク１０に無線接続して、画像記録手段２６に記録された画像データを表示手段２４に表示して確認しながら、所要の画像データの画像特徴部を画像特徴部抽出手段２３で抽出して画像キーワード提供サーバ３０に送信することにより、関連するキーワードを取得して、対応する画像データに関連付けて画像記録手段２６に記録する。
【００３８】
以上のように、本実施形態では、画像キーワード編集装置２０において、画像データの画像特徴部を抽出して、ネットワーク１０を介して画像キーワード提供サーバ３０に送信し、画像キーワード提供サーバ３０では、受信した画像特徴部に基づいて、画像データベース３２から類似の画像データを検索して、その検索した類似の画像データに関連するキーワードを集計して、ネットワーク１０を介して画像特徴部の送信元である画像キーワード編集装置２０へ送信するようにしたので、画像特徴部を含む画像データに関連する広範囲のキーワードを、画像キーワード編集装置２０に提供することができる。また、画像キーワード編集装置２０では、画像キーワード提供サーバ３０から提供されたキーワードを、その付加対象の画像データ（撮影画像）とともに表示して、所望のキーワードを選択（編集）するようにしたので、画像データに適切なキーワードを簡単に付加することができる。
【００３９】
なお、本発明は、上記実施の形態に限定されるものではなく、幾多の変形または変更が可能である。例えば、リアルタイムモードでキーワードを取得する場合において、ネットワークに接続できない場合には、ポーリングを実行し、所定回数ポーリングしても接続できない場合には、アフターモードに自動的に切り替えるようにすることもできる。また、画像キーワード編集装置２０の画像特徴部抽出手段２３で抽出する画像特徴部は、人物の目、鼻、口などの顔のパーツとすることもできる。
【００４０】
さらに、画像キーワード編集装置２０は、ネットワークに接続可能な無線通信機能付きデジタルカメラやカメラ付き携帯電話に限らず、ネットワークに接続可能なパソコンと、該パソコンに接続可能なデジタルカメラとを組み合わせて構成することもできる。この場合には、デジタルカメラで撮影した画像データをパソコンに取り込んでから、あるいはデジタルカメラ内の画像データをパソコンで読み出しながら、アフターモードで、画像キーワード提供サーバ３０から画像データに関連するキーワードを取得して、画像データに関連付けて記録することができる。
【図面の簡単な説明】
【００４１】
【図１】本発明の一実施形態に係る画像キーワード編集システムの概略構成を示す機能ブロック図である。
【図２】図１に示す画像データベースに記録する画像データと、関連するキーワードとを模式的に示す図である。
【図３】図１に示す画像キーワード編集装置の動作を示すフローチャートである。
【図４】図１に示す画像キーワード編集装置の画像特徴部抽出手段で抽出する画像特徴部を説明するための図である。
【図５】図１に示す画像キーワード編集装置の表示手段へのキーワード表示態様の一例を示す図である。
【図６】図１に示す画像キーワード提供サーバの動作を示すフローチャートである。
【符号の説明】
【００４２】
１０  ネットワーク
２０  画像キーワード編集装置
２１  通信手段
２２  撮像手段
２３  画像特徴部抽出手段
２４  表示手段
２５  キーワード選択手段
２６  画像記録手段
３０  画像キーワード提供サーバ
３１  通信部
３２  画像データベース
３３  キーワード作成部
３４  類似画像検索手段
３５  キーワード集計手段
４０  デジタルカメラ
４１  モニタ画面
４２  操作キー
【図１】
2008269411.tif 000003
【図２】
2008269411.tif 000004
【図３】
2008269411.tif 000005
【図４】
2008269411.tif 000006
【図５】
2008269411.tif 000007
【図６】
2008269411.tif 000008