(57)【要約】      （修正有）【課題】自動で画像データにタグ付けを行い、ユーザにかかる負担を減らす自動タグ生成装置及びそのシステムを提供する。【解決手段】過去に蓄積された蓄積画像データ及び蓄積画像データを表示する蓄積タグデータを紐付けて記録する格納部５と、入力された画像データの特徴を示す特徴データを生成する特徴生成部４と、特徴データと同一又は類似の特徴を有する蓄積画像データに紐付けられた蓄積タグデータを格納部５から抽出し、この蓄積タグデータを用いて画像データを表示するタグデータを生成するタグ生成部６とを具備する。【選択図】図２
2016062162.tif 000002
【特許請求の範囲】
【請求項１】
過去に蓄積された蓄積画像データ及び前記蓄積画像データを表示する蓄積タグデータを紐付けて記録する格納部と、
入力された画像データの特徴を示す特徴データを生成する特徴生成部と、
前記特徴データと同一又は類似の特徴を有する前記蓄積画像データに紐付けられた前記蓄積タグデータを前記格納部から抽出し、この前記蓄積タグデータを用いて前記画像データを表示するタグデータを生成するタグ生成部とを具備する自動タグ生成装置。
【請求項２】
前記タグ生成部が、前記格納部から複数の前記蓄積タグデータを抽出し、これら複数の前記蓄積タグデータに共通するデータを前記タグデータとすることを特徴とする請求項１記載の自動タグ生成装置。
【請求項３】
複数のテキストデータが格納されたテキストデータ格納部を、前記タグデータを用いてテキストマイニングし、得られたテキストデータから前記タグデータに関連する第１補助タグデータを生成する第１補助生成部をさらに具備する請求項１又は２記載の自動タグ生成装置。
【請求項４】
前記画像データに予め関連付けられた関連データ又はユーザが前記画像データに付与したユーザデータの少なくとも１つから前記タグデータに関連する第２補助タグデータを生成する第２補助生成部をさらに具備することを特徴とする請求項１、２又は３記載の自動タグ生成装置。
【請求項５】
前記特徴生成部が、前記画像データの所定領域から前記特徴データを生成することを特徴とする請求項１、２、３又は４記載の自動タグ生成装置。
【請求項６】
前記特徴生成部が、ＨＯＧ特徴量やｗａｖｅｌｅｔ特徴量等の所定の特徴量を用いて前記特徴データを生成することを特徴とする請求項１、２、３、４又は５記載の自動タグ生成装置。
【請求項７】
前記格納部が、前記タグデータ及び前記画像データを紐付けて記録することを特徴とする請求項１、２、３、４、５又は６記載の自動タグ生成装置。
【請求項８】
請求項１、２、３、４、５、６又は７記載の自動タグ生成装置を具備する自動タグ生成システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを表示するタグデータを生成する自動タグ生成装置又は自動タグ生成システムに関する。
【背景技術】
【０００２】
画像データを表示するタグデータは、画像データの整理や画像データの検索を容易するために必要不可欠なものである。このタグデータは、ユーザが手作業で生成する場合もあれば、例えば特許文献１のように、装置等によって生成される場合もある。
【０００３】
この特許文献１記載の装置は、サーバに蓄積された画像データにタグデータを付与するものであって、サーバから選択した１の主画像データをもとに、この主画像データを用いてサーバ内を類似画像検索して、複数の従画像データをサーバから抽出する。そして、ユーザが主画像データと抽出した複数の従画像データとを比較して類似するものだけを選択し、これら主画像データと選択された従画像データのそれぞれに関連するタグデータを生成するものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−１３４３４４号公報
【０００５】
しかしながら、昨今では画像データの数は膨大な量にのぼり、これら１つ１つにユーザが手作業でタグデータを生成するとなれば、ユーザに過度の負担をかけることになる。また、装置がタグデータを生成するといっても、特許文献１記載の装置では、タグデータ生成にユーザが関与しているので、サーバに蓄積された画像データが増加して、サーバから抽出される従画像データの数が増加すれば、それを全て確認するユーザにはやはり過度の負担がかかるという問題が生じる。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は上記問題に鑑み、自動で画像データにタグ付けを行い、ユーザにかかる負担を減らす自動タグ生成装置及びそのシステムを提供することを主たる目的とするものである。
【課題を解決するための手段】
【０００７】
本発明の自動タグ生成装置は、過去に蓄積された蓄積画像データ及び前記蓄積画像データを表示する蓄積タグデータを紐付けて記録する格納部と、入力された画像データの特徴を示す特徴データを生成する特徴生成部と、前記特徴データと同一又は類似の特徴を有する前記蓄積画像データに紐付けられた前記蓄積タグデータを前記格納部から抽出し、この前記蓄積タグデータを用いて前記画像データを表示するタグデータを生成するタグ生成部とを具備することを特徴とする。
【０００８】
このような構成であれば、タグ生成部が格納部から抽出した蓄積タグデータを用いてタグデータを生成するので、タグ生成にユーザが関与せずに自動でタグデータを生成することができる。そのため、タグデータを生成する際にユーザにかかる負担を減らすことができる。
【０００９】
上述した自動タグ生成装置の具体的な一形態としては、前記タグ生成部が、前記格納部から複数の前記蓄積タグデータを抽出し、これら複数の前記蓄積タグデータに共通するデータを前記タグデータとするものを挙げることができる。
このようなものであれば、複数の蓄積データに共通するデータをタグデータとしているので、タグデータの精度を上げることができる。
【００１０】
上述した自動タグ生成装置の別な具体的な一形態としては、複数のテキストデータが格納されたテキストデータ格納部を、前記タグデータを用いてテキストマイニングし、得られたテキストデータから前記タグデータに関連する第１補助タグデータを生成する第１補助生成部をさらに具備するものを挙げることができる。
このようなものであれば、テキストマイニングによって得られたテキストデータからタグデータに関連する第１補助タグデータを生成するので、画像データにタグデータ及び第１補助タグデータからなる複数のタグデータを付与することができる。そのため、画像データの検索のヒット数を上げて、画像データをより容易に検索することができる。
【００１１】
上述した効果を得るための別の形態としては、前記画像データに予め関連付けられた関連データ又はユーザが前記画像データに付与したユーザデータの少なくとも１つから前記タグデータに関連する第２補助タグデータを生成する第２補助生成部をさらに具備するものを挙げることができる。このようなものであっても、画像データにタグデータ及び第２補助タグデータからなる複数のタグデータを付与することができる。
【００１２】
上述した自動タグ生成装置の別な具体的な一形態としては、前記特徴生成部が、前記画像データの所定領域から前記特徴データを生成するものを挙げることができる。
このようなものであれば、画像データが示す画像の中に複数の物体が写り込んでいたとしても、画像データのうち、所定の物体が写っている画像を示す所定領域から特徴データを生成することができるので、格納部から抽出する蓄積タグデータの精度を上げて、より適確に画像データを表示するタグデータを生成することができる。
【００１３】
上述した自動タグ生成装置の別な具体的な一形態としては、前記特徴生成部が、ＨＯＧ特徴量やｗａｖｅｌｅｔ特徴量等の所定の特徴量を用いて前記特徴データを生成するものを挙げることができる。
このようなものであれば、画像データの中から特徴データを生成するのに必要となる所定領域を選択する場合に、例えばＨＯＧ特徴量であればヒストグラム、ｗａｖｅｌｅｔ特徴量であれば輝度を用いて所定領域を自動で選択することができるので、ユーザが画像データを確認して所定領域を絞りこむ必要がなく、ユーザにかかる負担を低減することができる。
【００１４】
上述した自動タグ生成装置の別な具体的な一形態としては、前記格納部が、前記タグデータ及び前記画像データを紐付けて記録するものを挙げることができる。
このようなものであれば、格納部は新しく入力された画像データ及びタグデータを紐付けて記録するので、格納部に収容されるデータ量を増加させて、新しく入力された画像データにタグを付与する際の精度を向上させることができる。
【００１５】
また、上述したような自動タグ生成装置を用いた自動タグ生成システムを本発明の１つである。
【発明の効果】
【００１６】
本発明によれば、自動で画像データにタグ付けを行い、ユーザにかかる負担を減らす自動タグ生成装置及びそのシステムを提供することができる。
【図面の簡単な説明】
【００１７】
【図１】本実施形態の自動タグ生成システムを示す概略図。
【図２】本実施形態の自動タグ生成装置を示す概念図。
【図３】本実施形態のタグ生成部を示す概念図。
【図４】本実施形態の自動タグ生成装置が生成したタグのイメージ図。
【発明を実施するための形態】
【００１８】
本発明の自動タグ生成システムの一実施形態について以下、図面を参照しながら説明する。
【００１９】
本実施形態の自動タグ生成システム１は、図１に示すように、スマートフォン、タブレット端末、デジタルカメラ、パソコン、サーバ等の画像データを収容する外部機器２と、これら外部機器２から有線又は無線のネットワークを介して送られてくる画像データにタグデータを付加する自動タグ生成装置３とを具備する。
【００２０】
この自動タグ生成装置３は、構造的には、ＣＰＵ、内部メモリ、Ｉ／Ｏバッファ回路、ＡＤコンバータ等を有した所謂コンピュータ回路である。そして、内部メモリの所定領域に格納したプログラムに従って動作することで情報処理を行い、図２に示すように、受信部１０、特徴生成部４、格納部５、タグ生成部６、テキストデータ格納部５、第１補助生成部７、第２補助生成部８としての機能を発現するものである。
【００２１】
各部について図２を用いて説明する。
【００２２】
受信部１０は、外部機器２から有線又は無線のネットワークを介して送られてきた画像データを受け付ける。このとき、画像データに、外部機器２に内蔵されたクロックやＧＰＳによって取得された時間データや位置データ等の関連データや、ユーザが画像データに付与したユーザデータ等が紐付けられていた場合には、これらのデータも受け付ける。
そして、受信部１０が画像データ及び画像データに紐付けられたデータを受け付けるとともに、画像データと画像データに紐付けられたデータとを分けて、画像データを特徴生成部４へ送るとともに、画像データに紐付けられたデータを第２補助生成部８へと送る。
【００２３】
特徴生成部４は、受信部１０から送られた画像データを受け付けて、この画像データの特徴を示す特徴データを生成するものである。具体的には画像データの解析を行うことにとって特徴点を抽出し、この特徴点から特徴記述子と呼ばれる特徴データを生成して、特徴データと画像データとをタグ生成部６に送る。この特徴点を抽出する方法としては、例えばクラスタリング分析が用いられている。
【００２４】
ところで、画像データ内に複数の物体が写り込んでいると、認識対象となる物体が多くなり特徴点を誤って抽出するおそれがある。しかし、本実施形態では、認識対象となる物体があると推定される所定領域（以下、関心領域ともいう）を絞りこんで、この関心領域から特徴点を抽出し特徴データを生成している。この関心領域を絞り込む方法としては、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ  ｏｆ  ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔ）特徴量やｗａｖｅｌｅｔ特徴量等の所定の特徴量を用いることができる。このＨＯＧ特徴量とは、画像データを微分等して得られるヒストグラムを特徴量として用いて関心領域を絞り込むものであり、ｗａｖｅｌｅｔ特徴量とは、画像データの輝度データの空間分布の差異を特徴量として検出し、特徴点の出現頻度を縦横方向のヒストグラムとし、特徴点の集中している部分を関心領域として、絞りこむものである。
【００２５】
そのため、画像データが示す画像の中に複数の物体が写り込んでいたとしても、画像データのうち、所定の物体が写っている画像を示す関連領域から特徴データを生成することができるので、格納部５から抽出する蓄積タグデータの精度を上げて、より適確に画像データを表示するタグデータを生成することができる。
また、ＨＯＧ特徴量やｗａｖｅｌｅｔ特徴量等の所定の特徴量を用いて、関連領域を絞りこむので、ユーザが画像データを確認して所定領域を絞りこむ必要がなく、ユーザにかかる負担を低減することができる。
【００２６】
格納部５は、過去に蓄積された蓄積画像データ及び蓄積画像データを表示する蓄積タグデータを紐付けて記録するものであり、本実施形態では、蓄積画像データ及び蓄積タグデータに加えて、蓄積画像データの特徴を示す蓄積特徴データもこれらのデータに紐付けられて記録されている。また、蓄積画像データ、蓄積タグデータ及び蓄積特徴データは、１つの格納領域にセットで記録されているものである。
【００２７】
タグ生成部６は、特徴生成部４から送られてきた特徴データを受け付けて、この特徴データと同一又は類似の特徴を示す蓄積画像データに紐付けられた蓄積タグデータを格納部５から抽出し、この蓄積タグデータを用いて画像データを表示するタグデータを生成する。そして、このタグデータを画像データに付与するとともに、画像データと、タグデータと、特徴データとを第１補助生成部７へと送る。
【００２８】
タグ生成部６の動作について詳細に説明する。
タグ生成部６は、特徴生成部４が生成した入力された画像データの特徴を示す特徴データを受け付けると、この特徴データと同一又は類似する蓄積特徴データ、及びこの蓄積特徴データに紐付けて記録されている蓄積画像データ及び蓄積タグデータをセットで格納部５から抽出する。このとき、特徴データと同一又は類似する蓄積特徴データが複数あれば、格納部５からは複数のセットが抽出されることになる。
【００２９】
そして、抽出したセットに収容されている蓄積タグデータを用いてタグデータを生成する。このとき、蓄積タグデータが１つしかなければ、その蓄積タグデータがタグデータとなり、蓄積タグデータが複数あれば、これら複数の蓄積タグデータに共通するデータがタグデータとなる。
【００３０】
具体例を用いて説明する。
図３に示すように、タグ生成部６が抽出したセット１、２、３があり、この３つのセットにはそれぞれ蓄積タグデータが含まれている。これら蓄積タグデータ１、２、３を比較すると、「金閣寺」というテキストデータが共通している。そこで、タグ生成部６は、この「金閣寺」というテキストデータをタグデータとして生成し、画像データに付与する。
【００３１】
テキストデータ格納部５は、複数のテキストデータが格納されたものであり、自動タグ生成装置３に収容されたものであってもよいし、自動タグ生成装置３と例えば有線又は無線のネットワークを介して、サーバに収容されたものであってもよい。
【００３２】
第１補助生成部７は、タグ生成部６から送られてきた画像データと、タグデータと、特徴データとを受け付ける。そして、このタグデータを用いて、テキストデータ格納部５をテキストマイニングし、得られたテキストデータからタグデータに関連する第１補助タグデータを生成する。そして、画像データに第１補助タグデータを付与して、画像データと、タグデータ及び第１補助タグデータと、特徴データとを第２補助生成部８へと送る。
【００３３】
第２補助生成部８は、第１補助生成部７から送られてきた画像データと、タグデータ及び第１補助タグデータと、特徴データとを受け付けるとともに、受信部１０から送られてきた画像データに紐付けられたデータを受け付ける。
そして、第２補助生成部８は、画像データに紐付けられたデータ、すなわち、画像データに予め関連付けられた関連データ又はユーザが画像データに付与したユーザデータの少なくとも１つをタグデータに関連する第２補助タグデータとして画像データに付与する。
【００３４】
この関連データとは、例えば外部機器２に内蔵されているクロックやＧＰＳ等によって、画像データに関連付けられた時間データや位置データのことである。また、ユーザデータとは、ユーザ自らが画像データに付与したデータに加えて、ユーザが画像データをＷｅｂ上にアップロードした場合に、この画像データに対してＷｅｂの管理者が付与したデータのことも含む。
【００３５】
第２補助生成部８は、画像データと、タグデータ、第１補助タグデータ及び第２補助タグデータと、特徴データとを格納部５へと送る。格納部５は、これらのデータを紐付けて記録して蓄積する。そのため、格納部５に記録された画像データと、タグデータ、第１補助タグデータ及び第２補助タグデータと、特徴データとは、格納部５に記録された時点から、画像データが蓄積画像データとなり、タグデータ、第１補助タグデータ及び第２補助タグデータが蓄積タグデータとなり、特徴データが蓄積特徴データとなる。そのため、格納部５に収容されるデータ量を増加させることができるので、新しく入力された画像データにタグを付与する際の精度を向上させることができる。
【００３６】
上述のタグ生成部６、第１補助生成部７及び第２補助生成部８を経てタグが生成された画像データのイメージ図を図４に示す。
図４に示すように、画像データには、タグ生成部６において生成された「富士山」というタグデータ、第１補助生成部７において生成された「逆さ富士」という第１補助タグデータ、第２補助生成部８において生成された「２０１４／９／８、河口湖、中秋の名月」という第２補助タグデータが付与されている。
なお、第２補助タグデータは、外部装置２が内蔵されたクロック及びＧＰＳを用いて画像データに予め関連付けた「２０１４／９／８」及び「河口湖」という関連データ、及び、ユーザが自ら生成した「中秋の名月」というユーザデータからなるものである。
【００３７】
上述したように構成した自動タグ生成システム１は、以下のような格別の効果を有する。
【００３８】
つまり、タグ生成部６が格納部５から抽出した蓄積タグデータを用いてタグデータを生成するので、タグ生成にユーザが関与せずに自動で画像データにタグデータを付与することができる。そのため、タグデータを生成する際にユーザにかかる負担を減らすことができる。
【００３９】
このとき、タグ生成部６が、格納部５から複数の蓄積タグデータを抽出し、これら複数の蓄積タグデータに共通するデータをタグデータとして画像データに付与するので、タグデータの精度を上げることができる。
【００４０】
また、第１補助生成部７が、テキストマイニングによって得られたテキストデータからタグデータに関連する第１補助タグデータを生成するとともに、第２補助生成部８が、画像データに予め関連付けられた関連データやユーザデータから第２補助タグデータを生成するので、画像データにタグデータ及び第１補助タグデータ及び／又は第２補助タグデータからなる複数のタグデータを付与することができる。そのため、画像データの検索のヒット数を上げて、画像データをより容易に検索することができる。
【００４１】
なお、本発明は上記実施形態に限られたものではない。
【００４２】
上記実施形態では、格納部がタグ生成部、第１補助生成部、第２補助生成部でそれぞれ画像データに付加したタグデータ、第１補助タグデータ、第２補助タグデータを蓄積タグデータとして記録しているが、蓄積タグデータは、タグデータだけで構成されていてもよいし、タグデータ及び第１補助タグデータ又は第２補助タグデータのいずれか一方とで構成されたものであってもよい。
【００４３】
また、格納部は蓄積画像データ、蓄積タグデータ及び蓄積特徴データを１セットとして記録するものであったが、蓄積画像データ及び蓄積タグデータのみを記録するものであってもよい。
この場合、タグ生成部は、格納部に記録されている全ての蓄積画像データを抽出し、全ての蓄積画像データに蓄積特徴データを生成するとともに、この蓄積特徴データと特徴データとを比較して、特徴データに同一又は類似する蓄積特徴データを有する蓄積画像データに紐付けられた蓄積タグデータを抽出する。
【００４４】
上述した実施形態では、第１補助生成部が、テキストデータ格納部をテキストマイニングして得たテキストデータを、タグデータに関連する第１補助タグデータとして付与するものであったが、このテキストデータからユーザが所望のデータのみを選択し、選択されたデータのみを第１補助タグデータとしてもよい。なお、第２補助生成部においても、画像データに関連付けられたデータのうち、ユーザが所望するデータのみを選択し、選択されたデータのみを第２補助タグデータとしてもよい。
【００４５】
上述した実施形態では、格納部に生成したタグデータ、第１補助タグデータ及び第２補助タグデータを画像データに紐付けて記録するものであったが、これらのデータを、外部装置２に有線又は無線を介して送信し、外部装置において、これらのタグデータを画像データに紐つけて記録するように構成してもよい。このとき、外部装置２に送信するデータは、タグデータのみ、あるいは、タグデータと第１補助タグデータ又は第２補助タグデータの何れか一方であっても構わない。
【００４６】
本発明は、その趣旨に反しない範囲で様々な変形が可能である。
【符号の説明】
【００４７】
１・・・自動タグ生成システム
３・・・自動タグ生成装置
４・・・特徴生成部
５・・・格納部
６・・・タグ生成部
【図１】
2016062162.tif 000003
【図２】
2016062162.tif 000004
【図３】
2016062162.tif 000005
【図４】
2016062162.tif 000006