(57)【要約】【課題】画像を分析して説明文を出力する技術を使用して検索を効率化するための画像関連付け装置、画像データベース、画像検索装置、画像検索システム及びプログラムを提供する。【解決手段】画像関連付け装置１は、画像を分析して画像の特徴を抽出し、特徴ごとに関連付いた単語を参照して説明文を生成する説明文生成部１２と、生成した説明文から複数の単語を抽出する単語抽出部１５と、抽出した単語の一部をキーワードとして選定するキーワード選定部１６と、選定したキーワードと画像とを関連付けて記憶させるキーワード登録部１８と、を備える。【選択図】図２
2018112806.tif 000002
【特許請求の範囲】
【請求項１】
画像を分析して前記画像の特徴を抽出し、前記特徴ごとに関連付いた単語を参照して説明文を生成する説明文生成手段と、
前記説明文生成手段により生成した説明文から複数の単語を抽出する単語抽出手段と、
前記単語抽出手段により抽出した単語の一部をキーワードとして選定するキーワード選定手段と、
前記キーワード選定手段によって選定したキーワードと、前記画像とを関連付ける関連付け手段と、
を備える画像関連付け装置。
【請求項２】
請求項１に記載の画像関連付け装置において、
年代と、前記年代で除外する単語である除外語とを対応付けた除外語記憶部を備え、
前記画像には、前記画像が示す年代が対応付けられており、
前記キーワード選定手段は、前記除外語記憶部を参照し、前記画像の前記年代に対応する除外語を除いて、前記キーワードを選定すること、
を特徴とする画像関連付け装置。
【請求項３】
請求項２に記載の画像関連付け装置において、
前記除外語記憶部は、前記除外語に対応する置換語を記憶しており、
前記キーワード選定手段は、前記除外語記憶部を参照し、前記画像の前記年代に対応する除外語を、置換語に置き換えて前記キーワードを選定すること、
を特徴とする画像関連付け装置。
【請求項４】
請求項１から請求項３までのいずれかに記載の画像関連付け装置において、
前記キーワード選定手段は、前記単語抽出手段により抽出された単語の出現頻度に基づいて、前記キーワードを選定すること、
を特徴とする画像関連付け装置。
【請求項５】
請求項１から請求項４までのいずれかに記載の画像関連付け装置において、
地域で用いる特定語と、前記特定語に対応した対象語とを対応付けた地域語記憶部を備え、
前記画像には、前記画像が示す地域が対応付けられており、
前記キーワード選定手段は、前記地域語記憶部を参照し、前記画像の前記対象語を、対応する特定語に置き換えて前記キーワードを選定すること、
を特徴とする画像関連付け装置。
【請求項６】
請求項１から請求項５までのいずれかに記載の画像関連付け装置において、
前記説明文生成手段により生成された説明文、又は、前記単語抽出手段により抽出された単語を、関連付けられた他の言語に翻訳する翻訳手段を備えること、
を特徴とする画像関連付け装置。
【請求項７】
請求項１から請求項６までのいずれかに記載の画像関連付け装置によって関連付けられた前記キーワードと、前記画像とを記憶した画像データベース。
【請求項８】
請求項７に記載の画像データベース対して通信可能に接続された画像検索装置であって、
検索語の入力を受け付ける検索語受付手段と、
前記検索語受付手段が受け付けた検索語をキーワードに含む画像を、前記画像データベースから抽出する画像抽出手段と、
前記画像抽出手段によって抽出された画像を出力する画像出力手段と、
を備えること、
を特徴とする画像検索装置。
【請求項９】
請求項７に記載の画像データベースに対して通信可能に接続された画像検索装置であって、
対象画像を受け付ける画像受付手段と、
前記画像受付手段が受け付けた対象画像を分析して、前記対象画像の特徴を抽出し、前記特徴ごとに関連付いた単語を参照して説明文を生成する説明文生成手段と、
前記説明文生成手段により生成した説明文から複数の単語を抽出する単語抽出手段と、
前記単語抽出手段により抽出した単語の一部をキーワードとして選定するキーワード選定手段と、
前記キーワード選定手段によって選定したキーワードを含む画像を、前記画像データベースから抽出する画像抽出手段と、
前記画像抽出手段によって抽出した画像を出力する画像出力手段と、
を備えること、
を特徴とする画像検索装置。
【請求項１０】
請求項７に記載の画像データベースと、
請求項８又は請求項９に記載の画像検索装置と、
を備える画像検索システム。
【請求項１１】
請求項１から請求項６までのいずれかに記載の画像関連付け装置としてコンピュータを機能させるためのプログラム。
【請求項１２】
請求項８又は請求項９に記載の画像検索装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像関連付け装置、画像データベース、画像検索装置、画像検索システム及びプログラムに関する。
【背景技術】
【０００２】
従来、画像を分析して説明文を生成する技術が開示されている（例えば、非特許文献１，２）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Ｊｕｓｔｉｎ  Ｊｏｈｎｓｏｎ、Ａｎｄｒｅｊ  Ｋａｒｐａｔｈｙ、Ｆｅｉ−Ｆｅｉ  Ｌｉ、“ＤｅｎｓｅＣａｐ：  Ｆｕｌｌｙ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｌｏｃａｌｉｚａｔｉｏｎ  Ｎｅｔｗｏｒｋｓ  ｆｏｒ  Ｄｅｎｓｅ  Ｃａｐｔｉｏｎｉｎｇ”、［ｏｎｌｉｎｅ］、Ｄｅｐａｒｔｍｅｎｔ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｓｃｉｅｎｃｅ，  Ｓｔａｎｆｏｒｄ  Ｕｎｉｖｅｒｓｉｔｙ、［平成２８年１１月２５日検索］、インターネット〈ＵＲＬ：ｈｔｔｐ：／／ｃｓ．ｓｔａｎｆｏｒｄ．ｅｄｕ／ｐｅｏｐｌｅ／ｋａｒｐａｔｈｙ／ｄｅｎｓｅｃａｐ／〉
【非特許文献２】“ＮｅｕｒａｌＴａｌｋ２”、［平成２８年１１月２５日検索］、インターネット〈ＵＲＬ：ｈｔｔｐｓ：／／ｇｉｔｈｕｂ．ｃｏｍ／ｋａｒｐａｔｈｙ／ｎｅｕｒａｌｔａｌｋ２〉
【発明の概要】
【発明が解決しようとする課題】
【０００４】
非特許文献１，２に記載のような、画像を分析して説明文を生成する技術を使用すると、画像に関する説明文を取得できる。
また、画像からキーワードを抽出する技術として、Ｒ−ＣＮＮ（Ｒｅｇｉｏｎｓ  ｗｉｔｈ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）等がある。
しかし、これらの技術をそれぞれ単独で用いることは、学習用のデータ収集やアノテーションのコストが大幅に増大してしまい、さらにその２つのデータ間の整合性を取ることも難しくなる。
さらに、従来の抽出される単語と単純に紐付けられた画像検索では、画像から受ける印象に基づく検索や文章による検索が困難である。
【０００５】
そこで、本発明は、画像を分析して説明文を出力する技術を使用して検索を効率化するための画像関連付け装置、画像データベース、画像検索装置、画像検索システム及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、以下のような解決手段により、前記課題を解決する。
第１の発明は、画像を分析して前記画像の特徴を抽出し、前記特徴ごとに関連付いた単語を参照して説明文を生成する説明文生成手段と、前記説明文生成手段により生成した説明文から複数の単語を抽出する単語抽出手段と、前記単語抽出手段により抽出した単語の一部をキーワードとして選定するキーワード選定手段と、前記キーワード選定手段によって選定したキーワードと、前記画像とを関連付ける関連付け手段と、を備える画像関連付け装置である。
第２の発明は、第１の発明の画像関連付け装置において、年代と、前記年代で除外する単語である除外語とを対応付けた除外語記憶部を備え、前記画像には、前記画像が示す年代が対応付けられており、前記キーワード選定手段は、前記除外語記憶部を参照し、前記画像の前記年代に対応する除外語を除いて、前記キーワードを選定すること、を特徴とする画像関連付け装置である。
第３の発明は、第２の発明の画像関連付け装置において、前記除外語記憶部は、前記除外語に対応する置換語を記憶しており、前記キーワード選定手段は、前記除外語記憶部を参照し、前記画像の前記年代に対応する除外語を、置換語に置き換えて前記キーワードを選定すること、を特徴とする画像関連付け装置である。
第４の発明は、第１の発明から第３の発明までのいずれかの画像関連付け装置において、前記キーワード選定手段は、前記単語抽出手段により抽出された単語の出現頻度に基づいて、前記キーワードを選定すること、を特徴とする画像関連付け装置である。
第５の発明は、第１の発明から第４の発明までのいずれかの画像関連付け装置において、地域で用いる特定語と、前記特定語に対応した対象語とを対応付けた地域語記憶部を備え、前記画像には、前記画像が示す地域が対応付けられており、前記キーワード選定手段は、前記地域語記憶部を参照し、前記画像の前記対象語を、対応する特定語に置き換えて前記キーワードを選定すること、を特徴とする画像関連付け装置である。
第６の発明は、第１の発明から第５の発明までのいずれかの画像関連付け装置において、前記説明文生成手段により生成された説明文、又は、前記単語抽出手段により抽出された単語を、関連付けられた他の言語に翻訳する翻訳手段を備えること、を特徴とする画像関連付け装置である。
第７の発明は、第１の発明から第６の発明までのいずれかの画像関連付け装置によって関連付けられた前記キーワードと、前記画像とを記憶した画像データベースである。
第８の発明は、第７の発明の画像データベース対して通信可能に接続された画像検索装置であって、検索語の入力を受け付ける検索語受付手段と、前記検索語受付手段が受け付けた検索語をキーワードに含む画像を、前記画像データベースから抽出する画像抽出手段と、前記画像抽出手段によって抽出された画像を出力する画像出力手段と、を備えること、を特徴とする画像検索装置である。
第９の発明は、第７の発明の画像データベースに対して通信可能に接続された画像検索装置であって、対象画像を受け付ける画像受付手段と、前記画像受付手段が受け付けた対象画像を分析して、前記対象画像の特徴を抽出し、前記特徴ごとに関連付いた単語を参照して説明文を生成する説明文生成手段と、前記説明文生成手段により生成した説明文から複数の単語を抽出する単語抽出手段と、前記単語抽出手段により抽出した単語の一部をキーワードとして選定するキーワード選定手段と、前記キーワード選定手段によって選定したキーワードを含む画像を、前記画像データベースから抽出する画像抽出手段と、前記画像抽出手段によって抽出した画像を出力する画像出力手段と、を備えること、を特徴とする画像検索装置である。
第１０の発明は、第７の発明の画像データベースと、第８の発明又は第９の発明の画像検索装置と、を備える画像検索システムである。
第１１の発明は、第１の発明から第６の発明までのいずれかの画像関連付け装置としてコンピュータを機能させるためのプログラムである。
第１２の発明は、第８の発明又は第９の発明の画像検索装置としてコンピュータを機能させるためのプログラムである。
【発明の効果】
【０００７】
本発明によれば、画像を分析して説明文を出力する技術を使用して検索を効率化するための画像関連付け装置、画像データベース、画像検索装置、画像検索システム及びプログラムを提供することができる。
【図面の簡単な説明】
【０００８】
【図１】第１実施形態に係る画像検索システムの全体概要図である。
【図２】第１実施形態に係る画像関連付け装置及び画像検索装置の機能ブロック図である。
【図３】第１実施形態に係る画像関連付け装置の記憶部の例を示す図である。
【図４】第１実施形態に係る画像関連付け装置のキーワード抽出処理を示すフローチャートである。
【図５】第１実施形態に係る画像関連付け装置によるキーワード抽出処理の具体例を示す図である。
【図６】第１実施形態に係る画像関連付け装置によるキーワード抽出処理の具体例を示す図である。
【図７】第１実施形態に係る画像検索装置の画像検索処理を示すフローチャートである。
【図８】第１実施形態に係る画像検索装置での表示例を示す図である。
【図９】第２実施形態に係る画像検索システムの機能ブロック図である。
【図１０】第２実施形態に係る関連画像検索装置の画像検索処理を示すフローチャートである。
【図１１】第２実施形態に係る関連画像検索装置での表示例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明を実施するための形態について、図を参照しながら説明する。なお、これは、あくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
（第１実施形態）
＜画像検索システム１００＞
図１は、第１実施形態に係る画像検索システム１００の全体概要図である。
図２は、第１実施形態に係る画像関連付け装置１及び画像検索装置４の機能ブロック図である。
図３は、第１実施形態に係る画像関連付け装置１の記憶部２０の例を示す図である。
【００１０】
図１に示す画像検索システム１００は、画像ＤＢ（データベース）３に記憶された画像データに、画像に関するキーワードを付与し、画像データの検索を、キーワードを用いて行うシステムである。
以下の説明では、画像ＤＢ３に記憶される画像データは、例えば、美術館や博物館で展示されている古い時代の絵画を、画像化したものであるとする。そして、画像データは、例えば、絵画の画家、絵画のモチーフの年代、絵画のモチーフの地域等のデータを、メタデータとして有するものとする。
【００１１】
画像検索システム１００は、画像関連付け装置１と、画像ＤＢ３と、画像検索装置４とを備える。画像関連付け装置１と、画像ＤＢ３と、画像検索装置４とは、通信ネットワークＮを介して通信可能に接続されている。通信ネットワークＮは、例えば、インターネット回線等であり、有線であるか無線であるかを問わない。
【００１２】
＜画像関連付け装置１＞
画像関連付け装置１は、画像ＤＢ３に記憶された画像データが示す画像を分析して、画像の内容を表すキーワード抽出する。そして、画像関連付け装置１は、抽出したキーワードを、画像データに関連付けて画像ＤＢ３に記憶させる。
画像関連付け装置１は、例えば、サーバである。画像関連付け装置１は、その他、パーソナルコンピュータ（ＰＣ）等であってもよい。
図２（Ａ）に示すように、画像関連付け装置１は、制御部１０と、記憶部２０と、通信インタフェース部２９とを備える。
【００１３】
制御部１０は、画像関連付け装置１の全体を制御する中央処理装置（ＣＰＵ）である。制御部１０は、記憶部２０に記憶されているオペレーティングシステム（ＯＳ）やアプリケーションプログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。
制御部１０は、画像受付部１１と、説明文生成部１２（説明文生成手段）と、翻訳処理部１３（翻訳手段）と、単語抽出部１５（単語抽出手段）と、キーワード選定部１６（キーワード選定手段）と、キーワード登録部１８（関連付け手段）とを備える。
画像受付部１１は、画像ＤＢ３からキーワードが関連付けられていない画像データを受け付ける。
【００１４】
説明文生成部１２は、受け付けた画像データの説明文を生成する。画像データの説明文は、画像データが示す画像の内容に関するものである。説明文生成部１２は、公知の説明文生成ソフトウェアである、例えば、“ＤｅｎｓｅＣａｐ”を使用して、画像データに関する説明文を生成する。“ＤｅｎｓｅＣａｐ”を使用する場合、説明文生成部１２により生成した説明文は、英文である。なお、説明文生成部１２は、“ＤｅｎｓｅＣａｐ”の代わりに、公知の説明文生成ソフトウェアである“ＮｅｕｒａｌＴａｌｋ２”を用いてもよい。しかし、説明文を複数生成する“ＤｅｎｓｅＣａｐ”の方が、画像内の領域ごとに説明文を生成することから、画像に関する説明文から多くの名詞を得ることができるため望ましい。
なお、説明文生成部１２は、説明文として好ましくは名詞句を生成する。
ここで、“ＤｅｎｓｅＣａｐ”や“ＮｅｕｒａｌＴａｌｋ２”は、現在の画像データを使用して学習している。よって、学習結果として生成する説明文は、現在の物等を表すものになる。そのため、説明文生成部１２は、古い絵画の画像データのうち、例えば、宗教画等に多く描かれている「聖書」を、「タブレット」と認識して説明文を生成する。
【００１５】
翻訳処理部１３は、説明文生成部１２で生成した英文の説明文を、日本語に翻訳する。翻訳処理部１３は、例えば、公知の自動翻訳のソフトウェアを用いて、説明文を翻訳する。なお、その他として、翻訳処理部１３は、例えば、英語と日本語とが関連付いたデータベース（図示せず）を用いて、英語を日本語に翻訳してもよい。また、翻訳処理部１３は、通信ネットワークＮを介して接続されたウェブサービスを行うサーバに対して通信をして、翻訳してもよい。
単語抽出部１５は、説明文から複数の単語を抽出する。具体的には、単語抽出部１５は、例えば、説明文に対して形態素解析を行うことによって、説明文から複数の単語を抽出する。
【００１６】
キーワード選定部１６は、単語抽出部１５によって抽出された単語の一部を、キーワードとして選定する。
具体的には、キーワード選定部１６は、単語抽出部１５によって抽出された複数の単語から品詞をフィルタリングすることで、名詞を抽出する。そして、キーワード選定部１６は、抽出した名詞をフィルタリング及び置換して、キーワードを選定する。ここで、フィルタリングとしては、「彼」や「これ」等の代名詞や、「側」や「製」等の接尾名詞、「中」や「一部」等の副詞可能名詞を除外する。また、フィルタリング及び置換としては、例えば、名詞に含まれる除外語（後述する）を除外したり、他の語に置き換えたりする。上述したように、説明文生成部１２で生成した説明文には、例えば、「聖書」を「タブレット」と認識したものを含むため、「タブレット」を「聖書」に置き換える等の置換をする必要がある。
そして、キーワード選定部１６は、説明文に含まれる名詞の出現数に基づいて、出現数の多い名詞を優先的にキーワードとして選定する。
キーワード登録部１８は、キーワード選定部１６により選定されたキーワードを、画像ＤＢ３の対応する画像データに関連付けて記憶させる。
【００１７】
記憶部２０は、制御部１０が各種の処理を実行するために必要なプログラム、データ等を記憶するためのハードディスク、半導体メモリ素子等の記憶領域である。
記憶部２０は、プログラム記憶部２１と、除外語記憶部２２と、地域語記憶部２３とを備える。
プログラム記憶部２１は、各種のプログラムを記憶する記憶領域である。プログラム記憶部２１は、上述した公知の説明文生成ソフトウェアや、公知の自動翻訳ソフトウェアの他、キーワード抽出プログラム２１ａを記憶している。キーワード抽出プログラム２１ａは、画像関連付け装置１の制御部１０が実行する各種機能を行うためのプログラムである。なお、キーワード抽出プログラム２１ａは、公知の説明文生成ソフトウェアや、公知の自動翻訳ソフトウェアを含むものであってもよい。
【００１８】
除外語記憶部２２は、年代ごとに、除外語を記憶する。ここで、除外語とは、画像データが示す絵画の制作年代や、モチーフの年代では、物等自体がなく、使用されることがない語をいう。
図３（Ａ）は、除外語記憶部２２の例を示す。除外語記憶部２２は、年代と、除外語と、代替語とを対応付けて記憶する。代替語は、除外語に代えて用いる名詞である。除外語記憶部２２は、例えば、画像データの画像が示す年代が１６００年代であれば、「ジーンズ」、「Ｔシャツ」等、その年代にはなかった物を示す語を、除外語として記憶する。また、代替語は、除外語に対応して代替可能な単語を記憶する。例えば、１６００年代であれば、「タブレット」は、「本」に代替する。また、画像データが示す画像が宗教画である場合には、例えば、「タブレット」や「パソコン」は、「聖書」に代替する。さらに、画像データが示す画像が示す年代が自動車のない年代であれば、「ホイール」や「タイヤ」は、「車輪」に代替する。
【００１９】
地域語記憶部２３は、地域ごとに、特定語を記憶する。ここで、特定語とは、その地域でのみ特有に存在する物等を示す語をいう。
図３（Ｂ）は、地域語記憶部２３の例を示す。地域語記憶部２３は、年代と、地域と、対象語と、特定語とを対応付けて記憶する。対象語は、特定語に対応する名詞であり、地域（国等）に関係なく広く用いられている語である。地域語記憶部２３は、例えば、画像データの画像が示す年代が１７００年代であれば、地域が「日本」である場合に、「ランプ」は、「灯篭」に置換する。その他、置換される特定語としては、「囲炉裏」や「敷布団」等がある。
図２（Ａ）に戻り、通信インタフェース部２９は、通信ネットワークＮを介して画像ＤＢ３との通信を行うためのインタフェース部である。
【００２０】
＜画像ＤＢ３＞
図１に戻り、画像ＤＢ３は、ハードディスク、半導体メモリ素子等の記憶領域を有する、例えば、データベースサーバである。画像ＤＢ３は、画像データと、キーワードとを関連付けて記憶する。画像ＤＢ３は、例えば、図示しない他の端末等が送信した画像データを記憶する。なお、画像ＤＢ３は、図示しないが、制御部、記憶部、通信インタフェース部等を備える。
【００２１】
＜画像検索装置４＞
画像検索装置４は、ユーザにより入力された検索語をキーワードとする画像データを、画像ＤＢ３から抽出して表示させる。画像検索装置４は、例えば、タブレットに代表されるコンピュータの機能を併せ持った携帯型の装置である。画像検索装置４は、その他、スマートフォンや携帯電話機等でもよいし、ＰＣ等であってもよい。
図２（Ｂ）に示すように、画像検索装置４は、制御部４０と、記憶部５０と、タッチパネルディスプレイ５７と、通信インタフェース部５９とを備える。
【００２２】
制御部４０は、画像検索装置４の全体を制御するＣＰＵである。制御部４０は、記憶部５０に記憶されているＯＳやアプリケーションプログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。
制御部４０は、検索語受付部４１（検索語受付手段）と、画像抽出部４２（画像抽出手段）と、画像出力部４３（画像出力手段）とを備える。
検索語受付部４１は、ユーザにより入力された検索語を受け付ける。
画像抽出部４２は、検索語をキーワードに含む画像データを、画像ＤＢ３から抽出する。
画像出力部４３は、画像ＤＢ３から抽出された画像データを、タッチパネルディスプレイ５７に出力する。
【００２３】
記憶部５０は、制御部４０が各種の処理を実行するために必要なプログラム、データ等を記憶するための半導体メモリ素子等の記憶領域である。記憶部５０は、プログラム記憶部５１を備える。
プログラム記憶部５１は、各種のプログラムを記憶する記憶領域である。プログラム記憶部５１は、画像検索プログラム５１ａを記憶している。画像検索プログラム５１ａは、制御部４０が実行する各種機能を行うためのプログラムである。画像検索プログラム５１ａは、例えば、図示しないアプリ配信サーバからダウンロード等することによって、予めプログラム記憶部５１に記憶されている。
【００２４】
タッチパネルディスプレイ５７は、液晶パネル等で構成される表示部としての機能と、ユーザからの指等によるタッチ入力を検出する入力部としての機能とを有する。
通信インタフェース部５９は、通信ネットワークＮを介して画像ＤＢ３との通信を行うためのインタフェース部である。
【００２５】
ここで、コンピュータとは、制御部、記憶装置等を備えた情報処理装置をいい、画像関連付け装置１及び画像検索装置４は、各々制御部、記憶部等を備えた情報処理装置であり、コンピュータの概念に含まれる。
【００２６】
＜画像関連付け装置１の処理＞
次に、画像関連付け装置１での処理について説明する。
図４は、第１実施形態に係る画像関連付け装置１のキーワード抽出処理を示すフローチャートである。
図５及び図６は、第１実施形態に係る画像関連付け装置１によるキーワード抽出処理の具体例を示す図である。
【００２７】
図４のステップＳ（以下、単に「Ｓ」という。）１０において、画像関連付け装置１の制御部１０（画像受付部１１）は、画像ＤＢ３から画像データを受け付ける。具体的には、制御部１０は、画像ＤＢ３に記憶された画像データのうち、キーワードが関連付けられていない画像データを１つ抽出する。
Ｓ１１において、制御部１０（説明文生成部１２）は、画像データが示す画像に関するキャプション（説明文）を生成する。
図５（Ａ）は、処理対象の画像データが示す画像６０の例である。
図５（Ｂ）は、画像６０に対して“ＤｅｎｓｅＣａｐ”を使用した場合の結果画像６１及びキャプション６２の例である。“ＤｅｎｓｅＣａｐ”では、画像６０の領域ごとに説明文を出力する。そして、結果画像６１が示すように、領域は、画像６０に複数生成されるので、説明文も複数生成される。なお、画像６０の画素数が６４０ｐｘ（ピクセル）である場合には、“ＤｅｎｓｅＣａｐ”は、約８０個のキャプションを生成する。
【００２８】
図４に戻り、Ｓ１２において、制御部１０（翻訳処理部１３）は、キャプションを翻訳して、図５（Ｃ）に示す翻訳文（説明文）６３を取得する。なお、この画像検索システム１００を英語圏で使用する場合には、翻訳処理部１３による処理は、不要である。
Ｓ１３において、制御部１０（単語抽出部１５）は、翻訳文６３に対して形態素解析を行う。図６（Ａ）は、図５（Ｃ）に示す翻訳文６３に対して形態素解析をして得られた結果データ６４を示す。
図４に戻り、Ｓ１４において、制御部１０（単語抽出部１５）は、形態素解析を行った結果データから、品詞フィルタリングによって名詞を抽出する。次に、制御部１０は、抽出した名詞から、代名詞や接尾名詞を除外する。そして、制御部１０は、名詞の出現頻度を算出する。図６（Ｂ）は、名詞と、出現頻度とを対応付けた名詞頻度テーブル６５の例を示す。
【００２９】
図４に戻り、Ｓ１５において、制御部１０（キーワード選定部１６）は、フィルタリング及び置換処理を行って、キーワードを選定する。具体的には、制御部１０は、除外語記憶部２２を参照し、名詞頻度テーブル６５に含まれる除外語を削除する。この例の画像データの年代では、除外語記憶部２２の除外語に、例えば、「リンゴ」、「シャツ」、「ぬいぐるみ」、「スカート」、「玩具」が記憶されているとする。その場合、制御部１０は、図６（Ｂ）に示す名詞頻度テーブル６５にある名詞のうち、「リンゴ」、「シャツ」、「ぬいぐるみ」、「スカート」、「玩具」を削除する。
また、制御部１０は、地域語記憶部２３を参照し、名詞頻度テーブル６５に含まれる対象語を、特定語に変換する。
さらに、制御部１０は、出現頻度が上位の名詞を抽出する。制御部１０は、例えば、上位５件の名詞を抽出するようにしてもよいし、閾値を決めて、閾値以上の頻度のある名詞を抽出するようにしてもよい。図６（Ｃ）は、閾値を「５」として選定したキーワードが記憶されたキーワードテーブル６６の例を示す。
【００３０】
図４に戻り、Ｓ１６において、制御部１０（キーワード登録部１８）は、キーワードテーブル６６に記憶された名詞を、キーワードとして、画像ＤＢ３に登録する。制御部１０は、Ｓ１０の処理で受け付けた画像データに、抽出したキーワードを対応付けて画像ＤＢ３に記憶させる。
Ｓ１７において、制御部１０は、この処理を終了するか否かを判断する。制御部１０は、例えば、画像ＤＢ３の全ての画像データにキーワードが対応付けられているか否かによって、この処理を終了するか否かを判断する。この処理を終了する場合（Ｓ１７：ＹＥＳ）には、制御部１０は、本処理を終了する。他方、この処理を終了しない場合（Ｓ１７：ＮＯ）には、制御部１０は、処理をＳ１０に移して、キーワードが対応付けられていない他の画像データについて処理を行う。
【００３１】
このように、画像関連付け装置１は、画像の内容に関連する複数のキーワードを、画像の内容を表す説明文から抽出するので、精度の高いキーワードを簡単に抽出できる。
また、画像関連付け装置１は、画像の内容を示す複数のキーワードを、画像データに対応付けることができるため、画像検索等にキーワードを用いることができる。
【００３２】
＜画像検索装置４の処理＞
次に、画像検索装置４を使用した画像検索処理について説明する。
図７は、第１実施形態に係る画像検索装置４の画像検索処理を示すフローチャートである。
図８は、第１実施形態に係る画像検索装置４での表示例を示す図である。
ユーザが画像検索装置４を操作して、画像検索プログラム５１ａを起動させることで、画像検索装置４は、図７に示す画像検索処理を開始する。
【００３３】
図７のＳ３０において、画像検索装置４の制御部４０は、図８（Ａ）に示す画像検索画面７０を、タッチパネルディスプレイ５７に表示させる。ユーザは、画像検索画面７０の語入力部７０ａに検索したい語（検索語）を手入力し、「検索」ボタンを選択する。ユーザが、例えば、「椅子」のある画像を検索したい場合には、ユーザは、検索語として、「椅子」を語入力部７０ａに手入力する。なお、検索語は、複数の語であってもよい。
画像検索画面７０に検索語が入力され、ユーザにより「検索」ボタンが選択されたことで、図７のＳ３１において、制御部４０（検索語受付部４１）は、検索語を受け付ける。
【００３４】
Ｓ３２において、制御部４０（画像抽出部４２）は、画像ＤＢ３を参照し、受け付けた検索語がキーワードとして関連付いた画像データを抽出する。ここで、制御部４０は、複数の画像データを抽出してもよい。
Ｓ３３において、制御部４０は、抽出した画像データに基づいて、画像検索結果画面７１を生成する。制御部４０は、例えば、抽出した画像データのサムネイルを生成する。そして、制御部４０は、画像検索結果画面７１に、キーワードによってヒットした画像データの数であるヒット数や、生成したサムネイルを配置する。
【００３５】
Ｓ３４において、制御部４０（画像出力部４３）は、生成した画像検索結果画面７１を、タッチパネルディスプレイ５７に表示させる。図８（Ｂ）は、画像データを検索結果として表示した画像検索結果画面７１の例である。図８（Ｂ）に示す画像検索結果画面７１は、抽出した３つの画像データのサムネイル７１ａ〜７１ｃを含む。なお、サムネイル７１ａ〜７１ｃのいずれかをユーザが選択することで、制御部４０は、対応する画像データを、別画面に出力してもよい。また、画像検索結果画面７１に、検索結果として出力する画像データの条件を入力できる構成を含むようにし、画像データの年代等の絞込を行うようにしてもよい。
その後、制御部４０は、本処理を終了する。
【００３６】
このように、第１実施形態の画像検索システム１００によれば、以下のような効果がある。
（１）画像関連付け装置１は、画像に関する説明文に形態素解析を行って、得られた単語から名詞を抽出してキーワードを選定するので、画像の内容を示す精度の高いキーワードを抽出できる。そして、画像検索装置４では、検索語をキーワードとする画像データを抽出して表示させるので、キーワードを画像データに対応付けることで、画像検索として使い勝手のよいものにできる。
（２）画像関連付け装置１は、既にオープンになっている公知の画像を分析して説明文を出力する技術を用いて、キーワードを選定するので、学習用のデータ収集やアノテーションのコストをかけることなく、簡単に画像の内容を示す精度の高いキーワードを抽出できる。
【００３７】
（３）画像関連付け装置１は、画像データが示す画像の年代では物自体のない語を除外語として、キーワードから除外するので、画像の年代にはふさわしくないキーワードを、画像データに対応付けることがない。よって、選定するキーワードを、画像データが示す画像の年代に適した語にすることができる。
（４）画像関連付け装置１は、画像データが示す画像の年代では除外する除外語に代えて、その年代の代替語を、キーワードにするので、その年代にふさわしいキーワードを、画像データに対応付けることができる。
【００３８】
（５）画像関連付け装置１は、説明文から抽出した名詞の出現頻度に基づいて、キーワードを選定する。出現頻度が高い語の方が、出現頻度の低い語より画像データの内容をより表すものであると推定できるため、出現頻度の高い語を、キーワードとして選定できる。
（６）画像関連付け装置１は、画像データが示す国や地域に特有の語に置き換えてキーワードにするので、その地域にふさわしいキーワードを、画像データに対応付けることができる。
【００３９】
（７）画像関連付け装置１は、キーワードを、画像データに対応付けて画像ＤＢ３に登録するので、画像ＤＢ３を、画像検索に使用しやすいデータが記憶されたものにできる。
（８）画像検索装置４は、検索語がキーワードとして対応付けられた画像データを画像ＤＢ３から抽出するので、検索語が含まれる様々な画像を表示できる。よって、様々な画像をユーザに知らせるきっかけを作ることができる。
【００４０】
（第２実施形態）
第２実施形態では、入力画像に関連する画像を検索する場合について説明する。なお、以降の説明において、上述した第１実施形態と同様の機能を果たす部分には、同一の符号又は末尾に同一の符号を付して、重複する説明を適宜省略する。
【００４１】
＜画像検索システム２００の全体構成＞
図９は、第２実施形態に係る画像検索システム２００の機能ブロック図である。
画像検索システム２００は、検索対象としてユーザにより入力された画像データ（対象画像）から、その画像データに関するキーワードを選定し、選定したキーワードを用いて画像ＤＢ３を参照して、類似の画像データを検索するシステムである。
画像検索システム２００は、関連画像検索装置２０１（画像検索装置）と、画像ＤＢ３とを備える。
【００４２】
＜関連画像検索装置２０１＞
関連画像検索装置２０１は、検索対象としてユーザにより入力された画像データである入力画像データの内容を示すキーワードを抽出する。そして、関連画像検索装置２０１は、抽出したキーワードに対応付けられた画像データを、画像ＤＢ３から抽出して表示させる。
関連画像検索装置２０１は、例えば、ＰＣ等である。関連画像検索装置２０１は、その他、タブレットに代表されるコンピュータの機能を併せ持った携帯型の装置等であってもよい。
関連画像検索装置２０１は、制御部２１０と、記憶部２２０と、入力部２２６と、表示部２２８と、通信インタフェース部２９とを備える。
【００４３】
制御部２１０は、画像受付部２１１（画像受付手段）と、説明文生成部１２と、翻訳処理部１３と、単語抽出部１５と、キーワード選定部１６と、画像抽出部２１７（画像抽出手段）と、画像出力部２１９（画像出力手段）とを備える。
画像受付部２１１は、ユーザが入力した画像データである、入力画像データを受け付ける。
画像抽出部２１７は、入力画像データに基づいて抽出されたキーワードを含む画像データを、画像ＤＢ３から抽出する。
画像出力部２１９は、画像ＤＢ３から抽出された画像データを、表示部２２８に出力する。
【００４４】
記憶部２２０は、プログラム記憶部２２１と、除外語記憶部２２と、地域語記憶部２３とを備える。
プログラム記憶部２２１は、関連画像検索装置２０１の制御部２１０が実行する各種機能を行うためのプログラムである画像検索プログラム２２１ｂを記憶している。画像検索プログラム２２１ｂは、例えば、図示しないアプリ配信サーバからダウンロード等することによって、予めプログラム記憶部２２１に記憶されている。
入力部２２６は、例えば、キーボードやマウス等の入力装置である。
表示部２２８は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）等の表示装置である。
【００４５】
＜関連画像検索装置２０１の処理＞
次に、関連画像検索装置２０１での処理について説明する。
図１０は、第２実施形態に係る関連画像検索装置２０１の画像検索処理を示すフローチャートである。
図１１は、第２実施形態に係る関連画像検索装置２０１での表示例を示す図である。
ユーザが関連画像検索装置２０１を操作して、画像検索プログラム２２１ｂを起動させることで、関連画像検索装置２０１は、画像検索処理を開始する。
【００４６】
図１０のＳ２１０において、関連画像検索装置２０１の制御部２１０は、図１１（Ａ）に示す関連画像検索画面２７０を、表示部２２８に表示させる。ユーザは、例えば、関連画像検索画面２７０の「選択」ボタンを選択して、出力された図示しないフォルダ一覧から、記憶部２２０に記憶された検索対象にする入力画像データを指定する。
関連画像検索画面２７０に画像データが入力され、ユーザにより「検索」ボタンが選択されたことにより、Ｓ２１１において、制御部２１０（画像受付部２１１）は、入力画像データを受け付ける。
Ｓ２１２からＳ２１６までの処理は、第１実施形態（図４）のＳ１１からＳ１５までの処理と同様である。
【００４７】
Ｓ２１７において、制御部２１０（画像抽出部２１７）は、画像ＤＢ３を参照し、Ｓ２１６において選定したキーワードが対応付けられた画像データを抽出する。ここで、制御部２１０は、複数のキーワードを選定した場合に、キーワードごとに画像データを抽出する。また、制御部２１０は、複数の画像データを抽出してもよい。
Ｓ２１８において、制御部２１０は、抽出した画像データに基づいて、画像検索結果画面２７１を生成する。制御部２１０は、例えば、入力画像データと、抽出した画像データとのサムネイルを生成する。そして、制御部２１０は、画像検索結果画面２７１に、入力画像データのサムネイルを配置し、その周囲に、画像ＤＢ３から抽出した画像データのサムネイルを、キーワードと共に配置する。
【００４８】
Ｓ２１９において、制御部２１０（画像出力部２１９）は、生成した画像検索結果画面２７１を、表示部２２８に表示させる。図１１（Ｂ）は、画像検索結果画面２７１の例である。図１１（Ｂ）に示す画像検索結果画面２７１は、入力画像データのサムネイル２７１ａと、各キーワードに対応した抽出した４つの画像データのサムネイル２７１ｂ〜２７１ｅとを含む。なお、サムネイル２７１ａ〜２７１ｅのいずれかをユーザが選択することで、制御部２１０は、対応する画像データを、別画面に出力してもよい。また、画像検索結果画面２７１に、「次へ」のボタンを含むようにし、「次へ」のボタンの選択を受け付けた場合に、制御部２１０は、各キーワードの異なる画像データのサムネイルを出力するようにしてもよい。
その後、制御部２１０は、本処理を終了する。
【００４９】
このように、第２実施形態の画像検索システム２００によれば、以下のような効果がある。
（１）関連画像検索装置２０１は、入力画像データに関連する画像データを、入力画像データの画像に関する説明文に対して形態素解析を行って、得られた単語からキーワードを選定し、そのキーワードが対応付けられた画像データにする。よって、入力画像データに関連する画像データを、キーワードに基づいて多様な観点で抽出できる。つまり、例えば、入力画像から受ける印象に基づく検索結果として、関連画像検索装置２０１は、画像データを抽出できる。そして、関連画像検索装置２０１は、ユーザに、様々な画像データを示すことができ、知識がなくてもユーザが必要とする画像データを得ることができる。
（２）関連画像検索装置２０１は、入力画像データに関連する画像データを、キーワードと共に出力するので、ユーザに、入力画像データに関するキーワードを示すことができる。
【００５０】
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。また、実施形態に記載した効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載したものに限定されない。なお、上述した実施形態及び後述する変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。
【００５１】
（変形形態）
（１）各実施形態では、画像ＤＢは、通信ネットワークを介して接続されているものとして説明したが、これに限定されない。例えば、第１実施形態であれば、画像関連付け装置の記憶部に有していてもよい。
（２）各実施形態では、画像の説明文から得た名詞の出現頻度によって、フィルタリングするものを例に説明したが、これに限定されない。全ての名詞をキーワードとしてもよい。また、名詞をキーワードとして画像データに対応付けるものとして説明したが、キーワードの出現頻度や、全体の名詞に対するキーワードの出現度合いを、キーワードに対応付けてもよい。そのようにすることで、画像検索処理に、出現頻度や出現度合いを考慮することができる。
【００５２】
（３）各実施形態では、年代ものの絵画の画像データを対象とした例を説明したが、これに限定されない。例えば、現代の画家による現代のものを描いた絵画を画像化したものを含んでもよい。その場合には、年代による名詞の削除や置換は不要である。
（４）第１実施形態では、１以上の語を検索語として入力することで、画像検索処理を行うものを例に説明したが、これに限定されない。入力は、例えば、文章等であってもよい。その場合には、入力された文章から単語を抽出した後に、画像検索処理を行えばよい。
（５）第２実施形態では、入力画像データに関連する画像データを、入力画像データから抽出されたキーワードに基づき表示させるものを例に説明したが、これに限定されない。例えば、入力画像データから抽出されたキーワードを表示させ、表示されたキーワードから１以上のキーワードをユーザが選択することで、受け付けたキーワードに対応付けられた画像データを表示させるようにしてもよい。
【符号の説明】
【００５３】
１    画像関連付け装置
３    画像ＤＢ
４    画像検索装置
１０，４０，２１０  制御部
１１，２１１  画像受付部
１２  説明文生成部
１３  翻訳処理部
１５  単語抽出部
１６  キーワード選定部
１８  キーワード登録部
２０，５０，２２０  記憶部
２１ａ  キーワード抽出プログラム
２２  除外語記憶部
２３  地域語記憶部
４１  検索語受付部
４２，２１７  画像抽出部
４３，２１９  画像出力部
５１ａ，２２１ｂ  画像検索プログラム
５７  タッチパネルディスプレイ
１００，２００  画像検索システム
２２８  表示部
【図１】
2018112806.tif 000003
【図２】
2018112806.tif 000004
【図３】
2018112806.tif 000005
【図４】
2018112806.tif 000006
【図５】
2018112806.tif 000007
【図６】
2018112806.tif 000008
【図７】
2018112806.tif 000009
【図８】
2018112806.tif 000010
【図９】
2018112806.tif 000011
【図１０】
2018112806.tif 000012
【図１１】
2018112806.tif 000013