(57)【特許請求の範囲】
【請求項１】
第１の画像内の第１の領域群の中から選ばれた選択領域と前記第１の領域群の中から選ばれた前記選択領域以外の第１の領域との間における特徴量空間内の第１の距離と、前記選択領域と第２の画像内の第２の領域群の中から選ばれた第２の領域との間における特徴量空間内の第２の距離と、を取得する取得部と、
前記取得部によって取得された前記第１の距離と前記第２の距離との比に基づいて、前記選択領域を辞書パターンにすべきか否かを判定する判定部と、
前記判定部によって辞書パターンにすべきと判定された場合、前記選択領域を辞書パターン群が記憶される辞書に登録する登録部と、を有し、
前記第１の画像を含む第１の画像集合の各々の画像には、共通の属性情報が付与されており、前記第２の画像を含む第２の画像集合の各々の画像には、前記属性情報が付与されておらず、前記第１の領域群は、前記第１の画像集合内の各画像から得られた領域群であり、前記第２の領域群は、前記第２の画像集合内の各画像から得られた領域群であることを特徴とする辞書生成システム。
【請求項２】
第１の画像内の第１の領域群の中から選ばれた選択領域と前記第１の領域群の中から選ばれた前記選択領域以外の第１の領域との間における特徴量空間内の第１の距離と、前記選択領域と第２の画像内の第２の領域群の中から選ばれた第２の領域との間における特徴量空間内の第２の距離と、を取得する取得部と、
前記取得部によって取得された前記第１の距離と前記第２の距離との比に基づいて、前記選択領域を辞書パターンにすべきか否かを判定する判定部と、
前記判定部によって辞書パターンにすべきと判定された場合、前記選択領域を辞書パターン群が記憶される辞書に登録する登録部と、を有し、
前記第１の画像を含む第１の画像集合の各々の画像と前記第２の画像を含む第２の画像集合の各々の画像とのいずれにも属性情報が付与されておらず、前記第１の領域群は、前記第１の画像集合内の各画像から得られた領域群であり、前記第２の領域群は、前記第２の画像集合内の各画像から得られた領域群であることを特徴とする辞書生成システム。
【請求項３】
第１の画像内の第１の領域群の中から選ばれた選択領域と前記第１の領域群の中から選ばれた前記選択領域以外の第１の領域との間における特徴量空間内の第１の距離と、前記選択領域と第２の画像内の第２の領域群の中から選ばれた第２の領域との間における特徴量空間内の第２の距離と、を取得する取得部と、
前記取得部によって取得された前記第１の距離と前記第２の距離との比に基づいて、前記選択領域を辞書パターンにすべきか否かを判定する判定部と、
前記判定部によって辞書パターンにすべきと判定された場合、前記選択領域を辞書パターン群が記憶される辞書に登録する登録部と、を有し、
前記第１の画像を含む第１の画像集合の各々の画像には、属性情報が付与されておらず、前記第２の画像を含む第２の画像集合の各々の画像には、共通の属性情報が付与されており、前記第１の領域群は、前記第１の画像集合内の各画像から得られた領域群であり、前記第２の領域群は、前記第２の画像集合内の各画像から得られた領域群であることを特徴とする辞書生成システム。
【請求項４】
第１の画像内の第１の領域群の中から選ばれた選択領域と前記第１の領域群の中から選ばれた前記選択領域以外の第１の領域との間における特徴量空間内の第１の距離と、前記選択領域と第２の画像内の第２の領域群の中から選ばれた第２の領域との間における特徴量空間内の第２の距離と、を取得する取得部と、
前記取得部によって取得された前記第１の距離と前記第２の距離との比に基づいて、前記選択領域を辞書パターンにすべきか否かを判定する判定部と、
前記判定部によって辞書パターンにすべきと判定された場合、前記選択領域を辞書パターン群が記憶される辞書に登録する登録部と、を有し、
前記第１の画像を含む第１の画像集合の各々の画像には、共通の第１の属性情報が付与されており、前記第２の画像を含む第２の画像集合の各々の画像には、共通の第２の属性情報が付与されており、前記第１の領域群は、前記第１の画像集合内の各画像から得られた領域群であり、前記第２の領域群は、前記第２の画像集合内の各画像から得られた領域群であることを特徴とする辞書生成システム。
【請求項５】
第１の画像内の第１の領域群の中から選ばれた選択領域と前記第１の領域群の中から選ばれた前記選択領域以外の第１の領域との間における特徴量空間内の複数の第１の距離の中の最小となる第１の最小距離と、前記選択領域と第２の画像内の第２の領域群の中から選ばれた第２の領域との間における特徴量空間内の複数の第２の距離の中の最小となる第２の最小距離と、を取得する取得部と、
前記取得部によって取得された前記第１の最小距離と前記第２の最小距離との比に基づいて、前記選択領域を辞書パターンにすべきか否かを判定する判定部と、
前記判定部によって辞書パターンにすべきと判定された場合、前記選択領域を辞書パターン群が記憶される辞書に登録する登録部と、
を有することを特徴とする辞書生成システム。
【請求項６】
請求項５に記載の辞書生成システムであって、
前記取得部は、前記第１の最小距離を前記選択領域ごとに取得して平均化した第１の平均最小距離を取得するとともに、前記第２の最小距離を前記選択領域ごとに取得して平均化した第２の平均最小距離を取得し、
前記判定部は、前記第１の平均最小距離と前記第２の平均最小距離との比に基づいて、前記選択領域を辞書パターンにすべきか否かを判定することを特徴とする辞書生成システム。
【請求項７】
請求項１〜４のいずれか１つに記載の辞書生成システムであって、
前記第１の距離と前記第２の距離との比に基づいて、前記選択領域を摂動させる摂動処理を実行することにより新たな領域を生成する摂動処理部を有し、
前記判定部は、前記摂動処理部による処理結果に基づいて、前記選択領域を辞書パターンにすべきか否かを判定することを特徴とする辞書生成システム。
【請求項８】
請求項７に記載の辞書生成システムであって、
前記摂動処理部は、前記摂動処理の実行回数の増加にしたがって前記選択領域を摂動させる摂動量を減少させることにより、前記摂動処理を実行することを特徴とする辞書生成システム。
【請求項９】
請求項７に記載の辞書生成システムであって、
前記取得部は、複数の前記第１の距離の中の最小となる第１の最小距離を前記選択領域ごとに取得して平均化した第１の平均最小距離を取得するとともに、複数の前記第２の距離の中の最小となる第２の最小距離を前記選択領域ごとに取得して平均化した第２の平均最小距離を取得し、
前記第１の平均最小距離と前記第２の平均最小距離との比に基づいて、複数の前記選択領域の中から前記摂動処理の対象となる特定の選択領域を決定する決定部を有し、
前記摂動処理部は、前記決定部によって決定された特定の選択領域について、前記摂動処理を実行することにより新たな領域を生成することを特徴とする辞書生成システム。
【請求項１０】
請求項１に記載の辞書生成システムであって、
前記登録部は、前記判定部によって辞書パターンにすべきと判定された前記選択領域を、前記属性情報と関連付けて前記辞書に登録することを特徴とする辞書生成システム。
【請求項１１】
請求項３に記載の辞書生成システムであって、
前記登録部は、前記判定部によって辞書パターンにすべきと判定された前記選択領域を、前記属性情報と関連付けて前記辞書に登録することを特徴とする辞書生成システム。
【請求項１２】
請求項１に記載の辞書生成システムであって、
前記判定部によって辞書パターンにすべきと判定された前記選択領域を、前記辞書への登録可否を指定可能に表示する表示部を有し、
前記登録部は、前記表示部に表示された前記選択領域の前記辞書への登録が指定された前記選択領域を前記辞書に登録することを特徴とする辞書生成システム。
【請求項１３】
プログラムを実行するプロセッサと、前記プロセッサが実行するプログラムを格納するメモリと、を備える辞書生成システムが実行する辞書生成方法であって、
前記プロセッサが、
第１の画像内の第１の領域群の中から選ばれた選択領域と前記第１の領域群の中から選ばれた前記選択領域以外の第１の領域との間における特徴量空間内の第１の距離と、前記選択領域と第２の画像内の第２の領域群の中から選ばれた第２の領域との間における特徴量空間内の第２の距離と、を取得する取得手順と、
前記取得手順によって取得された前記第１の距離と前記第２の距離との比に基づいて、前記選択領域を辞書パターンにすべきか否かを判定する判定手順と、
前記判定手順によって辞書パターンにすべきと判定された場合、前記選択領域を辞書パターン群が記憶される辞書に登録する登録手順と、を実行し、
前記第１の画像を含む第１の画像集合の各々の画像には、共通の属性情報が付与されており、前記第２の画像を含む第２の画像集合の各々の画像には、前記属性情報が付与されておらず、前記第１の領域群は、前記第１の画像集合内の各画像から得られた領域群であり、前記第２の領域群は、前記第２の画像集合内の各画像から得られた領域群であることを特徴とする辞書生成方法。
【請求項１４】
プログラムを実行するプロセッサと、前記プロセッサが実行するプログラムを格納するメモリと、を備える辞書生成システムに、
第１の画像内の第１の領域群の中から選ばれた選択領域と前記第１の領域群の中から選ばれた前記選択領域以外の第１の領域との間における特徴量空間内の第１の距離と、前記選択領域と第２の画像内の第２の領域群の中から選ばれた第２の領域との間における特徴量空間内の第２の距離と、を取得する取得手順と、
前記取得手順によって取得された前記第１の距離と前記第２の距離との比に基づいて、前記選択領域を辞書パターンにすべきか否かを判定する判定手順と、
前記判定手順によって辞書パターンにすべきと判定された場合、前記選択領域を辞書パターン群が記憶される辞書に登録する登録手順と、を実行させ、
前記第１の画像を含む第１の画像集合の各々の画像には、共通の属性情報が付与されており、前記第２の画像を含む第２の画像集合の各々の画像には、前記属性情報が付与されておらず、前記第１の領域群は、前記第１の画像集合内の各画像から得られた領域群であり、前記第２の領域群は、前記第２の画像集合内の各画像から得られた領域群であることを特徴とする辞書生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、辞書を生成する辞書生成システム、辞書生成方法、および辞書生成プログラムに関する。
【背景技術】
【０００２】
従来、少量多種の物体に適用可能な類似画像検索に基づくオブジェクト検出手法がある。本手法は、入力画像の部分領域に対して、検出対象の事例を登録したデータベースから最近傍事例を検索し、特徴量空間での距離によってオブジェクトであるか否かを判別する。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】渡邉裕樹，永吉洋登，廣池敦，"類似画像検索に基づく事例ベース一般オブジェクト検出"，信学技報，vol.111，no.353 (PRMU2011-124--PRMU2011-146)，pp.101-106,2011.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述した従来技術では、検出したい対象物が含まれる領域を辞書パターンとして登録する必要がある。検出精度を向上させるためには、適切な辞書パターンを多数登録する必要があるが、実運用上、その作業コストがかかるという問題がある。【０００５】
本発明は、信頼性の高い辞書パターンを自動登録することにより辞書を自動生成することを目的とする。
【課題を解決するための手段】
【０００６】
本願において開示される発明の一側面となる辞書生成システム、辞書生成方法、および辞書生成プログラムは、第１の画像内の第１の領域群の中から選ばれた選択領域と前記第１の領域群の中から選ばれた前記選択領域以外の第１の領域との間における特徴量空間内の第１の距離と、前記選択領域と第２の画像内の第２の領域群の中から選ばれた第２の領域との間における特徴量空間内の第２の距離と、を取得し、取得された前記第１の距離と前記第２の距離との比に基づいて、前記選択領域を辞書パターンにすべきか否かを判定し、辞書パターンにすべきと判定された場合、前記選択領域を辞書パターン群が記憶される辞書に登録することを特徴とする。
前記第１の画像を含む第１の画像集合の各々の画像には、共通の属性情報が付与されており、前記第２の画像を含む第２の画像集合の各々の画像には、前記属性情報が付与されておらず、前記第１の領域群は、前記第１の画像集合内の各画像から得られた領域群であり、前記第２の領域群は、前記第２の画像集合内の各画像から得られた領域群である。
また、前記第１の画像を含む第１の画像集合の各々の画像と前記第２の画像を含む第２の画像集合の各々の画像とのいずれにも属性情報が付与されておらず、前記第１の領域群は、前記第１の画像集合内の各画像から得られた領域群であり、前記第２の領域群は、前記第２の画像集合内の各画像から得られた領域群であってもよい。
また、前記第１の画像を含む第１の画像集合の各々の画像には、属性情報が付与されておらず、前記第２の画像を含む第２の画像集合の各々の画像には、共通の属性情報が付与されており、前記第１の領域群は、前記第１の画像集合内の各画像から得られた領域群であり、前記第２の領域群は、前記第２の画像集合内の各画像から得られた領域群であってもよい。
また、前記第１の画像を含む第１の画像集合の各々の画像には、共通の第１の属性情報が付与されており、前記第２の画像を含む第２の画像集合の各々の画像には、共通の第２の属性情報が付与されており、前記第１の領域群は、前記第１の画像集合内の各画像から得られた領域群であり、前記第２の領域群は、前記第２の画像集合内の各画像から得られた領域群であってもよい。
【発明の効果】
【０００７】
本発明の代表的な実施の形態によれば、信頼性の高い辞書パターンを自動登録することにより辞書を自動生成することができる。前述した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。
【図面の簡単な説明】
【０００８】
【図１】本発明にかかる辞書生成システムにおける辞書生成例を示す説明図である。
【図２】辞書生成システムにおける辞書生成の具体例を示す説明図である。
【図３】辞書生成システムのハードウェア構成例を示すブロック図である。
【図４】実施例１にかかる辞書生成システムの機能的構成例を示すブロック図である。
【図５】第１の画像集合および第２の画像集合からの領域生成例を示す説明図である。
【図６】摂動処理による領域生成例１を示す説明図である。
【図７】摂動処理による領域生成例２を示す説明図である。
【図８】摂動処理による領域生成例３を示す説明図である。
【図９】辞書生成システムによる辞書生成処理手順例を示すフローチャートである。
【図１０】図９に示した生成処理（ステップＳ９０１）の詳細な処理手順例を示すフローチャートである。
【図１１】図１０に示した領域群生成処理（ステップＳ１００３）の詳細な処理手順例を示すフローチャートである。
【図１２】図９に示した取得処理（ステップＳ９０２）の詳細な処理手順例を示すフローチャートである。
【図１３】図１２に示した第１の平均最小距離取得処理（ステップＳ１２０１）の詳細な処理手順例を示すフローチャートである。
【図１４】図１３に示した第１の平均最小距離算出処理（ステップＳ１３０５）の詳細な処理手順例を示すフローチャートである。
【図１５】図１４に示した最小距離累積処理（ステップＳ１４０５）の詳細な処理手順例を示すフローチャートである。
【図１６】図１２に示した第２の平均最小距離取得処理（ステップＳ１２０２）の詳細な処理手順例を示すフローチャートである。
【図１７】図１６に示した第２の平均最小距離算出処理（ステップＳ１６０５）の詳細な処理手順例を示すフローチャートである。
【図１８】図１７に示した最小距離累積処理（ステップＳ１７０３）の詳細な処理手順例を示すフローチャートである。
【図１９】図９に示した決定処理（ステップＳ９０３）の詳細な処理手順例を示すフローチャートである。
【図２０】図９に示した摂動処理（ステップＳ９０５）の詳細な処理手順例を示すフローチャートである。
【図２１】実施例２にかかる最小距離算出処理（ステップＳ１６０５）の詳細な処理手順例を示すフローチャートである。
【図２２】実施例５にかかるコンテンツクラウドシステムのシステム構成例を示すブロック図である。
【図２３】辞書生成システムの運用方式例を示すブロック図である。
【図２４】画像管理サーバが管理する情報の一覧を示す説明図である。
【図２５】比較用パターン管理サーバが管理する情報を示す説明図である。
【図２６】辞書パターン管理サーバが管理する情報の一覧を示す説明図である。
【図２７】辞書生成に用いられる画面の一例を示す説明図である。
【図２８】確認画面の表示例を示す説明図である。
【発明を実施するための形態】
【０００９】
図１は、本発明にかかる辞書生成システムにおける辞書生成例を示す説明図である。辞書生成システムとは、辞書を生成するシステムである。システムとは、装置単体でもよく、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットなどのネットワークに接続された装置群でもよい。辞書とは、オブジェクトや壁紙などのパターンを含む画像のうちオブジェクトを記憶した情報である。辞書生成システムは、オブジェクトを辞書パターンとして辞書に登録することにより、辞書生成の自動化を図る。
【００１０】
辞書生成には、２種類の画像群である第１の画像集合１０１と第２の画像集合１０２とが用いられる。第１の画像集合１０１は、オブジェクトの検出対象となる画像集合であり、第２の画像集合１０２は、第１の画像集合１０１からオブジェクトの非検出対象を除外するための画像集合である。第１の画像集合１０１の各画像から得られる領域群がオブジェクト候補となる。第２の画像集合１０２の各画像から得られる領域群がオブジェクト候補との比較対象となる。
【００１１】
辞書生成システムは、第１の画像集合１０１の画像１１０から得られる領域群（オブジェクト候補群）の領域（オブジェクト候補）どうしを、それらの画像特徴量を用いて近しいか否かを判定する。領域群１１１内の矩形はオブジェクト候補を示す。たとえば、第１の画像集合１０１のある画像１１０から得られるオブジェクト候補Ａ，Ｂ間の特徴量空間内の距離を第１の距離とする。辞書生成システムは、第１の距離によりオブジェクト候補Ａ，Ｂの類似性を評価することができる。
【００１２】
また、辞書生成システムは、第１の画像集合１０１の画像１１０から得られるオブジェクト候補と、第２の画像集合１０２の画像１２０から得られる領域群１２２内の比較対象となる領域とを、それらの画像特徴量を用いて近しいか否かを判定する。たとえば、オブジェクト候補Ａと、第２の画像集合１０２の画像１２０から得られる比較対象となる領域Ｃとの特徴量空間内の距離を、第２の距離とする。辞書生成システムは、第２の距離によりオブジェクト候補Ａ，Ｃの類似性を評価することができる。
【００１３】
そして、辞書生成システムは、第１の距離と第２の距離との比を用いることにより、オブジェクト候補Ａが、オブジェクト候補Ｂに類似する領域なのか、比較対象となる領域Ｃに類似する候補なのかを判定する。辞書生成システムは、この判定結果によりオブジェクト候補の絞り込みをおこない、絞り込み結果１３０を得る。辞書生成システムは、絞り込み結果１３０に対して、後述する摂動処理を実施することによって新たな領域候補を生成し、生成された領域候補に対しても、領域群１２２を用いて再度第１の距離と第２の距離を求める。元の領域候補に新たな領域候補を加えたものに対して、再度、上述した判定処理を実行する。このような処理を収束するまで繰り返すことによって、辞書に登録すべきオブジェクト候補の信頼性の向上を図ることができる。
【００１４】
上述した辞書生成システムにおいて、第１の画像集合１０１と第２の画像集合１０２の組み合わせは４通り存在する。すなわち、（１）第１の画像集合１０１がタグありの画像集合で第２の画像集合１０２がタグなしの画像集合、（２）第１の画像集合１０１がタグなしの画像集合で第２の画像集合１０２もタグなしの画像集合、（３）第１の画像集合１０１がタグなしの画像集合で第２の画像集合１０２がタグありの画像集合、（４）第１の画像集合１０１がタグありの画像集合で第２の画像集合１０２もタグありの画像集合の４通りである。
【００１５】
タグとは、テキストなどの画像に付与された情報である。たとえば、「車」、「夏休みの旅行」などの任意の文字列や当該画像の取得時期を示すタイムスタンプ、当該画像の取得位置を示す位置情報である。すなわち、タグは、付与された画像についての何らかの属性を示す情報となる。タグがある画像集合は、たとえば、あるタグを検索キーとして検索された画像集合である。したがって、タグがある画像集合は、同一または類似する共通のタグを有する画像集合である。
【００１６】
上記（１）の場合、辞書生成システムは、第２の画像集合１０２内の比較対象となる領域群１２２に含まれる壁紙などのパターンを第１の画像集合１０１のオブジェクト候補から除外することにより、第１の画像集合１０１内のオブジェクト候補の絞り込みをおこなう。これにより、辞書登録の信頼性の向上を図ることができる。
【００１７】
上記（２）の場合、第１の画像集合１０１と第２の画像集合１０２は、ともにタグがない画像集合である。タグがない画像集合とは、タグが付与されていない画像群であるが、タグが付与されていても辞書生成システムにおいてタグがないものとして扱うこととしてもよい。上記（２）の場合、第１の画像集合１０１と第２の画像集合１０２は、ともにタグがないため、第２の画像集合１０２として第１の画像集合１０１を用いればよい。また、第１の画像集合１０１と第２の画像集合１０２を統合すればよい。上記（２）の場合、辞書生成システムは、第１の画像集合１０１内の同一画像中に類似したオブジェクト候補どうしを除外する。これにより、画像内での単純な繰り返しパターンを排除することができ、画像間で類似したオブジェクト候補を抽出することができる。
【００１８】
上記（３）の場合、たとえば、第２の画像集合１０２の各画像に、壁紙や背景などの繰り返しパターン示すタグが付与されているとする。この場合、辞書生成システムは、タグが付与されていない第１の画像集合１０１のオブジェクト候補の中から、繰り返しパターンと部分一致する候補を排除し、人物、物品等のオブジェクトに対応する領域をオブジェクト候補として絞り込むことができる。
【００１９】
上記（４）の場合、たとえば、第１の画像集合１０１の各画像には、特定のタグＸが付与されており、第２の画像集合１０２の各画像には、排除したい領域を特徴づけるタグＹが付与されているものとする。第１の画像集合１０１の各画像にはタグＹが付与されていてもよい。この場合、辞書生成システムは、タグＸが付与された画像に含まれるオブジェクト候補から、タグＹが付与された画像に含まれるオブジェクト候補を排除することができ、オブジェクト候補の絞り込み精度の向上を図ることができる。
【００２０】
なお、上述の辞書生成では、第２の画像集合１０２を用いたが、第２の画像集合１０２を用いないこととしてもよい。この場合は、第１の画像集合１０１内の領域であるオブジェクト候補と第２の画像集合１０２内の領域との間の類似性を評価しないこととなるが、その分、辞書生成の高速化を図ることができる。
【００２１】
図２は、辞書生成システムにおける辞書生成の具体例を示す説明図である。図２は、上述した（１）の組み合わせの場合の辞書生成例を示す。第１の画像集合１０１には「車」のタグが付与される。オブジェクト候補には、車の画像を含む領域と、車の画像を含まない領域が存在する。第２の画像集合１０２は、タグが付与されていない画像集合である。比較対象となる各種画像を含む領域が第２の画像集合１０２から抽出される。辞書生成システムは、上述した判定処理により、オブジェクト候補と比較対象の領域との間で類似すると評価された領域を、オブジェクト候補から除外する（図２中、右端の太線矩形）。これにより、辞書登録の信頼性の向上を図ることができる。
【００２２】
＜ハードウェア構成例＞
図３は、辞書生成システムのハードウェア構成例を示すブロック図である。辞書生成システム３００は、プロセッサ３０１と、記憶デバイス３０２と、入力デバイス３０３と、出力デバイス３０４と、通信インターフェース（通信ＩＦ３０５）と、を有する。プロセッサ３０１、記憶デバイス３０２、入力デバイス３０３、出力デバイス３０４、および通信ＩＦ３０５は、バスにより接続される。プロセッサ３０１は、辞書生成システム３００を制御する。記憶デバイス３０２は、プロセッサ３０１の作業エリアとなる。また、記憶デバイス３０２は、各種プログラムやデータを記憶する。記憶デバイス３０２としては、たとえば、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）、フラッシュメモリがある。
【００２３】
入力デバイス３０３は、データを入力する。入力デバイス３０３としては、たとえば、キーボード、マウス、タッチパネル、テンキー、スキャナがある。出力デバイス３０４は、データを出力する。出力デバイス３０４としては、たとえば、ディスプレイ、プリンタがある。通信ＩＦ３０５は、ネットワークと接続され、データを送受信する。以下、本発明にかかる実施例について説明する。
【００２４】
（実施例１）
実施例１では、上述した（１）第１の画像集合１０１がタグありの画像集合で第２の画像集合１０２がタグなしの画像集合の場合を例に挙げて説明する。
【００２５】
＜機能的構成例＞
図４は、実施例１にかかる辞書生成システム３００の機能的構成例を示すブロック図である。図４において、辞書生成システム３００は、辞書４００と、生成部４０１と、取得部４０２と、決定部４０３と、摂動処理部４０４と、判定部４０５と、表示部４０６と、登録部４０７と、を有する。辞書４００は、辞書パターン群を記憶する。辞書４００は、具体的には、たとえば、図３に示した記憶デバイス３０２によりその機能を実現する。生成部４０１〜登録部４０７は、具体的には、たとえば、図３に示した記憶デバイス３０２に記憶されたプログラムをプロセッサ３０１が実行することによりその機能を実現する。
【００２６】
生成部４０１は、生成対象である第１の画像および第２の画像の中から領域を生成する。第１の画像とは、たとえば、上述した第１の画像集合１０１内の画像１１０である。第２の画像とは、たとえば、上述した第２の画像集合１０２内の画像１２０である。具体的には、たとえば、生成部４０１は、生成対象の画像について、多重解像度処理を実行して、複数段階の多重解像度画像を生成する。そして、生成部４０１は、多重解像度画像の各々について、量子化された複数種類のアスペクト比の走査窓を用いてグリッド状走査を実行する。これにより、生成部４０１は、第１の画像や第２の画像から領域を生成する。なお、生成部４０１による具体的な生成例については、図５で説明する。
【００２７】
取得部４０２は、第１の画像内の第１の領域群の中から選ばれた選択領域と第１の領域群の中から選ばれた選択領域以外の第１の領域との間における特徴量空間内の第１の距離を取得する。第１の領域群とは、第１の画像集合１０１の各画像１１０から切り出される領域群１１１であり、具体的には、たとえば、第１の画像集合１０１の各画像１１０に対しグリッド状走査を実行することにより得られる領域群である。
【００２８】
選択領域とは、第１の領域群の中から選ばれた領域であり、辞書４００への辞書パターンとしての登録対象となる領域である。選択領域は、上述したオブジェクト候補Ａに相当する。第１の領域とは、第１の領域群のうち選択領域とは異なる領域であり、たとえば、オブジェクト候補Ｂに相当する。選択領域と第１の領域とは第１の画像集合１０１内の領域である。
【００２９】
また、同様に、取得部４０２は、選択領域と第２の画像内の第２の領域群の中から選ばれた第２の領域との間における特徴量空間内の第２の距離を取得する。第２の領域群とは、第２の画像集合１０２の各画像から切り出される領域群１２２であり、具体的には、たとえば、第２の画像集合１０２の各画像に対しグリッド状走査を実行することにより得られる領域群である。したがって、第２の領域群内の領域は、上述した領域Ｃに相当する。
【００３０】
取得部４０２は、複数存在する第１の領域中の選択領域と、着目する画像に含まれる第１の領域との間の第１の距離群のうち、最小となる第１の最小距離を取得する。同様に、取得部４０２は、選択領域と、着目する画像に含まれる第２の領域との間の第２の距離群のうち、最小となる第２の最小距離を取得する。
【００３１】
また、画像は複数存在するため、第１の最小距離は選択領域ごとに多数存在する。取得部４０２は、第１の最小距離を画像について平均化することにより、各選択領域に対して、第１の平均最小距離を取得する。同様に、取得部４０２は、第２の最小距離を画像について平均化することにより、各選択領域に対して、第２の平均最小距離を取得する。
【００３２】
決定部４０３は、第１の平均最小距離と前記第２の平均最小距離との比に基づいて、複数の選択領域の中から摂動処理の対象となる特定の選択領域を決定する。具体的には、たとえば、決定部は、各選択領域における第１の平均最小距離と前記第２の平均最小距離との比を昇順にソートする。そして、決定部４０３は、たとえば、上位Ｍ（Ｍは１以上の整数）番目までの比に該当する選択領域を、摂動処理の対象となる特定の選択領域に決定する。これにより、辞書パターンとして登録するのにふさわしい選択領域の絞り込みをおこなうことができる。
【００３３】
摂動処理部４０４は、第１の距離と第２の距離との比に基づいて、選択領域を摂動させる摂動処理を実行することにより新たな領域を生成する。具体的には、たとえば、摂動処理部４０４は、決定部４０３によって決定された特定の選択領域について、摂動処理を実行する。摂動処理とは、選択領域の位置をずらして新たな領域を生成する処理である。摂動処理部４０４は、たとえば、図１に示した絞り込み結果１３０となるオブジェクト候補、すなわち選択領域について、摂動処理を実行する。
【００３４】
判定部４０５は、第１の距離と第２の距離との比に基づいて、選択領域を辞書パターンにすべきか否かを判定する。第１の距離と第２の距離との比とは、第１の距離を第２の距離で除算した値である。当該比の値が小さいほど選択領域は、辞書パターンとしてふさわしい領域となる。
【００３５】
たとえば、第１の距離が小さければ、第１の画像集合１０１内で選択領域と第１の領域とは類似する。ただし、両領域が目的とする辞書パターンに該当するか否かは、第２の距離により決まる。たとえば、第２の画像集合１０２が第１の画像集合１０１とは関連性のない画像集合である場合、第２の距離が小さいということは、選択領域は第２の領域とも類似すると評価される。したがって、第２の距離が小さければ、選択領域についての距離の比が大きくなるため、辞書パターンとしてふさわしくないことになる。
【００３６】
また、摂動処理が実行された場合、判定部４０５は、摂動処理部４０４による処理結果に基づいて、選択領域を辞書パターンにすべきか否かを判定する。選択領域は離散的なデジタル画像であるから、摂動処理を繰り返し実行することにより、微少変動によって新たな領域が生成されることはなくなる。したがって、摂動処理において、新たな領域が生成されることがなくなれば、判定部４０５は、収束したと判定し、残存する選択領域を辞書パターンとして登録すべきと判定することができる。
【００３７】
表示部４０６は、判定部４０５によって辞書パターンにすべきと判定された選択領域を、辞書４００への登録可否を指定可能に表示する。具体的には、例えば、表示部４０６は、辞書パターンにすべきと判定された選択領域を出力デバイス３０４の表示画面に表示する。これにより、ユーザが入力デバイス３０３を用いて登録可否を指定することができる。
【００３８】
登録部４０７は、判定部４０５によって辞書パターンにすべきと判定された場合、選択領域を辞書４００に登録する。登録部４０７は、選択領域に属性情報が付与されている場合には、選択領域を属性情報と関連付けて辞書４００に登録する。属性情報とは、上述したタグである。これにより、属性情報を用いて辞書４００を検索する場合、所望のオブジェクトである辞書パターンを抽出することができる。また、登録部４０７は、表示部４０６において、ユーザが入力デバイス３０３を用いて登録すべきと指定された選択領域について登録することとしてもよい。
【００３９】
＜領域生成例＞
図５は、第１の画像集合１０１および第２の画像集合１０２からの領域生成例を示す説明図である。辞書生成システム３００は、量子化された複数種類のアスペクト比の走査窓を生成する。図５の例では、５種類のアスペクト比の走査窓ｗ１〜ｗ５が生成される。
【００４０】
また、辞書生成システム３００は、各画像１１０，１２０について多重解像度処理を実行する。辞書生成システム３００は、多重解像度処理により、たとえば、画像１１０，１２０の解像度を１／２ずつ縮小した多重解像度画像群を生成する。図５の例では、ある画像１１０について４段階の多重解像度画像１１０，１１０ａ，１１０ｂ，１１０ｃが生成される。
【００４１】
辞書生成システム３００は、アスペクト比の量子化で得られた走査窓を、多重解像度処理で得られた多重解像度画像上でグリッド状走査を実行する。図５の例では、辞書生成システム３００は、５種類の走査窓ｗを用いて４段階の多重解像度画像群をグリッド状走査する。これにより、画像１１０から領域が抽出される。抽出される領域は、適用される走査窓のアスペクト比、適用される多重解像度画像の解像度、グリッド状走査による走査窓の走査位置により規定される。
【００４２】
＜摂動処理による領域生成例＞
図６〜図８は、摂動処理による領域生成例を示す説明図である。摂動処理とは、図１に示した絞り込み結果１３０となるオブジェクト候補について、位置をずらした領域を生成する処理である。図６〜図８において、点線矩形が絞り込み結果１３０内のあるオブジェクト候補となる領域であり、白塗りの実線矩形が摂動処理による変動後の領域である。図６は、絞り込み結果１３０内のあるオブジェクト候補を、当該オブジェクト候補を含む画像１１０上で上下左右に変動させた領域を示す。
【００４３】
図７は、絞り込み結果１３０内のあるオブジェクト候補を、当該オブジェクト候補を含む画像１１０上で右斜め上、右斜め下、左斜め上、左斜め下に変動させた領域を示す。図８は、絞り込み結果１３０内のあるオブジェクト候補を、当該オブジェクト候補を含む画像１１０上で拡大縮小により変動させた領域を示す。
【００４４】
摂動処理による変動量の一例について説明する。グリッド状走査の横方向ステップ幅をｇｘ、縦方向ステップ幅をｇｙ、摂動処理の繰り返し回数をｑとする。ｑ回目の摂動処理における横方向の変動量ｄｘ、縦方向の変動量ｄｙ、拡大率ｄｚは以下の通りである。なお、縮小率は、１／ｄｚとなる。
【００４５】
ｄｘ＝ｇｘ／２ｑ・・・（１）
ｄｙ＝ｇｙ／２ｑ・・・（２）
ｄｚ＝２＾（１／２ｑ）・・・（３）
【００４６】
上述した式（１）〜（３）による変動量、拡大率および縮小率によれば、摂動処理の繰り返し回数ｑが増加するほど、増加前に比べて変動量および拡大率が小さくなり、縮小率が大きくなる。すなわち、摂動処理による領域のぶれが抑制され、元となる領域に収束されやすくなる。なお、式（１）〜（３）は一例であり、摂動処理の繰り返し回数ｑの増加にしたがい、増加前に比べて変動量および拡大率が小さくなり、縮小率が大きくなる式であれば、他の式でもよい。また、摂動処理の繰り返し回数ｑにかかわらず固定の変動量でもよい。この場合は、式（１）〜（３）の計算が不要となるため、摂動処理による領域生成の高速化を図ることができる。
【００４７】
＜辞書生成処理＞
図９は、辞書生成システム３００による辞書生成処理手順例を示すフローチャートである。辞書生成システム３００は、図４に示した生成部４０１による生成処理（ステップＳ９０１）、取得部４０２による取得処理（ステップＳ９０２）、決定部４０３による決定処理（ステップＳ９０３）、摂動処理部４０４による摂動処理（ステップＳ９０４）の順に実行する。
【００４８】
このあと、辞書生成システム３００は、判定部による収束判定処理を実行する（ステップＳ９０４）。収束判定処理（ステップＳ９０４）では、対象となる画像は離散的なデジタル画像であるから、繰り返し実行することにより、微少変動によって新たな領域が生成されることはなくなる。したがって、摂動処理（ステップＳ９０４）において、新たな領域候補が生成されることがなくなれば、辞書生成システム３００は、収束したと判定し（ステップＳ９０５：Ｙｅｓ）、表示処理（ステップＳ９０６）に移行する。
【００４９】
また、計算の効率化のために繰り返し回数の上限を設定し、当該上限に達した場合に収束したと判定することとしてもよい。なお、収束していないと判定された場合（ステップＳ９０５：Ｎｏ）、取得処理（ステップＳ９０２）に移行する。すなわち、収束するまで、ステップＳ９０２〜Ｓ９０４を繰り返すことになる。一方、収束した場合（ステップＳ９０５：Ｙｅｓ）、表示部による表示処理（ステップＳ９０６）および登録部による登録処理（ステップＳ９０７）を実行する。これにより、一連の処理を終了する。
【００５０】
＜生成処理＞
図１０は、図９に示した生成処理（ステップＳ９０１）の詳細な処理手順例を示すフローチャートである。ここでは、第１の画像集合１０１を例に挙げて説明するが、第２の画像集合１０２にも適用される。
【００５１】
辞書生成システム３００は、第１の画像集合１０１の中に未選択画像があるか否かを判断する（ステップＳ１００１）。未選択画像がある場合（ステップＳ１００１：Ｙｅｓ）、辞書生成システム３００は、未選択画像を１つ選択する（ステップＳ１００２）。つぎに、辞書生成システム３００は、選択画像について領域群生成処理を実行する（ステップＳ１００３）。領域群生成処理（ステップＳ１００３）の詳細については図１１で説明するが、領域群生成処理（ステップＳ１００３）により、選択画像から複数の領域が抽出される。
【００５２】
このあと、辞書生成システム３００は、選択画像から抽出された領域群の中に、未選択領域があるか否かを判断する（ステップＳ１００４）。未選択領域がある場合（ステップＳ１００４：Ｙｅｓ）、辞書生成システム３００は、未選択領域を１つ選択し（ステップＳ１００５）、選択領域の画像特徴量を抽出する（ステップＳ１００６）。画像特徴量の抽出方法については、上述した非特許文献１において詳細な説明が記載されている。抽出された画像特徴量に用いることによって、同一画像集合内の領域どうしの類似性および異なる画像集合間の領域どうしの類似性を評価することができる。
【００５３】
画像特徴量の抽出（ステップＳ１００６）のあと、ステップＳ１００４に戻る。ステップＳ１００４において、未選択領域がない場合（ステップＳ１００４：Ｎｏ）、ステップＳ１００１に戻る。ステップＳ１００１において、未選択画像がない場合（ステップＳ１００１：Ｎｏ）、生成処理を終了し（ステップＳ９０１）、図９の取得処理（ステップＳ９０２）に移行する。
【００５４】
＜領域群生成処理＞
図１１は、図１０に示した領域群生成処理（ステップＳ１００３）の詳細な処理手順例を示すフローチャートである。まず、辞書生成システム３００は、図５に示したように、量子化されたアスペクト比ごとに、ステップＳ１００２で選択された選択画像について多重解像度処理を実行する（ステップＳ１１０１）。つぎに、辞書生成システム３００は、未選択のアスペクト比があるか否かを判断する（ステップＳ１１０２）。未選択のアスペクト比がある場合（ステップＳ１１０２：Ｙｅｓ）、辞書生成システム３００は、未選択のアスペクト比を選択し（ステップＳ１１０３）、未選択の多重解像度画像があるか否かを判断する（ステップＳ１１０４）。
【００５５】
未選択多重解像度がある場合（ステップＳ１１０４：Ｙｅｓ）、辞書生成システム３００は、未選択の多重解像度画像を選択する（ステップＳ１１０５）。そして、辞書生成システム３００は、選択アスペクト比の走査窓で選択多重解像度画像をグリッド状走査することにより、走査窓と同一の形状、大きさの領域群を生成する（ステップＳ１１０６）。このあと、ステップＳ１１０４に戻り、辞書生成システム３００は、未選択多重解像度画像があるか否かを判断する（ステップＳ１１０４）。未選択多重解像度画像がない場合（ステップＳ１１０４：Ｎｏ）、ステップＳ１１０２に戻り、辞書生成システム３００は、未選択アスペクト比があるか否かを判断する（ステップＳ１１０２）。未選択アスペクト比がない場合（ステップＳ１１０２：Ｎｏ）、一連の処理を終了し、図１０のステップＳ１００４に移行する。
【００５６】
＜取得処理＞
図１２は、図９に示した取得処理（ステップＳ９０２）の詳細な処理手順例を示すフローチャートである。取得処理（ステップＳ９０１）は、領域間の画像特徴量に基づく最小距離を取得し、これらを平均化して平均最小距離を取得する処理である。辞書生成システム３００は、まず、第１の平均最小距離取得処理を実行する（ステップＳ１２０１）。第１の平均最小距離取得処理（ステップＳ１２０１）は、第１の画像集合１０１内の画像から抽出された領域間についての最小距離を取得し、これらを平均化して第１の平均最小距離を取得する処理である。第１の平均最小距離取得処理（ステップＳ１２０１）の詳細については、図１４で説明する。
【００５７】
つぎに、辞書生成システム３００は、第２の平均最小距離取得処理を実行する（ステップＳ１２０２）。第２の平均最小距離取得処理（ステップＳ１２０２）は、第１の画像集合１０１内の画像から抽出された領域と第２の画像集合１０２内の画像から抽出された領域との間についての最小距離を取得し、これらを平均化して第２の平均最小距離を取得する処理である。第２の平均最小距離取得処理（ステップＳ１２０２）の詳細については、図１６で説明する。これにより、平均最小距離取得処理（ステップＳ１２０１）が終了すると、決定処理（ステップＳ９０３）に移行する。
【００５８】
図１３は、図１２に示した第１の平均最小距離取得処理（ステップＳ１２０１）の詳細な処理手順例を示すフローチャートである。辞書生成システム３００は、まず、変数を初期化する（ステップＳ１３０１）。ここでは、第１の画像集合１０１内の画像群のインデックスｉをｉ＝１とする。第１の画像集合１０１内のインデックスｉの画像を画像Ａｉとする。ｉは１≦ｉ≦Ｎａをとる整数である。Ｎａは、第１の画像集合１０１内の画像数である。
【００５９】
また、画像Ａｉから抽出された領域群のインデックスをｊとする。画像Ａｉから抽出されたｊ番目の領域をａｉｊとする。ｊは１≦ｊ≦ｎａｉをとる整数である。ｎａｉは、画像Ａｉ内の領域数である。
【００６０】
つぎに、辞書生成システム３００は、ｉ＞Ｎａであるか否かを判断する（ステップＳ１３０２）。すなわち、辞書生成システム３００は、第１の画像集合１０１内の画像をすべて処理したか否かを判断する。ｉ＞Ｎａでない場合（ステップＳ１３０２：Ｎｏ）、ｊ＝１とし（ステップＳ１３０３）、辞書生成システム３００は、ｊ＞ｎａｉであるか否かを判断する（ステップＳ１３０４）。すなわち、辞書生成システム３００は、画像Ａｉ内の領域ａｉｊをすべて処理したか否かを判断する。
【００６１】
ｊ＞ｎａｉでない場合（ステップＳ１３０４：Ｎｏ）、辞書生成システム３００は、領域ａｉｊからその画像特徴量である第１特徴量を抽出する（ステップＳ１３０５）。このあと、辞書生成システム３００は、第１の平均最小距離算出処理を実行する（ステップＳ１３０６）。第１の平均最小距離算出処理（ステップＳ１３０６）は、第１の画像集合１０１内の画像Ａｉとは異なる画像Ａｋ内の領域ａｋｌからその画像特徴量である第２特徴量を抽出し、領域ａｉｊと領域ａｋｌとの最小距離の平均値である第１の平均最小距離を算出する処理である。インデックスｋは、１≦ｋ≦Ｎａをとる整数であり、ｋ≠ｉである。また、インデックスｌは、１≦ｌ≦ｎａｋをとる整数である。ｎａｋは、画像Ａｋ内の領域数である。第１の平均最小距離算出処理（ステップＳ１３０６）の詳細については、図１５で説明する。
【００６２】
このあと、辞書生成システム３００は、インデックスｊをインクリメントし（ステップＳ１３０７）、ステップＳ１３０４に戻る。ステップＳ１３０３において、ｊ＞ｎａｉである場合（ステップＳ１３０４：Ｙｅｓ）、辞書生成システム３００は、ｉをインクリメントし（ステップＳ１３０８）、ステップＳ１３０２に戻る。ステップＳ１３０２において、ｉ＞Ｎａである場合（ステップＳ１３０２：Ｙｅｓ）、図１２の第２の平均最小距離取得処理（ステップＳ１２０２）に移行する。これにより、第１の平均最小距離取得処理（ステップＳ１２０１）が終了する。
【００６３】
図１４は、図１３に示した第１の平均最小距離算出処理（ステップＳ１３０６）の詳細な処理手順例を示すフローチャートである。辞書生成システム３００は、まず、変数を初期化する（ステップＳ１４０１）。ここでは、ｋ＝１、ｌ＝１にする。また、辞書生成システム３００は、変数ｓをｓ＝０に設定する。変数ｓは、ある領域ａｉｊに対する各領域ａｋｌとの最小距離の累積値となる。
【００６４】
つぎに、辞書生成システム３００は、ｋ＝ｉであるか否かを判断する（ステップＳ１４０２）。すなわち、辞書生成システム３００は、ｋ＝ｉとなる領域ａｋｌを処理対象から除外するためである。
【００６５】
ｋ＝ｉである場合（ステップＳ１４０２：Ｙｅｓ）、ｋをインクリメントして（ステップＳ１４０３）、ステップＳ１４０４に移行する。一方、ｋ≠ｉの場合（ステップＳ１４０２：Ｎｏ）、ステップＳ１４０４に移行する。
【００６６】
つぎに、辞書生成システム３００は、ｋ＞Ｎａであるか否かを判断する（ステップＳ１４０４）。すなわち、辞書生成システム３００は、第１の画像集合１０１内の画像をすべて処理したか否かを判断する。ｋ＞Ｎａでない場合（ステップＳ１４０４：Ｎｏ）、辞書生成システム３００は、最小距離累積処理を実行する（ステップＳ１４０５）。最小距離累積処理（ステップＳ１４０５）は、ある領域ａｉｊに対する各領域ａｋｌとの最小距離を累積する処理である。最小距離累積処理（ステップＳ１４０５）では、ある領域ａｉｊに対する各領域ａｋｌとの最小距離の累積値（変数ｓ）が求まる。最小距離累積処理（ステップＳ１４０５）の詳細については、図１５で説明する。
【００６７】
このあと、辞書生成システム３００は、ｋをインクリメントし（ステップＳ１４０６）、ステップＳ１４０２に移行する。また、ステップＳ１４０４において、ｋ＞Ｎａである場合（ステップＳ１４０４：Ｙｅｓ）、辞書生成システム３００は、第１の平均最小距離を算出し（ステップＳ１４０７）、図１３のステップＳ１３０７に移行する。第１の平均最小距離Ｄｉｊは、下記式（４）により算出される。これにより、第１の平均最小距離算出処理（ステップＳ１３０６）が終了する。
【００６８】
Ｄｉｊ＝ｓ／（Ｎａ−１）・・・（４）
【００６９】
図１５は、図１４に示した最小距離累積処理（ステップＳ１４０５）の詳細な処理手順例を示すフローチャートである。辞書生成システム３００は、ｔ＝ｄｍａｘ、ｌ＝１とする（ステップＳ１５０１）。ｔは領域間の距離計算に用いる変数であり、ｄｍａｘは、当該距離の最大値である。つぎに、辞書生成システム３００は、ｌ＞ｎａｋであるか否かを判断する（ステップＳ１５０２）。ｎａｋは、画像Ａｋ内の領域数である。すなわち、辞書生成システム３００は、第１の画像集合１０１内の画像Ａｉとは異なる画像Ａｋ内の領域ａｋｌを、すべて処理したか否かを判断する。
【００７０】
ｌ＞ｎａｋでない場合（ステップＳ１５０２：Ｎｏ）、辞書生成システム３００は、領域ａｋｌからその画像特徴量である第２特徴量を抽出する（ステップＳ１５０３）。そして、辞書生成システム３００は、領域ａｉｊと領域ａｋｌとの距離ｄを算出する（ステップＳ１６０１）。距離ｄの算出には、領域ａｉｊの第１特徴量と領域ａｋｌの第２特徴量とが用いられる。下記式（５）は、距離ｄの算出例を示す式である。
【００７１】
【数１】
0006034970.tif 000002
【００７２】
式（５）中、ｖｒは、領域ａｉｊの第１特徴量を示すベクトルにおけるｒ番目の成分であり、ｕｒは、領域ａｋｌの第２特徴量を示すベクトルにおけるｒ番目の成分である。Ｒは成分数である。そして、辞書生成システム３００は、算出した距離ｄがｄ＜ｔであるか否かを判断する（ステップＳ１５０５）。ここで、ｔは、ステップＳ１５０８において変数ｓに加算される値であり、ｔの初期値は、特徴量空間上での距離評価の範囲、すなわち、距離の最大値ｄｍａｘである。
【００７３】
ｄ＜ｔである場合（ステップＳ１５０５：Ｙｅｓ）、辞書生成システム３００は、ｔ＝ｄに設定して（ステップＳ１５０６）、ステップＳ１５０７に移行する。一方、ｄ＜ｔでない場合（ステップＳ１５０５：Ｎｏ）、ステップＳ１５０７に移行する。すなわち、ｔの初期値はｔ＝ｄｍａｘであるが、ｄ＜ｔになる都度、ｔの値が小さくなる。
【００７４】
ステップＳ１５０７において、辞書生成システム３００は、ｌをインクリメントし（ステップＳ１５０７）、ステップＳ１５０２に戻る。ステップＳ１５０２において、ｌ＞ｎａｋである場合（ステップＳ１５０２：Ｙｅｓ）、辞書生成システム３００は、変数ｓを更新して（ステップＳ１５０８）、ステップＳ１４０６に移行する。したがって、ステップＳ１５０８では、領域ａｋｌについてｌ＝１からｌ＝ｎａｋまで試行した場合の距離ｄの最小値、すなわち、最小距離が、ｔとして変数ｓに加算されることになる。
【００７５】
図１６は、図１２に示した第２の平均最小距離取得処理（ステップＳ１２０２）の詳細な処理手順例を示すフローチャートである。辞書生成システム３００は、まず、変数を初期化する（ステップＳ１６０１）。ここでは、ｉ＝１とする。
【００７６】
つぎに、辞書生成システム３００は、ｉ＞Ｎａであるか否かを判断する（ステップＳ１６０２）。すなわち、辞書生成システム３００は、第１の画像集合１０１内の画像をすべて処理したか否かを判断する。ｉ＞Ｎａでない場合（ステップＳ１６０２：Ｎｏ）、ｊ＝１とし（ステップＳ１６０３）、辞書生成システム３００は、ｊ＞ｎａｉであるか否かを判断する（ステップＳ１６０４）。すなわち、辞書生成システム３００は、画像Ａｉ内の領域ａｉｊをすべて処理したか否かを判断する。
【００７７】
ｊ＞ｎａｉでない場合（ステップＳ１６０４：Ｎｏ）、辞書生成システム３００は、領域ａｉｊからその画像特徴量である第１特徴量を抽出する（ステップＳ１６０５）。このあと、辞書生成システム３００は、第２の平均最小距離算出処理を実行する（ステップＳ１６０６）。第２の平均最小距離算出処理（ステップＳ１６０６）は、第２の画像集合１０２内の画像Ｂｋ内の領域ｂｋｌからその画像特徴量である第２特徴量を抽出し、領域ａｉｊと領域ａｋｌとの最小距離の平均値である第２の平均最小距離を算出する処理である。第２の平均最小距離算出処理（ステップＳ１６０６）の詳細については、図１７で説明する。
【００７８】
このあと、辞書生成システム３００は、インデックスｊをインクリメントし（ステップＳ１６０７）、ステップＳ１６０４に戻る。ステップＳ１６０４において、ｊ＞ｎａｉである場合（ステップＳ１６０４：Ｙｅｓ）、辞書生成システム３００は、ｉをインクリメントし（ステップＳ１６０８）、ステップＳ１６０２に戻る。ステップＳ１６０２において、ｉ＞Ｎａである場合（ステップＳ１６０２：Ｙｅｓ）、図９の決定処理（ステップＳ９０３）に移行する。これにより、第２の平均最小距離取得処理（ステップＳ１２０２）が終了する。
【００７９】
図１７は、図１６に示した第２の平均最小距離算出処理（ステップＳ１６０６）の詳細な処理手順例を示すフローチャートである。辞書生成システム３００は、まず、変数を初期化する（ステップＳ１７０１）。ここでは、ｋ＝１、ｌ＝１にする。また、変数ｓをｓ＝０に設定する。変数ｓは、ある領域ａｉｊに対する各領域ｂｋｌとの距離の最小値の累積値となる。計算の詳細については、図１８で説明する。インデックスｋは、１≦ｋ≦Ｎｂをとる整数である。Ｎｂは、第２の画像集合１０２内の画像数である。インデックスｌは、１≦ｊ≦ｎｂｋをとる整数である。ｎｂｋは、画像Ｂｋ内の領域数である。
【００８０】
つぎに、辞書生成システム３００は、ｋ＞Ｎｂであるか否かを判断する（ステップＳ１７０２）。すなわち、辞書生成システム３００は、第２の画像集合１０２内の画像をすべて処理したか否かを判断する。ｋ＞Ｎｂでない場合（ステップＳ１７０２：Ｎｏ）、辞書生成システム３００は、最小距離累積処理を実行する（ステップＳ１７０３）。最小距離累積処理（ステップＳ１７０３）は、Ｓ１４０５と同様、ある領域ａｉｊに対する各領域ｂｋｌとの最小距離を累積する処理である。最小距離累積処理（ステップＳ１７０３）では、ある領域ａｉｊに対する各領域ｂｋｌとの最小距離の累積値（変数ｓ）が求まる。最小距離累積処理（ステップＳ１７０３）の詳細については、図１８で説明する。
【００８１】
このあと、辞書生成システム３００は、ｋをインクリメントし（ステップＳ１７０４）、ステップＳ１７０２に移行する。また、ステップＳ１７０２において、ｋ＞Ｎｂである場合（ステップＳ１７０２：Ｙｅｓ）、辞書生成システム３００は、第２の平均最小距離を算出し（ステップＳ１７０５）、図１６のステップＳ１６０７に移行する。第２の平均最小距離Ｅｉｊは、下記式（６）により算出される。これにより、第２の平均最小距離算出処理（ステップＳ１６０６）が終了する。
【００８２】
Ｅｉｊ＝ｓ／Ｎｂ・・・（６）
【００８３】
図１８は、図１７に示した最小距離累積処理（ステップＳ１７０３）の詳細な処理手順例を示すフローチャートである。辞書生成システム３００は、ｔ＝ｄｍａｘ、ｌ＝１とする（ステップＳ１８０１）。ｔは領域間の距離計算に用いる変数であり、ｄｍａｘは、当該距離の最大値である。つぎに、辞書生成システム３００は、ｌ＞ｎｂｋであるか否かを判断する（ステップＳ１８０２）。ｎｂｋは、画像Ｂｋ内の領域数である。すなわち、辞書生成システム３００は、第１の画像集合１０１内の画像Ａｉとは異なる画像Ｂｋ内の領域ｂｋｌを、すべて処理したか否かを判断する。
【００８４】
ｌ＞ｎｂｋでない場合（ステップＳ１８０２：Ｎｏ）、辞書生成システム３００は、領域ｂｋｌからその画像特徴量である第３特徴量を抽出する（ステップＳ１８０３）。このあと、辞書生成システム３００は、領域ａｉｊと領域ｂｋｌとの距離ｅを算出する（ステップＳ１８０４）。距離ｅの算出には、領域ａｉｊの第１特徴量と領域ｂｋｌの第３特徴量とが用いられる。下記式（７）は、距離ｅの算出例を示す式である。
【００８５】
【数２】
0006034970.tif 000003
【００８６】
式（７）中、ｖｒは、領域ａｉｊの第１特徴量を示すベクトルにおけるｒ番目の成分であり、ｕｒは、領域ｂｋｌの第３特徴量を示すベクトルにおけるｒ番目の成分である。Ｒは成分数である。そして、辞書生成システム３００は、算出した距離ｅがｅ＜ｔであるか否かを判断する（ステップＳ１８０５）。ここで、ｔは、ステップＳ１８０８において変数ｓに加算される値であり、ｔの初期値は、特徴量空間上での距離評価の範囲、すなわち、距離の最大値ｄｍａｘである。
【００８７】
ｅ＜ｔである場合（ステップＳ１８０５：Ｙｅｓ）、辞書生成システム３００は、ｔ＝ｅに設定して（ステップＳ１８０６）、ステップＳ１８０７に移行する。一方、ｅ＜ｔでない場合（ステップＳ１８０５：Ｎｏ）、ステップＳ１８０７に移行する。すなわち、ｔの初期値はｔ＝ｄｍａｘであるが、ｅ＜ｔになる都度、ｔの値が小さくなる。
【００８８】
ステップＳ１８０７では、辞書生成システム３００は、ｌをインクリメントし（ステップＳ１８０７）、ステップＳ１８０２に戻る。ステップＳ１８０２において、ｌ＞ｎｂｋである場合（ステップＳ１８０２：Ｙｅｓ）、辞書生成システム３００は、変数ｓを更新して（ステップＳ１８０８）、ステップＳ１７０４に移行する。したがって、ステップＳ１８０８では、領域ｂｋｌについてｌ＝１からｌ＝ｎｂｋまで試行した場合の距離ｅの最小値がｔとして変数ｓに加算されることになる。
【００８９】
＜決定処理＞
図１９は、図９に示した決定処理（ステップＳ９０３）の詳細な処理手順例を示すフローチャートである。決定処理（ステップＳ９０３）では、辞書生成システム３００は、収束判定処理（ステップＳ９０４）の判定対象となる領域を決定する。辞書生成システム３００は、まず、変数を初期化する（ステップＳ１９０１）。ここでは、ｉ＝１とする。つぎに、辞書生成システム３００は、ｉ＞Ｎａであるか否かを判断する（ステップＳ１９０２）。すなわち、辞書生成システム３００は、第１の画像集合１０１内の画像をすべて処理したか否かを判断する。ｉ＞Ｎａでない場合（ステップＳ１９０２：Ｎｏ）、ｊ＝１とし（ステップＳ１９０３）、辞書生成システム３００は、ｊ＞ｎａｉであるか否かを判断する（ステップＳ１９０４）。すなわち、辞書生成システム３００は、画像Ａｉ内の領域ａｉｊをすべて処理したか否かを判断する。
【００９０】
ｊ＞ｎａｉでない場合（ステップＳ１９０４：Ｎｏ）、辞書生成システム３００は、第１の平均最小距離Ｄｉｊを第２の平均最小距離Ｅｉｊで除算することにより、正規化された平均最小距離Ｆｉｊを算出する（ステップＳ１９０５）。正規化された平均最小距離Ｆｉｊは、領域ａｉｊを辞書４００に登録すべきか否かの指標となる数値である。正規化された平均最小距離Ｆｉｊの値が小さいほど、辞書４００への登録が適切であることを示す。
【００９１】
正規化された平均最小距離Ｆｉｊの算出のあと、辞書生成システム３００は、ｊをインクリメントして（ステップＳ１９０６）、ステップＳ１９０３に戻る。ステップＳ２００３において、ｊ＞ｎａｉである場合（ステップＳ１９０４：Ｙｅｓ）、ｉをインクリメントして（ステップＳ１９０７）、ステップＳ１９０２に戻る。そして、辞書生成システム３００は、ステップＳ１９０２において、ｉ＞Ｎａである場合（ステップＳ１９０２：Ｙｅｓ）、正規化された平均最小距離Ｆｉｊをその値の昇順にソートする（ステップＳ１９０８）。
【００９２】
そして、辞書生成システム３００は、正規化された平均最小距離Ｆｉｊの値が上位Ｍ番目までの領域ａｉｊを取得する。これにより、領域ａｉｊが上位Ｍ個に絞り込まれる。したがって、辞書生成システム３００は、取得したＭ個の領域ａｉｊについて、インデックス（ｉ、ｊ、ｎａｉ）を更新する（ステップＳ１９０９）。たとえば、Ｍ＝１０とし、上位１０番目までの領域ａｉｊが、｛ａ１２，ａ２４，ａ１５，ａ２６，ａ６１，ａ３１，ａ４７，ａ６３，ａ４８，ａ６９｝とする。
【００９３】
この場合、｛ａ１１，ａ１２｝の内容が、｛ａ１２，ａ１５｝の内容に更新される。｛ａ２１，ａ２２｝の内容が、｛ａ２４，ａ２６｝の内容に更新される。｛ａ３１｝はそのままである。｛ａ４１，ａ４２｝の内容が、｛ａ４７，ａ４８｝の内容に更新される。｛ａ６１，ａ６２，ａ６３｝の内容が、｛ａ６１，ａ６３，ａ６９｝の内容に更新される。また、画像Ａｉ内の領域数ｎａｉは、ｎａ１＝２、ｎａ２＝２、ｎａ３＝１、ｎａ４＝２、ｎａ６＝３、それ以外は、ｎａｉ＝０に更新される。これにより、決定処理を終了し（ステップＳ９０３）、収束判定処理（ステップＳ９０４）に移行する。収束判定処理（ステップＳ９０４）では、Ｍ個の領域ａｉｊごとに、収束判定が実行される。
【００９４】
＜摂動処理＞
図２０は、図９に示した摂動処理（ステップＳ９０５）の詳細な処理手順例を示すフローチャートである。辞書生成システム３００は、まず、摂動処理の繰り返し回数ｑ（初期値はｑ＝０）をインクリメントし（ステップＳ２００１）、横方向の変動量ｄｘ、縦方向の変動量ｄｙ、拡大率ｄｚ、縮小率１／ｄｚを算出する（ステップＳ２００２）。つぎに、辞書生成システム３００は、未選択領域ａｉｊがあるか否かを判断する（ステップＳ２００３）。未選択領域がある場合（ステップＳ２００３：Ｙｅｓ）、辞書生成システム３００は、未選択領域ａｉｊを選択し（ステップＳ２００４）、横方向の変動量ｄｘ、縦方向の変動量ｄｙ、拡大率ｄｚ、縮小率１／ｄｚを用いて、選択領域ａｉｊに基づく新たな領域を生成して（ステップＳ２００５）、ステップＳ２００３に戻る。
【００９５】
ステップＳ２００３において、未選択候補がない場合（ステップＳ２００３：Ｎｏ）、辞書生成システム３００は、ステップＳ２００５で領域が追加されたため、各画像に含まれる領域数ｎａｉを更新する（ステップＳ２００６）。たとえば、上記の正規化の例で、上位Ｍ個に絞り込まれた後、追加分の領域が含まれるように、辞書生成システム３００は、各画像中の領域候補を格納する配列の内容ａｉｊ、および、領域候補の数ｎａｉを更新する。これにより、摂動処理（ステップＳ９０４）を終了し、収束判定処理（ステップＳ９０５）に移行する。
【００９６】
このように、実施例１によれば、第２の画像集合１０２内の比較対象となる領域群に含まれる壁紙などのパターンを第１の画像集合１０１のオブジェクト候補から除外することにより、第１の画像集合１０１内のオブジェクト候補の絞り込みをおこなうことができる。これにより、辞書登録の信頼性の向上を図ることができる。また、第２の画像集合１０２中の要素に、本来ならば、着目する属性付与されるべき画像、すなわち、第１の画像集合１０１に含まれるべき画像が混入いていても良い。第２の画像集合１０２の要素数が十分であれば、平均最小値が算出される過程において、このような属性付与の不備に伴う効果は、十分に削減することが可能である。
【００９７】
（実施例２）
つぎに、実施例２について説明する。実施例２では、上述した（２）第１の画像集合１０１がタグなしの画像集合で第２の画像集合１０２もタグなしの画像集合の場合の例である。この場合、実施例１における図９〜図２０のフローチャートにおいて、第２の画像集合１０２を第１の画像集合１０１に置き換えればよい。また、実施例２の場合、図１７および図１８に示した第２の平均最小距離算出処理（ステップＳ１６０５）が実施例１と異なり、図２１に置き換わる。実施例２では、実施例１のＥｉｊに相当するものとして、着目領域を含む画像の他の領域との最小距離を採用する。以下、実施例２にかかる第２の最小距離算出処理（ステップＳ１６０５）について説明する。
【００９８】
図２１は、実施例２にかかる最小距離算出処理（ステップＳ１６０５）の詳細な処理手順例を示すフローチャートである。辞書生成システム３００は、図１６のステップＳ１６０４の領域ａｉｊの画像特徴量である第１特徴量を抽出したあと、まず、変数を初期化する（ステップＳ２１０１）。ここでは、ｋ＝１にする。つぎに、辞書生成システム３００は、ｋ＝ｊであるか否かを判断する（ステップＳ２１０２）。すなわち、辞書生成システム３００は、ｋ＝ｊとなる領域ａｉｋを処理対象から除外するためである。
【００９９】
ｋ＝ｊである場合（ステップＳ２１０２：Ｙｅｓ）、ｋをインクリメントして（ステップＳ２１０３）、ステップＳ２１０４に移行する。一方、ｋ≠ｊの場合（ステップＳ２１０２：Ｎｏ）、ステップＳ２１０４に移行する。
【０１００】
つぎに、辞書生成システム３００は、ｋ＞ｎａｉであるか否かを判断する（ステップＳ２１０４）。すなわち、辞書生成システム３００は、画像内のすべての領域を処理したか否かを判断する。ｋ＞ｎａｉでない場合（ステップＳ２１０４：Ｎｏ）、辞書生成システム３００は、ｔ＝ｄｍａｘとする（ステップＳ２１０５）。ｔは領域間の距離計算に用いる変数であり、ｄｍａｘは、当該距離の最大値である。つぎに、辞書生成システム３００は、領域ａｉｋからその画像特徴量である第３特徴量を抽出する（ステップＳ２１０６）。そして、辞書生成システム３００は、領域ａｉｊと領域ａｉｋとの距離ｅを算出する（ステップＳ２１０７）。距離ｅの算出には、上記式（７）が用いられる。
【０１０１】
ｅ＜ｔである場合（ステップＳ２１０８：Ｙｅｓ）、辞書生成システム３００は、ｔ＝ｅに設定して（ステップＳ２１０９）、ステップＳ２１１０に移行する。一方、ｅ＜ｔでない場合（ステップＳ２１０８：Ｎｏ）、ステップＳ２１１０に移行する。すなわち、ｔの初期値はｔ＝ｄｍａｘであるが、ｅ＜ｔになる都度、ｔの値が小さくなる。
【０１０２】
ステップＳ２１１０では、辞書生成システム３００は、ｋをインクリメントし（ステップＳ２１１０）、ステップＳ２１０２に移行する。また、ステップＳ２１０４において、ｋ＞Ｎａである場合（ステップＳ２１０４：Ｙｅｓ）、第２の最小距離Ｅｉｊをｔに決定し（ステップＳ２１１１）、図１６のステップＳ１６０６に移行する。したがって、領域ａｉｋについてｋ＝１からｋ＝ｎａｉまで試行した場合の距離ｅの最小値ｔが、領域ａｉｊに対する最小距離Ｅｉｊに決定されることになる。これにより、最小距離算出処理（ステップＳ１７０６）が終了して、図１６のステップＳ１６０６に移行する。
【０１０３】
実施例２によれば、辞書生成システム３００は、第１の画像集合１０１内の同一画像中に類似したオブジェクト候補どうしを除外する。これにより、画像内での単純な繰り返しパターンを排除することができ、画像間で類似したオブジェクト候補を抽出することができる。
【０１０４】
（実施例３）
つぎに、実施例３について説明する。実施例３では、上述した（３）第１の画像集合１０１がタグなしの画像集合で第２の画像集合１０２がタグありの画像集合の例である。実施例３では、第１の画像集合１０１がタグなしであり、第２の画像集合１０２がタグありである点を除き、処理内容は、実施例１における図９〜図２０のフローチャートと同一である。このように、実施例３によれば、例えば、第２の画像集合を指定するタグとして、背景等の単純な繰り返しパターンと対応するタグを用いることによって、タグが付与されていない第１の画像集合１０１のオブジェクト候補の中から、繰り返しパターンと部分一致する候補を排除し、人物、物品等のオブジェクトに対応する領域をオブジェクト候補として絞り込むことができる。
【０１０５】
（実施例４）
つぎに、実施例４について説明する。実施例４では、上述した（４）第１の画像集合１０１がタグありの画像集合で第２の画像集合１０２もタグありの画像集合の例である。実施例４では、第１の画像集合１０１に付与されるタグＸと、第２の画像集合１０２に付与されるタグＹとは、異なるタグである。実施例４は、第１の画像集合１０１および第２の画像集合１０２にタグが付与される点を除き、処理内容は、実施例１における図９〜図２０のフローチャートと同一である。このように、タグＸが付与された画像に含まれるオブジェクト候補から、タグＹが付与された画像に含まれるオブジェクト候補を排除することができ、オブジェクト候補の絞り込み精度の向上を図ることができる。
【０１０６】
（実施例５）
次に、実施例５について説明する。実施例５は、実施例１〜４にかかる辞書生成システム３００を、コンテンツクラウドシステムへ組み込んだ例である。
【０１０７】
図２２は、実施例５にかかるコンテンツクラウドシステムのシステム構成例を示すブロック図である。コンテンツクラウドシステム２２００は、Ｅｘｔｒａｃｔ  Ｔｒａｎｓｆｏｒｍ  Ｌｏａｄ（ＥＴＬ）モジュール２２０３、コンテンツストレージ２２０４、検索エンジン２２０５、メタデータサーバ２２０６、マルチメディアサーバ２２０７を有する。コンテンツクラウドシステム２２００は１つ以上のプロセッサ３０１および記憶デバイス３０２を備えた計算機（たとえば、図３を参照）上で動作し、様々なモジュールで構成される。また、それぞれのモジュールが独立した計算機で実行されることもあり、その場合、各ストレージとモジュール間はネットワーク等で接続されおり、それらを介してデータ通信を行う分散処理で実現される。
【０１０８】
アプリケーションプログラム２２０８は、ネットワーク等を経由してコンテンツクラウドシステム２２００に対してリクエストを送り、コンテンツクラウドシステム２２００はリクエストに応じた情報をアプリケーションプログラム２２０８に送信する。
【０１０９】
コンテンツクラウドシステム２２００は、入力として映像データ、画像データ、文書データ、音声データなどの任意の形式のデータ２２０１を受け取る。データ２２０１は、例えば、図形商標とその広報文書、ウェブサイトの画像とＨＴＭＬ文書、クローズドキャプションまたは音声付き映像データなどであり、構造化されたデータでもよいし非構造化データでもよい。コンテンツクラウドシステム２２００へ入力されるデータはストレージ２２０２に一時的に蓄えられる。
【０１１０】
ＥＴＬモジュール２２０３は、ストレージ２２０２を監視しており、ストレージ２２０２へデータ２２０１が格納されると、ファイルシステムから得られる情報（メタデータ）をコンテンツストレージ２２０４にアーカイブ化して保存する。
【０１１１】
コンテンツストレージ２２０４は、ＥＴＬモジュール２２０３が抽出した情報およびストレージ２２０２に一時的に蓄えられている処理前のデータ２２０１を保存する。
【０１１２】
検索エンジン２２０５は、アプリケーションプログラム２２０８からのリクエストがあると、例えばテキスト検索であれば、ＥＴＬモジュール２２０３が作成したインデックスを元にテキスト検索を実施し、検索結果をアプリケーションプログラム２２０８に送信する。検索エンジン２２０５のアルゴリズムに関しては、公知の技術を適用することができる。検索エンジン２２０５はテキストだけでなく、画像、音声などのデータを検索するモジュールを搭載することもできる。
【０１１３】
メタデータサーバ２２０６は、ＲＤＢ（Ｒｅｌａｔｉｏｎａｌ  ＤａｔａＢａｓｅ）に蓄えられたメタデータを管理する。例えば、ＥＴＬモジュール２２０３が抽出した、データのファイル名、データ登録年月日、元データの種類、メタデータテキスト情報、などがＲＤＢに登録されていると仮定する。アプリケーションプログラム２２０８からリクエストの要求があると、メタデータサーバ２２０６はそのリクエストに従って、ＲＤＢ内の情報をアプリケーションプログラム２２０８に送信する。
【０１１４】
マルチメディアサーバ２２０７は、コンテンツストレージ２２０４にアーカイブ化されたデータに対して、そのデータに合わせた情報抽出処理モジュール２２０９を動作させ、データの内容に関するメタデータを抽出する。
【０１１５】
情報抽出処理モジュール２２０９は、例えば、テキストのインデックスモジュール、画像認識モジュールなどで構成されている。メタデータの例としては、時刻、Ｎ−ｇｒａｍインデックス、画像認識結果（物体名、画像中の領域座標）、画像特徴量とその関連語、音声認識結果、などが該当する。情報抽出処理モジュール２２０９として、何らかの情報（メタデータ）抽出を行うプログラムすべてを用いることができ、公知の技術を採用することができるので、ここでは情報抽出処理モジュール２２０９の説明を省略する。
【０１１６】
各メディアデータから抽出されたメタデータは、互いに関連付けられ、グラフ形式で構造化されたグラフＤＢ２３１１に蓄積される。関連図付けの一例としては、コンテンツストレージ２２０４に蓄えられた「リンゴ」という音声認識結果に対して、元の音声ファイル、画像データ、関連語などの対応関係をネットワーク形式で表現することができる。マルチメディアサーバ２２０７は、アプリケーションプログラム２２０８からのリクエストがあると、それに応じたメタ情報をアプリケーションプログラム２２０８に送信する。例えば、「リンゴ」というリクエストがあると、構築されたグラフ構造に基づき、リンゴを含む画像、平均相場、アーティストの曲名、などのネットワークグラフ上で関連付けられたメタ情報を提供する。
【０１１７】
情報抽出処理モジュール２２０９は、画像からの物体検出処理を実行する。辞書４００には、実施例１〜４に示した辞書生成システム３００により生成された物体検出用の辞書パターンが登録される。辞書４００中の各辞書パターンには、各辞書パターンの画像特徴量とともに、各辞書パターンがいかなる事物であるかを示すメタデータが定義される。
【０１１８】
情報抽出処理モジュール２２０９は、辞書４００との照合によって、与えられた画像から所望の物体を検出すると、検出位置、領域の大きさなどの検出に関する情報や照合された辞書パターンのメタデータをグラフＤＢ２３１０に登録する。なお、マルチメディアサーバ２２０７に複数の情報抽出処理モジュール２２０９が組み込まれる場合は、１台の計算機のリソースをシェアしてもよいし、モジュール毎に独立した計算機を用いてもよい。
【０１１９】
このように、実施例１〜４に示した辞書生成システム３００により生成された物体検出用の辞書パターンを用いることにより、コンテンツクラウドシステム２２００は、各メディアデータに共通して利用可能なメタデータを生成することができる。したがって、メディア間にまたがって情報を統合することができ、付加価値がより高い情報をユーザへ提供することができる。
【０１２０】
（実施例６）
つぎに、実施例６について説明する。実施例６は、実施例１〜実施例５における辞書生成システム３００を運用方式例である。
【０１２１】
図２３は、辞書生成システム３００の運用方式例を示すブロック図である。辞書生成システム３００は、ネットワーク２３００を介して、画像管理サーバ２３１０、単語管理サーバ２３２０、辞書生成サービス２３３０、比較用パターン管理サーバ２３４０、辞書パターン管理サーバ２３５０、および、端末装置２３６０が相互に結合されたシステムである。
【０１２２】
画像管理サーバ２３１０は、画像データを管理する。単語管理サーバ２３２０は、画像データに付与された言語情報を管理する。辞書生成サービス２３３０は、辞書パターンの生成を行う。辞書生成サービス２３３０は、図４に示した生成部４０１〜判定部４０５を有するコンピュータである。
【０１２３】
比較用パターン管理サーバ２３４０は、辞書パターン生成時に第１の画像集合１０１から得られる領域の比較対象となる第２の画像集合１０２から得られた領域の画像特徴量を管理する。辞書パターン管理サーバ２３５０は、辞書パターンを管理する。辞書パターン管理サーバ２３５０は、図４に示した登録部４０７を有するコンピュータである。端末装置２３６０は、サーバに対する各種要求の発行、生成された辞書パターンの確認等を行う。端末装置２３６０は、図４に示した表示部４０６を有するコンピュータである。
【０１２４】
図２４は、画像管理サーバ２３１０が管理する情報の一覧を示す説明図である。項目２４０１の「ｉｍａｇｅ」は、バイト列で表現された画像データである。なお、画像データ自体は、別途、ファイルサーバ等で管理されている場合も多い。この場合は、項目２４０１に相当する情報として、画像ファイルが存在するＵＲＬ等の画像を取得するために必要となる情報が格納される。項目２４０２の「ｋｅｙｗｏｒｄ」は、画像データと関連する単語の集合である。各単語は、文字列として管理されていても良い。実施例６では、メモリ消費の節約、および、データ処理の効率化のため、各単語は、単語管理サーバ２４２０によって管理され、項目２４０２には、単語管理サーバ２４２０上での各単語の管理番号を示す整数値の列が格納される。以降、項目２４０２を「単語」と称す。
【０１２５】
一方、項目２４０３の「ｕｓｅｄ＿ｋｅｙｗｏｒｄ」は、当該画像が辞書パターン生成サービス２４３０によって利用された場合、その際に属性として用いられた単語の単語ＩＤである。単語ＩＤは、同一の画像を重複して辞書生成に用いることを避けるために用意された情報である。このように、画像管理サーバ２３１０は、項目２４０１〜項目２４０３により規定された画像データを管理することになる。
【０１２６】
図２５は、比較用パターン管理サーバ２３４０が管理する情報を示す説明図である。項目２５０１の「ｉｍａｇｅ」は、整数値で表現された、元となる画像の画像管理サーバ２３１０上での管理番号である。項目２５０２の「ｒｅｃｔ」は、比較用パターンの矩形領域を表現する２点の座標値で、４次元の整数配列である。項目２５０３の「ｆｅａｔｕｒｅ」は、項目２５０２の「ｒｅｃｔ」で規定される比較用パターンの矩形領域の画像特徴量である。このように、比較用パターン管理サーバ２３４０は、項目２５０１〜項目２５０３により規定された比較用パターンを管理することになる。
【０１２７】
図２６は、辞書パターン管理サーバ２３５０が管理する情報の一覧を示す説明図である。項目２６０１の「ｉｍａｇｅ」は、元となる画像の画像管理サーバ２４１０上での管理番号である。項目２６０２の「ｒｅｃｔ」は、辞書パターンの矩形領域を表現する２点の座標値である。項目２６０３の「ｆｅａｔｕｒｅ」は、辞書パターンの矩形領域の画像特徴量である。項目２６０４の「ｋｅｙｗｏｒｄ」は、辞書生成を行った際、属性として用いた単語ＩＤのリストである。このように、辞書パターン管理サーバ２３５０は、項目２６０１〜項目２６０４により規定された辞書パターンを管理することになる。
【０１２８】
次に、実施例６における辞書生成の処理について説明する。画像管理サーバ２３１０が管理する画像は、例えば、ＷｅｂクローラによってＷｅｂ上から収集したものを用いることができる。画像に付与される単語２４０２は、運用者によって付与されたものでも良いが、Ｗｅｂクローラによって収集された場合は、元画像が含まれるＨＴＭＬ文書中の画像引用箇所の前後に存在するテキスト、あるいは、ＨＴＭＬ文書のタイトルから自動的に抽出することも可能である。
【０１２９】
辞書生成サービスは、辞書生成の事前処理として、画像管理サーバ２３１０が管理する画像中から、適切な個数の画像をサンプリングし、第２の画像集合１０２から比較用パターンである領域群を生成する。生成された領域群は比較用パターン管理サーバ２３４０に登録される。
【０１３０】
図２７は、辞書生成に用いられる画面の一例を示す説明図である。画面２７１０は、辞書生成システム３００の利用者が、端末装置２４６０から、辞書生成サービス２３３０に対して、辞書生成の要求を出す際に、利用者に対して提示される画面である。先ず、利用者は、端末装置２３６０上で稼働するアプリケーションプログラムの画面２７１０上の入力フィールド２７１１に、属性として用いる単語を列挙し、辞書生成サービス２３３０に送信する。
【０１３１】
辞書生成サービス２３３０は、画像管理サーバ２３１０に対して、指定された単語列上の単語を、単語２４０２のリストに含む画像の管理番号を取得し、それらの画像を一覧表示するための情報を構成して端末装置２３６０上のアプリケーションプログラムに送付する。これによって、利用者に提示する画面は、画面２７１０から画面２７２０に遷移し、該当する画像の一覧２７２１が表示される。一覧２７２１の画像が、辞書生成のための元画像となるが、利用者は、辞書生成に使用するのが適切ではないと判断した画像を、本画面上で指定することもできる。
【０１３２】
一般には、元画像の候補は大量に存在する。利用者は、必要であれば、ページ切り替えボタン２７２２を押すことによって、全件をチェックすることもできる。ただし、実施例６は、自動的に適切な辞書パターンを取得するものであるから、このような利用者によるチェックが実施されなくても運用上の問題は生じない。
【０１３３】
なお、画像の件数が多いと辞書パターンの生成に長時間を要する。従って、元画像の候補として該当する画像全てを用いるのではなく、その中の一定件数を用いる方が、運用上便利である。画像管理サーバ２３１０の項目２４０３で示した単語ＩＤのリスト（以下、単語ＩＤリスト２４０３）によって、ある画像が、辞書生成に用いられたか否かが判定できる。これによって、過去に辞書パターンとして用いられていない画像を選別して、元画像として用いることもできる。
【０１３４】
画面２７２０上の開始ボタン２７２３を押すことによって、辞書生成サービス２３３０に、利用者が確認した画像を元画像とする辞書パターン生成の要求が送信される。辞書生成サービス２３３０は、利用者によって確認された画像の集合を、第１の画像集合１０１として用いることによって、辞書生成処理を実行する。一方、第２の画像集合１０２は、比較用パターン管理サーバ２３４０上で管理されるが、この際には、項目２５０１で示した画像の管理番号を参照することによって、利用者が指定した単語列が単語ＩＤリスト２４０３の単語２５０２に含まれる画像を除外する。
【０１３５】
辞書生成サービス２３３０は、比較用パターン管理サーバ２３４０に登録された画像中の条件を満たす画像が所望の件数に達しない場合は、画像管理サーバ２３１０に問い合わせる。そして、辞書生成サービスは、第２の画像集合１０２内の画像、すなわち、指定された単語列が単語ＩＤリスト２４０３の単語２４０２に含まれない画像を取得し、それらの画像から比較用の領域候補を生成する。生成された矩形領域は、比較対象である領域群として比較用パターン管理サーバ２３４０に追加登録される。
【０１３６】
辞書生成サービス２３３０は、辞書生成処理を終了すると、その結果を辞書パターン管理サーバ２３５０に登録する。同時に、指定された単語列のＩＤ列を項目２６０４の単語ＩＤリストに格納する。また、画像管理サーバ２３１０の単語ＩＤリスト２４０３も更新する。利用者は、登録された辞書パターンを、端末装置２３６０上で確認することが出来る。
【０１３７】
図２８は、確認画面の表示例を示す説明図である。確認画面２８００上の表示領域２８０１に、生成された辞書パターンが一覧表示される。アイコン２８０２のように、辞書パターンとして適切ではないものが含まれていた場合は、利用者は、本画面でその辞書パターンを指定することによって、辞書パターン管理サーバ２３５０の登録データから削除することができる。さらに、利用者が望めば、その辞書パターンとして適切ではないデータを、比較用パターン管理サーバ２３４０に登録することもできる。比較用パターン管理サーバ２３４０に登録されたパターンと類似したパターンは、その後の辞書パターンでの生成では、除外される可能性が高くなる。
【０１３８】
以上に説明したように、本実施例によれば、信頼性の高い辞書パターンを自動登録することにより辞書を自動生成することができる。
【０１３９】
以上、本発明を添付の図面を参照して詳細に説明したが、本発明はこのような具体的構成に限定されるものではなく、添付した請求の範囲の趣旨内における様々な変更及び同等の構成を含むものである。
【図１】
0006034970.tif 000004
【図２】
0006034970.tif 000005
【図３】
0006034970.tif 000006
【図４】
0006034970.tif 000007
【図５】
0006034970.tif 000008
【図６】
0006034970.tif 000009
【図７】
0006034970.tif 000010
【図８】
0006034970.tif 000011
【図９】
0006034970.tif 000012
【図１０】
0006034970.tif 000013
【図１１】
0006034970.tif 000014
【図１２】
0006034970.tif 000015
【図１３】
0006034970.tif 000016
【図１４】
0006034970.tif 000017
【図１５】
0006034970.tif 000018
【図１６】
0006034970.tif 000019
【図１７】
0006034970.tif 000020
【図１８】
0006034970.tif 000021
【図１９】
0006034970.tif 000022
【図２０】
0006034970.tif 000023
【図２１】
0006034970.tif 000024
【図２２】
0006034970.tif 000025
【図２３】
0006034970.tif 000026
【図２４】
0006034970.tif 000027
【図２５】
0006034970.tif 000028
【図２６】
0006034970.tif 000029
【図２７】
0006034970.tif 000030
【図２８】
0006034970.tif 000031