(57)【要約】【課題】  多言語環境での使用に適する、汎用性の高い非テキスト情報を効果的に得るためのコンピュータ実装方法、プログラムおよびシステムを提供する。【解決手段】  非テキスト要素を検索可能なデータベースを用いて、多言語環境でのコミュニケーションに適する非テキスト要素を特定するためのコンピュータ実装方法が提供される。方法は、ある言語の検索条件および当該検索条件に対応する他の言語の検索条件を用いたデータベースの検索結果を受けるステップであって、検索結果に含まれる非テキスト要素に特定の言語属性が関連付けられている、ステップと、検索結果に含まれる非テキスト要素に対して、異なる言語属性が関連付けられている他の要素との類似度に応じてスコアを与えるステップと、スコアに基づいて、検索結果に含まれる非テキスト要素の少なくとも１つを特定するステップを含む。【選択図】  図２
2014056503.tif 000002
【特許請求の範囲】
【請求項１】
非テキスト要素を検索可能なデータベースを用いて、多言語環境でのコミュニケーションに適する非テキスト要素を特定するためのコンピュータ実装方法であって、
ある言語の検索条件および当該検索条件に対応する他の言語の検索条件を用いた前記データベースの検索結果を受けるステップであって、前記検索結果に含まれる非テキスト要素に特定の言語属性が関連付けられている、ステップと、
前記検索結果に含まれる非テキスト要素に対して、異なる言語属性が関連付けられている他の要素との類似度に応じてスコアを与えるステップと、
前記スコアに基づいて、前記検索結果に含まれる非テキスト要素の少なくとも１つを特定するステップと、
を含む、方法。
【請求項２】
前記スコアを与えるステップにおいて、異なる言語属性が関連付けられている他の要素との類似度が高い非テキスト要素に高いスコアが与えられる、請求項１に記載の方法。
【請求項３】
前記ある言語の検索条件を翻訳エンジンによって翻訳し、前記他の言語の検索条件を生成するステップをさらに含む、請求項１に記載の方法。
【請求項４】
前記非テキスト要素が、画像である、請求項１に記載の方法。
【請求項５】
前記非テキスト要素が、音声である、請求項１に記載の方法。
【請求項６】
前記ある言語の検索条件および当該検索条件に対応する他の言語の検索条件を用いて前記データベースを検索するステップと、
前記検索結果に含まれる非テキスト要素に、検索に用いた言語を言語属性として関連付けるステップと、
をさらに含む、請求項１に記載の方法。
【請求項７】
前記スコアリングするステップが、前記画像要素に含まれる形状に関する情報について、複数の非テキスト要素の間での比較を行うことによって、形状スコアを算出するステップを含む、請求項４に記載の方法。
【請求項８】
前記形状スコアを与えるステップが、画像要素の輪郭情報を抽出するステップと、複数の画像要素間で抽出された輪郭情報を比較するステップを含む、請求項７に記載の方法。
【請求項９】
前記輪郭情報を比較するステップにおいて、拡大・縮小および／または向きの変更を施された輪郭情報が比較される、請求項８記載の方法。
【請求項１０】
前記輪郭情報を比較するステップが、あらかじめ準備された形状パターン分類辞書を参照するステップを含み、関連する形状パターン分類を考慮して複数の非テキスト要素の間での比較を行う、請求項８に記載の方法。
【請求項１１】
前記スコアを与えるステップが、前記イメージ画像要素に含まれる色成分に関する情報について、非テキスト要素と他の非テキスト要素の比較を行うことによって、色成分スコアを算出するステップを含む、請求項４に記載の方法。
【請求項１２】
色成分スコアを算出するステップが、複数の画像要素について画像全体の色成分値の代表を比較するステップを含む、請求項１１に記載の方法。
【請求項１３】
前記色成分の代表値が、当該画像要素の色成分値の平均値、中央値、最頻値および／または上位値である、請求項１２に記載の方法。
【請求項１４】
前記画像要素の平滑度に基づいて、平滑度スコアを算出するステップをさらに含む、請求項４に記載の方法。
【請求項１５】
前記平滑度スコアを算出するステップが、前記画像要素を所定の規則に従って複数の領域に分割するステップと、前記複数の領域のそれぞれについて同一色の占有割合を算出するステップと、前記複数の領域のそれぞれの前記同一色の占有割合に基づいて平滑度スコアを算出するステップを含む、請求項１４に記載の方法。
【請求項１６】
光学文字認識技術を用いて、前記画像要素に含まれる文字の文字認識を試みるステップと、文字認識の結果に基づいて、文字認識スコアを算出するステップをさらに含む、請求項４に記載の方法。
【請求項１７】
より多くの文字が前記画像要素に含まれる場合に、前記文字認識スコアを低くする、請求項１６の方法。
【請求項１８】
前記非テキスト要素をスコアリングするステップが、当該非テキスト要素の形状スコア、色成分スコア、平滑度スコア、文字認識スコアのうちの少なくとも１つに基づいて総合スコアを算出するステップを含み、
前記特定するステップが、前記総合スコアに基づいて、前記検索結果に含まれる非テキスト要素の少なくとも１つを特定するステップを含む、
請求項４に記載の方法。
【請求項１９】
請求項１〜１８のいずれかに記載された方法の各ステップを実行する手段を備える、システム。
【請求項２０】
請求項１〜１８のいずれかに記載された方法の各ステップをコンピュータに実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的には、情報処理技術に関し、より特定的には、多言語環境でのコミュニケーションに適する非テキスト要素を特定するためのコンピュータ実装方法、プログラム、および、システムに関する。
【背景技術】
【０００２】
近年、画像、音（サウンド）その他の非テキスト情報の検索技術が発達し、広く普及している。例えば、ユーザは、１以上の検索キーワードを入力して画像検索を実行することによって、インターネット上に存在する関連画像を検索することができる。以下の特許文献および非特許文献リストは、非テキスト情報の検索技術に関連する背景技術を含む。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４７９６４３５号（特開２００７−２９９１７２）
【特許文献２】特許第４３４０３６７号（特開２０００−２８５１４１）
【特許文献３】特許第２６０１１１１号（特開平６−１６２１０４）
【特許文献４】特表２００８−５４７０６１
【特許文献５】特開平１０−２８９２５１
【非特許文献】
【０００４】
【非特許文献１】Google Inc.、“About GoogleImages - Google Images Help”、［online］、［平成24年9月11日検索］、インターネット〈URL：http://support.google.com/images/bin/answer.py?hl=ja&answer=112512〉
【非特許文献２】Kobi Reiter, Stephen Soderland, and Oren Etzioni, “Cross-LingualImage Search on the Web”、Proceeding of Twentieth International JointConference on Artificial Intelligence、2007年1月6日発行
【非特許文献３】“Polyglot Image Search − キーワードを35ヶ国語に自動翻訳し、Googleイメージで世界中の画像を検索”、［online］、［平成24年9月11日検索］、インターネット<URL:http://www.crystal-creation.com/software/polyglot-image-search/>
【発明の概要】
【発明が解決しようとする課題】
【０００５】
非テキスト情報（画像、音など）をコミュニケーションにおいて用いることが、直感的かつ柔軟で便利な場合がある。しかし、非テキスト情報は、人によって様々な解釈が可能であるため、ミスコミュニケーションが起こり易い。例えば、画像アイコンは、言語、文化が異なるコミュニティで異なる意味を持つことがあるため、異なるコミュニティに属する人々の間でコミュニケーションをする場合、コミュニケーションがうまくいかないことが頻繁に起こる可能性がある。
【０００６】
したがって、本発明の目的の１つは、多言語環境でのコミュニケーションに適する非テキスト要素を特定するためのコンピュータ実装方法、プログラム、および、システムを提供することである。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために、非テキスト要素を検索可能なデータベースを用いて、多言語環境でのコミュニケーションに適する非テキスト要素を特定するためのコンピュータ実装方法が提供される。方法は、ある言語の検索条件および当該検索条件に対応する他の言語の検索条件を用いたデータベースの検索結果を受けるステップを含む。検索結果に含まれる非テキスト要素に特定の言語属性が関連付けられている。方法は、さらに、検索結果に含まれる非テキスト要素に対して、異なる言語属性が関連付けられている他の要素との類似度に応じてスコアを与えるステップと、スコアに基づいて、検索結果に含まれる非テキスト要素の少なくとも１つを特定するステップを含む。
【０００８】
好ましくは、スコアを与えるステップにおいて、異なる言語属性が関連付けられている他の要素との類似度が高い非テキスト要素に高いスコアが与えられる。また、方法は、ある言語の検索条件を翻訳エンジンによって翻訳し、他の言語の検索条件を生成するステップをさらに含むことができる。
【０００９】
好ましくは、非テキスト要素は、画像および／または音（サウンド）である。本発明において検索される画像は、静止画像、動画像その他のいかなる形式の画像をも含む。
【００１０】
好ましくは、方法は、ある言語の検索条件および当該検索条件に対応する他の言語の検索条件を用いてデータベースを検索するステップと、検索結果に含まれる非テキスト要素に、検索に用いた言語を言語属性として関連付けるステップをさらに含む。
【００１１】
好ましくは、スコアを与えるステップは、画像要素に含まれる形状に関する情報について、複数の非テキスト要素の間での比較を行うことによって、形状スコアを算出するステップを含む。また、形状スコアを算出するステップが、画像要素の輪郭情報を抽出するステップと、複数の画像要素間で抽出された輪郭情報を比較するステップを含むこともできる。さらに好ましくは、輪郭情報を比較するステップにおいて、拡大・縮小および／または向きの変更を施された輪郭情報が比較される。輪郭情報を比較するステップが、あらかじめ準備された形状パターン分類辞書を参照するステップを含み、関連する形状パターン分類を考慮して複数の非テキスト要素の間での比較を行うようにすることができる。
【００１２】
好ましくは、スコアを与えるステップが、イメージ画像要素に含まれる色成分に関する情報について、非テキスト要素と他の非テキスト要素の比較を行うことによって、色成分スコアを算出するステップを含む。色成分スコアを算出するステップが、複数の画像要素について画像全体の色成分値の代表を比較するステップを含むことができる。好ましくは、色成分の代表値が、当該画像要素の色成分値の平均値、中央値、最頻値および／または上位値である。
【００１３】
好ましくは、方法は、画像要素の平滑度に基づいて、平滑度スコアを算出するステップをさらに含む。平滑度スコアを算出するステップが、画像要素を所定の規則に従って複数の領域に分割するステップと、複数の領域のそれぞれについて同一色の占有割合を算出するステップと、複数の領域のそれぞれの同一色の占有割合に基づいて平滑度スコアを算出するステップを含む。また、方法は、光学文字認識技術を用いて、画像要素に含まれる文字の文字認識を試みるステップと、文字認識の結果に基づいて、文字認識スコアを算出するステップをさらに含む。
【００１４】
好ましくは、非テキスト要素をスコアリングするステップが、当該非テキスト要素の形状スコア、色成分スコア、平滑度スコア、文字認識スコアのうちの少なくとも１つに基づいて総合スコアを算出するステップを含み、特定するステップが、総合スコアに基づいて、検索結果に含まれる非テキスト要素の少なくとも１つを特定するステップを含む。
【００１５】
以上、多言語環境でのコミュニケーションに適する非テキスト要素を特定するためのコンピュータ実装方法として本発明の概要を説明したが、本発明は、プログラム、プログラム製品、ソフトウェア、ソフトウェア製品、システムないし装置などとして把握することもできる。
【００１６】
プログラム製品ないしソフトウェア製品は、例えば、前述のプログラム、ソフトウェアを格納した記憶媒体を含め、あるいはプログラム、ソフトウェアを伝送する媒体を含めることができる。プログラムは、コンピュータに前述の方法の各ステップを実行させることができ得る。
【００１７】
上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの構成要素のコンビネーションまたはサブコンビネーションもまた、発明となり得ることに留意すべきである。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態における画像検索システムの機能ブロック図である。
【図２】本発明の実施形態における画像検索システムの全体動作を表現するフローチャートである。
【図３】本発明の実施形態における言語をまたがった輪郭スコア算出処理または色成分スコア計算の処理の動作の前半を表現するフローチャートである。
【図４】本発明の実施形態における言語をまたがった輪郭スコア算出処理または色成分スコア計算の処理の動作の後半を表現するフローチャートである。
【図５】本発明の実施形態における言語をまたがった輪郭スコア算出処理のさらなる詳細を表現するフローチャートである。
【図６】本発明の実施形態における言語をまたがった色成分スコア算出処理のさらなる詳細を表現するフローチャートである。
【図７】本発明の実施形態における言語をまたがった平滑度スコア算出処理の詳細を表現するフローチャートである。
【図８】本発明の実施形態における非テキスト情報データベースを説明するためのイメージ図である。
【図９】本発明の実施形態における画像検索システムにおける検索結果の一例を説明するための図である。
【図１０】本発明の実施形態における画像検索システムにおける検索結果の一例を説明するための図である。
【図１１】本発明の実施形態における画像検索システムにおける検索結果の一例を説明するための図である。
【図１２】本発明の実施形態における画像検索システムを実現するために好適な情報処理装置のハードウェア構成の一例を示した図である。
【発明を実施するための形態】
【００１９】
以下、本発明を実施するための形態を図面に基づいて詳細に説明するが、以下の実施形態は特許請求の範囲に記載された発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らないことに留意すべきである。
【００２０】
また、本発明は多くの異なる態様で実施することが可能であり、実施の形態の記載内容に限定して解釈されるべきものではない。実施の形態の説明の全体を通じて同じ要素には同じ番号を付している。
【００２１】
本発明の実施形態では、画像検索システムにおける情報処理を通じて、ユーザが入力した検索条件に合致する画像アイコンをユーザに提示する。特に、本発明の実施形態では、文化、言語が異なるコミュニティに属する人々の間でコミュニケーションでの使用に適する、汎用性の高い画像アイコンがユーザに提示される。
【００２２】
本発明の実施形態では、ユーザ入力に基づく検索条件（キーワード）を含むクエリが翻訳エンジンによって複数の言語に翻訳される。そして、オリジナルのキーワードと翻訳キーワードに基づいて画像検索が実行される。本発明の実施形態では、画像検索の結果に含まれる画像には特定の言語属性が与えられている。
【００２３】
次いで、本発明の実施形態では、画像検索の結果に含まれる画像について、文字認識解析、色成分解析、輪郭解析、平滑度解析が実施される。輪郭解析、色成分解析については、各画像の輪郭および色成分について特徴値が抽出される。次いで、輪郭および／または色成分の観点から言語をまたがって類似画像が存在する度合いを、抽出された特徴値を用いて解析する。ある画像について他言語の属性が与えられた類似画像が存在する度合いが高い場合、当該ある画像に高いスコアが付与される。
【００２４】
また、本発明の実施形態では、文字認識解析、平滑度解析が、各画像がコミュニケーション手段として適するかどうかを判断するために実施される。具体的には、文字が含まれると言語依存度が高くなるため、文字認識の結果、文字が含まれている度合いが低いものに高いスコアが付与される。また、写真のように情報量が多過ぎてコミュニケーション手段に適さないものを排除するために、平滑度解析の結果、平滑度が低い画像に高いスコアを付与する。
【００２５】
本発明の実施形態では、文字認識解析、色成分解析、輪郭解析、および、平滑度解析によって得られたスコアに基づいて、すなわち、これら４つのスコアを正規化し、平均値を計算することによって各画像の総合スコアが得られることとなる。そして、総合スコアに従って、多言語環境において最も言語を用いないコミュニケーション手段として適した画像アイコンが特定され、ユーザに提示される。
【００２６】
本発明の実施形態の画像検索システムのユースケースとして、例えば、スマートフォンのようなモバイル端末を通じて画像検索システムにアクセスして得た多言語環境でのコミュニケーションに適する画像アイコンを当該モバイル端末に表示して共有することで、言葉の通じない者同士の間のコミュニケーションを行うことが考えられる。
【００２７】
別のユースケースとして、多数の人々に対するメッセージ／ニュースを配信する場合に、画像検索システムにより得た、メッセージ／ニュース内容を意味する画像アイコンを配信することが考えられる。配信の対象となる多数の人々の中には文字が読めない人々も存在し、そのような人々にとっては画像検索システムが提供する多言語環境でのコミュニケーションに適す画像アイコンが有効な情報源となり得る。
【００２８】
さらに別のユースケースとして、例えば、ローカルな地域で用いられることを想定してデザインされた既存のパンフレット等の著作物をグローバルに展開する場合に、当該著作物に含まれる画像アイコンがグローバルに意味が通じるかどうかを検証し、また、通じない場合に置き換えるべき画像アイコンの候補を得るために、本発明の実施形態の画像検索システムを使用することができる。
【００２９】
以下、本発明の実施形態を図１〜１２を参照してさらに詳細に説明する。
【００３０】
図１は、本発明の実施形態における画像検索システム（１００）の機能ブロック図である。図１の機能ブロック図に示す各要素は、図１２に例示したハードウェア構成を有する情報処理装置において、ハードディスク装置１３などに格納されたオペレーティング・システム、アプリケーション・プログラムなどのコンピュータ・プログラムをメインメモリ４にロードした上でメインＣＰＵ１に読み込ませ、ハードウェア資源とソフトウェアを協働させることによって実現することができる。
【００３１】
本発明の実施形態の画像検索システム（１００）は、入出力部（１０５）、キーワード抽出部（１１０）、画像検索部（１１５）、検索結果格納部（１２０）、検索結果解析部（１２５）、総合スコア計算部（１５０）、総合スコア記憶部（１５５）、提示画像決定部（１６０）を備える。
【００３２】
入出力部（１０５）は、画像検索システム（１００）とユーザまたは他のコンピュータ・システムとの入出力インターフェースを提供する。本発明の実施形態では、例えば、ユーザは、入出力部（１０５）を通じて、画像検索の検索条件を入力する。
【００３３】
本発明の実施形態のキーワード抽出部（１１０）は、入出力部（１０５）を通じて入力された検索条件を解釈して１以上の検索キーワードを抽出し、画像検索部（１１５）に引き渡す。本発明の実施形態では、検索条件は、コミュニケーション内容および言語属性を含む。例えば、キーワード抽出部（１１０）は、検索条件として自然文「地震警報です。警戒してください。」、言語属性：日本語が入力された場合に、検索キーワード「地震」「警報」「警戒」を抽出する、といった機能を提供する。
【００３４】
本発明の実施形態のキーワード抽出部（１１０）は、よく知られているtf-idfの手法を用いてキーワード抽出を実施する。ここで、tfはterm frequencyの略で、idfはinverse documentfrequencyの略である。たとえば、具体的には、文jから形態素解析によって得られた各単語iについて、以下に式に従って得られたtfi,jとidfiを乗じた得られた値があらかじめ定められた閾値以上であった場合に、当該単語iを検索のためのキーワードとして抽出するようにするとよい。
【００３５】
【数１】
2014056503.tif 000003
【００３６】
さらに、本発明の実施形態のキーワード抽出部（１１０）は、抽出した検索条件ないし検索キーワードを１以上の所定の言語に翻訳し、対応する検索キーワードを得て、その言語属性とともに画像検索部（１１５）に引き渡す。所定の言語は、あらかじめ定められた主要言語であるようにしてもよいし、ユーザが都度指定するようにしてもよいし、それら両方を組み合わせて決定するようにしてもよい。なお、所定の言語は、コミュニケーション相手の言語を含むようにすることが好ましい。
【００３７】
本発明の実施形態の画像検索部（１１５）は、キーワード抽出部（１１０）で抽出された検索キーワードおよび言語属性を含むクエリを用いて、非テキスト情報データベース（１８０）に問合せを行い、キーワードに合致する複数の画像を得る。クエリを言語属性ごとに生成し、データベースへの問合せを行うことが好ましい。また、画像検索部（１１５）が得た検索結果の画像には１以上の言語属性がそれぞれ与えられている。検索結果の画像に与えられる言語属性は、画像検索部（１１５）が検索を行ったときに使用した検索キーワードに与えられた言語属性を各画像に与えられるようにしてもよい。
【００３８】
図８を参照して、本願発明の非テキスト情報データベース（１８０）の一例をより詳細に説明する。図８は、本発明の実施形態における非テキスト情報データベース（１８０）を説明するためのイメージ図である。非テキスト情報データベース（１８０）は、言語リスト（５０５）、言語別先頭文字リスト（５１０）、言語別先頭文字別単語リスト（５１５）、言語別先頭文字別単語別ポインタ（５２０）およびコンテンツファイル格納部（５２５）を備える。
【００３９】
本願発明の非テキスト情報データベース（１８０）に格納されるデータは、インターネット上のウェブ・サーバ（図示せず）をクローリングすることによって得られる。具体的には、本発明の実施形態の非テキスト情報データベース（１８０）は、インターネット上の画像について、クローリング・エンジン（図示せず）から、画像のファイル名、画像に関連付けられた代替テキストであるalt属性、画像近辺のテキストなどの情報を得て、メタ情報（インデックス・キーワード）を生成する。また、その際、当該画像または当該画像を含むウェブ・ページに割り当てられた言語属性、ファイル名、または、エンコーディング方式などを調査することによって、当該画像について１以上の言語属性を得るようにされている。
【００４０】
本願発明の非テキスト情報データベース（１８０）は、メタ情報および言語属性から画像に対する格納すべき画像対するインデックスを形成する。具体的には、言語リスト（５０５）に言語属性が、言語別先頭文字リスト（５１０）にインデックス・キーワードの先頭文字が、言語別先頭文字別単語リスト（５１５）にインデックス・キーワードが格納され、言語別先頭文字別単語別ポインタ（５２０）にはコンテンツファイル格納部（５３０）に格納されたコンテンツに対するポインタが格納されている。それぞれのテーブル（５０５）〜（５２０）はポインタで指し示されている。
【００４１】
そして、言語別先頭文字別単語別ポインタ（５２０）は、同じキーワード・インデックスを持つ複数の画像内での人気度を表現するランキング・スコアを含む。ランキング・スコアは、画像検索結果の中でその画像が最終的にクリックがされた回数を計測するなどして得ることができるが、その求め方は種々の方法を当業者は設計することができるのでここでは詳細には説明されない。
【００４２】
本発明の実施形態の非テキスト情報データベース（１８０）に対して、検索キーワードおよび言語属性を含むクエリを用いて問合せがなされると、最初に、クエリ内の言語属性と言語リスト（５０５）内のマッチングが行われ、マッチする言語属性に対応する言語別先頭文字リスト（５１０）とクエリに含まれる検索キーワードの先頭文字のマッチングが行われる。次いで、マッチした先頭文字に対応する言語別先頭文字別単語リスト（５１５）とクエリ内の検索キーワードのマッチングが行われ、マッチした言語別先頭文字別単語別ポインタ（５２０）が特定される。そして、特定された言語別先頭文字別単語別ポインタ（５２０）を用いて、所定の数だけ、ランキング・スコアが高いコンテンツファイル格納部（５３０）に格納されているコンテンツファイルをクエリの返答として返すこととなる。
【００４３】
なお、コンテンツファイルそのものをコンテンツファイル格納部（５３０）に格納することもできるし、コンテンツが存在するインターネット上の場所を示すＵＲＬ（ユニフォーム・リソース・ロケータ）をコンテンツファイル格納部（５３０）に格納しておいて返すようにしてもよい。後者の場合、画像検索部（１１５）は、返ってきたてきたＵＲＬを用いて、該当する画像をインターネット上のウェブ・サーバから入手することとなる。
【００４４】
なお、本発明の実施形態では、検索速度を向上させるために、言語リスト（５０５）、言語別先頭文字リスト（５１０）、および、言語別先頭文字別単語リスト（５１５）は、よく使用されるカラムを動的に上位に上げるようにすることができる。
【００４５】
本発明の実施形態の検索結果格納部（１２０）は、画像検索部（１１５）が得た複数の画像を含む検索結果を格納する。検索結果格納部（１２０）では、検索結果の各画像は１以上の言語属性と関連付けられている。
【００４６】
本発明の実施形態の検索結果解析部（１２５）は、画像検索部（１１５）によって検索され、検索結果格納部（１２０）に格納された複数の画像を含む検索結果を解析する。検索結果解析部（１２５）は、輪郭解析部（１３０）、色成分解析部（１３５）、平滑度解析部（１４０）および文字認識解析部（１４５）を備える。
【００４７】
本発明の実施形態の輪郭解析部（１３０）は、各画像に含まれるオブジェクトの特徴点を抽出して輪郭情報を取得し、各画像の間で輪郭情報の類似度を解析する。その結果、解析対象の画像が、異なる言語属性が与えられている他の画像と輪郭情報の類似度が高いことが多い場合、当該画像に高い「輪郭スコア」が与えられる。
【００４８】
本発明の実施形態の色成分解析部（１３５）は、各画像の色成分を抽出したうえで、各画像の間での色成分の類似度を解析する。その結果、異なる言語属性が与えられている色成分の画像と類似度が高いことが多い画像について高い「色成分スコア」が与えられる。かかるスコア付けをする理由は、ある事象を表すのに、色成分の観点からローカル度が高い画像を排除するためである。たとえば、郵便ポストの色は、アメリカでは青色だが、日本、イギリスなどでは赤色、中華人民共和国では緑色、ドイツやフランスなどでは黄色である。したがって、郵便ポストの画像アイコンを検索する場合、色がなければ郵便ポストだとわからないような画像だと多言語環境において意味が通じる可能性が低いため、そのような画像を低く評価する必要がある。
【００４９】
本発明の実施形態の平滑度解析部（１４０）は、各画像に対して、均一色のサブ領域をもつ割合に基づいて平滑度スコアを得る。平滑度解析部（１４０）は、低い平滑度をもつ画像に高い「平滑度スコア」を与える。その理由は、平滑度が高い画像は、風景写真のようなものが多く、情報量が多すぎることに起因して、直感的でなくまた明瞭でないために、情報伝達に適さないことが多いからである。
【００５０】
本発明の実施形態の文字認識解析部（１４５）は、検索結果の各画像に言語に依存する文字が含まれる度合いを解析し、かかる度合いが低い画像に対して、高い「文字認識スコア」を与える。その理由は、言語に依存する文字が多く含まれている場合、その言語を理解することができない相手にとってその画像はコミュニケーション手段として役にたたないからである。文字認識解析部（１４５）は、既存の光学文字認識（Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅｃｏｇｎｉｔｉｏｎ、単に「ＯＣＲ」とも呼ばれる）技術を適用することで実装することができる。
【００５１】
「輪郭スコア」、「色成分スコア」、「平滑度スコア」および「文字認識スコア」の算出については、後で詳細に説明する。
【００５２】
本発明の実施形態の総合スコア計算部（１５０）は、検索結果解析部（１２５）から「要素スコア」、具体的には、「平滑度スコア」、「文字認識スコア」、「色成分スコア」および「輪郭スコア」を検索結果解析部（１２５）から受け、これらに基づいて各画像に「総合スコア」を与える。本発明の実施形態の総合スコア計算部（１５０）によって計算された総合スコアは、総合スコア記憶部（１５５）に記憶されることとなる。一例として、本発明の実施形態では、「総合スコア」は「平滑度スコア」、「文字認識スコア」、「色成分スコア」および「輪郭スコア」を正規化したのちに平均値を算出することによって求められる。
【００５３】
本発明の実施形態の提示画像決定部（１６０）は、総合スコア記憶部（１５５）に記憶された各画像の総合スコアに従って、ユーザに提示する画像を決定し、決定した画像を検索結果格納部（１２０）から得て、ユーザに提示するために入出力部（１０５）に引き渡す。本発明の実施形態では、検索結果に含まれる画像のうち最も総合スコアの高い画像が特定され、ユーザに提示されることとなる。
【００５４】
図２は、本発明の実施形態における画像検索システムの全体動作を表現するフローチャート（２００）である。処理はステップ（２０５）でスタートし、ステップ（２１０）でユーザから検索条件の入力、たとえば、キーワードもしくは自然文を特定の言語で受け入れる。なお、検索条件が自然文で入力された場合は、ステップ（２１０）では、キーワード抽出部（１１０）と関連して説明したtf-idfの手法を用いてキーワード抽出を実施することとなる。
【００５５】
処理はステップ（２１５）に進み、ステップ（２１０）で抽出された特定の言語の検索キーワードを、所定の他の言語に翻訳する。他の言語が、他言語環境のコミュニケーションにおけるターゲットオーディエンスが使用する言語を含むことが好ましく、また、あらかじめ定められた１以上の主要言語を含むことが好ましい。他の言語を、ユーザが指定するようにしてよい。本発明の実施形態では、最終的に「英語」「日本語」「中国語」「スペイン語」の四ヶ国語のキーワードのセットが得られるものとする。
【００５６】
次に、ステップ（２２０）において、ステップ（２１５）で得られた複数の言語（四ヶ国語）で検索キーワードを用いて画像検索を実行する。本発明の実施形態では、検索キーワードおよび対応する言語属性を含むクエリを各言語それぞれについて形成して、画像検索を実施し、それぞれの結果得られた画像に対して、クエリに含まれる当該言語属性として与え、関連付ける。画像検索の結果は、検索結果格納部（１２０）に格納される。
【００５７】
本発明の実施形態では、ステップ（２２０）のあと、ステップ（２２５）〜（２４０）のそれぞれにおいて「輪郭スコア」「色成分スコア」「平滑度スコア」「文字認識スコア」の算出処理が並列で実行される。
【００５８】
ステップ（２２５）〜（２４０）における「輪郭スコア」「色成分スコア」「平滑度スコア」「文字認識スコア」の算出処理が完了すると、処理はステップ（２４５）に進む。ステップ（２４５）では、検索結果の各画像について、「平滑度スコア」「文字認識スコア」「輪郭スコア」「色成分スコア」に基づいて総合スコアを算出する。本発明の実施形態では、「平滑度スコア」「文字認識スコア」「輪郭スコア」「色成分スコア」を正規化したうえで単純な平均値を求めることによって、総合スコアが算出される。
【００５９】
次いで、処理はステップ（２５０）に進み、ステップ（２４５）で算出された総合スコアに基づいて提示すべき画像を決定し、決定された画像をユーザに提示する。本発明の実施形態では、総合スコアが最も高い画像がユーザに提示されることとなる。処理はステップ（２５５）に進み、終了する。
【００６０】
本発明の実施形態における言語をまたがった輪郭スコア算出処理または色成分スコア計算の処理の一例を、図３、４のフローチャートを参照してより詳細に説明する。この輪郭スコア算出処理または色成分スコア計算の処理は、図２のフローチャート（２００）のステップ（２２５）または（２３０）に対応することに留意されたい。
【００６１】
図３、４に示すフローチャートでは、言語属性として、言語ｉが与えられたある画像ｌｉｊに対するた輪郭スコア算出処理または色成分スコア計算の処理が行われるものとする。なお、本発明の実施形態では、図３、４の諸ステップは、輪郭解析部（１３０）または色成分解析部（１３５）によって実行される。
【００６２】
図３は、本発明の実施形態における言語をまたがった輪郭スコア算出処理または色成分スコア計算の処理の動作の前半を表現するフローチャートである。処理はステップ（３０５）でスタートし、ステップ（３１０）で対象の言語ｉ以外の他の言語ｍを特定することを試みる。
【００６３】
処理はステップ（３１５）に進み、まだ処理を行っていない他の言語ｍが存在するかどうかが判断される。ステップ（３１５）で他の言語ｍが存在すると判断された場合、処理はＹＥＳの矢印からステップ（３２０）に進み、言語ｍの言語属性が与えられた画像ｌｍｎを１つ取り出すことを試み、次いで、ステップ（３２５）において画像ｌｍｎが成功裏に取り出されたかどうかが判断される。
【００６４】
ステップ（３２５）において画像ｌｍｎが成功裏に取り出されたと判断された場合、処理はＹＥＳの矢印からステップ（３３０）に進み、対象の画像ｌｉｊとステップ（３２０）で取り出された画像ｌｍｎのマッチングスコアＳｍｎを算出する。輪郭マッチングまたは色成分マッチングの具体的な処理の内容は、後で図５、６に示すフローチャートを用いてそれぞれ詳細に説明するので、ここではこれ以上は説明されない。
【００６５】
処理はステップ（３３５）へ進み、ステップ（３３０）において求めたマッチングスコアＳｍｎが、対象画像ｌｉｊに関して、言語属性として言語ｍが与えられた画像との過去に行われたマッチングにおける最大マッチングスコアＴｍよりも大きいかどうかが判断される。なお、本発明の実施形態では、対象画像ｌｉｊに関するマッチングが最初に行われる場合のために、最大マッチングスコアＴｍは初期値として０が設定されているものとする。
【００６６】
ステップ（３３５）においてステップ（３３０）において求めたマッチングスコアＳｍｎが過去のマッチング処理における最大マッチングスコアＴｍよりも大きいと判断された場合、処理はステップ（３４０）に進み、最大マッチングスコアＴｍがステップ（３３０）において求めたマッチングスコアＳｍｎに置き換えられ、その後処理はステップ（３２０）に進む。また、ステップ（３３５）においてステップ（３３０）において求めたマッチングスコアＳｍｎが過去のマッチング処理における最大マッチングスコアＴｍよりも大きくないと判断された場合、処理はステップ（３２０）に戻る。
【００６７】
処理はステップ（３２０）に戻ったあと、画像ｌｍｎが存在しなくなるまで上述したステップ（３２０）からステップ（３４０）の処理が繰り返される。繰り返しの間に、ステップ（３２５）において画像ｌｍｎが存在しないと判断された場合、処理はＮＯの矢印からループを抜けしてステップ（３１０）に戻り、さらに他の言語についてステップ（３１０）以降が繰り返される。ステップ（３１０）以降の処理を繰り返す間に、ステップ（３１５）において未処理の他の言語がもはや存在しないと判断された場合、処理はＮＯの矢印から（Ａ）のマーク（３４５）を経由して、図４のフローチャートに移行する。
【００６８】
図４は、本発明の実施形態における言語をまたがった輪郭抽出または色成分マッチング処理の動作の後半を表現するフローチャートである。処理は（Ａ）のマーク（３４５）からスタートし、ステップ（４０５）において、言語ｉが言語属性として与えられた画像の集合のうち、ｊ≠ｋとなる次の画像ｌｉｋが抽出される。
【００６９】
次いで、ステップ（４１０）において、画像ｌｉｋが存在するかどうかが判断される。ステップ（４１０）において存在すると判断された場合、処理はステップ（４１５）に進み、対象の画像ｌｉｊとステップ（４０５）で取り出された画像ｌｉｋのマッチングスコアＯｋを算出する。輪郭マッチングまたは色成分マッチングの具体的な処理の内容は、後で図５、６に示すフローチャートを用いてそれぞれ詳細に説明するので、ここではこれ以上は説明されない。
【００７０】
処理はステップ（４２０）に進み、対象画像ｌｉｊと、同一言語ｉが言語属性として与えられた過去のマッチングスコアの累積値Ｐに、ステップ（４１５）において算出されたＯｋを加算する。その後、ステップ（４０５）に処理は戻り、ステップ（４１０）において画像ｌｉｋが存在しないと判断されるまで繰り返される。ステップ（４１０）において画像ｌｉｋが存在しないと判断された場合、処理はステップ（４２５）へ進む。
【００７１】
ステップ（４２５）では、ＴｍとＰそれぞれの重み付けによって画像ｌｉｊに対する色成分スコアまたは輪郭スコアを計算する。処理はステップ（４３０）に進み、終了する。
【００７２】
本発明の実施形態における「輪郭スコア」の算出処理を、図５を用いてさらに詳細に説明する。図５は、本発明の実施形態における言語をまたがった輪郭スコア算出処理のさらなる詳細を表現するフローチャートである。本フローチャートに従う処理は、図３、４のフローチャートのステップ（３３０）または（４１５）に対応することに留意されたい。図５に示される諸ステップは、輪郭解析部（１３０）によって実行される。
【００７３】
処理は、ステップ（５０５）からスタートし、ステップ（５１０）において２つの画像（ここでは画像Ａ、Ｂという）の特徴点をそれぞれ抽出する。ここで、画像Ａ、Ｂはステップ（３３０）においては画像ｌｉｊとｌｍｎであり、ステップ（４１５）では画像ｌｉｊとｌiｋである。各画像の特徴点は、Gabor Filter法として知られている手法に従って算出することができ、具体的には以下の式に従って求められる。
【００７４】
【数２】
2014056503.tif 000004
【００７５】
処理はステップ（５１５）に進み、ステップ（５１０）において抽出した画像Ａの特徴点と画像Ｂの特徴点との最小距離dist1を算出する。なお、ここでいう最小距離とは、画像Ａの特徴点と画像Ｂの特徴点の組合せを、いずれの特徴点も漏らすことなく、かつ組合せられた画像Ａの特徴点と画像Ｂの特徴点の距離の総和が最小となるように形成し場合の、当該距離の総和をいうものとする。次に、ステップ（５２５）において、画像Ａを左右反転させ、反転させた画像Ａの特徴点と画像Ｂの特徴点との最小距離distRを算出する。
【００７６】
次いで、処理はステップ（５３０）に進み、画像Ａ、Ｂの最適な拡大・縮小率を算出する。最適な拡大・縮小率は、画像Ａと画像Ｂが同一のサイズ（縦横比が異なる場合は、同一の幅ないし高さ）となるように、一方の画像を拡大・縮小するための率をいうものとする。そして、ステップ（５３５）において、ステップ（５３０）において算出された拡大・縮小率を用いて拡大・縮小処理をされた画像Ａの特徴点と画像Ｂの特徴点との最小距離distXを算出する。
【００７７】
次に、ステップ（５４０）において、画像Ａを左右反転させ、左右反転された画像Ａと画像Ｂについて最適な拡大・縮小率を算出する。次いで、ステップ（５４５）において、左右反転され、かつ、ステップ（５４０）において算出された拡大・縮小率を用いて拡大・縮小処理をされた画像Ａの特徴点と画像Ｂの特徴点との最小距離distXRを算出する。
【００７８】
処理はステップ（５５０）に進み、dist1、distR、distX、distXRのうち最小の値のものをdistOptとして選択する。なお、distR、distX、distXRは、ある画像が他の画像を左右反転および／または拡大縮小しただけのものである場合は両者を類似画像として取り扱うべきことを考慮したものである。次いで、ステップ（５５５）において、distOptを輪郭マッチングスコアとして記憶し、ステップ（５６０）で終了する。
【００７９】
本発明の実施形態における「色成分スコア」の算出処理を、図６を用いてさらに詳細に説明する。図６は、本発明の実施形態における言語をまたがった色成分スコア算出処理のさらなる詳細を表現するフローチャートである。本フローチャートに従う処理は、図３、４のフローチャートのステップ（３３０）または（４１５）に対応することに留意されたい。図６に示される諸ステップは、色成分解析部（１３５）によって実行される。
【００８０】
処理は、ステップ（６０５）からスタートし、ステップ（６１０）において２つの画像（画像Ａ、Ｂという）の各画素について所定の色成分（ここでは、ＲＧＢ成分）を抽出する。ここで、画像Ａ、Ｂはステップ（３３０）においては画像ｌｉｊとｌｍｎであり、ステップ（４１５）では画像ｌｉｊとｌiｋである。
【００８１】
次に、ステップ（６１５）において、画像Ａ、Ｂにおける各色成分（すなわち、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各成分の平均値を算出し、ステップ（６２０）において、ステップ（６１５）で算出した各色成分の平均値の差（絶対値）を算出する。次いで、ステップ（６２５）において、各色成分の平均値の差の合計値（colorVal）を算出する。そして、ステップ（６３０）においてcolorValを色成分に関するマッチングスコアとして記憶し、ステップ（６３５）で処理は終了する。
【００８２】
次に、本発明の実施形態における「平滑度スコア」の算出処理を図７に示すフローチャートを用いて詳細に説明する。図７に示すフローチャートによる処理は、図２のフローチャート（２００）のステップ（２３５）に対応することに留意されたい。また、本フローチャートの諸ステップは、平滑度解析部（１４０）によって実行される。
【００８３】
まず、処理は、ステップ（２２０）の実施後に、ステップ（７０５）からスタートし、ステップ（７１０）でステップ（２２０）での画像検索の結果に含まれる画像から、１つ画像を取り出す。次いで、ステップ（７１５）において、ステップ（７１０）で取り出した画像を所定の規則に従ってサブ領域（ここでは、3x3ピクセルの領域）に分割する。処理はステップ（７２０）に進み、ステップ（７１５）で分割した領域のうちの１つを取り出し、ステップ（７２５）において、ステップ（７２０）で取り出した領域の色成分（ここでは、ＲＧＢ値）を抽出する。
【００８４】
さらに処理は進み、ステップ（７３０）において、ステップ（７２５）において抽出された色成分に基づいて、対象の領域内に同じ色の点が所定の割合（ここでは５０％）より多いかどうかが判定される。ステップ（７３０）において所定の割合より多いと判定されなかった場合、処理はＮＯの矢印からステップ（７４０）に進む。ステップ（７３０）において所定の割合より多いと判定された場合、処理はＹＥＳの矢印からステップ（７３５）に進む。ステップ（７３５）では、変数である「平滑領域の数」を１だけ増分し、ステップ（７４０）に進む。
【００８５】
ステップ（７４０）では、ステップ（７１５）で分割され得られた未処理の領域がまだ残っているかどうかが判定される。ステップ（７４０）で残っていると判定された場合、処理はＹＥＳの矢印を通じてステップ（７２０）に戻り、以降の処理が繰り返される。ステップ（７４０）で残っていないと判定された場合、処理はＮＯの矢印を通じてステップ（７４５）に進み、以下の式に従って処理対象の画像の平滑度スコアが計算される。
【００８６】
【数３】
2014056503.tif 000005
【００８７】
ステップ（７４５）で平滑度スコアが計算された後、処理はステップ（７５０）に進みステップ（２２０）の画像検索で得られた画像でまだ未処理のものが残っているかどうかが判定される。ステップ（７５０）で残っていると判定された場合、処理はＹＥＳの矢印からステップ（７１０）に戻り、以降の処理が繰り返される。ステップ（７５０）で残っていると判定された場合、処理はＮＯの矢印からステップ（７５５）に進み終了する（ステップ２４５に進むこととなる）。
【００８８】
次に、本発明の実施形態における「文字認識スコア」の算出処理を説明する。なお、既に説明したとおり、「文字認識スコア」の算出処理は文字認識解析部（１４５）によって実行される。既存の光学文字認識技術を用いると、画像内で文字が含まれている可能性のある領域（「文字領域」と呼ばれる）を特定し、そこにあるイメージとあらかじめ用意された文字フォントデータのマッチングを行うことによって、文字領域に文字が存在する確率を得ることができる。本発明の実施形態では、かかる文字領域に文字が存在する確率の逆数を計算して、「文字認識スコア」とするものとする。
【００８９】
なお、既に述べたとおり、本発明の実施形態の総合スコア計算部（１５０）は、ステップ（２４５）において、「輪郭スコア」、「色成分スコア」、「平滑度スコア」および「文字認識スコア」を正規化してから平均値を算出することによって総合スコアを得る。各スコアの正規化は、所定の規則に従って、各値を所定の範囲内に収めるようにすることが考えられる。例えば、画像iの正規化された輪郭スコアは以下の式に従って得ることができる。
【００９０】
【数４】
2014056503.tif 000006
【００９１】
また、例えば、画像iの正規化された色成分スコアは以下の式に従って得ることができる。
【００９２】
【数５】
2014056503.tif 000007
【００９３】
以下、図９〜１１を用いて、本発明の実施形態における画像検索システムにおける検索結果の例をいくつか説明する。図９〜１１は、出願図面においてカラー図面が使用できないという制約のために白黒図面により示されるが、実際の例の画像はカラー・アイコンであることに留意されたい。図９は、本発明の実施形態における画像検索システムにおける検索結果の一例を説明するための図である。図５に示す例では、英語の”earthquake”が入力キーワードとして選ばれた場合を示している。この場合、対応する翻訳キーワードは日本語の「地震」、中国語の「地震」、スペイン語の「terremoto」が使用されていることに留意されたい。この一例では、英語の”earthquake”を用いて検索を行った場合の第４候補として得られた画像が最も総合スコアが高い（総合スコア＝０．８８）ので、この画像がユーザに提示されることとなる。
【００９４】
図１０は、本発明の実施形態における画像検索システムにおける検索結果の他の例を説明するための図である。図６に示す例では、英語の”tsunami”が入力キーワードとして選ばれた場合を示している。この場合、対応する翻訳キーワードは日本語の「津波」、中国語の「海嘯」、スペイン語の「tsunami」が使用されていることに留意されたい。この一例では、英語の”tsunami”を用いて検索を行った場合の第４候補として得られた画像が最も総合スコアが高い（総合スコア＝０．９６）ので、この画像がユーザに提示されることとなる。
【００９５】
図１１は、本発明の実施形態における画像検索システムにおける検索結果のさらなる他の例を説明するための図である。図７に示す例では、英語の”exit”が入力キーワードとして選ばれた場合を示している。この場合、対応する翻訳キーワードは日本語の「出口」、中国語の「出口」、スペイン語の「salida」が使用されていることに留意されたい。この一例では、日本語の「出口」を用いて検索を行った場合の第５候補として得られた画像が最も総合スコアが高い（総合スコア＝０．９６）ので、この画像がユーザに提示される。
【００９６】
図１２は、本発明の実施の形態の画像検索システムを実現するのに好適な情報処理装置のハードウェア構成の一例を示した図である。情報処理装置は、バス２に接続されたＣＰＵ（中央処理装置）１とメインメモリ４を含んでいる。ハードディスク装置１３、３０、およびＣＤ−ＲＯＭ装置２６、２９、フレキシブル・ディスク装置２０、ＭＯ装置２８、ＤＶＤ装置３１のようなリムーバブル・ストレージ（記録メディアを交換可能な外部記憶システム）がフロッピーディスクコントローラ１９、ＩＤＥコントローラ２５、ＳＣＳＩコントローラ２７などを経由してバス２へ接続されている。
【００９７】
フレキシブル・ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭのような記憶メディアが、リムーバブル・ストレージに挿入される。これらの記憶メディアやハードディスク装置１３、３０、ＲＯＭ１４には、オペレーティング・システムと協働してＣＰＵ等に命令を与え、本発明を実施するためのコンピュータ・プログラムのコードを記録することができる。メインメモリ４にロードされることによってコンピュータ・プログラムは実行される。コンピュータ・プログラムは圧縮し、また複数に分割して複数の媒体に記録することもできる。
【００９８】
情報処理装置は、キーボード／マウス・コントローラ５を経由して、キーボード６やマウス７のような入力デバイスからの入力を受ける。情報処理装置は、視覚データをユーザに提示するための表示装置１１にＤＡＣ／ＬＣＤＣ１０を経由して接続される。
【００９９】
情報処理装置は、ネットワーク・アダプタ１８（イーサネット（Ｒ）等）を介してネットワークに接続し、他のコンピュータ等と通信を行うことが可能である。図示はされていないが、パラレルポートを介してプリンタと接続することや、シリアルポートを介してモデムを接続することも可能である。
【０１００】
以上の説明により、本発明の実施の形態による画像検索システムを実現するのに好適な情報処理装置は、通常のパーソナルコンピュータ、ワークステーション、メインフレームなどの情報処理装置、または、これらの組み合わせによって実現されることが容易に理解されるであろう。ただし、これらの構成要素は例示であり、そのすべての構成要素が本発明の必須構成要素となるわけではない。
【０１０１】
本発明の実施の形態において使用される情報処理装置の各ハードウェア構成要素を、複数のマシンを組み合わせ、それらに機能を配分し実施する等の種々の変更は当業者によって容易に想定され得ることは勿論である。それらの変更は、当然に本発明の思想に包含される概念である。
【０１０２】
本発明の実施の形態の画像検索システムは、マイクロソフト・コーポレーションが提供するＷｉｎｄｏｗｓ（Ｒ）オペレーティング・システム、アップル・コンピュータ・インコーポレイテッドが提供するＭａｃＯＳ（Ｒ）、ＵＮＩＸ（Ｒ）系システム（例えば、インターナショナル・ビジネス・マシーンズ・コーポレーションが提供するＡＩＸ（Ｒ））のような、ＧＵＩ（グラフィカル・ユーザー・インターフェース）マルチウインドウ環境をサポートするオペレーティング・システムを採用する。
【０１０３】
以上から、本発明の実施の形態において使用される画像検索システムは、特定のオペレーティング・システム環境に限定されるものではないことを理解することができる。
【０１０４】
本発明は、当業者に理解されるとおり、システム、方法またはコンピュータ・プログラム製品として実施することができる。そのため、本発明は全面的にハードウェアとしての実施形態、全面的にソフトウェアとしての実施形態（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）あるいは、ここでは、一般的に「回路」、「モジュール」または「システム」と呼ぶソフトウェアとハードウェアを組み合わせた実施形態の形式をとることができる。さらに、本発明は、その媒体で実施されるコンピュータが使用できるプログラム・コードを持った有形の表現媒体で実施されるコンピュータ・プログラム製品の形態をとることもできる。
【０１０５】
コンピュータ使用可能／コンピュータ可読媒体の組み合わせを利用することもできる。コンピュータ使用可能／コンピュータ可読媒体は、たとえば、電子的、磁気的、光学的、電磁、赤外線または半導体システム、装置、デバイスまたは伝搬媒体であってよいが、これらに限定されない。コンピュータ可読媒体のより具体的な例の非網羅的なリストには、以下のものが含まれる。導線を持った電気的接続、ポータブル・コンピュータ・ディスケット、ハードディスク、ランダム・アクセス・メモリ（ＲＡＭ）、リードオンリー・メモリ（ＲＯＭ）、消去可能なプログラマブル・リードオンリー・メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバー、ポータブル・コンパクトディスク・リードオンリー・メモリ（ＣＤ―ＲＯＭ）、光記憶デバイス、インターネットまたはイントラネットをサポートする伝送媒体、磁気記憶装置。
【０１０６】
プログラムは、たとえば、紙または他の媒体を光学的に走査することによって、電子的に取得され、次に、必要に応じて、コンパイルされ、解釈され、その他適宜の方法で処理され、コンピュータのメモリに保存されるため、コンピュータ使用可能／コンピュータ可読媒体は、プログラムが印刷された紙またはその他の適当な媒体であってもよい点に留意すべきである。コンピュータ使用可能／コンピュータ可読媒体は、命令実行システム、装置またはデバイスにより、あるいはこれらに関連して使用するためのプログラムを包含し、保存し、通信し、伝播し、または搬送することができる任意の媒体であってよい。コンピュータが使用できる媒体は、ベースバンド中または搬送波の一部として、一緒に実施されるコンピュータが使用できるプログラム・コードを含んだ伝播されたデータ信号を含むことができる。コンピュータが使用できるプログラム・コードは、無線、ワイヤーライン、光ファイバー・ケーブル、ＲＦ等を含むがこれらに限定されない適切な媒体を使用して伝送することができる。
【０１０７】
本発明を実行するコンピュータ・プログラム・コードは、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋等のオブジェクト指向のプログラム言語およびＣプログラム言語またはこれに類似するプログラム言語等の従来型の手続プログラム言語を含んだ１種類または複数のプログラム言語の組み合わせを使用して記述することができる。プログラム・コードは、全面的にユーザのコンピュータ上、一部をユーザのコンピュータ上、独立型のソフトウェア・パッケージとして、一部をユーザのコンピュータおよび一部をリモート・コンピュータ上、全面的にリモート・コンピュータまたはサーバ上で実行できる。後者のシナリオでは、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）またはワイド・エリア・ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを通じてユーザのコンピュータに接続することができ、あるいは接続は外部コンピュータ（たとえば、インターネット・サービス・プロバイダを利用してインターネットを通じて）に対して行うこともできる。
【０１０８】
以上、方法、装置（システム）およびコンピュータ・プログラム製品のフローチャートによる図示および／またはブロック図を参照して、本発明の実施形態を説明した。フローチャートによる図示および／またはブロック図の各ブロック、およびフローチャートによる図示および／またはブロック図のブロックの組み合わせは、コンピュータ・プログラムの命令によって実行できることは理解されるであろう。汎用コンピュータ、特殊目的のコンピュータ、またはその他のプログラム可能なデータ処理装置のプロセッサを通じて実行される命令が、フローチャートおよび／またはブロック図の１つまたは複数のブロックで指定された機能／活動を実行する手段を生成する機械を製造するために、これらのコンピュータ・プログラムの命令は、上記コンピュータ、その他のプログラム可能なデータ処理装置のプロセッサに対して与えることができる。
【０１０９】
これらのコンピュータ・プログラム命令は、コンピュータまたは他のプログラム可能なデータ処理装置を、コンピュータ可読媒体に保存された命令が、フローチャートおよび／またはブロック図の１つまたは複数のブロックで指定された機能／動作を実行する命令手段を含む製品を生産するよう、特定の態様で機能させることができるコンピュータ可読媒体に保存することもできる。
【０１１０】
コンピュータ・プログラム命令は、コンピュータまたは他のプログラム可能なデータ処理装置上で実行する命令がフローチャートおよび／またはブロック図の1つまたは複数のブロックで指定された機能／活動を実行するプロセスを提供するように、コンピュータで実行するプロセスを作成するため、コンピュータまたは他のプログラム可能なデータ処理装置上で一連の動作のステップを実行するようにそのコンピュータまたは他のプログラム可能なデータ処理装置にロードすることもできる。
【０１１１】
図面中のフローチャートおよびブロック図は、この発明のさまざまな実施形態によるシステム、方法およびコンピュータ・プログラム製品のアーキテクチャ、機能性および実行動作を図示している。この点については、フローチャートまたはブロック図の各ブロックは指定された論理機能を実行するための１つまたは複数の実行可能な命令を含んだモジュール、セグメントまたはコードの部分を示すことができる。一定の代替的実装例においては、ブロックに示された機能が図面に示したものとは異なる順番で行われることがある点にも留意すべきである。たとえば、関連する機能性に応じて、順番に示されている2個のプロックが、実際にはほぼ同時に実行されること、あるいはブロックが逆の順番で実行されることがある。ブロック図および／またはフローチャートの図示の各ブロック、およびブロック図および／またはフローチャートの図示のブロックの組み合わせは、特殊な機能または活動を行う特殊目的のためのハードウェア主体のシステム、または特殊目的のハードウェアの組み合わせによって実行され得る。
【０１１２】
上記の実施の形態に、種々の変更または改良を加えることが可能であることが当業者に明らかである。例えば、本発明の実施形態では、ユーザに単一の画像を提示することを前提に説明をしたが、例えば、総合スコアに基づいて、高い総合スコアを有する複数の画像を提示するようにすることが可能である。また、本発明の実施形態では、総合スコアを「輪郭スコア」、「色成分スコア」、「平滑度スコア」および「文字認識スコア」を正規化してから平均値を算出することによって得ることとしたが、当業者は様々な手法にしたがって、「輪郭スコア」、「色成分スコア」、「平滑度スコア」および「文字認識スコア」から総合スコアを得ることができるであろう。
【０１１３】
また、「輪郭スコア」を算出にあたっては、形状パターン分類辞書をあらかじめ準備し、そのような辞書を参照して関連する形状パターン分類を特定したうえで、特定されたパターン分類を考慮して複数の非テキスト要素の間の類似度を計算することが可能である。さらに、「色成分スコア」を算出するにあたっては、画像の色成分値の平均を求めるようにしたが、その代わりに画像の色成分値の中央値、最頻値および／または上位値を用いるようにすることができるばかりでなく、あらゆる色成分の代表値を適宜使用することが可能である。さらに、「文字認識スコア」を算出するに当たっては、より多くの文字が前記画像要素に含まれる場合に、前記文字認識スコアを低くするようにできる。
【０１１４】
検索される非テキスト情報の例として静止画像を取り上げて説明したが、動画像、音（サウンド）その他のインデックス付けすることなどによって検索可能なようにデータベース化することができ、かつ、相互に類似度を算出できるいかなる非テキスト情報またはそれらの組合せをも対象とすることができる。また、例えば、音（サウンド）を対象とする場合は、光学的文字認識技術の代わりに、既存の音声認識技術などを使用することができる。上記のような変更または改良を加えた形態も当然に本発明の技術的範囲に含まれる。
【０１１５】
以上、本発明の実施形態によれば、多言語環境の使用に適する、汎用性の高い非テキスト情報を効果的に得ることができるようになることが理解され得る。
【図１】
2014056503.tif 000008
【図２】
2014056503.tif 000009
【図３】
2014056503.tif 000010
【図４】
2014056503.tif 000011
【図５】
2014056503.tif 000012
【図６】
2014056503.tif 000013
【図７】
2014056503.tif 000014
【図８】
2014056503.tif 000015
【図１２】
2014056503.tif 000016
【図９】
2014056503.tif 000017
【図１０】
2014056503.tif 000018
【図１１】
2014056503.tif 000019