(57)【要約】本発明は、視覚・意味複合ネットワークシステム、および当該システムを形成するための方法に関する。【解決手段】前記システムは、所定のクエリーキーワードに基づいて複数の画像および前記画像に関連付けられている複数のテキストを検索するように配置されている収集装置と、検索画像の意味概念、および検索画像に用いられる検索テキストの意味概念を、それぞれ決定するように配置されている意味概念決定装置と、検索された画像およびテキストに基づいて、決定された意味概念に対してテキスト記述子および視覚記述子を生成するように配置されている記述子生成装置と、生成されたテキスト記述子および視覚記述子に基づいて意味関連性および視覚関連性をそれぞれ決定し、決定された意味関連性と、決定された視覚関連性とを結合して前記視覚・意味複合ネットワークシステムを生成するように配置されている意味関連性装置とを含んでもよい。
2016540332.tif 000002
【特許請求の範囲】
【請求項１】
視覚・意味複合ネットワークシステムであって、
所定のクエリーキーワードに基づいて複数の画像および前記複数の画像に関連付けられている複数のテキストを検索するように配置されている収集装置と、
検索テキストと検索画像との意味概念および代表画像をそれぞれ決定するように配置されている意味概念決定装置と、
決定された意味概念および代表画像に基づいてテキスト記述子および視覚記述子を生成するように配置されている記述子生成装置と、
生成されたテキスト記述子および視覚記述子に基づいて意味関連性および視覚関連性をそれぞれ決定し、決定された意味関連性と、決定された視覚関連性とを結合して前記視覚・意味複合ネットワークシステムを生成するように配置されている関連性装置と
を含むことを特徴とする視覚・意味複合ネットワークシステム。
【請求項２】
前記システムは、Ｋ最近傍グラフネットワークシステム（Ｋは整数である）を含むことを特徴とする請求項１に記載のシステム。
【請求項３】
前記関連性装置は、前記意味概念の各々２つの間の意味関連性および視覚関連性を、それぞれ生成するように配置されていることを特徴とする請求項２に記載のシステム。
【請求項４】
前記記述子生成装置は、
前記意味概念に対応する複数のテキスト断片を収集し、
収集されたテキスト断片の用語頻度ベクトルを決定し、
決定された用語頻度ベクトルを切り捨てて前記用語頻度ベクトルにおける用語頻度の最も高い複数の用語をキープし、
切り捨てられた用語頻度ベクトルを正規化して前記テキスト記述子を生成することによって、正規化された用語頻度ベクトルから意味の各々２つの間の前記意味関連性を生成するように配置されているテキスト記述子生成ユニットを
含むことを特徴とする請求項３に記載のシステム。
【請求項５】
前記記述子生成装置は、
ハッシュ関数により前記代表画像のいずれもをエンコードして各検索画像のバイナリベクトルを生成し、
生成されたバイナリベクトルを累積し、
累積されたベクトルを、バイナリベクトルに量子化して前記視覚記述子とすることによって、前記バイナリベクトルから前記の各々２つの間の前記視覚関連性を生成するように配置されている視覚記述子生成ユニットを
含むことを特徴とする請求項３に記載のシステム。
【請求項６】
前記意味関連性と、視覚関連性とが結合されて前記視覚・意味複合ネットワークシステムを生成することを特徴とする請求項５に記載のシステム。
【請求項７】
ネットワーク画像に対して視覚・意味複合ネットワークシステムを形成するための方法であって、
所定のクエリーキーワードに基づいて複数の画像および前記複数の画像に関連付けられている複数のテキストを検索するステップと、
検索テキストと検索画像との意味概念および代表画像を、それぞれ決定するステップと、
前記意味概念および前記代表画像に基づいてテキスト記述子および視覚記述子を生成するステップと、
生成されたテキスト記述子および視覚記述子に基づいて意味関連性および視覚関連性をそれぞれ決定するステップと、
前記意味関連性と、前記視覚関連性とを結合して前記視覚・意味複合ネットワークシステムを生成するステップと
を含むことを特徴とする視覚・意味複合ネットワークシステムを形成するための方法。
【請求項８】
前記生成されたテキスト記述子および前記生成された視覚記述子に基づいて意味関連性および視覚関連性をそれぞれ決定するステップにおいては、
前記意味概念の各々２つの間の意味関連性および視覚関連性を生成するステップを含むことを特徴とする請求項７に記載の方法。
【請求項９】
前記意味概念の各々２つの間の意味関連性を生成するステップにおいては、
前記意味概念に対応する複数のテキスト断片を収集するステップと、
収集された断片の用語頻度ベクトルを決定するステップと、
計算された用語頻度ベクトルを切り捨てて前記用語頻度ベクトルにおける用語頻度の最も高い複数の用語をキープするステップと、
切り捨てられた用語頻度ベクトルを、正規化して前記テキスト記述子を生成することによって、正規化されたベクトルから意味概念の各々２つの間の前記意味関連性を生成するステップと
を含むことを特徴とする請求項８に記載の方法。
【請求項１０】
前記意味関連性を決定するステップにおいては、
ハッシュ関数により検索された画像のいずれもをエンコードして各検索画像のバイナリベクトルを生成するステップと、
生成されたバイナリベクトルを累積するステップと、
累積された用語頻度ベクトルを、バイナリベクトルに量子化して前記視覚記述子とするステップと、
切り捨てられた用語頻度ベクトルから前記意味関連性を決定するステップと
を含むことを特徴とする請求項８に記載の方法。
【請求項１１】
前記視覚関連性を決定するステップおいては、
ハッシュ関数により前記代表画像のいずれもをエンコードして各検索画像のバイナリベクトルを生成するステップと、
生成されたバイナリベクトルを累積するステップと、
累積されたバイナリベクトルを、バイナリベクトルに量子化して前記視覚記述子とするステップと、
切り捨てられた用語頻度ベクトルから前記視覚関連性を決定するステップと
を含むことを特徴とする請求項８に記載の方法。
【請求項１２】
前記結合のステップは、前記意味関連性と、前記視覚関連性とを結合して前記視覚・意味複合ネットワークシステムを生成することをさらに含むことを特徴とする請求項１１に記載の方法。
【請求項１３】
所定のクエリー画像に基づいて画像リストを取得するステップと、
取得された画像リストに基づいて１組の関連する概念コミュニティを決定するステップと、
決定された概念コミュニティに基づいて１組の関連する意味概念を決定するステップと、
決定された関連する意味概念に基づいて前のいくつかの概念の画像を収集するステップと、
前記クエリー画像とマッチングしている、収集された画像のリランキング・プールを形成するステップと
を含むことを特徴とする視覚・意味複合ネットワークシステムにより画像を検索するための方法。
【請求項１４】
クエリーキーワードを表示システムに入力するステップと、
同じクエリーに基づいて複数の意味概念を生成して入力のキーワードとするステップと、
前記表示システムのクエリー空間において、生成された意味概念を可視化するステップと、
前記クエリー空間から選択された概念の選択に応答して、前記クエリー空間を表示ユニットのローカル概念空間（ここで、選択された概念およびそれらの近傍の概念が、前記ローカル概念空間に表示される）へ切り替えるステップと
を含むことを特徴とする意味概念により画像を閲覧するための方法。
【請求項１５】
前記ローカル概念空間における中心概念を選択するステップと、
選択された概念の所属するクエリー空間に切り替えるステップと、
前記ローカル概念空間における別の概念を選択するステップと、
前記別の概念およびその近傍概念を表示するための別のローカル概念空間へ切り替えるステップとを
さらに含むことを特徴とする請求項１４に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視覚・意味複合ネットワークシステム、および当該システムを形成するための方法に関する。
【背景技術】
【０００２】
ネットワーク上に画像の数が巨大で絶えずに増加するため、ネットワークにおける画像検索、閲覧（ブラウジング）、およびクラスタリングに関連する多くの重要なアプリケーションが増えてきた。このようなアプリケーションは、ユーザにネットワークの画像をより簡単にアクセスできることを目的とする。これらのタスクの全てが直面している重要な問題の１つは、ネットワークにおける画像の関連性を如何にモデリングすることである。ネットワーク画像は、多様性が比較的大きくて構造が複雑であるため、上記課題は、特に挑戦的である。ほとんどの検索エンジンは、テキスト情報に依存し、インターネットの画像を検索してそれらの関連性を測定するため、これらの方法ではいくつか既知の欠点が存在している。テキストでの記述は不明瞭であるため、同じキーワードによって検索された画像は、無関係な概念に由来する可能性があり、且つ、視覚的なコンテンツについて大きい多様性を示す。より重要なのは、例えば、「ｐａｌｍ  ｐｉｘｉ」および「ａｐｐｌｅ  ｉｐｈｏｎｅ」のような異なるキーワードのインデックスにおいて一部の関連画像は、これらの方法で関連されることができない。もう一つの方法では、画像コンテンツから抽出された視覚的特徴に比べることによって画像の関連性を推定する。検索効率を向上させるために、様々な近似最近傍（ＡＮＮ）探索アルゴリズム（例えば、ハッシュ法）は、既に用いられている。しかしながら、このような視覚的特徴およびＡＮＮアルゴリズムは、視覚コンテンツが非常に類似している（すなわち、近似複製の）画像のみに有効であり、同じ意味を持っているが視覚コンテンツについて適切な差別がある関連画像を見つけることができない。
【０００３】
上記方法のいずれも、単にユーザが微視的レベルだけで多くのネットワーク画像とのインタラクションを許可しており、すなわち、テキストまたは視覚的特徴空間における非常に小さいローカル領域内に画像を検索し、その結果、ネットワーク画像への効率的なアクセスが制約されている。既に手動でネットワーク画像の一部を整理することに努力したが、これは、動的ネットワーク画像との固有差異を有する人為的な定義のオントロジに由来される。また、スケールすることが非常に高価になっている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、ネットワーク画像集の視覚的・意味的構造を自動的に発見・モデリングし、それらの特性を巨視的レベルで研究し、且つ、このような構造および特性の使用を具体的なアプリケーションによって示すことを目的とする。このため、本発明では、視覚・意味複合ネットワーク（ＶＳＣＮ）を用いてネットワーク画像集のためにモデルを生成することを提案した。前記画像集は、自動的に生成された図形構造であり、その中でも、前記図形構造に意味的・視覚的コンテンツの両方に関係がある画像は、適切に関連されてよく整理された。
【０００５】
ネットワークにおける画像がランダムに分布されているわけではなく、コンパクトなクラスターを視覚的・意味的に形成している傾向があることに留意すべきである。これらの画像クラスターは、ネットワーク画像集の構造をモデル化するための基本のユニットとして用いられる。本発明は、意味的・視覚的な一貫性を有する画像クラスターを自動的に発見し、且つ、それらを図におけるノードとして扱う。
【０００６】
本発明に開示の内容において、検出された画像クラスターは、意味概念と呼ばれ、且つ、それらが視覚およびテキスト記述子と関連されている。視覚関連性と意味関連性とに基づいて、意味概念は、エッジに関係がある。意味概念およびそれらの関連性は、ネットワーク画像に構造を取り入れ、且つ、画像関連性のより正確なモデリングを可能にする。
【０００７】
複合ネットワークの観点から、ＶＳＣＮの構造性質を研究することにより、ネットワーク画像集は、巨視的レベルでさらによく理解される。本発明においては、その一部（スモールワールド行動、概念コミュニティ、ハブ構造、および独立の概念を含む）が探索されたと共に、いくつかの興味深い特性も発見された。このような特性は、価値のある情報を提供し、多くの重要なアプリケーション、例えば、テキストもしくはコンテンツに基づくネットワーク画像の検索、ネットワーク画像の閲覧、ネットワーク画像のホットな話題の発見、および構造情報に基づく画像類似点の定義などに門戸を開いた。
【０００８】
本発明がコンテンツに基づく画像検索（ＣＢＩＲ）および画像閲覧という２つのアプリケーションを解决するために用いられることを提案した。ネットワークスケールのＣＢＩＲに対して、既存方法は、通常、画像と視覚的特徴およびＡＮＮ検索アルゴリズム（例えば、ハッシュ法）とをマッチングする。これらのアルゴリズムは、通常、クエリー（近似複製）に高度に類似している画像の小さい部分のみにリードされる。この点で、これらの検出された画像は、ＶＳＣＮにコミュニティ構造を形成したその他の関連画像に関係がある。したがって、ＶＳＣＮにより提供された構造情報を用いてより多くの関連画像を見つけることができる。第２番目のアプリケーションでは、ネットワーク画像の閲覧に対して新規な可視化技術案を提案する。ユーザは、クエリーのキーワードによって制限されなく、ＶＳＣＮを制御してネットワーク画像を探索することができる。
【課題を解決するための手段】
【０００９】
一態様において、本発明は、ネットワーク画像に用いられる視覚・意味複合ネットワークシステムを提供し、このシステムは、所定のクエリーキーワードに基づいて複数の画像および前記画像に関連付けられている複数のテキストを検索するように配置されている収集装置と、検索テキストと検索画像との意味概念および代表画像をそれぞれ決定するように配置されている意味概念決定装置と、決定された意味概念および代表画像に基づいてテキスト記述子および視覚記述子を生成するように配置されている記述子生成装置と、生成されたテキスト記述子および視覚記述子に基づいて意味関連性および視覚関連性をそれぞれ決定し、決定された意味関連性と、決定された視覚関連性とを結合して前記視覚・意味複合ネットワークシステムを生成するように配置されている関連性装置とを含む。
【００１０】
他の一態様において、本発明は、ネットワーク画像に対して視覚・意味複合ネットワークシステムを形成するための方法を提供し、この方法は、所定のクエリーのキーワードに基づいて複数の画像および前記画像に関連付けられている複数のテキストを検索するステップと、検索テキストと検索画像との意味概念および代表画像を、それぞれ決定するステップと、前記意味概念および前記代表画像に基づいてテキスト記述子および視覚記述子を生成するステップと、生成されたテキスト記述子および視覚記述子に基づいて意味関連性および視覚関連性をそれぞれ決定するステップと、前記意味関連性と、視覚関連性とを結合して前記視覚・意味複合ネットワークシステムを生成するステップとを含む。
【００１１】
上記方法は、コンピュータにおける１つまたは複数のプロセッサにより実施されてもよい。
【００１２】
他の一態様において、本発明は、コンピュータ読み取り可能な記憶媒体を提供し、この記憶媒体は、所定のクエリーのキーワードに基づいて複数の画像および前記画像に関連付けられている複数のテキストを検索するための命令と、検索テキストと検索画像との意味概念および代表画像を、それぞれ決定するための命令と、前記意味概念および代表画像に基づいてテキスト記述子および視覚記述子を生成するための命令と、生成されたテキスト記述子および視覚記述子に基づいて意味関連性および視覚関連性をそれぞれ決定するための命令と、前記意味関連性と、視覚関連性とを結合して前記視覚・意味複合ネットワークシステムを生成するための命令とを含む。
【００１３】
他の一態様において、本発明は、視覚・意味複合ネットワークシステムにより画像を検索するための方法を提供し、この方法は、所定のクエリー画像に基づいて画像リストを取得するステップと、取得されたリストに基づいて１組の関連する概念コミュニティを決定するステップと、前記コミュニティに基づいて１組の関連する意味概念を決定するステップと、決定された関連する意味概念に基づいて前のいくつかの概念の画像を収集するステップと、前記クエリー画像とマッチングしている、収集された画像のリランキング・プール（ｒｅ−ｒａｎｋｉｎｇ  ｐｏｏｌ）を形成するステップとを含む。
【００１４】
したがって、コンピュータ読み取り可能な記憶媒体を提供し、この記憶媒体は、所定のクエリー画像に基づいて画像リストを取得するための命令と、取得されたリストに基づいて１組の関連する概念コミュニティを決定するための命令と、前記コミュニティに基いて１組の関連する意味概念を決定するための命令と、決定された関連する意味概念に基づいて前のいくつかの概念の画像を収集するための命令と、前記クエリー画像とマッチングしている、収集された画像のリランキング・プールを形成するための命令とを含む。
【００１５】
他の一態様において、本発明は、意味概念により画像を閲覧するための方法を、さらに提供する。前記意味概念は、上記で述べたように、ネットワーク画像に用いられる視覚・意味複合ネットワークシステムにおいて生成されてもよい。前記方法は、クエリーのキーワードを表示システムに入力するステップと、同じクエリーに基づいて複数の意味概念を生成して入力のキーワードとするステップと、前記表示システムのクエリー空間において、生成された意味概念を可視化するステップと、前記クエリー空間から選択された概念の選択に応答して、前記クエリー空間を表示ユニットのローカル概念空間へ切り替えるステップとを含んでもよく、ここで、選択された概念およびそれらの近傍の概念が、前記ローカル概念空間に表示される。
【００１６】
なお、画像を閲覧するための前記方法は、前記ローカル概念空間における中心概念を選択するステップと、前記選択された概念に所属するクエリー空間に切り替えるステップと、前記ローカル概念空間における別の概念を選択するステップと、前記別の概念およびその近傍概念を表示するための別のローカル概念空間へ切り替えるステップとを、さらに含んでもよい。
【００１７】
上記方法は、コンピュータにおける１つまたは複数のプロセッサにより実施されてもよい。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施例に係るネットワーク画像に用いられる例示的な視覚・意味複合ネットワークシステムを示すブロック図である。
【図２】本発明の一実施例に係る意味記述子を生成するための方法を示すフローチャートである。
【図３】本発明の一実施例に係る視覚記述子を生成するための方法を示すフローチャートである。
【図４】本発明の一実施例に係るネットワーク画像に対して視覚・意味複合ネットワークシステムを形成するプロセスを示すフローチャートである。
【図５】本発明の一実施例に係る視覚・意味複合ネットワークシステムを如何に用いて画像を検索することを示すブロック図である。
【図６】本発明の一実施例に係る視覚・意味複合ネットワークシステムを用いて画像を検索するための方法を示すフローチャートである。
【発明を実施するための形態】
【００１９】
本発明の実施例は、文書を表現する過程において記憶リソースの浪費や記述の不正確な問題を解決することができる。これにより、記憶空間を低減すると共に、表現の正確性を向上させる技術効果を実現することができる。
【００２０】
図１は、本発明の一実施例に係るネットワーク画像に用いる例示的な視覚・意味複合ネットワークシステム１００を示すブロック図である。図１に示すように、システム１００は、収集装置１０、意味概念決定装置２０、記述子生成装置３０、および関連性装置４０を含む。
【００２１】
収集装置１０は、所定のクエリーキーワードに基づいて複数の画像およびテキストを検索するように配置されている。本発明の実施例において、検索エンジンの前の複数のクエリーキーワードで始めて、より大きな数の、視覚的・意味的な一貫性を有する、コンパクトな画像クラスターの意味概念を自動的に発見した。１つのケースにおいて、Ｂｉｎｇ（ビング）という画像検索エンジンを例とし、検索エンジンが例えば２，０００のキーワードを有する場合、約３３，２４０の意味概念が発見される。
【００２２】
意味概念決定装置２０は、検索テキストと検索画像との意味概念および代表画像を決定するように配置されている。本発明の一実施例において、意味概念決定装置２０は、視覚的な類似の画像で頻繁に示されるキーワードを発見することにより意味概念を習得する。これらの発見されたキーワードは、画像コンテンツとの関連性が非常に高いため、記述概念を形成した。具体的には、各クエリーｑ、例えば、「ａｐｐｌｅ」に対して、発明者は、ｑを画像検索エンジンへ提出することにする。検索された画像集Ｉq および周辺テキストＴq により、それらの関連の意味概念、例えば、「ａｐｐｌｅ  ｆｒｕｉｔ」および「ａｐｐｌｅ  ｉｐｈｏｎｅ」を自動的に発見することができる。このような概念は、より具体的な語義の意味（ｓｅｍａｎｔｉｃ  ｍｅａｎｉｎｇ）を有し、且つ視覚的多様性が比較的少ないため、ネットワーク画像集の基本ユニットとして見なすことができる。クエリーキーワードｑに基づいて習得された概念は、下記式で表示されている。概念は、異なるクエリーから習得され、ＶＳＣＮ１００のノードが形成された。
【００２３】
【数１】
2016540332.tif 000003
【００２４】
以下は、概念発見（Ｃｏｎｃｅｐｔ  Ｄｉｓｃｏｖｅｒｙ）の概要プロセスである。
【００２５】
【表１】
2016540332.tif 000004
【００２６】
記述子生成装置３０は、検索画像、検索テキストおよび基礎ユニットに基づいて、決定された意味概念に対してテキスト記述子および視覚記述子を生成するように配置されている。概念の数が非常に大きい（例えば、本実施例では３３，２４０であり、そしてＶＳＣＮを拡張すれば、さらに大きくなる可能性がある）ため、以下では、意味関連性および視覚関連性を計算するための２種の有効な方法を説明する。
【００２７】
具体的には、記述子生成装置３０は、テキスト記述子生成ユニット３０１と、視覚記述子生成ユニット３０２とを含む。
【００２８】
一実施例において、テキスト記述子生成ユニット３０１が動作して意味概念に対応するテキスト断片を収集し、収集された断片の用語頻度（ＴＦ）ベクトルを計算／決定してベクトルにおける用語頻度の最も高い第１の複数の用語をキープする（すなわち、ベクトルにおけるその他の用語がキャンセルされた）ため、計算された用語頻度ベクトルが切り捨てられた。その後、テキスト記述子生成ユニット３０１が動作して切り捨てられたベクトルを正規化し、且つ、切り捨てられたベクトルに基づいて意味関連性を決定する。例えば、テキスト記述子生成ユニット３０１が動作して切り捨てられたベクトルに対してＬ2正規化する。
【００２９】
具体的に、各概念ｃi ∈Ｃに対して、テキスト記述子生成ユニット３０１は、図２に示すように、下記ステップを実施するように動作してもよい。ステップｓ２０１では、テキスト記述子生成ユニット３０１は、ｃiをネットワーク検索（例えば、Ｇｏｏｇｌｅウェブ検索）のクエリー入力として用いて、且つ、前のＫ（例えば、Ｋ＝５０）個の検索断片を収集し、Ｓ（ｃi）で表示される。ステップｓ２０２では、テキスト記述子生成ユニット３０１は、Ｓ（ｃi）の用語頻度（ＴＦ）ベクトルを計算／決定し、且つ、例えばＴＦの最も高い前のＭ（例えば、Ｋ＝１００）個の用語がキープされ、すなわち、ＴＦベクトルが切り捨てられた。ステップｓ２０３では、テキスト記述子生成ユニット３０１は、切り捨てられたベクトルを正規化してテキスト記述子を形成する。
【００３０】
視覚記述子生成ユニット３０２は、ハッシュ関数Ｈにより、各検索画像をエンコードして各検索画像のバイナリベクトルを生成し、生成されたバイナリベクトルを累積し、且つ累積されたベクトルをバイナリベクトルに量子化することによって、量子化されたバイナリベクトルに基づいて概念同士の２つずつの間の視覚関連性（視覚記述子）を形成するように配置されている。
【００３１】
具体的に、視覚記述子生成ユニット３０２は、図３に示すように、下記ステップを実施するように動作してもよい。ステップＳ３０１では、概念ｃi ∈Ｃに対して、例示的な画像集はＩciである。Ｉk ∈Ｉciは、Ｍビット基本ハッシュ関数ＨによってＭ次元バイナリーベクターＨ（Ｉk）においてエンコードされる（ここに、各ビットは±１で表示される）。ステップＳ３０２では、視覚記述子生成ユニット３０２が動作してバイナリベクトルをＡ＝ΣＨ（ＩK ）に累積した。ステップ３０３では、視覚記述子生成ユニット３０２が動作して、累積されたベクトルをバイナリベクトルに量子化し、且つ視覚記述子ｓｈｉｍｈａｓｈ（ｃi ）＝ｓｉｇｎ（Ａ）として表示される。
【００３２】
関連性装置４０は、生成されたテキストおよび視覚記述子に基づいて意味関連性を決定して、意味関連性と視覚関連性とを結合してＫ最近傍（ｎｅａｒｅｓｔ−ｎｅｒｇｈｂｏｒ）（Ｋ−ＮＮ）グラフネットワークシステムを生成するように配置されている。
【００３３】
従来の方式により意味関連性を決定することができる。例えば、短いテキストｘに対して、ネットワーク検索から断片の集合Ｓ（ｘ）を取得する。断片は、クエリーｃの各検索結果項目を検索エンジンにより生成された短いテキスト概要である。テキスト記述子生成ユニット３０１は、前のＮ個の検索結果項目の断片を収集して豊かな意味のコンテキストをｘに提供する。その後、テキスト記述子生成ユニット３０１が動作して用語ベクトルモデルおよび余弦類似度でＳ（Ｘ1 ）とＳ（Ｘ2 ）とのテキスト類似度を計算し、２つのテキストＸ1とＸ2との間の類似度を決定する。
【００３４】
図２に示すように、テキスト記述子としての結果ベクトルｎｔｆ（ｃi ）が決定された後に、関連性装置４０が動作し、下記式（１）により、ｃiとｃjとの間の意味関連性を決定する。
【００３５】
【数２】
2016540332.tif 000005
【００３６】
視覚関連性に関しては、対応する例示的な画像集合との間の視覚類似度により測定されてもよい。各概念に対して、その例示的な画像集合は、概念をクエリーキーワードとして用いて検索エンジンから検索された前のＫ（例えば、３００）個の画像からなる。この例示的な画像集合は、従来のｓｉｍハッシュ（ｓｉｍ−ｈａｓｈｉｎｇ）アルゴリズムでさらにバイナリコードとして表われる。このようなｓｉｍハッシュコードは、元の例示的な画像集合の視覚シグナチャーとして見なされることができる。任意の１対の例示的な画像集合同士の間の視覚類似度は、その後、いずれも、それらのｓｉｍハッシュコードの間のハミング距離の負値に近づけられる。具体的には、ユニット３０２がステップＳ３０３において視覚記述子ｓｉｍｈａｓｈ（ｃi ）＝ｓｉｇｎ（Ａ）を決定すると、関連性装置４０は、下記式（２）により、ｃiとｃjとの間の視覚関連性を決定するように動作する。
【００３７】
【数３】
2016540332.tif 000006
【００３８】
その後、関連性装置４０は、Ｃｏｒ＝Ｓ＿ｃｏｒ＋Ｖ＿ｃｏｒにより、意味関連性および視覚関連性を結合するように動作する。最後に、各ノードを関連性の最も大きい前のＫ個の近傍に関連付けることにより、システム１００は、ＶＳＣＮをＫ最近傍（Ｋ−ＮＮ）図に構築した。
【００３９】
以下、本発明は、また、ネットワーク画像に対して視覚・意味複合ネットワークシステムを形成するプロセル４００を提案する。図４に示すように、ステップＳ４０１において、前記プロセスは、所定のクエリーキーワードに基づいて複数の画像および画像に関連付けられている複数のテキストを検索する。
【００４０】
ステップＳ４０２において、前記プロセスは、検索テキストと検索画像との意味概念および代表画像を決定する。
【００４１】
ステップＳ４０３において、前記プロセスは、決定された意味概念および代表画像に基づき、決定された意味概念に対してテキスト記述子および視覚記述子を生成する。ステップＳ４０３は、生成されたテキスト記述子および生成された視覚記述子に基づいて意味関連性および視覚関連性を決定するステップを含んでもよい（上記の図２および図３に関する説明を参照する）。
【００４２】
ステップＳ４０４において、前記プロセスは、生成されたテキスト記述子、および生成された視覚記述子に基づいて意味関連性および視覚関連性をそれぞれ決定する。具体的には、意味概念に対応する複数のテキスト断片を収集し、収集された断片の用語頻度ベクトルを決定し、計算されたベクトルを切り捨ててベクトルにおける用語頻度の最も高い複数の用語をキープし、および、切り捨てられたベクトルを正規化して前記テキスト記述子を生成することによって量子化されたバイナリベクトルに基づいてテキスト概念同士の２つずつの間の視覚関連性を生成すことで、テキスト概念同士の２つずつの間的意味関連性が生成されてもよい。ハッシュ関数により各検索画像をエンコードし、各検索画像のバイナリベクトルを生成し、生成されたバイナリベクトルを累積し、累積されたベクトルをバイナリベクトルに量子化して前記視覚記述子とし、且つ切り捨てられたベクトルに基づいて視覚関連性を決定することで、視覚関連性を生成することができる。意味関連性および視覚関連性の生成については既に説明されたので、その詳細を省略する。
【００４３】
ステップＳ４０５において、プロセス４００は、前記意味関連性と、視覚関連性とを結合して前記視覚・意味複合ネットワークシステムを生成する。
【００４４】
当該技術分野で周知のように、複合ネットワークは、多くの重要な特性を有し、その中で、いくつかのは、提案されたＶＳＣＮ１００を用いて探索されたものである。これらの特性を研究すれば、ネットワーク画像集を巨視的レベルでよりよく理解することができるだけでなく、さらに、後述で議論されるような、ＣＢＩＲおよび画像閲覧を含む重要なタスクに寄与している価値のある情報を提供する。
【００４５】
１）スモールワールド行動
スモールワールド行動（ｓｍａｌｌ−ｗｏｒｌｄ  ｂｅｈａｖｉｏｒ）は、多くの複合ネットワーク、例えば、ソーシャルネットワーク、およびワールド・ワイド・ウェブに存在している。つまり、多数のノードは、他のノードから比較的少ないホップ数で接近することができる。このような現象もＶＳＣＮ１００に存在するか否かを研究することは、非常に興味深い。いくつかのアプリケーション、例えば、ＶＳＣＮ１００を制御して行われた画像閲覧において、スモールワールド行動は、重要な暗示を有する。
【００４６】
ＶＳＣＮ１００がローカルに構築されたため、それがどのようにグローバルに接続されているかを解明することは、興味深い。結果として、図３（ａ）に示すように、近傍の小さいサイズ（Ｋ＝５）に対しても、ＶＳＣＮ上の半分以上のノードを含む主接続部材を出現していることが分かった。最大接続部材は、Ｋに伴って急速に成長し、且つＫ＝２０の場合、９６％のＶＳＣＮがカバーされている。したがって、ＶＳＣＮはよく接続されたネットワークである。
【００４７】
平均最短経路長は、下記式（３）により決定される。
【００４８】
【数４】
2016540332.tif 000007
【００４９】
Ｌの発散を避けるために、Ｖは最大接続部材として定義される。Ｋにより変化しているＬを図３（ａ）に示した。Ｌは、初めに急速に減少した。Ｋ＞２０の場合について、最大接続部材における２つのノードの間の平均間隔は、約６つのホップのみである。主接続部材の存在、およびノードの間の比較的小さい間隔は、エッジを追跡してＶＳＣＮ１００を制御することにより、後述するように新しい画像閲覧案を思い付かせる可能性があると明らかにされた。以下では、説明しやすいために、Ｋが２０に固定されたが、本発明はこれに限定されるものではない。
【００５０】
２）入次数分布
入次数（ｉｎ−ｄｅｇｒｅｅ）は、複合ネットワークにおける重要な尺度である。ＶＳＣＮ１００において、ノードは同じ出次数（ｏｕｔｄｅｇｒｅｅ）（例えば、Ｋ＝２０）を持っているが、それらの入次数は０〜５００の間に大きく異なっている。僅か１％のノードは、１００よりも大きい入次数を持っている。一般的には、多くの他の概念の近傍となる代表的な概念およびホットな概念は、比較的高い入次数を持っており、且つハブ構造を形成する。独立の概念は、ゼロの入次数を持っている。それらは、通常、よく見られる概念でなく、例えば、「ｇｅｏｄｅｓｉｃ  ｄｏｍｅ」および「ａｎｔ  ｇｒａｓｓｈｏｐｐｅｒ」、または任意の語義の意味を持っていない概念検出の失敗、例えば、「ｄｓｃｎ  ｊｐｇ」である。図５は、ＶＳＣＮの一部を示し、その中で、概念は比較的大きい入次数を持っている。それぞれ緑色、黄色、濃い青および水色領域に対応する旅行、娯楽、壁紙および自動車を含むこれらの概念により形成された若干の意味領域を識別することができる。
【００５１】
以下、視覚・意味複合ネットワークシステム１００により画像を検索するための方法６００について説明する。
【００５２】
一般的には、クエリー画像（図５（ａ））が与えられた後に、ベースライン法や任意の他の利用可能な方法により、データベースにおけるその最近傍を検索する。初期の検索結果に基づいて、ＶＳＣＮ１００上の関連意味概念の比較的小さい集合を用いてクエリー画像の意味・語義を推定する。これらの意味概念に属する画像を、その後、一緒に収集してリランキング・プール（ｒｅ−ｒａｎｋｉｎｇ  ｐｏｏｌ）を形成する。プール内部の画像は、それらがクエリー画像との視覚的類似度に基づいてソートされて、ソートリストに戻る（図５（ｆ））。ＶＳＣＮは、次の２つの主な利点をもたらす。（１）検索空間が大幅に削減されることに伴い、リランキング・プールは、データベース全体よりも、ノイズが著しく少ない。したがって、よりよい検索結果が得られる。（２）リランキング・プールは、データベース全体よりも、より管理しやすい数（数千：数百万）の画像を含んでいる。これは、より強力な特徴および類似度測定を用いて機能をさらに向上させることを可能にする。
【００５３】
具体的には、図６を参照して本発明の一実施例に係る視覚・意味複合ネットワークシステムにより画像を検索するための方法６００を説明する。ステップ６０１では、所定の画像に基づいて従来技術のいずれの伝統的な形態を用いて画像リストを取得する。
【００５４】
ステップＳ６０２では、ステップＳ６０１から戻ってきたリストに基づいて１組の密接に関連する概念コミュニティを決定する。
【００５５】
意味領域は、ＶＳＣＮにおいてコミュニティ構造を存在することを示している。複合ネットワークの文献において、コミュニティは、密接に接続されたノードを有するサブグラフと呼ばれる。ＶＳＣＮにおいて、それは１組の（例えば、密接に）関連する意味概念に対応しており、概念コミュニティと呼ばれる。このようなコミュニティを見つけるために、発明者は、従来技術における図による凝集アルゴリズム（ａｇｇｌｏｍｅｒａｔｉｖｅ  ａｌｇｏｒｉｔｈｍ）を採用し、なぜなら、当該アルゴリズムの機能がよくて効率が比較的高いためである。前記アルゴリズムは、各の独立なノードをクラスターとして扱うことで始め、その後、親和性の最大のクラスターを反復でマージする。その親和性は、２つのクラスターの間の入次数と出次数との乗積を介して測定される。
【００５６】
発明者は、クラスター結果からいくつかの興味深い事実が観察された。第１のは、クラスターのサイズがべき乗分布に大体従い、且つ、１０％のクラスターのサイズが１０より大きい。当該クラスターは、ＶＳＣＮ上の５２％のノードをカバーする。第２のは、これらのクラスターが各種類の意味話題、例えば、自動車、食物、植物および動物に対応する。
【００５７】
ステップＳ６０３では、ステップＳ６０２において決定されたコミュニティに基づいて１組の密接に関連する意味概念を決定する。
【００５８】
当該方法の重要なステップは、クエリー画像の語義の意味を推定することであり、２つのレベルで完成された。コミュニティのレベルでは、上記発見された概念コミュニティの集合を用いてクエリー画像の語義の意味を推定する。概念コミュニティが類似している概念を組み合わせたため、関連コミュニティを推定することは、単独概念を推定することによりも信頼性が高くなっている。その後、概念レベルでは、以前に識別されたコミュニティに基づいてさらに関連概念のより小さい集合を決定する。この２つのレベルのいずれもＶＳＣＮの構造情報を十分に利用したので、本発明に係る手法は、より耐久性を持たせる。
【００５９】
１．１  コミュニティ・レベルの推定
【００６０】
【数５】
2016540332.tif 000008
【００６１】
１．２  概念レベルの推定
概念レベルの推定結果により、概念の小さなサブセットＣ’に焦点を当てることができるようになる。Ｃ’から最も関連性の高い概念を最もよく識別するために、本発明者は２つの情報ソースを共同で活用する。第１のソースは、ベースライン検索アルゴリズムから返された配列リストにより得られた関連性スコアである。５．１節と同様に、発明者は各概念ｃ′i∈Ｃ′に対して初期関連性スコアを下記式（３）として計算する。
【００６２】
【数６】
2016540332.tif 000009
【００６３】
このために、発明者は、さらにＶＳＣＮからサブグラフを抽出することにより、グラフＧ′（Ｖ′,Ｅ′,Ｗ′）を構築し、その中でも、Ｖ′はＣ′に対応するノードであり、Ｅ′は、Ｖ′における２つのノードを有するエッジであり、且つ、Ｗ′はＥ′に関連付けられている重みである。２つの情報ソースを統合するために、Ｇ′に対してランダムウォークを再開する（Ｒａｎｄｏｍ  Ｗａｌｋ  ｗｉｔｈ  Ｒｅｓｔａｒｔ：ＲＷＲ）ことを実行し、下記式（４）を特徴とする。
【００６４】
【数７】
2016540332.tif 000010
【００６５】
式５の物理的意味は、各ステップにおいて、ランダム・ウォークが遷移行列
に応じてＥ′に沿ってウォークしたり（ここで、確率はαであり）、固定確率分布πに基づいて再開したり（ここで、確率１−αはであり）すると解釈されることができる。したがって、式５のｒ．ｈ．ｓ．（右側）の２つの用語（ｔｅｒｍｓ）にそれぞれ組み込まれた２つの情報ソースは、ＲＷＲによりバランス係数αに結合されている。
ＲＷＲの平衡分布ｐは、個人化されたページランク（ＰａｇｅＲａｎｋ）ベクトルと呼ばれ、それは、下記の解析解（ａｎａｌｙｔｉｃａｌ  ｓｏｌｕｔｉｏｎ）を有する。
【００６６】
【数８】
2016540332.tif 000011
【００６７】
その中で、ｐの確率が大きいほど、対応するノードの関連性が高くなることを示す。ｐにおける確率値により、意味概念をソートし、且つ、前のＮc個を用いてクエリー画像の語義の意味を示す。
【００６８】
ステップｓ６０４において、前のＮｃ個の概念の画像が収集され、且つ収集された画像のリランキング・プールを形成し、前記収集された画像とクエリー画像とは、互いにマッチングしている。
【００６９】
本発明の一態様において、ユーザがＶＳＣＮ１００を探索して関連画像を見つけることを助けるための新しい閲覧方式を提案する。ユーザは、クエリーキーワードをシステムに入力して閲覧を始める。ＶＳＣＮのサイズが非常に大きいため、局部ビューを提供する。この案では、ユーザがクエリー空間と、ローカル概念空間という２つの空間を閲覧することを可能にし、各空間のいずれもＶＳＣＮ１００全体の小さいサブセットのみを代表している。クエリー空間は、同じクエリーにより生成された意味概念を可視化する。例えば、「ａｐｐｌｅ」のクエリー空間は、「ａｐｐｌｅ  ｆｒｕｉｔ」、「ａｐｐｌｅ  ｉｐｈｏｎｅ」、「ａｐｐｌｅ  ｐｉｅ」のような概念およびそれらに対応する画像を含む。ローカル概念空間では、中心概念（例えば、「ａｐｐｌｅ  ｉｐｈｏｎｅ」）および異なるクエリー・キーワードに由来可能な近傍概念（例えば、「ｈｔｃ  ｄｉａｍｏｎｄ」および「ｐａｌｍ  ｐｉｘｉ」）を可視化する。このような方式では、最も関連する概念を架橋し、且つ、初期クエリーに制限されなく、ユーザがより多くの関連画像をアクセスするように助ける。
【００７０】
閲覧の過程において、ユーザは、２の空間の間に自由に切り替えることができる。クエリー空間における特定概念を選択したユーザは、ローカル概念空間に入り、且つ、選択された概念が中心概念になる。その後、ユーザは、選択近傍概念を介して新しい概念空間へ移動することができる。ローカル概念空間における中心概念を選択する場合に、ユーザは中心概念が所属するクエリー空間へ戻って移動する。このように、ユーザは、ＶＳＣＮを制御してターゲット画像を検索することができる。
【００７１】
本発明の実施例は、特定のハードウェア、ソフトウェア、またはそれらの組み合わせを用いて実施されてもよい。なお、本発明の実施例は、コンピュータプログラムコードを含有する１つまたは複数のコンピュータ読み取り可能な記憶媒体（ディスクメモリ、ＣＤ−ＲＯＭ、光メモリ等を含むがこれらに限定されない）に具現されているコンピュータプログラム製品に適用してもよい。
【００７２】
上記の説明において、説明しやすいために、単一の実施例において各態様、ステップまたは部材を集めている。本発明に開示された内容は、本発明に係る主題の全ての変化を請求すると解釈されるべきではない。記載されている特許請求の範囲には、各請求項そのもの自身が、本発明を開示するための独立な実施形態として例示的な実施例に組み込まれている。
【００７３】
さらに、本発明に開示された内容の説明および実践を考えた上で、当業者にとって分かるように、本発明の趣旨および請求の範囲を逸脱しない場合に、開示されたシステムおよび方法に対して様々な変更および修正を行うことができる。したがって、明細書および実施例は、単に例示的なものとしてみなされ、本発明に開示された内容の本当の範囲は、記載されている特許請求の範囲およびそれらの均等物により示されている。
【図１】
2016540332.tif 000012
【図２】
2016540332.tif 000013
【図３】
2016540332.tif 000014
【図４】
2016540332.tif 000015
【図６】
2016540332.tif 000016
【図５】
2016540332.tif 000017
【手続補正書】
【提出日】平成28年5月30日(2016.5.30)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
一態様において、本発明は、ネットワーク画像に用いられる視覚・意味複合ネットワークシステムを生成するためのシステムを提供し、このシステムは、所定のクエリーキーワードに基づいて複数の画像および前記画像に関連付けられている複数のテキストを検索するように配置されている収集装置と、検索テキストと検索画像との意味概念および代表画像をそれぞれ決定するように配置されている意味概念決定装置と、決定された意味概念および代表画像に基づいてテキスト記述子および視覚記述子を生成するように配置されている記述子生成装置と、生成されたテキスト記述子および視覚記述子に基づいて意味概念の間の意味関連性および視覚関連性をそれぞれ決定し、決定された意味関連性と、決定された視覚関連性とを結合して前記視覚・意味複合ネットワークシステムを生成するように配置されている関連性装置とを含む。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
他の一態様において、本発明は、ネットワーク画像に対して視覚・意味複合ネットワークシステムを形成するための方法を提供し、この方法は、所定のクエリーのキーワードに基づいて複数の画像および前記画像に関連付けられている複数のテキストを検索するステップと、検索テキストと検索画像との意味概念および代表画像を、それぞれ決定するステップと、前記意味概念および前記代表画像に基づいてテキスト記述子および視覚記述子を生成するステップと、生成されたテキスト記述子および視覚記述子に基づいて意味概念の間の意味関連性および視覚関連性をそれぞれ決定するステップと、前記意味関連性と、視覚関連性とを結合して前記視覚・意味複合ネットワークシステムを生成するステップとを含む。
【手続補正３】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
視覚・意味複合ネットワークシステムを生成するためのシステムであって、
所定のクエリーキーワードに基づいて複数の画像および前記複数の画像に関連付けられている複数のテキストを検索するように配置されている収集装置と、
検索テキストと検索画像との意味概念および代表画像をそれぞれ決定するように配置されている意味概念決定装置と、
決定された意味概念および代表画像に基づいてテキスト記述子および視覚記述子を生成するように配置されている記述子生成装置と、
生成されたテキスト記述子および視覚記述子に基づいて意味概念の間の意味関連性および視覚関連性をそれぞれ決定し、決定された意味関連性と、決定された視覚関連性とを結合して前記視覚・意味複合ネットワークシステムを生成するように配置されている関連性装置と
を含むことを特徴とする視覚・意味複合ネットワークシステムを生成するためのシステム。
【請求項２】
前記視覚・意味複合ネットワークシステムは、Ｋ最近傍グラフネットワークシステム（Ｋは整数である）を含むことを特徴とする請求項１に記載の視覚・意味複合ネットワークシステムを生成するためのシステム。
【請求項３】
前記関連性装置は、前記意味概念の各々２つの間の意味関連性および視覚関連性を、それぞれ生成するように配置されていることを特徴とする請求項２に記載の視覚・意味複合ネットワークシステムを生成するためのシステム。
【請求項４】
前記記述子生成装置は、
前記意味概念に対応する複数のテキスト断片を収集し、
収集されたテキスト断片の用語頻度ベクトルを決定し、
決定された用語頻度ベクトルを切り捨てて前記用語頻度ベクトルにおける用語頻度の最も高い複数の用語をキープし、
切り捨てられた用語頻度ベクトルを正規化して前記テキスト記述子を生成することによって、正規化された用語頻度ベクトルから意味の各々２つの間の前記意味関連性を生成するように配置されているテキスト記述子生成ユニットを
含むことを特徴とする請求項３に記載の視覚・意味複合ネットワークシステムを生成するためのシステム。
【請求項５】
前記記述子生成装置は、
ハッシュ関数により前記代表画像のいずれもをエンコードして各検索画像のバイナリベクトルを生成し、
生成されたバイナリベクトルを累積し、
累積されたベクトルを、バイナリベクトルに量子化して前記視覚記述子とすることによって、前記バイナリベクトルから前記の各々２つの間の前記視覚関連性を生成するように配置されている視覚記述子生成ユニットを
含むことを特徴とする請求項３に記載の視覚・意味複合ネットワークシステムを生成するためのシステム。
【請求項６】
ネットワーク画像に対して視覚・意味複合ネットワークシステムを形成するための方法であって、
所定のクエリーキーワードに基づいて複数の画像および前記複数の画像に関連付けられている複数のテキストを検索するステップと、
検索テキストと検索画像との意味概念および代表画像を、それぞれ決定するステップと、
前記意味概念および前記代表画像に基づいてテキスト記述子および視覚記述子を生成するステップと、
生成されたテキスト記述子および視覚記述子に基づいて意味概念の間の意味関連性および視覚関連性をそれぞれ決定するステップと、
前記意味関連性と、前記視覚関連性とを結合して前記視覚・意味複合ネットワークシステムを生成するステップと
を含むことを特徴とする視覚・意味複合ネットワークシステムを形成するための方法。
【請求項７】
前記生成されたテキスト記述子および前記生成された視覚記述子に基づいて意味関連性および視覚関連性をそれぞれ決定するステップにおいては、
前記意味概念の各々２つの間の意味関連性および視覚関連性を生成するステップを含むことを特徴とする請求項６に記載の方法。
【請求項８】
前記意味概念の各々２つの間の意味関連性を生成するステップにおいては、
前記意味概念に対応する複数のテキスト断片を収集するステップと、
収集された断片の用語頻度ベクトルを決定するステップと、
計算された用語頻度ベクトルを切り捨てて前記用語頻度ベクトルにおける用語頻度の最も高い複数の用語をキープするステップと、
切り捨てられた用語頻度ベクトルを、正規化して前記テキスト記述子を生成することによって、正規化されたベクトルから意味概念の各々２つの間の前記意味関連性を生成するステップと
を含むことを特徴とする請求項７に記載の方法。
【請求項９】
前記視覚関連性を決定するステップおいては、
ハッシュ関数により前記代表画像のいずれもをエンコードして各検索画像のバイナリベクトルを生成するステップと、
生成されたバイナリベクトルを累積するステップと、
累積されたバイナリベクトルを、バイナリベクトルに量子化して前記視覚記述子とするステップと、
切り捨てられた用語頻度ベクトルから前記視覚関連性を決定するステップと
を含むことを特徴とする請求項７に記載の方法。
【請求項１０】
所定のクエリー画像に基づいて画像リストを取得するステップと、
取得された画像リストに基づいて１組の関連する概念コミュニティを決定するステップと、
決定された概念コミュニティに基づいて１組の関連する意味概念を決定するステップと、
決定された関連する意味概念に基づいて前のいくつかの概念の画像を収集するステップと、
前記クエリー画像とマッチングしている、収集された画像のリランキング・プールを形成するステップと
を含むことを特徴とする視覚・意味複合ネットワークシステムにより画像を検索するための方法。
【請求項１１】
クエリーキーワードを表示システムに入力するステップと、
同じクエリーに基づいて複数の意味概念を生成して入力のキーワードとするステップと、
前記表示システムのクエリー空間において、生成された意味概念を可視化するステップと、
前記クエリー空間から選択された意味概念の選択に応答して、前記クエリー空間を表示ユニットのローカル概念空間（ここで、選択された概念およびそれらの近傍の概念が、前記ローカル概念空間に表示される）へ切り替えるステップと
を含むことを特徴とする意味概念により画像を閲覧するための方法。
【請求項１２】
前記ローカル概念空間における中心概念を選択するステップと、
選択された概念の所属するクエリー空間に切り替えるステップと、
前記ローカル概念空間における別の概念を選択するステップと、
前記別の概念およびその近傍概念を表示するための別のローカル概念空間へ切り替えるステップとを
さらに含むことを特徴とする請求項１１に記載の方法。
【手続補正４】
【補正対象書類名】図面
【補正対象項目名】図４
【補正方法】変更
【補正の内容】
【図４】
2016540332.tif 000018
【国際調査報告】
2016540332.tif 000019
2016540332.tif 000020
2016540332.tif 000021