(57)【特許請求の範囲】
【請求項１】
デジタル媒体分類環境において１つのビジュアルに視覚的な意味属性および非視覚的な意味属性が関連付けられる、コンピューティングデバイスによって実施される方法であって、
ビジュアルを視覚処理するための装置にビジュアルが入力される入力ステップと、
ビジュアルの視覚的な意味属性が決定されて、予備視覚的属性データセットに合成される、予備ビジュアル処理ステップと、
前記予備視覚的属性データセット内の前記視覚的な意味属性のそれぞれに、非視覚的な意味属性が関連付けられ、当該関連付けられた非視覚的な意味属性と関係性が、１つの意味概念属性データセットに合成される、意味概念処理ステップと、
前記予備視覚的属性データセット内の複数の前記視覚的な意味属性と前記意味概念属性データセット内の複数の前記非視覚的な意味属性との間のコンテキスト固有の関係が決定され、当該コンテキスト固有の関係が意味論的コンテキスト属性データセットに合成される、意味論的コンテキスト処理ステップと、
ユーザが、少なくとも前記予備視覚的属性データセットと意味概念属性データセットと意味論的コンテキスト属性データセットから処理された属性データセットに基づいて、前記ビジュアルの意味定義を確認し、標識化する、意味論的インスタンス処理ステップとを含み、ここに
前記予備ビジュアル処理ステップは、予備意味要素処理と、変更された意味要素処理および新しい意味要素処理のうちの少なくとも１つと、少なくとも１つの統合処理とを含む方法。
【請求項２】
請求項１に記載の方法において、
前記方法は、前記意味論的コンテキスト処理ステップの後に、意味論的標識処理ステップを、さらに含む
方法。
【請求項３】
請求項１に記載の方法において、
前記方法は、前記意味論的コンテキスト処理ステップの後に、意味領域処理ステップを、さらに含む
方法。
【請求項４】
請求項２に記載の方法において、
前記方法は、前記意味論的標識処理ステップの後に、意味継承処理ステップを、さらに含む
方法。
【請求項５】
請求項１から４のいずれか１項に記載の方法において、
意味論的インスタンス処理ステップを、さらに含む
方法。
【請求項６】
請求項１に記載の方法において、
前記方法は、語彙機能ステップを、さらに含む
方法。
【請求項７】
視覚的な意味属性および非視覚的な意味属性がビジュアルに関連付けられる方法を実行することができるコンピューティングデバイスであって、
ユーザがビジュアルを入力し、フィードバックおよび設定を提供することを可能にするインターフェースと、
少なくとも、予備ビジュアル処理、意味概念処理、意味論的コンテキスト処理、および、意味論的インスタンス処理を実行するプロセッサと、
少なくとも、予備ビジュアル処理、意味概念処理、意味論的コンテキスト処理、および、意味論的インスタンス処理のそれぞれを実行した結果得られる、視覚的な意味属性及び非視覚的な意味属性を含む処理されたデータセットを保存するメモリユニットと、
を有しており、ここに、
当該コンピューティングデバイスは、ユーザが関連する視覚的な意味属性および非視覚的な意味属性を確認または追加できるように、前記メモリユニットに保存された視覚的な意味属性及び非視覚的な意味属性を、前記インターフェースに出力することが可能であり、かつ
当該コンピューティングデバイスは、また、ユーザが適切な許可を与えた場合、ユーザが前記データセットから無関係な視覚的な意味属性および非視覚的な意味属性を除去することができる
コンピューティングデバイス。
【請求項８】
請求項７に記載のコンピューティングデバイスにおいて、
前記プロセッサは、意味論的標識処理、意味領域処理、意味継承処理、および、語彙機能処理のうちの、少なくとも１つを実行可能である
コンピューティングデバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビジュアルセマンティクスの分野に関する。
より詳細には、本発明は、デジタル媒体分類環境において、視覚的(意味属性)および非視覚的意味属性が、ビジュアルに関連付けられる、コンピューティングデバイスによって実施される方法に関する。
【背景技術】
【０００２】
一般に人間が画像を見るとき、幾つかの意味要素が視覚的にも概念的にも即座に気付かれる。
画像は、飲み物、食べ物のプレート、テーブル、および人のような個々の要素を含むことができ、人はこれを、朝食を有する人として、直ちに認識する。
食品および飲料の、より綿密な検査は、食品がオレンジジュースおよびオートミールを含むことを示す。
次いで、オートミールおよびオレンジジュースは、観察者によって健康な朝食として知られ、そして栄養士はまた、例えば、オートミールが重要なビタミンおよびミネラル(例えば、鉄、亜鉛、およびマグネシウム)を含むことを知る。
一方、シェフはオートミールを見て、写真中のオートミールがロールドオートであり、スチールカットオートではないことを知ることができる。
シェフはまた、オートムギが水またはミルクのような液体を用いて調理されたことを知ることができる。
人間の思考にとって、画像は幾つかの直接的な視覚的意味要素を含むことができるが、初期の視覚的要素にリンクされる幾つかの概念的要素および文脈的関係も含むことができる。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】KARPATHY、Andrej、FEI-FEI Li、Deep Visual-Semantic Alignments for Generating Image Descriptions、2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)、June 7-12、2015
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、現在、画像がコンピュータによって処理されるとき、一般に、視覚的要素のみがカタログ化され、画像と接続される。
これは、画像に関連する接続要素の範囲を制限する。
さらに、検索が行われる場合、検索者は、画像を検索するために、特定の画像にタグ付けされた特定の単語を使用しなければならない。
検索者が、画像に関連付けられた一次検索語、例えば特定の名前を残念なことに覚えていない、または知っていないが、画像に関連付けられた、より一般化された意味属性だけは覚えている可能性がある。
【課題を解決するための手段】
【０００５】
本発明による方法は、デジタル媒体分類環境において１つのビジュアルに視覚的な意味属性および非視覚的な意味属性が関連付けられる、コンピューティングデバイスによって実施される方法であって、
ビジュアルを視覚処理するための装置にビジュアルが入力される入力ステップと、
ビジュアルの視覚的属性が決定されて予備視覚的属性データセットに合成される、予備ビジュアル処理ステップと、
前記予備視覚的属性データセット内の前記属性のそれぞれが、意味概念の関係性を有しており、当該関係性は、前記予備視覚的属性データセット内においてそれぞれ前記属性に関連付けられており、かつ、前記属性および関連付けられた関係性が、１つの意味概念属性データセットに合成される、意味概念処理ステップと、
前記予備視覚的属性データセット内の複数の前記属性間のコンテキスト固有の関係が決定され、意味論的コンテキスト属性データセットに合成される、意味論的コンテキスト処理ステップと、
ユーザが、少なくとも前記予備視覚的属性データセットと意味概念属性データセットと意味論的コンテキスト属性データセットから処理された属性データセットに基づいて、前記ビジュアルの意味定義を確認し、標識化する、意味論的インスタンス処理ステップと
を含み、ここに
前記予備ビジュアル処理ステップは、予備意味要素処理と、変更された意味要素処理および新しい意味要素処理のうちの少なくとも１つと、少なくとも１つの統合処理とを含むことを特徴としている。
また、本発明によるコンピューティングデバイスは、上記のような本発明による方法を実施することのできるコンピューティングデバイスである。
【発明の効果】
【０００６】
本発明によれば、視覚的な意味属性および非視覚的な意味属性が、好ましくは入力ステップ、予備ビジュアル処理ステップ、意味概念処理ステップ、意味論的コンテキスト処理ステップ、意味論的標識処理ステップ、意味継承処理ステップ、意味論的インスタンス処理ステップ、および語彙機能ステップを含む視覚に関連付けられる方法を実施することができる方法
およびコンピューティングデバイスが提供される。
【図面の簡単な説明】
【０００７】
【図１】デジタル媒体分類環境において、視覚的な意味属性および非視覚的な意味属性がビジュアルに関連付けられる、少なくとも１つのコンピューティングデバイスによって実施される好ましい実施形態の方法を示すブロック図である。
【図２】予備ビジュアル処理を示すブロック図である。
【図３】意味概念処理を示すブロック図である。
【図４】語彙機能処理を示すブロック図である。
【発明を実施するための形態】
【０００８】
本発明は、好ましくはユーザにとって、関連する視覚的な意味属性および非視覚的な属性が、意味概念および文脈を使用してビジュアルから抽出される、コンピュータシステムにおいて視覚的な意味属性を処理するための装置および方法を用いて構成される。その処理は、継続的に動作し、対話型であり、構造および方法において分散されるという点で、長期的である。すなわち、通信は各処理レベルで実質的に双方向であり、処理の全部または一部が、純粋に階層的な（親子）構造または方法、純粋に並列な（兄弟）構造または方法、あるいは、階層的構造および並列構造および方法の組合せを含むことができるという点で分散される、という意味で対話型である。
また、本明細書で使用される「ユーザ」という用語は、ビジュアルを処理するプロセッサと通信する個人またはコンピュータプログラムを指す。
以下、本発明を実施するための形態について、図面を参照しながら詳細に説明する。
【０００９】
視覚入力
図１に示すように、ビジュアルは、初期化プロセス１００によって検出可能なフォーマットで処理システムに入力される。ビジュアルの入力は、手動で行われてもよいし、機械入力などの自動化された手段によって行われてもよい。ビジュアルは、写真、ピクチャ、図、画像、一連の画像、ビデオ、GIF、および／または動画媒体内の静止フレームなどの、任意のグラフィック表現として定義されるが、これらに限定されない。
【００１０】
予備ビジュアル処理
図１はさらに、ビジュアルが初期化プロセスによって検出された後、ビジュアルが予備ビジュアル処理を施されることを示している。図２は、予備ビジュアル処理２００が、予備意味要素処理２１０と、変更された意味要素処理２２０および新しい意味要素処理２３０のうちの少なくとも１つと、統合処理２５０とを含むことを示している。予備意味要素処理２１０は、ビジュアルを処理し、処理されたビジュアルの可視意味を記述する予備意味属性２１０pのデータセットを生成する。予備意味属性２１０pのデータセットは、予備意味要素処理２１０によって生成された自明性の順に、第１の予備意味属性２１０pX１、第２の予備意味属性２１０pX２、第３の予備意味属性２１０pX３、と続き第nのレベルまでの予備意味属性２１０pXnを有するデータセットとして、記述することができる。予備意味要素処理２１０は、当技術分野で知られており、可視意味要素のリストを生成するための予備意味要素処理２１０の一例は、Watson Visual Recognition(登録商標）のソフトウェアである。
【００１１】
変更された意味要素処理２２０は、追加の入力またはフィードバックを使用して、任意の望ましくない予備意味属性２１０pを除去するか、または、特定の予備意味属性２１０pを制限することによって、予備意味要素処理２１０の結果すなわち予備意味属性２１０pのデータセットを変更する処理である。変更された意味要素処理２２０の結果は変更された意味属性２２０mX１、第２の変更された意味属性２２０mX２、第３の変更された意味属性２２０mX３を有し、変更された意味要素処理２２０によって生成された自明性の順序で以て、第nレベルの変更された意味属性２２０mXnまでのデータセットとして記述することが可能な、変更された意味属性２２０mのデータセットをもたらす。変更された意味要素処理２２０は、自動機械入力またはユーザからの手動入力によって提供される規則および制約に基づくことができる。
【００１２】
新しい意味要素処理２３０は、予備意味属性２１０pのデータセットまたは変更された意味属性２２０mのデータセットのいずれかに、追加の新規意味属性２３０nを追加する処理である。新しい要素処理２２０の結果は、新しい意味属性２３０nX１、第２の新しい意味属性２３０nX２、第３の新しい意味属性２３０nX３を有し、新しい意味要素処理２３０によって生成された自明性の順に第nレベルの新しい意味属性２３０nXnまでのデータセットとして記述され得る新しい意味属性２３０nのデータセットをもたらす。追加の新しい意味属性２３０nは、自動機械入力またはユーザからの手動入力によって提供される規則および制約に基づいて追加することができる。
結果のデータセットは、予備意味要素処理２１０ならびに変更された意味要素処理２２０および新しい意味要素処理２３０のうちの少なくとも１つによって生成されるが、好ましくは、変更された意味要素処理２２０および新しい意味要素処理２３０の両方が実行されて、データセットが生成されるとよい。次に、予備意味要素処理２１０、変更された意味要素処理２２０、および／または、新しい意味要素処理２３０からの結果としてのデータセットは、第１の統合処理２５０を施される。
【００１３】
第１の統合処理２５０は、任意の冗長な属性を除去し、関連する属性のグループをより複雑な概念またはコンテキストにグループ化することによって、例えばグレープおよびフェネルが属性グレープフェネルサラダの下でグループ化されることによって、予備意味要素処理２１０、変更された意味要素処理２２０、および／または新しい意味要素処理２３０からの結果のデータセットを合成する。上記の属性は、別個の一つ一つの属性としては勿論のこと、例えばブドウフェンネルサラダのグループのようなグループの一部として、残ることができる。この処理から得られるデータセットは、予備視覚的属性データセット７００である。前述のデータセットのいずれも、高速なアクセスまたは処理が必要とされる場合、および／または、複雑な概念またはコンテキストからの定義を含む場合、短いテキストとして表現され得ることに留意されたい。予備ビジュアル処理２００によって作成された予備視覚的属性データセット７００は、ビジュアルに関連する視覚的な属性のデータセットである。
【００１４】
意味概念処理
予備ビジュアル処理２００の後、意味概念処理３１０が、図１にさらに見られるように、予備視覚的属性データセット７００に対して実行される。意味概念処理３１０は、一般的な概念、分類、および階層構造が、予備視覚的属性データセット７００の属性のそれぞれに関連付けられることを可能にする。意味概念処理３１０は上位単語（ハイパーニム)／下位単語（ヒポニム）処理３１１、全体語（ホロニム）／部分語（メロニム）処理３１２、および具体動作語（トロポニム）処理３１３のうちの少なくとも１つを含むが、好ましくは図３に示すように、予備視覚的属性データセット７００に３つの処理の全てを施すことを含む。
【００１５】
上位単語／下位単語処理３１１の場合、予備視覚的属性データセット７００内の各属性は、様々な属性に関連付けられた上位単語および下位単語を含むデータベースを介して実行される。関連する上位単語および／または下位単語が、予備視覚的属性データセット７００の各属性に適用され、上位単語／下位単語意味概念属性データセット３１１aをもたらす。上位単語に関して、ブドウを一例として用いて説明すると、その上位単語としての植物であるブドウは、フラボノールに関連付けられるフラボノイドに連結される下位単語の植物栄養素などに導かれることとなる。また、ブドウについての上位単語に関する説明としては、そのブドウという単語を下位単語として開始し、上位単語属性を識別するために上方へと移動して行くと、ブドウは栄養につながることとなる。
【００１６】
全体語／部分語処理３１２の場合、予備視覚的属性データセット７００内の各属性は、様々な属性に関連付けられた全体語および部分語を含むデータベースを介して実行される。関連する全体語および部分語が、予備視覚的属性データセット７００の各属性に適用され、その結果、全体語／部分語意味概念属性データセット３１２aが得られる。ブドウの例を用いると、ブドウおよび種子または皮の全体語としての果実、またはブドウの部分語としての肉、に帰することができる。
【００１７】
具体動作語処理３１３では、予備視覚的属性データセット７００内の各属性が様々な属性に関連付けられた具体動作語を含むデータベースを介して実行される。
関連する具体動作語が、予備視覚的属性データセット７００の各属性に適用され、具体動作語意味概念属性データセット３１３aが得られる。一例として、（ブドウを食べるときのように）食事が画像に関連付けられる場合、属性付けられる具体動作語属性は、間食する（スナック）または齧る（ニブル）などが可能である。なお、具体動作語処理３１３は、双方向に行ってもよい。すなわち、単語ニブルまたはスナックが属性であることがわかった場合、食事という属性も含まれることになる。
【００１８】
上位単語／下位単語処理３１１、全体語／部分語処理３１２、および具体動作語処理３１３のそれぞれについて、必要に応じて、属性のための参照ピボットを提供するために、紐付操作を実行することもできる。すなわち、無意味な属性の関連付けの結果を回避するために、１つの属性を別の１つの属性に紐付けるようにするとよい。意味概念処理における上記のような操作の一例は、属性「body」を、別の属性「wine」などに紐付けることであり、これにより、例えば上位単語／下位単語処理３１１の処理中に、属性「head」や「ocean」などのような、様々な無意味な関係付けが回避される。この紐付操作は、意味概念処理３１０の１つまたは複数の段階で行うことができる。
【００１９】
上位単語／下位単語処理３１１、全体語／部分語処理３１２、および具体動作語処理３１３のそれぞれについて、必要に応じて、長いテキスト形式の属性の詳細を提供するために、自由形式操作を行うこともできる。すなわち、属性は、概念的な意味を提供するためには、単純な用語または表現ではなく、さらなる精緻化を必要とする。意味概念処理３１０の間の自由形式操作の例として、「抗炎症」の概念属性は「ブドウ」との関係を有すると判定され、自由形式操作は長いテキスト「ブドウ抽出物で行われた調査研究」を概念として含めることもできる。自由形式演算は、意味概念処理３１０の１つまたは複数の段階で行うことができる。
【００２０】
好ましくは、上位単語／下位単語処理３１１、全体語／部分語処理３１２、および具体動作語処理３１３の、それぞれを介して、予備視覚的属性データセット７００を実行すると、その後に予備視覚的属性データセット７００の属性のそれぞれが関連付けられた複数の意味概念属性を有することとなる可能性が高い。上位単語／下位単語意味概念属性データセット３１１a、全体語／部分語意味概念属性データセット３１２a、および／または具体動作語意味概念属性データセット３１３aのそれぞれの意味概念属性は、上位単語／下位単語処理３１１、全体語／部分語処理３１２、および具体動作語処理３１３の属性のすべてを含む１つの結合された意味概念データセット７１０に合成される。
【００２１】
意味論的コンテキスト処理
複数の予備視覚的属性データセット７００の関係が意味概念データセット７１０全体に亘り切り取られる場合、１つ以上の関係が意味論的コンテキストに関連していると定義される。予備視覚的属性データセット７００および意味概念データセット７１０内の属性の意味論的コンテキストを決定するために、予備視覚的属性データセット７００および／または意味概念データセット７１０に対して意味論的コンテキスト処理３２０が行われる（図１参照）。
【００２２】
意味論的コンテキスト処理３２０では、予備視覚的属性データセット７００および意味概念データセット７１０が、特定のコンテキストに等しい所定のコンテキスト属性の組合せを含むコンテキスト固有の構造化データベースと比較される。好ましくは、予備視覚的属性データセット７００と意味概念データセット７１０の両方が、意味論的コンテキスト処理３２０を施される。意味論的コンテキスト処理３２０で使用されるコンテキスト固有の構造化データベースは、マスタデータ、分類、メタデータ、オントロジ、または意味論的コンテキスト参照を含むことができる。意味論的コンテキスト処理３２０で使用されるコンテキスト固有の構造化データベースは、信頼できる公的に利用可能なデータ源、当該領域の専門家によって開発され独占的に開発されたデータ源、またはそれらの組合せから導出することができる。
【００２３】
意味論的コンテキスト処理３２０によって決定されるコンテキスト関係の一例は、予備視覚的属性データセット７００から、植物および土壌の予備視覚的属性がコンテキスト固有の構造化データベースに基づくコンテキスト関係を有することが決定されることである。
さらに、予備視覚的属性データセット７００からの属性の基盤が意味概念処理３１０中に概念属性「栄養素」とリンクされた場合、概念属性「栄養素」は「植物栄養素」と概念上の関係を有することがさらに見出され、「植物栄養素」は（意味概念処理３１０によって）「レスベラトロール」とさらなる概念上の関係を有することが見出される。次いで、コンテキスト固有の構造化データベース内に事前に決定された概念固有の関係を既に有する意味論的コンテキスト処理３２０を介して、視覚的属性「ブドウ」および非視覚的属性「植物栄養素」はレスベラトロールを通じてコンテキスト上の関係を有する、ということが決定される。
【００２４】
予備視覚的属性データセット７００および意味概念データセット７１０の一方または両方は、意味論的コンテキスト処理を受け、コンテキスト固有属性セットがデータセットのそれぞれにおける属性のそれぞれについて決定される。そして、コンテキスト固有属性セットは、単一の意味論的コンテキストデータセット７２０に合成される。
【００２５】
意味論的コンテキスト処理３２０については、意味コンセプト処理３１０と同様に、属性のための基準ピボットを提供するために、必要に応じて、紐付動作を実行することもできる。しかし、意味論的コンテキスト処理３２０の場合、属性は、個々の属性ではなくコンテキスト関係に紐付けられる。すなわち、無意味な属性結果を防止するために、１つの属性を１つの関係性に紐付けることができる。意味論的コンテキスト処理３２０中の紐付動作の例として、属性「システム」（他のコンテキストがほとんど意味を持たない）は、「人体」のコンテキスト関係に結び付けられる。
【００２６】
意味論的コンテキスト処理３２０については、意味コンセプト処理３１０と同様に、必要に応じて、長いテキスト形式の属性のさらなる詳細を提供するために、自由形式操作を実行することもできる。意味論的コンテキスト処理３２０中の自由形式演算の例として、「寿命」のコンテキスト属性は「レスベラトロール」との関係性を有すると判定され、自由形式演算は「寿命にすべて関連する３つの遺伝子の発現を増加させる: Sir T1. Fox０およびPBEF」を含む長いテキストにも関連付けることができる。
【００２７】
意味論的標識処理 
次に、図１に示すように、意味論的標識処理３３０を実行することが好ましい。意味概念データセット７１０および／または意味論的コンテキストデータセット７２０内の複数の属性間の関係はまた、意味論的標識として特定の用語で記述される関係性を有する可能性がある。意味論的標識は、意味概念処理３１０または意味論的コンテキスト処理３２０の間に決定された関係の性質を、より具体的に記述するために、使用される。意味論的標識は、原因および効果、年代順、総和、言い換え、特徴などの態様を示すために使用されてもよい。意味概念処理３１０または意味論的コンテキスト処理３２０は、例えばレーズンおよびワインに関連付けられているブドウのような関係結果をもたらし得る。意味論的標識処理３３０は、「として作られる」、「多様性」、「の種類」、「に好適」、「からなる」、「利益をもたらす」などの特定の標識を、視覚的または非視覚的属性と関連付ける。意味論的標識処理関係は、利用可能なメタデータ、または特定の関係に対する意味論的標識を定義する予め定義された意味論的標識データセット（意味論的標識メタセットと呼ばれる）に基づいて決定される。レーズンまたはワインと関係を有するブドウの実例を用いて、レーズンおよびワインの「加工して作られる」という意味論的標識関係を決定することができる。意味論的標識処理中に、ユーザは、意味論的標識メタセットに基づいて定義／割り当てられた１つまたは複数の意味論的標識関係を確認するように求められ得る。この確認は、ユーザ設定に基づいて手動または自動で行うことができる。ユーザは、適切な意味論的標識メタセットが提供されない場合、処理中または別個に、新しい意味論的標識を含めるオプションを有することもできる。
【００２８】
属性が意味論的標識を使用して記述された複数の関係を有する場合、その標識は、意味論的標識修正として、一緒にグループ化することもできる。「フルーツ」の意味論的標識修正の例は、「...にて育成」（"grown in"）、「加工されて...になる」（"made into")、「...タイプ」（"type"）、「可変」 (variable)、「...に好適 (」"good for")などの意味論的標識修正である。意味論的標識を１つの属性の修正にグループ化することによって、ユーザは、概念レベルであるかコンテキストレベルであるかに関わらず、意味属性の利用可能な関係を調べることができる。
【００２９】
関連する意味論的標識を有する視覚的な意味属性および非視覚的な属性の結果として得られるデータセットは、意味論的標識属性データセット７３０である。
【００３０】
意味領域処理
次に、図１に示すように、意味領域処理３４０を実行することが好ましい。ときには、知識の領域が多くの他の領域と交差し、属性に関連する特定の概念を定義することが困難になる場合がある。あるいはその代わりに、知識の領域を指定する意味領域が意味領域処理３４０によって属性に関連付けられるようにしてもよい。本発明の一実施形態によれば、予備視覚的処理属性データセット７００および意味論的標識属性データセット７３０は、予備視覚的処理属性データセット７００および意味論的標識属性データセット７３０の属性が事前定義された意味領域データベースに基づいて意味概念属性データセット７１０内に見出される構造的および階層的性質によって束縛されない意味領域（領域）を割り当てられる意味領域処理が施される。例えば、予備視覚的処理属性データセット７００からの予備視覚的処理属性は、人間、店舗、ブランド、および／または、会社の属性、を含むことができる。これらの属性は、意味領域「メーカー（maker）」に関連付けられる。同様に、「...によって作られた（made by）」という意味論的標識も、前述の意味領域である「メーカー」に関連付けられる。
【００３１】
領域を有する属性および意味論的標識を定義／割り当てる意味領域処理の一部として、領域はさらに、２つの「超越領域」、特に「食べられる」または「食べられない」の超越領域のうちの１つに属することができる。一般に、領域（分野 (domain)）は、より広い意味論的なスペクトルを形成するために互いに割り当てることもできるが、例えば、１つの領域が「食べられる」という超越領域に割り当てられる場合には、その領域は「食べられない」という超越領域または「食べられない」に関連する任意の他の領域に割り当てることはできない。例えば、「素材」の領域は「食べられない」の超越領域に該当するが、「食材」の領域は「食べられる」の超越領域に該当することとなる。さらなる例として、意味論的標識「...内に存在する（presents in）」、「...の内に（in）」、または「含有（contains）」は、領域「化学（chemistry）」に関連付けられ得る。意味論的標識「...内に存在する（presents in）」は、植物栄養素およびブドウ、特にブドウに存在する植物栄養素の形態に関連し得る。一方、意味論的標識「含有（contains）」は、ブドウと関連付けられ得るのであり、ブドウの形態の植物栄養素は、植物栄養素を含有する。しかしながら、「...内に存在する（presents in）」、「...の内に（in）」、「含有（contains）」は、超越領域と関連付けられる必要はなく、かつ、領域「材料」または「成分」が関連する属性（意味論的標識ではない）に割り当てられるかどうかに応じて、超越領域「食用」または「食用でない」のいずれかに割り当てることができ、人間または機械が関与する生産方法が推論される「加工されて...になる」および「...から作られる」という意味論的標識とは区別されるべきものである、ということが意図される。
【００３２】
なお、本実施形態では、超越領域として「食べられる」および「食べられない」のみが使用されているが、本発明はこれに限定されず、意味領域データベース内で他の「超越領域」が使用されてもよい。意味領域処理３４０は、様々な領域を、予備ビジュアル処理属性データセット７００および意味論的標識属性データセット７３０の意味論的標識に関連付け、次いで、その結果を意味領域属性データセット７４０に合成する。
【００３３】
意味継承リポジトリ処理
意味概念属性データセット７１０と意味論的コンテキスト属性データセット７２０との間の関係は、意味継承処理３５０（図１参照）を介してSC関係にある構成要素の属性を含めることによって、データセット７１０、７２０内の他の属性にさらに拡張することができる。意味継承処理は、対応する属性の階層構造（分類、上位単語／下位単語、全体語／部分語、または具体動作語）を子孫的に（子属性に対して）、昇順に（親／ルート属性に対して）、または並行して（兄弟つまり同じ親属性を有する属性に対して）示すために使用することができる。意味継承処理３５０は、１つのレベルのみ、nレベル、またはすべてのレベルについて、階層構造を決定するように設定することができる。次に、結果として得られる属性の拡張された意味継承関係が、意味継承属性データセット７５０に合成される。意味継承処理３５０は、ユーザの設定、特権、および／または権利に応じて、オンまたはオフに切り替えることができる。この実施形態では、意味継承処理がデフォルトでオフに切り替えられる。
【００３４】
意味継承処理３５０に基づいて決定される意味論的関係の一例は、果実が健康という属性とのコンテキスト的関係を有し、健康が抗酸化および抗炎症に関連する意味概念を有する場合である。
この文脈上の関係に対する果実の子属性は、抗酸化および抗炎症の意味概念も有する。
この意味継承は、ユーザによって定義されたレベルの数（すなわち、１つのレベル、nレベル、またはすべてのレベル）まで、または事前定義された意味継承データベースまで、後続の子レベルごとに持続する。
【００３５】
意味論的インスタンス処理
予備視覚的属性データセット７００、意味概念属性データセット７１０、意味論的コンテキスト属性データセット７２０、意味論的標識属性データセット７３０、意味領域属性データセット７４０、および意味継承属性データセット７５０を取得した後、意味論的インスタンス処理３６０が実行される（図１参照）。意味論的インスタンス処理は、意味定義を固有のビジュアルのインスタンスとして確認し、標識化するためのプロセスである。意味論的インスタンス処理３６０は、コンピューティング装置ではなく、ユーザによって行われる。意味論的インスタンス処理３６０を実行するために、予備視覚的属性データセット７００、意味概念属性データセット７１０、意味論的コンテキスト属性データセット７２０、意味論的標識属性データセット７３０、意味領域属性データセット７４０、および／または、意味継承属性データセット７５０が、ユーザのために最初に表示される。次いで、ユーザは、表示されたデータセット内で定義された、および／または、割り当てられた意味論的関係を確認し、提供された定義および／または割り当てに基づいて、セマンティック（意味論的）入力の選択を行う。また、ユーザは、自身が許可を下すことによって、意味定義を削除することができる。意味論的インスタンス処理３６０の最終結果は、ビジュアルのための意味を提供する視覚的属性および非視覚的属性のリストが、あるビジュアルのための意味論的インスタンス属性データセット７６０を生成する。
【００３６】
語彙機能処理
前述の予備ビジュアル処理２００に加えて、意味概念処理３１０、意味論的コンテキスト処理３２０、意味論的標識処理３３０、意味領域処理３４０、意味継承３５０、および意味論的インスタンス処理３６０、語彙機能処理３７０を、予備視覚的属性データセット、意味概念属性データセット７１０、意味論的コンテキスト属性データセット７２０、意味論的標識属性データセット７３０、意味領域属性データセット７４０、意味継承属性データセット７５０、または意味論的インスタンス属性データセット７６０のいずれかに対して、それぞれ実行することができる。好ましくは、語彙機能処理が図１に見られるように、意味論的インスタンス処理３６０の後に実行される。
【００３７】
図４に見られるように、語彙機能処理３７０は、類義語（シノニム）、反義語（アントニム）、および／または、言語構成支援を伴う意味属性定義を、提供することができる。
予備視覚的属性データセット７００、意味概念属性データセット７１０、意味論的コンテキスト属性データセット７２０、意味論的標識属性データセット７３０、意味領域属性データセット７４０、意味継承属性データセット７５０、または意味論的インスタンス属性データセット７６０のうちの１つまたは複数が、語彙機能処理３７０を施される。
語彙機能処理は、予備視覚的属性データセット７００、意味概念属性データセット７１０、意味論的コンテキスト属性データセット７２０、意味論的標識属性データセット７３０、意味領域属性データセット７４０、意味継承属性データセット７５０、または意味論的インスタンス属性データセット７６０のうちの少なくとも１つを、類義語処理３７１、反義語処理３７２、文法処理３７３、および外国語処理３７４のうちの少なくとも１つに施すことからなる。
【００３８】
類義語処理３７１では、処理されている特定のデータセット内の各属性を、様々な単語の類義語を含むデータベース内の単語と比較して、各属性と同じまたは類似の意味を有する単語を見つける。処理されているデータセットの各属性に関連する類義語が適用され、その結果、類義語属性データセット３７１ａが得られる。
【００３９】
類義語処理３７１が完了した後、反義語処理３７２が実行される。反義語処理３７２では、処理されている特定のデータセット内の各属性が、様々な単語の反義語を含むデータベース内の単語と比較されて、各属性と反対の意味を有する単語が見つけられる。処理されているデータセットの各属性に関連する反義語が適用されて、反義語属性データセット３７２ａが得られる。
【００４０】
最後に、反義語処理３７２が完了した後、文法処理３７３が実行される。処理されているデータセット内の属性の各々に対して実行される文法処理３７３は、前置詞のような言語構成を挿入し、単数形および複数形の両方を含み、同じ意味を有する単語形の変形を提供し、自然言語処理を可能にするためにフレーズ内の単語の順序を調整し、指定されたコンテキスト／意味領域内の変形の使用を実施するために、セマンティック処理の冗長性を低減する。文法処理３７３の結果、文法属性データセット３７３ａが得られる。
【００４１】
語彙機能処理３７０は、処理されたデータセットの各属性と同等の、１つの関連する外国語語彙を、その属性に関連付けることのできる外国語処理３７４を、さらに含むことができる。外国語語彙の等価語彙は、１つ以上の所定の外国語データベースに基づいて決定される。外国語処理３７４は、ユーザの設定に応じて、オンまたはオフに切り替えることができる。この実施形態では、外国語処理３７４がデフォルトでオフにされる。
【００４２】
この実施形態では語彙機能処理３７０が最終処理として実行されるが、本発明はこれに限定されず、語彙機能は予備ビジュアル処理２００、意味概念処理３１０、意味論的コンテキスト処理３２０、意味論的標識処理３３０、意味領域処理３４０、意味継承３５０、および意味論的インスタンス処理３６０の、いずれかに対する、さらなる処理として実行されてもよいことに、留意されたい。
【００４３】
本発明の別の実施形態は、ユーザがビジュアルを入力し、視覚的な意味属性および非視覚的な意味属性がフィードバックおよび設定を提供することを可能にするインターフェースと、少なくとも予備ビジュアル処理、意味概念処理、意味論的コンテキスト処理、および意味論的インスタンス処理を実行することができるプロセッサと、処理されたデータセットを格納することができるメモリユニットとを備えるビジュアルに関連付けられるコンピューティングデバイスを開示する。プロセッサは、意味論的標識処理、意味領域処理、意味継承処理、および語彙機能処理を実行することも可能である。コンピューティングデバイスは、関連する視覚的な意味属性および非視覚的な意味属性をユーザが確認および／または追加することを可能とならしめるような仕方で以て、格納されたプロセッサデータセット結果をインターフェースに出力することができる。コンピューティングデバイスはまた、ユーザが、適切な許可を下したときに、データセットから無関係な視覚的な意味属性および非視覚的意味論的属性を除去することができる。語彙機能処理３７０の最終結果は、1つのビジュアルに応じた意味を提供する視覚的な意味属性および非視覚的な属性のリストの語彙機能属性データセット７７０を生成する。
【００４４】
本発明の実施形態のいずれかによれば、前述の結果データセットのいずれかは、入力されたビジュアルに関連する視覚的な意味属性および非視覚的な属性のリストをユーザに提供する。
【００４５】
以上、本発明の好適な実施形態について詳細に説明したが、本発明は上記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において種々の変更・変形が可能である。
【符号の説明】
【００４６】
１００      初期化処理
２００      予備ビジュアル処理 
２１０      予備意味要素処理
２１０p      予備意味属性
２１０px１  第１の予備意味属性
２１０px２  第２の予備意味属性
２１０px３  第３の予備意味属性
２１０pxn  第ｎの予備意味属性
２２０      変更された意味要素処理
２２０m    変更された意味属性
２２０mx１  第１の変更された意味属性
２２０mx２  第２の変更された意味属性
２２０mx３  第３の変更された意味属性
２２０mxn  変更された意味属性
２３０      新しい要素処理
２３０n,    新しい意味属性
２３０nx１  第１の新しい意味属性
２３０nx２  第２の新しい意味属性
２３０nx３  第３の新しい意味属性
２３０nxn  第ｎの新しい意味属性
２５０      統合処理
３００      意味属性処理
３１０      意味概念処理
３１１      上位単語（ハイパーニム)／下位単語（ヒポニム）処理
３１１a    上位単語／下位単語意味概念属性データセット
３１２      全体語／部分語処理
３１２a    全体語／部分語意味概念属性データセット
３１３      具体動作語（トロポニム）処理
３１３a     具体動作語意味概念属性データセット
３２０      意味論的コンテキスト処理
３３０      意味論的標識処理
３４０      意味領域処理
３５０      意味継承処理
３６０      意味論的インスタンス処理
３７０      語彙機能処理
３７１      類義語処理
３７１a     類義語属性データセット
３７２      反義語処理
３７２a    反義語属性データセット
３７３      文法処理
３７３a    文法属性データセット
３７４      外国語処理
３７４a    外国語属性データセット
７００      予備視覚的属性データセット
７１０      意味概念属性データセット
７２０      意味論的コンテキスト属性データセット
７３０      意味論的標識属性データセット
７４０      意味領域属性データセット
７５０      意味継承属性データセット
７６０      意味論的インスタンス属性データセット
７７０      語彙機能属性データセット
【図１】
0006830514.tif 000002
【図２】
0006830514.tif 000003
【図３】
0006830514.tif 000004
【図４】
0006830514.tif 000005