(57)【要約】      （修正有）【課題】テキストと画像内の各オブジェクトとの関連関係を正確に学習することで処理精度を向上する、画像に基づくデータ処理方法、装置、デバイス及び可読記憶媒体を提供する。【解決手段】方法は、画像および処理対象のテキストを取得するステップと、画像内の複数のオブジェクトの特徴および前記テキストの特徴を抽出するステップと、テキストと複数のオブジェクトのそれぞれの特徴とのマッチング度に応じて、複数のオブジェクトの特徴を画像の融合特徴として融合するステップと、画像の融合特徴及びテキストの特徴に基づいて、テキストを処理するステップと、を備える。【選択図】図１ａ
2020135852.tif 000002
【特許請求の範囲】
【請求項１】
画像および処理対象のテキストを取得するステップと、
画像内の複数のオブジェクトの特徴および前記テキストの特徴を抽出するステップと、
テキストと複数のオブジェクトのそれぞれの特徴とのマッチング度に応じて、複数のオブジェクトの特徴を画像の融合特徴として融合するステップと、
前記画像の融合特徴およびテキストの特徴に基づいて、前記テキストを処理するステップと、を含むことを特徴とする画像に基づくデータ処理方法。
【請求項２】
前記テキストと複数のオブジェクトのそれぞれの特徴とのマッチング度に応じて、複数のオブジェクトの特徴を画像の融合特徴として融合するステップの前に、
各オブジェクトに対応するバウンディングボックス内の画像およびテキストをマッチングモデルに順次入力し、マッチングモデルによって出力された各オブジェクトの特徴とテキスト内の各単語の特徴とのマッチング度を取得するステップと、
各オブジェクトの特徴とテキスト内の各単語の特徴とのマッチング度に応じて、前記テキストと各オブジェクトの特徴とのマッチング度を取得するステップと、をさらに含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記マッチングモデルは、
各オブジェクトに対応するバウンディングボックス内の画像から各オブジェクトの特徴を抽出するための画像特徴抽出ステップと、
テキスト内の各単語の特徴を抽出するためのテキスト特徴抽出ステップと、
各オブジェクトの特徴次元を事前に設定された次元に変換するための画像特徴次元変換ステップと、
テキスト内の各単語の特徴次元を事前に設定された前記次元に変換するためのテキスト特徴次元変換ステップと、
次元変換後、各オブジェクトの特徴と各単語の特徴とのマッチング度を計算するためのマッチングステップと、を含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記マッチングステップは、具体的には、
次元変換後、各オブジェクトの特徴とテキスト内の各単語の特徴との距離および／または余弦類似度を計算し、各オブジェクトの特徴とテキスト内の各単語の特徴とのマッチング度を取得するために用いられることを特徴とする請求項３に記載の方法。
【請求項５】
前記各オブジェクトに対応するバウンディングボックス内の画像およびテキストをマッチングモデルに順次入力するステップの前に、
前記マッチングモデルをトレーニングするためのポジティブサンプルオブジェクトに対応するバウンディングボックス内の画像、ネガティブサンプルオブジェクトに対応するバウンディングボックス内の画像、およびポジティブサンプルオブジェクトのラベルを取得するステップと、
前記ポジティブサンプルオブジェクトに対応するバウンディングボックス内の画像、ネガティブサンプルオブジェクトに対応するバウンディングボックス内の画像、および前記ラベルをマッチングモデルに入力し、ポジティブサンプルオブジェクトの特徴とラベルの特徴との第１マッチング度、およびネガティブサンプルオブジェクトの特徴とラベルの特徴との第２マッチング度を取得するステップと、
第１マッチング度を最大化して第２マッチング度を最小化するか、または第１マッチング度と第２マッチング度との差を事前に設定された閾値よりも大きくするように、前記マッチングモデルをトレーニングするステップと、をさらに含むことを特徴とする請求項２に記載の方法。
【請求項６】
前記各オブジェクトの特徴とテキスト内の各単語の特徴とのマッチング度に応じて、前記テキストと各オブジェクトの特徴とのマッチング度を取得するステップは、
各オブジェクトの特徴とテキスト内の各単語の特徴とのマッチング度において、各オブジェクトの特徴に対応する最大マッチング度または平均マッチング度を前記テキストと各オブジェクトの特徴とのマッチング度として計算するステップを含むことを特徴とする請求項２に記載の方法。
【請求項７】
前記テキストと複数のオブジェクトのそれぞれの特徴とのマッチング度に応じて、複数のオブジェクトの特徴を画像の融合特徴として融合するステップの前に、
各オブジェクトのカテゴリを取得するステップと、
テキスト内の各オブジェクトのカテゴリを検索し、検索結果に基づいて、テキストと各オブジェクトの特徴とのマッチング度を確定するステップと、をさらに含むことを特徴とする請求項１に記載の方法。
【請求項８】
前記テキストと複数のオブジェクトのそれぞれの特徴とのマッチング度に応じて、複数のオブジェクトの特徴を画像の融合特徴として融合するステップは、
テキストと各オブジェクトの特徴とのマッチング度に応じて、各オブジェクトの特徴を加重合計して画像の融合特徴を取得することを含むことを特徴とする請求項１〜７のいずれか一項に記載の方法。
【請求項９】
画像および処理対象のテキストを取得するための取得モジュールと、
画像内の複数のオブジェクトの特徴および前記テキストの特徴を抽出するための抽出モジュールと、
テキストと複数のオブジェクトのそれぞれの特徴とのマッチング度に応じて、複数のオブジェクトの特徴を画像の融合特徴として融合するための融合モジュールと、
画像の融合特徴およびテキストの特徴に基づいて、前記テキストを処理するための処理モジュールと、を含むことを特徴とする画像に基づくデータ処理装置。
【請求項１０】
１つまたは複数のプロセッサと、
１つまたは複数のプログラムを格納するためのメモリと、を含む電子機器であって、
前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに、請求項１〜８のいずれか一項に記載の画像に基づくデータ処理方法を実施させる電子機器。
【請求項１１】
コンピュータプログラムが格納されているコンピュータ可読記憶媒体であって、
該プログラムがプロセッサによって実行されると、請求項１〜８のいずれか一項に記載の画像に基づくデータ処理方法を実施することを特徴とするコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願の実施例は、コンピュータビジョン技術に関し、特に、画像に基づくデータ処理方法、装置、デバイス、および可読記憶媒体に関する。
【背景技術】
【０００２】
コンピュータビジョン技術の発展に伴い、視覚的質問回答などの画像に基づくデータ処理方法が登場しました。視覚的質問回答（Ｖｉｓｕａｌ  Ｑｕｅｓｔｉｏｎ  Ａｎｓｗｅｒ、ＶＱＡ）は、マルチモーダルデータをマイニングするための最先端のアプリケーションの１つであって、視覚画像の自然言語に対して質問・回答を行うことを目的とし、かつ、視覚的理解（Ｖｉｓｕａｌ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ）の研究方向の１つとして、視覚と言語をつなぐものであり、ここで、ＶＱＡには、画像を理解したうえで、特定のテキストの問題に基づいて処理を行う必要がある。
【０００３】
従来の画像に基づくデータ処理方法では、まず、２組の異なる下位レベル表示システムを用いて、画像とテキストとの下位レベル特徴をそれぞれ抽出し、画像とテキストとの上位レベル特徴を学習し、次に、関連学習モジュールを介して、画像とテキストとの上位レベル特徴を関連付けてテキストを処理する。
【０００４】
従来の画像に基づくデータ処理方法には、画像特徴およびテキスト特徴に基づいて、テキストと画像内の各オブジェクトとの関連関係を学習する必要があるため、該関連関係の精度が低く、テキスト処理エラーにつなぐ可能性がある。
【発明の概要】
【０００５】
本出願の実施例は、テキストと画像内の各オブジェクトとの関連関係を正確に学習し、処理精度を向上させるための画像に基づくデータ処理方法、装置、デバイス、および可読記憶媒体を開示する。
【０００６】
第１の態様では、本出願の実施例は、画像に基づくデータ処理方法であって、
画像および処理対象のテキストを取得するステップと、
画像内の複数のオブジェクトの特徴および前記テキストの特徴を抽出するステップと、
テキストと複数のオブジェクトのそれぞれの特徴とのマッチング度に応じて、複数のオブジェクトの特徴を画像の融合特徴として融合するステップと、
前記画像の融合特徴およびテキストの特徴に基づいて、前記テキストを処理するステップと、を含む画像に基づくデータ処理方法を提供する。
【０００７】
第２の態様では、本出願の実施例は、画像に基づくデータ処理装置であって、
画像および処理対象のテキストを取得するための取得モジュールと、
画像内の複数のオブジェクトの特徴およびテキストの特徴を抽出するための抽出モジュールと、
テキストと複数のオブジェクトのそれぞれの特徴とのマッチング度に応じて、複数のオブジェクトの特徴を画像の融合特徴として融合するための融合モジュールと、
画像の融合特徴およびテキストの特徴に基づいて、前記テキストを処理するための処理モジュールと、を含む画像に基づくデータ処理装置をさらに提供する。
【０００８】
第３の態様では、本出願の実施例は、電子機器であって、
１つまたは複数のプロセッサと、
１つまたは複数のプログラムを格納するためのメモリと、を含む電子機器であって、
前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに、いずれの実施例に記載の画像に基づくデータ処理方法を実施させる電子機器をさらに提供する。
【０００９】
第４の態様では、本出願の実施例は、コンピュータプログラムが格納されているコンピュータ可読記憶媒体であって、該プログラムがプロセッサによって実行されると、いずれの実施例に記載の画像に基づくデータ処理方法を実施するコンピュータ可読記憶媒体をさらに提供する。
【００１０】
本出願の実施例では、画像および処理対象のテキストを取得し、画像内の複数のオブジェクトの特徴およびテキストの特徴を抽出し、次にテキストと複数のオブジェクトのそれぞれの特徴とのマッチング度に応じて、複数のオブジェクトの特徴を画像の融合特徴として融合し、次にテキストとオブジェクトの特徴とが関連性があるという事前知識を最大限に活用し、マッチング度に基づいて画像の特徴を調整することにより、融合特徴がテキストに強く関連付けられた部分により多くの注意を支払うようにし、注意力分布の分散化が防止され、テキストに強く関連付けられた融合特徴およびテキストの特徴に基づいて、テキストの処理精度を向上させることができる。
【図面の簡単な説明】
【００１１】
【図１ａ】本出願の実施例１に係る画像に基づくデータ処理方法のフローチャートである。
【図１ｂ】本出願の実施例１に係る各オブジェクトの所在バウンディングボックスの概略図である。
【図１ｃ】本出願の実施例１に係る融合特徴に対応する画像の概略図である。
【図２ａ】本出願の実施例２に係る画像に基づくデータ処理方法のフローチャートである。
【図２ｂ】本出願の実施例２に係るマッチングモデルによって実行されるマッチング操作のフローチャート概略図である。
【図２ｃ】本出願の実施例２に係るマッチングモデルのトレーニングのフローチャートである。
【図２ｄ】本出願の実施例２に係るマッチングモデルを用いた画像に基づくデータ処理方法のフローチャートである。
【図３】本出願の実施例３に係る画像に基づくデータ処理方法のフローチャートである。
【図４】本出願の実施例４に係る画像に基づくデータ処理装置の構造概略図である。
【図５】本出願の実施例５に係る電子機器の構造概略図である。
【発明を実施するための形態】
【００１２】
以下、図面および実施例を参照して本出願をさらに詳細に説明する。本明細書に記載される特定の実施例は、本出願を解釈するものにすぎず、本出願を限定するものではないことを理解されたい。なお、説明の便宜上、本出願に関連する構造のすべてではなく一部のみが図面に示されている。
【００１３】
実施例１
【００１４】
図１ａは、本出願の実施例１に係る画像に基づくデータ処理方法のフローチャートであり、本実施例は、画像を認識することでテキストを処理する場合に適用可能であり、該方法は、ハードウェアおよび／またはソフトウェアで構成されてもよいが一般に電子機器に集積されている、画像に基づくデータ処理装置によって実行されてもよく、具体的には、ステップＳ１１０〜１４０を含む。
【００１５】
ステップＳ１１０：画像および処理対象のテキストを取得する。
【００１６】
本実施例では、処理対象のテキストは、写真、スクリーンショット、ビデオフレームなどであってもよい画像を含む自由形式のオープンな自然言語テキストである。処理対象のテキストは、真と偽の判断、テキストコンテンツの解釈など、テキストへの理解を含む。処理対象のテキストは、自然言語の問題をさらに含み、テキストで尋ねられる質問の種類は、きめ細かい認識（例えば、この女性は白色人種ですか？）、オブジェクト認識（例えば、画像にはバナナがいくつありますか？）、行動認識（例えば、この女性は泣いていますか？）、および質問に含まれるテキストへの理解を含むが、これらに限定されない。
【００１７】
ステップＳ１２０：画像内の複数のオブジェクトの特徴およびテキストの特徴を抽出する。
【００１８】
任意選択で、画像をターゲット検出モデルまたは分類モデルに入力し、画像内の複数のオブジェクトの特徴を抽出し、さらに各オブジェクトの所在バウンディングボックスの座標を抽出する。ここで、ターゲット検出モデルまたは分類モデルは、深層学習に基づくＲ−ＣＮＮ、Ｆａｓｔ  Ｒ−ＣＮＮなどのターゲット検出モデルまたは分類モデルであってもよい。
【００１９】
任意選択で、抽出すべきオブジェクトの数（例えば３６個、５２個）を事前に設定し、ターゲット検出モデルは、事前に設定された数のオブジェクトの特徴を抽出し、各オブジェクトの所在バウンディングボックスの座標を抽出する。図１ｂは、本出願の実施例１に係る各オブジェクトの所在バウンディングボックスの概略図である。図１ｂは、バウンディングボックスを太い実線で示した熊の胴体およびバウンディングボックスを細い実線で示した熊の足という２つのオブジェクトを示している。
【００２０】
任意選択で、バッグ・オブ・ワーズモデル（ｂａｇ  ｏｆ  ｗｏｒｄｓ  ｍｏｄｅｌ）またはリカレントニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ、ＲＮＮ）によってテキストの特徴を抽出する。
【００２１】
ステップＳ１３０：テキストと複数のオブジェクトのそれぞれの特徴とのマッチング度に応じて、複数のオブジェクトの特徴を画像の融合特徴として融合する。
【００２２】
アテンションメカニズム（Ａｔｔｅｎｔｉｏｎ  Ｍｅｃｈａｎｉｓｍ）によれば、人々は、画像を観察するとき、一度に画像全体の位置ごとのピクセルを見るわけではなく、必要に応じて画像の特定の部分、例えば人物の顔に注意を集中する場合が多い。さらに、人々は、以前に観察した画像に基づいて、観察対象の画像に注意を集中すべき位置を学習することができる。同様に、テキストの場合、テキストは画像内のオブジェクトごとに異なる注意を払っている。例えば、「あなたは、熊の足を見えますか？」には、図１ｂにおける熊の足に注意を集中すべき、また例えば、「熊の表情は何ですか？」には、図１ｂにおける熊の頭に注意を集中すべきである。
【００２３】
上記分析によれば、テキストがより多くの注意を集中するオブジェクトの特徴に基づいて、テキストをより正確に処理することに役立つ。本実施例では、テキストと各オブジェクトの特徴とのマッチング度は、各オブジェクトに対するテキストの注意を示すために用いられる。これに基づいて、テキストと各オブジェクトの特徴とのマッチング度に応じて、各オブジェクトの特徴を調整する。例えば、マッチング度が高いオブジェクトの特徴を強化し、マッチング度が低いオブジェクトの特徴を弱化し、次に、調整された各オブジェクトの特徴を画像の新しい特徴として融合する。説明と区別の便宜上、融合された画像の新しい特徴は、画像の融合特徴と呼ばれる。図１ｃは、本出願の実施例１に係る融合特徴に対応する画像の概略図である。例えば、処理対象のテキストが「あなたは、熊の足を見えますか？」である場合、テキストとオブジェクトである熊の足の特徴とのマッチング度は９０％で、熊の脚の特徴とのマッチング度は５０％で、他のオブジェクト（例えばオブジェクトである樹幹やオブジェクトである草叢）の特徴とのマッチング度は１０％である。次に、マッチング度に基づいて、対応するオブジェクトの特徴を調整して融合し、画像の融合特徴を得る。任意選択で、マッチング度がマッチング度閾値以上であるオブジェクトの特徴を保持または強化し、マッチング度がマッチング度閾値未満であるオブジェクトの特徴を削除または弱化し、次に、保持された特徴を融合して画像の融合特徴を得る。図１ｃから分かるように、熊の足の特徴が強化され、熊の脚の特徴が変化せず、他のオブジェクトの特徴が弱化される。
【００２４】
テキストと複数のオブジェクトのそれぞれの特徴とのマッチング度に応じて、複数のオブジェクトの特徴を画像の融合特徴として融合する前に、テキストと各オブジェクトの特徴とのマッチング度の計算操作をさらに含む。任意選択で、画像内における熊の足、熊の脚、樹幹、草叢などの複数のオブジェクトの特徴を抽出し、各オブジェクトのカテゴリを取得する。テキスト内の各オブジェクトのカテゴリを検索し、検索結果に基づいて、テキストと各オブジェクトの特徴とのマッチング度を確定する。例えば、「あなたは、熊の足を見えますか？」から、「熊の足」および「熊の脚」における「熊」が見つかれ、「樹幹」と「草叢」が見つかっていない。従って、テキストとオブジェクトである熊の足の特徴とのマッチング度が高、オブジェクトである熊の脚の特徴とのマッチング度が中、オブジェクトである樹幹および草叢の特徴とのマッチング度が低であると判定される。
【００２５】
ステップＳ１４０：画像の融合特徴およびテキストの特徴に基づいて、テキストを処理する。
【００２６】
任意選択で、テキストの処理操作は、真と偽の判断、テキストコンテンツの解釈など、テキストへの理解と、テキストへの回答とを含むが、これらに限定されない。
【００２７】
任意選択で、画像の融合特徴およびテキストの特徴を視覚的質問回答（Ｖｉｓｕａｌ  Ｑｕｅｓｔｉｏｎ  Ａｎｓｗｅｒ、ＶＱＡ）システムに入力して、ＶＱＡシステムが出力する回答を得る。本実施例に係るＶＱＡシステムは、Ｄｅｅｐｅｒ  ＬＳＴＭ  Ｑ＋ｎｏｒｍ  Ｉモデル、ＶＩＳ＋ＬＳＴＭモデル、２−ＶＩＳ＋ＢＬＳＴＭ、ＩＭＧ＋ＢＯＷなどのモデルの組み合わせを含む。
【００２８】
本出願の実施例では、画像および処理対象のテキストを取得し、画像内の複数のオブジェクトの特徴およびテキストの特徴を抽出し、次にテキストと複数のオブジェクトのそれぞれの特徴とのマッチング度に応じて、複数のオブジェクトの特徴を画像の融合特徴として融合し、次にテキストとオブジェクトの特徴とが関連性があるという事前知識を最大限に活用し、マッチング度に基づいて画像の特徴を調整することにより、融合特徴がテキストに強く関連付けられた部分により多くの注意を支払うようにし、注意力分布の分散化が防止され、テキストに強く関連付けられた融合特徴およびテキストの特徴に基づいて、テキストの処理精度を向上させることができる。
【００２９】
実施例２
【００３０】
本実施例は、上記実施例の各代替実施形態に基づいて、さらに最適化される。任意選択で、「テキストと複数のオブジェクトのそれぞれの特徴とのマッチング度に応じて、複数のオブジェクトの特徴を画像の融合特徴として融合する前」に、「各オブジェクトに対応するバウンディングボックス内の画像およびテキストをマッチングモデルに順次入力し、マッチングモデルによって出力される各オブジェクトの特徴とテキスト内の各単語の特徴とのマッチング度を取得し、次に各オブジェクトの特徴とテキスト内の各単語の特徴とのマッチング度に応じて、テキストと各オブジェクトの特徴とのマッチング度を取得する」というステップを追加する。図２ａは、本出願の実施例２に係る画像に基づくデータ処理方法のフローチャートであり、本実施例に係る方法は、ステップＳ２１０〜Ｓ２３０を含む。
【００３１】
ステップＳ２１０：画像および処理対象のテキストを取得する。
【００３２】
ステップＳ２２０：画像内の複数のオブジェクトの特徴およびテキストの特徴を抽出する。
【００３３】
ステップＳ２３０：各オブジェクトに対応するバウンディングボックス内の画像およびテキストをマッチングモデルに順次入力し、マッチングモデルによって出力される各オブジェクトの特徴とテキスト内の各単語の特徴とのマッチング度を取得する。
【００３４】
上記実施例の関連する説明に基づいて、各画像をターゲット検出モデルまたは分類モデルに順次入力し、画像内の複数のオブジェクトの特徴、および各オブジェクトの所在バウンディングボックスの座標を抽出する。本実施例では、各オブジェクトの所在バウンディングボックスの座標に基づいて、画像から各オブジェクトに対応するバウンディングボックス内の画像を切り取る。次に、各オブジェクトに対応するバウンディングボックス内の画像をマッチングモデルに順次入力する。最初の画像を入力するとき、テキストも入力する必要があり、テキストは１回入力されるだけでよく、後で画像を入力するとき、テキストは入力されなくてもよい。もちろん、画像を入力するたびにテキストを入力してもよい。
【００３５】
図２ｂは、本出願の実施例２に係るマッチングモデルによって実行されるマッチング操作のフローチャート概略図である。図２ｂを参照すると、マッチングモデルは、画像特徴抽出ステップと、テキスト特徴抽出ステップと、画像特徴次元変換ステップと、テキスト特徴次元変換ステップと、マッチングステップと、を含む。
【００３６】
ここで、画像特徴抽出ステップは、各オブジェクトに対応するバウンディングボックス内の画像から各オブジェクトの特徴を抽出するために用いられる。画像特徴次元変換ステップは、各オブジェクトの特徴次元を事前に設定された次元に変換するために用いられる。テキスト特徴抽出ステップは、テキスト内の各単語の特徴を抽出するために用いられる。テキスト特徴次元変換ステップは、テキスト内の各単語の特徴次元を事前に設定された次元に変換するために用いられる。マッチングステップは、次元変換後、各オブジェクトの特徴と各単語の特徴とのマッチング度を計算するために用いられる。
【００３７】
一般に、画像はテキストよりも多くの情報を含み、特徴抽出後、各オブジェクトの特徴次元はテキスト内の各単語の特徴次元と異なり、一例では、各オブジェクトの特徴次元が１０２４で、各単語の特徴次元が３００である場合、各オブジェクトの特徴と各単語の特徴とのマッチング度を計算するために、両者の特徴次元を事前に設定された次元に変換する必要があり、具体的には、抽出された特徴を行列変換して、６００次元の特徴などの共通次元の特徴を取得する。
【００３８】
次に、マッチングステップにおいて、次元変換後、各オブジェクトの特徴と各単語の特徴とのマッチング度を計算する。任意選択で、マッチングステップは、具体的には、次元変換後、各オブジェクトの特徴とテキスト内の各単語の特徴とのそれぞれの距離、余弦類似度、または距離および余弦類似度を計算し、各オブジェクトの特徴とテキスト内の各単語の特徴とのマッチング度を取得するために用いられる。任意選択で、距離はユークリッド距離、マハラノビス距離などを含む。距離および余弦類似度を計算してマッチング度を取得する場合には、各オブジェクトの特徴とテキスト内の各単語の特徴とのそれぞれの距離および余弦類似度のうちの大きな値、小さな値、および平均値を選択して、各オブジェクトの特徴とテキスト内の各単語の特徴とのマッチング度を取得することができる。
【００３９】
一代替実施形態では、各オブジェクトに対応するバウンディングボックス内の画像とテキストをマッチングモデルに順次入力する前に、マッチングモデルのトレーニング操作をさらに含み、図２ｃは、本出願の実施例２に係るマッチングモデルトレーニングのフローチャートであり、トレーニングプロセスは一般に、以下の３つのステップを含む。
【００４０】
ステップ１：マッチングモデルをトレーニングするためのポジティブサンプルオブジェクトに対応するバウンディングボックス内の画像、ネガティブサンプルオブジェクトに対応するバウンディングボックス内の画像、およびポジティブサンプルオブジェクトのラベルを取得する。ここで、ポジティブサンプルオブジェクトのラベル（Ｌａｂｅｌ）は、ポジティブサンプルオブジェクトのカテゴリである。
【００４１】
ＶＧデータセット内の各画像の注釈情報は、画像内の各オブジェクト、関係および属性、並びに画像内におけるオブジェクトと属性のバウンディングボックス座標を含み、ここで、オブジェクトと対応するバウンディングボックス内の画像との間に強い関連性がある。
【００４２】
本実施例では、従来のＶＧ（Ｖｉｓｕａｌ  Ｇｅｎｏｍｅ）データセットを用いて、上記画像およびラベルを取得する。具体的には、ポジティブサンプルオブジェクトをＳとし、対応するラベルもＳとし、ネガティブサンプルオブジェクトをｎｏｎ−Ｓとして事前に設定する。ＶＧデータセットでは、画像内におけるポジティブサンプルオブジェクトＳのバウンディングボックス座標に基づいて、ポジティブサンプルオブジェクトに対応するバウンディングボックス内の画像を切り取り、次に、画像内におけるネガティブサンプルオブジェクトｎｏｎ−Ｓのバウンディングボックス座標に基づいて、ネガティブサンプルオブジェクトに対応するバウンディングボックス内の画像を切り取る。図２ｃでは、ポジティブサンプルオブジェクトは熊の足で、ネガティブサンプルオブジェクトは熊の胴体で、対応するバウンディングボックス内の画像は実線で囲まれ、ポジティブサンプルオブジェクトのラベルは熊の足である。
【００４３】
ステップ２：ポジティブサンプルオブジェクトに対応するバウンディングボックス内の画像、ネガティブサンプルオブジェクトに対応するバウンディングボックス内の画像、およびラベルをマッチングモデルに入力し、ポジティブサンプルオブジェクトの特徴とラベルの特徴との第１マッチング度、およびネガティブサンプルオブジェクトの特徴とラベルの特徴との第２マッチング度を取得する。
【００４４】
マッチングモデルにおける画像特徴抽出ステップは、ポジティブサンプルオブジェクトに対応するバウンディングボックス内の画像からポジティブサンプルオブジェクトの特徴を抽出し、ネガティブサンプルオブジェクトに対応するバウンディングボックス内の画像からネガティブサンプルオブジェクトの特徴を抽出するために用いられ、テキスト特徴抽出ステップは、ラベルの特徴を抽出するために用いられる。次に、画像特徴次元変換ステップは、ポジティブサンプルオブジェクトの特徴次元とネガティブサンプルオブジェクトの特徴次元とを事前に設定された次元に変換するために用いられ、テキスト特徴次元変換ステップは、ラベルの特徴次元を事前に設定された次元に変換するために用いられる。マッチングステップは、次元変換後、ポジティブサンプルオブジェクトの特徴とラベルの特徴との第１マッチング度、およびネガティブサンプルオブジェクトの特徴とラベルの特徴との第２マッチング度を計算するために用いられる。第１マッチング度は、ポジティブサンプルオブジェクトの特徴とラベルの特徴との距離および／または余弦類似度であり、第２マッチング度は、ネガティブサンプルオブジェクトの特徴とラベルの特徴との距離および／または余弦類似度である。
【００４５】
ステップ３：第１マッチング度を最大化して第２マッチング度を最小化するか、または第１マッチング度と第２マッチング度との差を事前に設定された閾値よりも大きくするように、マッチングモデルをトレーニングする。
【００４６】
第１マッチング度を最大化して第２マッチング度を最小化することによって目的関数を構築するか、または第１マッチング度と第２マッチング度との差を事前に設定された閾値よりも大きくすることによって、目的関数を構築し、次に目的関数に基づいてモデル内のパラメータを反復してマッチングする。任意選択で、マッチングモデル内のステップのすべてまたは一部におけるパラメータを反復してマッチングすることができ、例えば、画像特徴抽出ステップ、テキスト特徴抽出ステップ、画像特徴次元変換ステップ、およびテキスト特徴次元変換ステップにおけるパラメータは、反復せずに経験値を採用し、マッチングステップにおけるパラメータのみは反復される。
【００４７】
ステップＳ２４０：各オブジェクトの特徴とテキスト内の各単語の特徴とのマッチング度に応じて、テキストと各オブジェクトの特徴とのマッチング度を取得する。
【００４８】
任意選択で、各オブジェクトの特徴とテキスト内の各単語の特徴とのそれぞれのマッチング度において、各オブジェクトの特徴に対応する最大マッチング度または平均マッチング度をテキストと各オブジェクトの特徴とのマッチング度として計算する。例えば、熊の足の特徴と、「あなたは、熊の足を見えますか？」というテキストにおける「あなた」、「熊の足」、「見」、「えます」、「か？」である特徴とのマッチング度が、それぞれ１０％、９０％、１０％、１０％、１０％である場合、テキストと熊の足の特徴とのマッチング度は、最大マッチング度が９０％であるか、または平均マッチング度が２６％である。また例えば、草叢の特徴と、「あなたは、熊の足を見えますか？」というテキストにおける「あなた」、「熊の足」、「見」、「えます」、「か？」である特徴とのマッチング度が、それぞれ１５％、１０％、１０％、１０％、１０％である場合、テキストと草叢の特徴とのマッチング度は、最大マッチング度が１５％であるか、または平均マッチング度が１１％である。
【００４９】
ステップＳ２５０：テキストと複数のオブジェクトのそれぞれの特徴とのマッチング度に応じて、複数のオブジェクトの特徴を画像の融合特徴として融合する。
【００５０】
ステップＳ２６０：画像の融合特徴およびテキストの特徴に基づいて、テキストを処理する。
【００５１】
図２ｄは、本出願の実施例２に係るマッチングモデルを用いた画像に基づくデータ処理方法のフローチャートであり、画像に基づくデータ処理装置の入力は、「あなたは、熊の足を見えますか？」というテキスト、図１ｂに示された画像である。画像に基づくデータ処理装置は、一方でテキストの特徴を抽出し、一方でマッチングモデルによりマッチング度を取得し、さらにマッチング度に応じて複数のオブジェクトの特徴を画像の融合特徴として融合し、次にテキストの特徴および融合特徴を融合して分類し、テキストを処理する。
【００５２】
本実施例では、各オブジェクトに対応するバウンディングボックス内の画像およびテキストをマッチングモデルに順次入力することにより、マッチングモデルによって出力される各オブジェクトの特徴とテキスト内の各単語の特徴とのそれぞれのマッチング度を得て、事前にトレーニングされたマッチングモデルに基づいて、オブジェクトの特徴と各単語の特徴とのそれぞれのマッチング度を直接取得し、かつ、画像の観点から、局所的特徴がテキスト内のどの単語に対応するかが反映され、テキストの観点から、画像内のどの局所的特徴が単語に対応するかが把握される。オブジェクトとテキストとのマッチング度をオブジェクトと単語ごととのマッチング度に細分化し、画像の局所的特徴と単語との細粒度を事前に学習して正確に関連付ける。
【００５３】
さらに、各オブジェクトの特徴とテキスト内の各単語の特徴とのマッチング度に応じて、テキストと各オブジェクトの特徴とのマッチング度を取得し、次に各単語とのマッチング度に基づいて、テキストとオブジェクトとのマッチング度を包括的に取得することによって、マッチング度の精度が向上され、テキストの処理精度が向上される。
【００５４】
さらに、本実施例では、ポジティブサンプルおよびネガティブサンプルを用いてマッチングモデルをトレーニングすることによって、マッチングされたポジティブサンプルオブジェクトからラベルまでの距離を短縮すると同時に、マッチングされていないネガティブサンプルオブジェクトからラベルまでの距離を増大し、モデルトレーニングの精度が効果的に向上されることができ、さらに、マッチングモデルを事前にトレーニングするためのサンプルは、バウンディングボックス内の画像およびラベルのみを含み、画像、質問および回答を含むＶＱＡデータと比べて、サンプル取得方法が多種多様で、適用シナリオが幅広く、テキストが拡張されやすい。本実施例に係るマッチングモデルを用いた画像に基づくデータ処理方法は、汎用性が高く、適用シナリオが幅広く、適用コストが低く、テキストを拡張しやすいマルチモーダル学習方法であり、マッチングモデルは、元のタスクのコンピューティングシステムプロセスがあまり変化しない場合、ほぼすべてのマルチモーダルタスクに適用できる。
【００５５】
さらに、本実施例では、オブジェクトのラベルとオブジェクトとの間、ラベルとテキストとの間の強い関連性を最大限に活用し、画像に基づくデータ処理装置による画像とテキストとの関連を学習するのに役立つ。
【００５６】
実施例３
【００５７】
図３は、本出願の実施例３に係る画像に基づくデータ処理方法のフローチャートである。本出願の実施例は、上記各実施例の技術的解決手段に基づいて操作を具体化する。任意選択で、「テキストと複数のオブジェクトのそれぞれの特徴とのマッチング度に応じて、複数のオブジェクトの特徴を画像の融合特徴として融合する」という操作を「テキストと各オブジェクトの特徴とのマッチング度に応じて、各オブジェクトの特徴を加重合計して、画像の融合特徴を取得する」という操作に具体化する。図３に示す画像に基づくデータ処理方法は、ステップＳ３１０〜Ｓ３４０を含む。
【００５８】
ステップＳ３１０：画像および処理対象のテキストを取得する。
【００５９】
ステップＳ３２０：画像内の複数のオブジェクトの特徴およびテキストの特徴を抽出する。
【００６０】
ステップＳ３３０：テキストと各オブジェクトの特徴とのマッチング度に応じて、各オブジェクトの特徴を加重合計して、画像の融合特徴を取得する。
【００６１】
任意選択で、テキストと各オブジェクトの特徴とのマッチング度は、次の２つの代替実施形態により取得され得る。
【００６２】
１つの代替実施形態において、各オブジェクトに対応するバウンディングボックス内の画像およびテキストをマッチングモデルに順次入力し、マッチングモデルによって出力される各オブジェクトの特徴とテキスト内の各単語の特徴とのそれぞれのマッチング度を取得し、次に各オブジェクトの特徴とテキスト内の各単語の特徴とのマッチング度に応じて、テキストと各オブジェクトの特徴とのマッチング度を取得する。
【００６３】
もう１つの代替実施形態において、各オブジェクトのカテゴリを取得し、テキスト内において各オブジェクトのカテゴリを検索し、検索結果に基づいてテキストと各オブジェクトの特徴とのマッチング度を確定する。
【００６４】
上記の２つの代替実施形態の詳細な説明については、上記各実施例を参照することができるため、ここではその説明を省略する。
【００６５】
該操作では、テキストと各オブジェクトの特徴とのマッチング度を各オブジェクトの特徴の重み付け値として用いて、重み付け値に対して対応するオブジェクトの特徴を加重合計して、画像の融合特徴を取得する。例えば、「あなたは、熊の足を見えますか？」というテキストと、熊の足の特徴とのマッチング度が９０％で、草叢の特徴とのマッチング度が１０％で、樹幹とのマッチング度が１０％で、熊の脚の特徴とのマッチング度が５０％である場合、画像の融合特徴は、９０％×熊の足の特徴＋１０％×草叢の特徴＋１０％×樹幹の特徴＋５０％×熊の脚の特徴である。
【００６６】
なお、オブジェクトの特徴の精度と包括性を確保するために、複数のオブジェクトの特徴を融合するとき、複数のオブジェクトの特徴には、次元変換前の特徴を用い、つまり、各オブジェクトに対応するバウンディングボックス内の画像から抽出された各オブジェクトの特徴を用いる。
【００６７】
ステップＳ３４０、画像の融合特徴およびテキストの特徴に基づいて、テキストを処理する。
【００６８】
従来技術と比べて、本実施例は、画像の融合特徴で画像の上位レベル特徴を置き換え、融合特徴は、画像の局所的特徴とテキストとのマッチング度についての事前知識を有するため、テキスト処理の精度を向上させるのに役立つことが明らかである。例えば、テキスト内の「熊の足」とオブジェクトである熊の足の特徴とのマッチング度が高い場合、画像に基づくデータ処理装置は、画像内の「熊の足」に対応する領域を正確に見つけることができ、さらに分析により正しい答えが「はい」であると取得できる。
【００６９】
実施例４
【００７０】
図４は、本出願の実施例４に係る画像に基づくデータ処理装置の構造概略図であり、本出願の実施例は、画像を認識することでテキストを処理する場合に適用可能であり、図４に示すように、画像に基づくデータ処理装置は、取得モジュール４１０と、抽出モジュール４２０と、融合モジュール４３０と、処理モジュール４４０と、を含む。
【００７１】
取得モジュール４１０は、画像および処理対象のテキストを取得するために用いられる。
【００７２】
抽出モジュール４２０は、画像内の複数のオブジェクトの特徴およびテキストの特徴を抽出するために用いられる。
【００７３】
融合モジュール４３０は、テキストと複数のオブジェクトのそれぞれの特徴とのマッチング度に応じて、複数のオブジェクトの特徴を画像の融合特徴として融合するために用いられる。
【００７４】
処理モジュール４４０は、融合モジュール４３０によって取得された画像の融合特徴と、抽出モジュール４２０によって抽出されたテキストの特徴とに基づいて、テキストを処理するために用いられる。
【００７５】
本出願の実施例では、画像および処理対象のテキストを取得し、画像内の複数のオブジェクトの特徴と、テキストの特徴を抽出し、次にテキストと複数のオブジェクトのそれぞれの特徴とのマッチング度に応じて、複数のオブジェクトの特徴を画像の融合特徴として融合し、次にテキストとオブジェクトの特徴とが関連性があるという事前知識を最大限に活用し、マッチング度に基づいて画像の特徴を調整することにより、融合特徴がテキストに強く関連付けられた部分により多くの注意を支払うようにし、注意力分布の分散化が防止され、次にテキストに強く関連付けられた融合特徴およびテキスト特徴に基づいて、テキストの処理精度を向上させることができる。
【００７６】
任意選択で、該装置は、テキストと複数のオブジェクトのそれぞれの特徴とのマッチング度に応じて、複数のオブジェクトの特徴を画像の融合特徴として融合する前に、各オブジェクトに対応するバウンディングボックス内の画像およびテキストをマッチングモデルに順次入力し、マッチングモデルによって出力される各オブジェクトの特徴とテキスト内の各単語の特徴とのそれぞれのマッチング度を取得し、次に各オブジェクトの特徴とテキスト内の各単語の特徴とのそれぞれのマッチング度に応じて、テキストと各オブジェクトの特徴とのマッチング度を取得するために用いられる第１マッチング度取得モジュール、をさらに含む。
【００７７】
任意選択で、マッチングモデルは、各オブジェクトに対応するバウンディングボックス内の画像から各オブジェクトの特徴を抽出するためにの画像特徴抽出ステップと、テキスト内の各単語の特徴を抽出するためのテキスト特徴抽出ステップと、各オブジェクトの特徴次元を事前に設定された次元に変換するための画像特徴次元変換ステップと、テキスト内の各単語の特徴次元を事前に設定された次元に変換するためのテキスト特徴次元変換ステップと、次元変換後、各オブジェクトの特徴と各単語の特徴とのマッチング度を計算するためのマッチングステップと、を含む。
【００７８】
任意選択で、マッチングステップは、具体的には、次元変換後、各オブジェクトの特徴とテキスト内の各単語の特徴とのそれぞれの距離および／または余弦類似度を計算し、各オブジェクトの特徴とテキスト内の各単語の特徴とのマッチング度を取得するために用いられる。
【００７９】
任意選択で、該装置は、各オブジェクトに対応するバウンディングボックス内の画像およびテキストをマッチングモデルに順次入力する前に、マッチングモデルをトレーニングするためのポジティブサンプルオブジェクトに対応するバウンディングボックス内の画像、ネガティブサンプルオブジェクトに対応するバウンディングボックス内の画像、およびポジティブサンプルオブジェクトのラベルを取得し、次にポジティブサンプルオブジェクトに対応するバウンディングボックス内の画像、ネガティブサンプルオブジェクトに対応するバウンディングボックス内の画像、およびラベルをマッチングモデルに入力し、ポジティブサンプルオブジェクトの特徴とラベルの特徴との第１マッチング度、およびネガティブサンプルオブジェクトの特徴とラベルの特徴との第２マッチング度を取得し、次に第１マッチング度を最大化して第２マッチング度を最小化するか、または第１マッチング度と第２マッチング度との差を事前に設定された閾値よりも大きくするように、マッチングモデルをトレーニングするためのモデルトレーニングモジュール、をさらに含む。
【００８０】
任意選択で、第１マッチング度取得モデルは、各オブジェクトの特徴とテキスト内の各単語の特徴とのそれぞれのマッチング度に応じて、テキストと各オブジェクトの特徴とのマッチング度を取得する場合、具体的には、各オブジェクトの特徴とテキスト内の各単語の特徴とのそれぞれのマッチング度のうち、各オブジェクトの特徴に対応する最大マッチング度または平均マッチング度をテキストと各オブジェクトの特徴とのマッチング度として計算するために用いられる。
【００８１】
任意選択で、該装置は、テキストと複数のオブジェクトのそれぞれの特徴とのマッチング度に応じて、複数のオブジェクトの特徴を画像の融合特徴として融合する前に、各オブジェクトのカテゴリを取得し、次にテキスト内の各オブジェクトのカテゴリを検索し、検索結果に基づいてテキストと各オブジェクトの特徴とのマッチング度を確定するための第２マッチング度取得モデル、をさらに含む。
【００８２】
任意選択で、融合モジュール４３０は、テキストと複数のオブジェクトのそれぞれの特徴とのマッチング度に応じて、複数のオブジェクトの特徴を画像の融合特徴として融合する時、具体的には、テキストと各オブジェクトの特徴とのマッチング度に応じて、各オブジェクトの特徴を加重合計して、画像の融合特徴を取得するために用いられる。
【００８３】
本出願の実施例に係る画像に基づくデータ処理装置は、本出願の任意の実施例に係る画像に基づくデータ処理方法を実行することができ、該方法の実行に必要な機能モジュールおよび有益な効果を有する。
【００８４】
実施例５
【００８５】
図５は、本出願の実施例５に係る電子機器の構造概略図である。図５は、本出願の実施形態を実施するのに適用可能な例示的な電子機器１２のブロック図を示している。図５に示される電子機器１２は単なる一例に過ぎなく、本出願の実施例の機能および使用範囲にいかなる制限も課すべきではない。
【００８６】
図５に示されるように、電子機器１２は、汎用コンピューティングデバイスの形態で具現化される。電子機器１２のコンポーネントは、１つまたは複数のプロセッサまたは処理ユニット１６と、システムメモリ２８と、異なるシステムコンポーネント（システムメモリ２８および処理ユニット１６を含む）を接続するバス１８とを含んでもよいが、これらに限定されない。
【００８７】
バス１８は、メモリバスまたはメモリコントローラと、周辺バスと、加速式グラフィックスポートと、プロセッサと、または様々なバス構造のいずれかを使用するローカルバスとを含むいくつかのバス構造のうちの一種または複数種である。例えば、これらのアーキテクチャは、業界標準アーキテクチャ（ＩＳＡ）バス、マイクロチャネルアーキテクチャ（ＭＡＣ）バス、拡張ＩＳＡバス、ビデオエレクトロニクス規格協会（ＶＥＳＡ）ローカルバス、および周辺機器コンポーネント相互接続（ＰＣＩ）バスを含むが、これらに限定されない。
【００８８】
電子機器１２は通常、様々なコンピュータシステム可読媒体を含む。これらの媒体は、揮発性および不揮発性媒体と、リムーバブルおよびノンリムーバブル媒体とを含む、電子機器からアクセスできる任意の利用可能な媒体であってもよい。
【００８９】
システムメモリ２８は、ランダムアクセスメモリ（ＲＡＭ）３０および／またはキャッシュメモリ３２などの揮発性メモリの形態のコンピュータシステム可読媒体を含んでもよい。電子機器１２は、他のリムーバブル／ノンリムーバブルな、揮発性／不揮発性コンピュータシステム記憶媒体をさらに含むことができる。一例のみとして、記憶システム３４は、ノンリムーバブルな不揮発性磁気媒体（図５には図示せず、一般に「ハードディスクドライバ」と呼ばれる）を読み書きするために使用され得る。図５には図示されていないが、リムーバブルな不揮発性磁気ディスク（「フロッピーディスク」など）を読み書きするための磁気ディスクドライバ、およびリムーバブルな不揮発性光学ディスク（ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、またはその他の光学媒体など）を読み書きするための光学ディスクドライバを提供することができる。これらの場合、各ドライバは１つまたは複数のデータ媒体インターフェースを介してバス１８に接続することができる。メモリ２８は、本出願の各実施例の機能を実行するように構成された１組（例えば、少なくとも１つ）のプログラムモジュールを有する少なくとも１つのプログラム製品を含んでもよい。
【００９０】
１組（例えば、少なくとも１つ）のプログラムモジュール４２を有するプログラム／ユーティリティツール４０は、例えばメモリ２８に記憶されてもよく、そのようなプログラムモジュール４２は、オペレーティングシステム、１つまたは複数のアプリケーション、他のプログラムモジュール、およびプログラムデータを含むが、これらに限定されず、これらの例のそれぞれまたはいくつかの組み合わせに、ネットワーク環境の実装が含まれる場合がある。プログラムモジュール４２は通常、本出願に記載の実施例の機能および／または方法を実行する。
【００９１】
電子機器１２は、１つまたは複数の外部デバイス１４（例えば、キーボード、ポインティングデバイス、ディスプレイ２４、カメラなど）と通信することもでき、また、ユーザがこの電子機器１２と対話することを可能にする１つまたは複数のデバイスと通信することもでき、および／またはこの電子機器１２が１つまたは複数の他のコンピューティングデバイスと通信することを可能にする任意のデバイス（例えば、ネットワークカード、モデムなど）と通信することができる。このような通信は、入力／出力（Ｉ／Ｏ）インターフェース２２を介して行うことができる。また、電子機器１２は、ネットワークアダプタ２０を介して１つまたは複数のネットワーク（例えば、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、および／またはインターネットなどのパブリックネットワーク）と通信することもできる。図示するように、ネットワークアダプタ２０は、バス１８を介して電子機器１２の他のモジュールと通信する。図示されていないが、マイクロコード、デバイスドライバ、冗長処理ユニット、外部磁気ディスクドライブアレイ、ＲＡＩＤシステム、磁気テープドライバ、およびデータバックアップ記憶システムなどを含むが、これらに限定されない他のハードウェアおよび／またはソフトウェアモジュールは、電子機器１２と組み合わせて使用することが可能であることを理解されたい。
【００９２】
処理ユニット１６は、システムメモリ２８に記憶されたプログラムを実行することにより、様々な機能アプリケーションおよびデータ処理、例えば本出願の実施例に係る画像に基づくデータ処理方法を実施する。
【００９３】
実施例６
【００９４】
本出願の実施例６は、コンピュータプログラムが格納されているコンピュータ可読記憶媒体であって、該プログラムがプロセッサによって実行されるときに実施例のいずれかに係る画像に基づくデータ処理方法を実施するためのコンピュータ可読記憶媒体をさらに提供する。
【００９５】
本出願の実施例のコンピュータ記憶媒体には、１つまたは複数のコンピュータ可読媒体の任意の組み合わせを使用してもよい。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体であってもよい。コンピュータ可読記憶媒体は、例えば、電子、磁気、光学、電磁気、赤外線、または半導体のシステム、装置、またはデバイス、または上記の任意の組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例（非網羅的なリスト）は、１本または複数本の導線を備えた電気コネクタ、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブル・コンパクト・ディスク・リードオンリメモリ（ＣＤ−ＲＯＭ）、光学メモリ、磁気メモリ、または上記の任意の適切な組み合わせを含む。本明細書では、コンピュータ可読記憶媒体は、命令実行システム、装置、またはデバイスによって使用され得るか、またはそれらと組み合わせて使用され得るプログラムを含むかまたは記憶する任意の有形媒体であってもよい。
【００９６】
コンピュータ可読信号媒体は、ベースバンド内で、またはコンピュータ可読プログラムコードを担持するキャリアの一部として伝搬されるデータ信号を含んでもよい。そのような伝搬されたデータ信号には、電磁信号、光信号、または上記の任意の適切な組み合わせを含むがこれらに限定されない様々な形態を採用してもよい。コンピュータ可読信号媒体は、命令実行システム、装置、またはデバイスによって使用されるか、またはそれらと組み合わせて使用されるプログラムを送信、伝搬、または伝送することができるコンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であってもよい。
【００９７】
コンピュータ可読媒体に含まれるプログラムコードは、無線、有線、光ファイバケーブル、ＲＦなど、または上記の任意の適切な組み合わせを含むがこれらに限定されない任意の適切な媒体によって送信することができる。
【００９８】
本出願の操作を実行するためのコンピュータプログラムコードは、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語と、「Ｃ」言語または同様のプログラミング言語などの従来の手続き型プログラミング言語とを含む１つまたは複数のプログラミング言語、またはそれらの組み合わせで編集することができる。プログラムコードは、完全にユーザコンピュータ上で実行され得るか、または部分的にユーザコンピュータ上で実行され得るか、または独立したソフトウェアパッケージとして、部分的にユーザコンピュータ上で、部分的にリモートコンピュータ上で実行され得るか、または完全にリモートコンピュータまたはサーバ上で実行され得る。リモートコンピュータの場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介して、ユーザコンピュータに接続され得るか、または外部コンピュータに接続され得る（例えば、インターネットサービスプロバイダを利用してインターネットを介して接続される）。
【００９９】
なお、上記は、本出願の好ましい実施例およびそれに適用した技術的原理に過ぎない。本出願が本明細書に記載の特定の実施例に限定されず、本出願の保護範囲から逸脱することなく様々な修正、変更、および置換を行うことができることを当業者にとっては理解するであろう。従って、本出願を以上の実施例により詳細に説明したが、本出願は以上の実施例に限定されず、本出願の概念から逸脱することなくより多くの他の等価実施例を含むことができ、本出願の範囲は添付の特許請求の範囲によって定められる。
【図１ａ】
2020135852.tif 000003
【図１ｂ】
2020135852.tif 000004
【図１ｃ】
2020135852.tif 000005
【図２ａ】
2020135852.tif 000006
【図２ｂ】
2020135852.tif 000007
【図２ｃ】
2020135852.tif 000008
【図２ｄ】
2020135852.tif 000009
【図３】
2020135852.tif 000010
【図４】
2020135852.tif 000011
【図５】
2020135852.tif 000012
【手続補正書】
【提出日】令和1年11月29日(2019.11.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像および処理対象のテキストを取得するステップと、
画像内の複数のオブジェクトの特徴および前記テキストの特徴を抽出するステップと、
テキストと複数のオブジェクトのそれぞれの特徴とのマッチング度に応じて、複数のオブジェクトの特徴を画像の融合特徴として融合するステップと、
前記画像の融合特徴およびテキストの特徴に基づいて、前記テキストを処理するステップと、を含むことを特徴とする画像に基づくデータ処理方法。
【請求項２】
前記のテキストと複数のオブジェクトのそれぞれの特徴とのマッチング度に応じて、複数のオブジェクトの特徴を画像の融合特徴として融合するステップの前に、
各オブジェクトに対応するバウンディングボックス内の画像およびテキストをマッチングモデルに順次入力し、マッチングモデルによって出力された各オブジェクトの特徴とテキスト内の各単語の特徴とのマッチング度を取得するステップと、
各オブジェクトの特徴とテキスト内の各単語の特徴とのマッチング度に応じて、前記テキストと各オブジェクトの特徴とのマッチング度を取得するステップと、をさらに含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記マッチングモデルは、
各オブジェクトに対応するバウンディングボックス内の画像から各オブジェクトの特徴を抽出するための画像特徴抽出ステップと、
テキスト内の各単語の特徴を抽出するためのテキスト特徴抽出ステップと、
各オブジェクトの特徴次元を事前に設定された次元に変換するための画像特徴次元変換ステップと、
テキスト内の各単語の特徴次元を事前に設定された次元に変換するためのテキスト特徴次元変換ステップと、
次元変換後、各オブジェクトの特徴と各単語の特徴とのマッチング度を計算するためのマッチングステップと、を含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記マッチングステップは、
次元変換後、各オブジェクトの特徴とテキスト内の各単語の特徴との距離および／または余弦類似度を計算し、各オブジェクトの特徴とテキスト内の各単語の特徴とのマッチング度を取得するために用いられることを特徴とする請求項３に記載の方法。
【請求項５】
前記の各オブジェクトに対応するバウンディングボックス内の画像およびテキストをマッチングモデルに順次入力するステップの前に、
前記マッチングモデルをトレーニングするためのポジティブサンプルオブジェクトに対応するバウンディングボックス内の画像、ネガティブサンプルオブジェクトに対応するバウンディングボックス内の画像、およびポジティブサンプルオブジェクトのラベルを取得するステップと、
前記ポジティブサンプルオブジェクトに対応するバウンディングボックス内の画像、ネガティブサンプルオブジェクトに対応するバウンディングボックス内の画像、および前記ラベルをマッチングモデルに入力し、ポジティブサンプルオブジェクトの特徴とラベルの特徴との第１マッチング度、およびネガティブサンプルオブジェクトの特徴とラベルの特徴との第２マッチング度を取得するステップと、
第１マッチング度を最大化して第２マッチング度を最小化するか、または第１マッチング度と第２マッチング度との差を事前に設定された閾値よりも大きくするように、前記マッチングモデルをトレーニングするステップと、をさらに含むことを特徴とする請求項２に記載の方法。
【請求項６】
前記の各オブジェクトの特徴とテキスト内の各単語の特徴とのマッチング度に応じて、前記テキストと各オブジェクトの特徴とのマッチング度を取得するステップは、
各オブジェクトの特徴とテキスト内の各単語の特徴とのマッチング度において、各オブジェクトの特徴に対応する最大マッチング度または平均マッチング度を前記テキストと各オブジェクトの特徴とのマッチング度として計算するステップを含むことを特徴とする請求項２に記載の方法。
【請求項７】
前記のテキストと複数のオブジェクトのそれぞれの特徴とのマッチング度に応じて、複数のオブジェクトの特徴を画像の融合特徴として融合するステップの前に、
各オブジェクトのカテゴリを取得するステップと、
テキスト内の各オブジェクトのカテゴリを検索し、検索結果に基づいて、テキストと各オブジェクトの特徴とのマッチング度を確定するステップと、をさらに含むことを特徴とする請求項１に記載の方法。
【請求項８】
前記のテキストと複数のオブジェクトのそれぞれの特徴とのマッチング度に応じて、複数のオブジェクトの特徴を画像の融合特徴として融合するステップは、
テキストと各オブジェクトの特徴とのマッチング度に応じて、各オブジェクトの特徴を加重合計して画像の融合特徴を取得することを含むことを特徴とする請求項１〜７のいずれか１項に記載の方法。
【請求項９】
画像および処理対象のテキストを取得するための取得モジュールと、
画像内の複数のオブジェクトの特徴および前記テキストの特徴を抽出するための抽出モジュールと、
テキストと複数のオブジェクトのそれぞれの特徴とのマッチング度に応じて、複数のオブジェクトの特徴を画像の融合特徴として融合するための融合モジュールと、
画像の融合特徴およびテキストの特徴に基づいて、前記テキストを処理するための処理モジュールと、を含むことを特徴とする画像に基づくデータ処理装置。
【請求項１０】
１つまたは複数のプロセッサと、
１つまたは複数のプログラムを格納するためのメモリと、を含む電子機器であって、
前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに、請求項１〜８のいずれか一項に記載の画像に基づくデータ処理方法を実施させる電子機器。
【請求項１１】
コンピュータプログラムが格納されているコンピュータ可読記憶媒体であって、
該プログラムがプロセッサによって実行されると、請求項１〜８のいずれか一項に記載の画像に基づくデータ処理方法を実施することを特徴とするコンピュータ可読記憶媒体。
【請求項１２】
コンピュータプログラムであって、
前記コンピュータプログラムがプロセッサにより実行されると、請求項１〜８のいずれか一項に記載の方法を実現する、コンピュータプログラム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本出願の実施例は、コンピュータビジョン技術に関し、特に、画像に基づくデータ処理方法、装置、電子機器、コンピュータ可読記憶媒体およびコンピュータプログラムに関する。
【外国語明細書】
2020135852.tif 000013
2020135852.tif 000014
2020135852.tif 000015
2020135852.tif 000016
2020135852.tif 000017
2020135852.tif 000018
2020135852.tif 000019
2020135852.tif 000020
2020135852.tif 000021
2020135852.tif 000022
2020135852.tif 000023
2020135852.tif 000024
2020135852.tif 000025
2020135852.tif 000026
2020135852.tif 000027
2020135852.tif 000028
2020135852.tif 000029
2020135852.tif 000030
2020135852.tif 000031
2020135852.tif 000032
2020135852.tif 000033
2020135852.tif 000034
2020135852.tif 000035
2020135852.tif 000036
2020135852.tif 000037
2020135852.tif 000038
2020135852.tif 000039
2020135852.tif 000040
2020135852.tif 000041