(57)【要約】【課題】デジタル画像の意味タグの取得方法、および装置を提供する。【解決手段】方法は、デジタル画像を取得するステップと、前記のデジタル画像に対応した意味タグモデルを検索するステップと、前記デジタル画像を前記意味タグモデルに導入し、前記デジタル画像に対応した全図認識情報および局所認識情報を取得し、前記全図認識情報および局所認識情報を意味タグとして組み合わせるステップと、を含み、ここで、前記意味タグモデルは、デジタル画像と意味タグとの対応関係を表示するために用いられ、前記意味タグは、デジタル画像に対して文字で説明するために用いられる。当該方法によれば、まず、デジタル画像を取得し、次に、前記のデジタル画像に対応した意味タグモデルを検索し、意味タグモデルにより意味タグを取得し、デジタル画像に対応した意味タグの取得精度を向上した。【選択図】図２
2017134813.tif 000002
【特許請求の範囲】
【請求項１】
デジタル画像を取得するステップと、
前記デジタル画像に対応した意味タグモデルを検索するステップと、
前記デジタル画像を前記意味タグモデルに導入し、前記デジタル画像に対応した全図認識情報および局所認識情報を取得し、前記全図認識情報および局所認識情報を意味タグとして組み合わせるステップと、を含んでおり、
ここで、前記意味タグモデルは、デジタル画像と意味タグとの対応関係を表示するために用いられ、前記意味タグは、デジタル画像に対して文字で説明するために用いられ、
前記全図認識情報は、前記デジタル画像に対する概括的な説明であり、前記局所認識情報は、前記デジタル画像に対する具体的な説明であること
を特徴とするデジタル画像の意味タグの取得方法。
【請求項２】
前記の前記デジタル画像に対応した意味タグモデルを検索するステップにおいては、
前記デジタル画像に対してタイプを解析し、前記デジタル画像のタイプ情報を決定するステップと、
前記タイプ情報に対応した意味タグモデルを検索するステップとをさらに含んでおり、
ここで、前記タイプ情報は、数字、文字、人物、動物、食物のうちの少なくとも１項を含むこと
を特徴とする請求項１に記載の方法。
【請求項３】
意味タグモデルを構築するステップを更に含んでおり、
前記の意味タグモデルを構築するステップにおいては、
デジタル画像集合および意味タグ集合からそれぞれデジタル画像および意味タグを抽出するステップと、
前記デジタル画像を、タイプ情報によって少なくとも１つのタイプデジタル画像集合に分けるステップと、
前記意味タグを、前記タイプ情報によって少なくとも１つのタイプ意味タグ集合に分けるステップと、
機械学習法を利用し、前記タイプデジタル画像、および前記タイプデジタル画像に関連付けられたタイプ意味タグに基づき、訓練して前記タイプ情報に対応した少なくとも１つの意味タグモデルを取得するステップと、を含んでおり、
ここで、前記タイプ情報は、数字、文字、人物、動物、食物のうちの少なくとも１項を含むこと
を特徴とする請求項１に記載の方法。
【請求項４】
前記の前記デジタル画像を、タイプ情報によって少なくとも１つのタイプデジタル画像集合に分けるステップは、
前記デジタル画像を認識してタイプ情報を取得するステップをさらに含むこと
を特徴とする請求項３に記載の方法。
【請求項５】
前記の機械学習法を利用し、前記タイプデジタル画像、および前記タイプデジタル画像に関連付けられたタイプ意味タグに基づき、訓練して前記タイプ情報に対応した少なくとも１つの意味タグモデルを取得するステップにおいては、
前記タイプデジタル画像に対して細粒度を認識し、前記タイプデジタル画像に対応した細粒度情報を取得するステップと、
前記細粒度情報に対応したタイプ意味タグを検索するステップと、
機械学習法を利用し、前記細粒度情報、および前記細粒度情報に対応したタイプ意味タグに基づき、訓練して前記タイプ情報に対応した意味タグモデルを取得するステップとを含んでおり、
ここで、前記細粒度は、前記タイプ情報の下位分類であること
を特徴とする請求項３に記載の方法。
【請求項６】
前記の前記タイプデジタル画像に対して細粒度を認識し、前記タイプデジタル画像に対応した細粒度情報を取得するステップにおいては、
前記タイプデジタル画像に対して全図を認識して全図認識情報を取得するステップと、
前記タイプデジタル画像から、前記タイプデジタル画像に対して細粒度を認識する領域である注意力領域を決定するステップと、
細粒度により前記注意力領域内の画像を認識して局所認識情報を取得するステップと、
前記全図認識情報および局所認識情報を細粒度情報として組み合わせるステップとをさらに含むこと
を特徴とする請求項５に記載の方法。
【請求項７】
デジタル画像を取得するためのデジタル画像取得ユニットと、
前記デジタル画像に対応した意味タグモデルを検索するための意味タグモデル検索ユニットと、
前記デジタル画像を前記意味タグモデルに導入し、前記デジタル画像に対応した全図認識情報および局所認識情報を取得し、前記全図認識情報および局所認識情報を意味タグとして組み合わせるための意味タグ取得ユニットとを備えており、
ここで、前記意味タグモデルは、デジタル画像と意味タグとの対応関係を表示するために用いられ、前記意味タグは、デジタル画像に対して文字で説明するために用いられ、
前記全図認識情報は、前記デジタル画像に対する概括的な説明であり、前記局所認識情報は、前記デジタル画像に対する具体的な説明であること
を特徴とするデジタル画像の意味タグの取得装置。
【請求項８】
前記意味タグモデル検索ユニットは、
前記デジタル画像に対してタイプを解析し、前記デジタル画像のタイプ情報を決定するためのタイプ情報決定サブユニットと、
前記タイプ情報に対応した意味タグモデルを検索するための意味タグモデル検索サブユニットとを備えており、
ここで、前記タイプ情報は、数字、文字、人物、動物、食物のうちの少なくとも１項を含むこと
を特徴とする請求項７に記載の装置。
【請求項９】
意味タグモデルを構築するための意味タグモデル構築ユニットをさらに備えており、
前記意味タグモデル構築ユニットは、
デジタル画像集合および意味タグ集合からそれぞれデジタル画像および意味タグを抽出するためのサブユニットと、
前記デジタル画像を、タイプ情報によって少なくとも１つのタイプデジタル画像集合に分けるためのタイプデジタル画像集合取得サブユニットと、
前記意味タグを、前記タイプ情報によって少なくとも１つのタイプ意味タグ集合に分けるためのタイプ意味タグ集合取得サブユニットと、
機械学習法を利用し、前記タイプデジタル画像、および前記タイプデジタル画像に関連付けられたタイプ意味タグに基づき、訓練して前記タイプ情報に対応した少なくとも１つの意味タグモデルを取得するための意味タグモデル構築サブユニットとを備えており、
ここで、前記タイプ情報は、数字、文字、人物、動物、食物のうちの少なくとも１項を含むこと
を特徴とする請求項７に記載の装置。
【請求項１０】
前記タイプデジタル画像集合取得サブユニットは、
前記デジタル画像を認識してタイプ情報を取得するためのタイプ情報認識モジュールをさらに備えること
を特徴とする請求項９に記載の装置。
【請求項１１】
前記意味タグモデル構築サブユニットは、
前記タイプデジタル画像に対して細粒度を認識し、前記タイプデジタル画像に対応した細粒度情報を取得するための細粒度情報取得モジュールと、
前記細粒度情報に対応したタイプ意味タグを検索するためのタイプ意味タグ検索モジュールと、
機械学習法を利用し、前記細粒度情報、および前記細粒度情報に対応したタイプ意味タグに基づき、訓練して前記タイプ情報に対応した意味タグモデルを取得するための意味タグモデル構築モジュールとを備えており、
ここで、前記細粒度は、前記タイプ情報の下位分類であること
を特徴とする請求項９に記載の装置。
【請求項１２】
前記細粒度情報取得モジュールは、
前記タイプデジタル画像に対して全図を認識して全図認識情報を取得するための全図認識情報認識サブモジュールと、
前記タイプデジタル画像から、前記タイプデジタル画像に対して細粒度を認識する領域である注意力領域を決定するための注意力領域決定サブモジュールと、
細粒度により前記注意力領域内の画像を認識して局所認識情報を取得するための局所認識情報認識サブモジュールと、
前記全図認識情報および局所認識情報を細粒度情報として組み合わせるための細粒度情報取得サブモジュールとをさらに備えること
を特徴とする請求項１１に記載の装置。
【請求項１３】
請求項７〜１２のいずれの１項に記載のデジタル画像の意味タグの取得装置を備えること
を特徴とするデジタル画像の意味タグの取得機器。
【請求項１４】
１つの又は複数のプロセッサと、
コマンドを記憶するメモリと、を含み、
前記コマンドが前記１つの又は複数のプロセッサによって実行される時に、前記１つの又は複数のプロセッサに
デジタル画像を取得し、
前記デジタル画像に対応した意味タグモデルを検索し、
前記デジタル画像を前記意味タグモデルに導入し、前記デジタル画像に対応した全図認識情報および局所認識情報を取得し、前記全図認識情報および局所認識情報を意味タグとして組み合わせるようにさせ、
ここで、前記意味タグモデルは、デジタル画像と意味タグとの対応関係を表示するために用いられ、前記意味タグは、デジタル画像に対して文字で説明するために用いられ、
前記全図認識情報は、前記デジタル画像に対する概括的な説明であり、前記局所認識情報は、前記デジタル画像に対する具体的な説明であること
を特徴とするデジタル画像の意味タグの取得装置。
【請求項１５】
前記の前記デジタル画像に対応した意味タグモデルを検索することにおいては、
前記デジタル画像に対してタイプを解析し、前記デジタル画像のタイプ情報を決定するステップと、
前記タイプ情報に対応した意味タグモデルを検索するステップとをさらに含んでおり、
ここで、前記タイプ情報は、数字、文字、人物、動物、食物のうちの少なくとも１項を含むこと
を特徴とする請求項１４に記載の装置。
【請求項１６】
前記１つの又は複数のプロセッサに、さらに、
意味タグモデルを構築するようにさせ、
前記の意味タグモデルを構築することにおいては、
デジタル画像集合および意味タグ集合からそれぞれデジタル画像および意味タグを抽出するステップと、
前記デジタル画像を、タイプ情報によって少なくとも１つのタイプデジタル画像集合に分けるステップと、
前記意味タグを、前記タイプ情報によって少なくとも１つのタイプ意味タグ集合に分けるステップと、
機械学習法を利用し、前記タイプデジタル画像、および前記タイプデジタル画像に関連付けられたタイプ意味タグに基づき、訓練して前記タイプ情報に対応した少なくとも１つの意味タグモデルを取得するステップと、を含んでおり、
ここで、前記タイプ情報は、数字、文字、人物、動物、食物のうちの少なくとも１項を含むこと
を特徴とする請求項１４に記載の装置。
【請求項１７】
前記の前記デジタル画像を、タイプ情報によって少なくとも１つのタイプデジタル画像集合に分けるステップは、
前記デジタル画像を認識してタイプ情報を取得するステップをさらに含むこと
を特徴とする請求項１６に記載の装置。
【請求項１８】
前記の機械学習法を利用し、前記タイプデジタル画像、および前記タイプデジタル画像に関連付けられたタイプ意味タグに基づき、訓練して前記タイプ情報に対応した少なくとも１つの意味タグモデルを取得するステップにおいては、
前記タイプデジタル画像に対して細粒度を認識し、前記タイプデジタル画像に対応した細粒度情報を取得するステップと、
前記細粒度情報に対応したタイプ意味タグを検索するステップと、
機械学習法を利用し、前記細粒度情報、および前記細粒度情報に対応したタイプ意味タグに基づき、訓練して前記タイプ情報に対応した意味タグモデルを取得するステップとを含んでおり、
ここで、前記細粒度は、前記タイプ情報の下位分類であること
を特徴とする請求項１６に記載の装置。
【請求項１９】
前記の前記タイプデジタル画像に対して細粒度を認識し、前記タイプデジタル画像に対応した細粒度情報を取得するステップにおいては、
前記タイプデジタル画像に対して全図を認識して全図認識情報を取得するステップと、
前記タイプデジタル画像から、前記タイプデジタル画像に対して細粒度を認識する領域である注意力領域を決定するステップと、
細粒度により前記注意力領域内の画像を認識して局所認識情報を取得するステップと、
前記全図認識情報および局所認識情報を細粒度情報として組み合わせるステップとをさらに含むこと
を特徴とする請求項１８に記載の装置。
【請求項２０】
コンピュータプログラムを記憶する不揮発性コンピュータ記憶媒体であって、
前記コンピュータプログラムが１つの又は複数のコンピュータにより実行される時に、前記１つの又は複数のコンピュータに、
デジタル画像を取得し、
前記デジタル画像に対応した意味タグモデルを検索し、
前記デジタル画像を前記意味タグモデルに導入し、前記デジタル画像に対応した全図認識情報および局所認識情報を取得し、前記全図認識情報および局所認識情報を意味タグとして組み合わせるようにさせ、
ここで、前記意味タグモデルは、デジタル画像と意味タグとの対応関係を表示するために用いられ、前記意味タグは、デジタル画像に対して文字で説明するために用いられ、
前記全図認識情報は、前記デジタル画像に対する概括的な説明であり、前記局所認識情報は、前記デジタル画像に対する具体的な説明であること
を特徴とする不揮発性コンピュータ記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理の技術分野に関し、具体には、画像認識の技術分野に関し、特にデジタル画像の意味タグの取得方法、および装置に関する。
【背景技術】
【０００２】
画像認識技術は、既に日常生活において広く用いられてきた。例えば、画像認識技術により、行き来する車両のナンバープレート情報を認識する。画像認識技術は、通常、非デジタル画像をデジタル画像に変換させた後に、さらにデジタル画像を認識したり、直接にデジタル画像を取得してデジタル画像を認識したりする必要がある。しかしながら、従来の画像認識技術は、画像認識により得られた情報が十分ではなく、より多くの画像情報を与えるすることができない。前記画像認識技術によるナンバープレート情報の認識をもう一度例とすると、従来の画像認識技術では、ナンバープレートの画像を認識することができるが、ナンバープレートの画像の具体的な情報（例えば、ナンバープレートに含まれる数字、文字）を、人工的に認識する必要がある。
【０００３】
画像の細粒度認識方法とは、画像と意味タグとの関連関係を構築し、且つ、関連関係を用いて意味タグにより画像を説明する方法を意味する。その中で、細粒度とは、デジタル画像コンテンツのタイプを認識した上で、さらにデジタル画像コンテンツの下位分類を認識することを指す。意味タグは、デジタル画像に対して文字で説明するために用いられる。例えば、小犬を含む画像に対して、従来の画像認識技術では、子犬の画像のみを認識することができ、小犬のより多くの情報を提供することができないが、画像の細粒度認識方法では、小犬の画像を認識することできるのみならず、さらに小犬の具体的な情報、例えば、種類、毛色（すなわち、細粒度情報）を認識し、且つ意味タグとして小犬の具体的な情報を出力することができる。また、細粒度が相対的な概念であり、且つ、異なるデジタル画像または画像コンテンツに対して、細粒度の意味が異なってもよいことを理解すべきである。
【０００４】
従来の画像の細粒度認識方法が画像に対する細粒度認識の過程は、まず、画像全体の画像特徴を抽出し、または、事前に人工的に選択された画像領域から画像の局所特徴を抽出し、次に、画像特徴または局所特徴に対して意味タグを設定することである。それは、抽出された画像特徴、または画像領域を人工的に選択して得られた局所特徴に基づいて取得された意味タグであるため、正確な意味タグを与えることができず、大規模な応用が困難となる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、背景技術で言及された問題点を解決するために、デジタル画像の意味タグの取得方法、および装置を提供する。
【課題を解決するための手段】
【０００６】
第１態様において、本発明は、デジタル画像の意味タグの取得方法を提供した。この方法は、デジタル画像を取得するステップと、前記デジタル画像に対応した意味タグモデルを検索し、前記意味タグモデルは、デジタル画像と意味タグとの対応関係を表示するために用いられ、前記意味タグは、デジタル画像に対して文字で説明するために用いられるステップと、前記デジタル画像を前記意味タグモデルに導入し、前記デジタル画像に対応した全図認識情報および局所認識情報を取得し、前記全図認識情報および局所認識情報を意味タグとして組み合わせて、前記全図認識情報は、前記デジタル画像に対する概括的な説明であり、前記局所認識情報は、前記デジタル画像に対する具体的な説明であるステップと、を含む。
【０００７】
第２態様において、本発明は、デジタル画像の意味タグの取得装置を提供した。この装置は、デジタル画像を取得するためのデジタル画像取得ユニットと、前記デジタル画像に対応した意味タグモデルを検索するため意味タグモデル検索ユニットと、前記デジタル画像を前記意味タグモデルに導入し、前記デジタル画像に対応した全図認識情報および局所認識情報を取得し、前記全図認識情報および局所認識情報を意味タグとして組み合わせるための意味タグ取得ユニットと、を備えており、ここで、前記意味タグモデルは、デジタル画像と意味タグとの対応関係を表示するために用いられ、前記意味タグは、デジタル画像に対して文字で説明するために用いられ、前記全図認識情報は、前記デジタル画像に対する概括的な説明であり、前記局所認識情報は、前記デジタル画像に対する具体的な説明である。
【０００８】
第３態様において、本発明は、前記第２の態様に係るデジタル画像の意味タグの取得装置を備えるデジタル画像の意味タグの取得機器を提供した。
【発明の効果】
【０００９】
本発明に係るデジタル画像の意味タグの取得方法、および装置では、まず、デジタル画像を取得し、次に、前記のデジタル画像に対応した意味タグモデルを検索し、意味タグモデルにより意味タグを取得し、デジタル画像に対応した意味タグの取得精度を向上した。
【図面の簡単な説明】
【００１０】
以下、図面を参照しながら非限定的な実施例を詳細に説明することにより、本発明の他の特徴、目的、および利点は、より明らかになる。
【図１】本発明が適用される例示的なシステムのアーキテクチャ図である。
【図２】本発明に係るデジタル画像の意味タグの取得方法の一実施例のフローチャートである。
【図３】本発明に係るデジタル画像の意味タグの取得方法の応用場面の模式図である。
【図４】本発明に係るデジタル画像の意味タグの取得装置の一実施例の構造模式図である。
【図５】本発明の実施例を実現するためのサーバに適されるコンピュータシステムを示す構造概略図である。
【発明を実施するための形態】
【００１１】
以下、図面および実施例を参照しながら、本発明をさらに詳しく説明する。ただし、ここで説明されている具体的な実施例は、係る発明を解釈するためのものに過ぎず、本発明の範囲を制限するものではないと理解されるべきである。また、説明の便宜上、図面に本発明と関連する部分のみが示されている。
【００１２】
ただし、衝突がない限り、本願における実施例および実施例における特徴は、互いに組み合せてもよい。以下、図面を参照しながら実施例に基づいて本発明を詳細に説明する。
【００１３】
図１は、本発明に係るデジタル画像の意味タグの取得方法、またはデジタル画像の意味タグの取得装置の実施例を適用可能な例示的なシステムアーキテクチャ１００を示した。
【００１４】
図１に示すように、システムアーキテクチャ１００は、端末装置１０１、１０２、１０３、ネットワーク１０４およびサーバ１０５を含んでもよい。ネットワーク１０４は、端末装置１０１、１０２、１０３と、サーバ１０５との間に通信リンクの媒体を提供する。ネットワーク１０４は、例えば有線、無線通信リンク、または光ファイバケーブルなどのさまざまな接続タイプを含んでもよい。
【００１５】
ユーザは、デジタル画像などを受信したり送信したりするために、端末装置１０１、１０２、１０３を使用してネットワーク１０４を介してサーバ１０５と対話することができる。端末装置１０１、１０２、１０３において、各種の画像アプリとネットワークアプリ、例えば、画像ブラウザおよびウェブページブラウザなどが、インストールされてもよい。
【００１６】
端末装置１０１、１０２、１０３は、スクリーンと画像ブラウザおよびウェブページブラウザとを有する各種の電子機器であってもよく、当該電子機器は、スマートフォン、タブレットＰＣ、およびノートパソコンを含むが、これらに限らない。
【００１７】
サーバ１０５は、画像を解析して文字で画像を説明するサーバ、例えば、端末装置１０１、１０２、１０３から送信されたデジタル画像に対して意味タグを配置するサーバであってもよい。サーバ１０５は、受信されたデジタル画像に解析処理を行って、且つデジタル画像に対して対応した意味タグを配置してもよい。
【００１８】
ここで、本発明の実施例に係るデジタル画像の意味タグの取得方法は、通常、サーバ１０５により実行され、それに応じて、デジタル画像の意味タグの取得装置は、通常、サーバ１０５に設けられていることを理解すべきである。
【００１９】
図１における端末装置、ネットワークおよびサーバの数が例示的なものであることを当業者は理解すべきである。必要に応じて、端末装置、ネットワークおよびサーバの数が任意である。
【００２０】
続いて、デジタル画像の意味タグの取得方法の一実施例のフローチャート２００を示した図２を参照する。
【００２１】
図２に示すように、本実施例のデジタル画像の意味タグの取得方法は、下記のステップ２０１〜２０３を含む。
【００２２】
ステップ２０１：デジタル画像を取得する。
本実施例において、デジタル画像の意味タグの取得方法が実行される電子機器（例図１に示すようなサーバ）は、意味タグを取得するために、有線接続方式または無線接続方式により端末装置（例えば、図１に示すような端末装置１０１、１０２、１０３）にデータ伝達してもよい。
【００２３】
端末装置１０１、１０２、１０３における画像アプリ、およびネットワークアプリは、画像をサーバ１０５へ送信する。サーバ１０５は、デジタル画像のみに対して意味タグを配置することができるため、端末装置１０１、１０２、１０３で取得されたのが非デジタル画像である場合、当該非デジタル画像をサーバ１０５へ送信し、サーバ１０５で非デジタル画像をデジタル画像に変換してもよく、端末装置１０１、１０２、１０３は、直接に非デジタル画像をデジタル画像に変換した後に、さらにサーバ１０５へ送信してもよい。
【００２４】
ステップ２０２：前記デジタル画像に対応した意味タグモデルを検索する。
その中で、前記意味タグモデルは、デジタル画像と意味タグとの対応関係を表示するために用いられ、前記意味タグは、デジタル画像に対して文字で説明するために用いられる。異なるデジタル画像のコンテンツが異なるため、異なる意味タグモデルを用いてデジタル画像のコンテンツに対してマッチングする必要があり、さもなければ、意味タグモデルから出力された意味タグは、デジタル画像のコンテンツと不適合である。例えば、デジタル画像のコンテンツは小犬を含み、デジタル画像を鳥類に関連する意味タグモデルに入力する場合、得られた意味タグは、鳥類に関連する意味タグほかない。このため、最初にデジタル画像に対応した意味タグモデルを検索する必要がある。
【００２５】
本実施例のいくつかの代替的な実現形態において、前記デジタル画像に対応した意味タグモデルを検索することは、次のステップを含んでもよい。
【００２６】
第１のステップにおいて、前記デジタル画像に対してタイプを解析して前記デジタル画像のタイプ情報を決定する。
前記タイプ情報は、数字、文字、人物、動物、食物のうちの少なくとも１項を含む。デジタル画像に対応した意味タグモデルを検索しようとする場合、まず、デジタル画像のタイプ情報、すなわちデジタル画像のコンテンツがどのようなタイプを知っておく必要がある。通常、タイプ情報は、数字、文字、人物、動物、食物、機械などを含んでもよく、また、実際の必要に応じて他のコンテンツを含んでもよい。
【００２７】
第２のステップ：前記タイプ情報に対応した意味タグモデルを検索する。
デジタル画像のタイプ情報が決定された後に、タイプ情報によりデジタル画像に対応した意味タグモデルを決定することができる。
【００２８】
本実施例のいくつかの代替的な実現形態において、本実施例方法は、意味タグモデルを構築するステップを含んでもよく、ここで、次のステップを含んでもよい。
【００２９】
第１のステップ：デジタル画像集合および意味タグ集合からそれぞれデジタル画像および意味タグを抽出する。
意味タグモデルを構築する場合、デジタル画像集合、およびデジタル画像集合に対応した意味タグ集合により、デジタル画像と意味タグとの対応関係を決定する必要があるため、まずデジタル画像および意味タグを抽出する必要がある。
【００３０】
第２のステップ：前記デジタル画像を、タイプ情報によって少なくとも１つのタイプデジタル画像集合に分け、前記タイプ情報は数字、文字、人物、食物、動物のうちの少なくとも１項を含む。
デジタル画像集合において、各種タイプのデジタル画像を含み、各種タイプのデジタル画像のいずれも、それぞれの特徴を持っており、これらの特徴に基づかなければ、対応した意味タグを決定できない。このため、デジタル画像のタイプ情報に基づいてデジタル画像を分類する必要がある。デジタル画像を分類する前に、まず、デジタル画像を認識してタイプ情報を取得する必要があり、次に、さらにタイプ情報によりデジタル画像を分類する。よく用いられるタイプ情報は、数字、文字、人物、食物、動物を含んでもよく、また、その他のタイプ情報であってもよい。
【００３１】
第３のステップ：前記意味タグを、前記タイプ情報によって少ないなくとも１つのタイプ意味タグ集合に分ける。
前記デジタル画像を分類する過程と類似して、ここでも、タイプ情報にしたがって意味タグを分類する必要がある。
【００３２】
第４のステップ：機械学習法を利用し、前記タイプデジタル画像、および前記タイプデジタル画像に関連付けられたタイプ意味タグに基づき、訓練して前記タイプ情報に対応した少なくとも１つの意味タグモデルを取得する。
【００３３】
機械学習法は、複数の種類を有し、決定木、線形判別分析、二値分類法、およびサポートベクターマシンであってもよく、また、その他の機械学習法であってもよい。機械学習法によりデジタル画像とタイプ意味タグとの対応関係を構築して、タイプ情報に対応した意味タグモデルを取得する。
【００３４】
本実施例のいくつかの代替的な実現形態において、機械学習法を利用し、前記タイプデジタル画像、および前記タイプデジタル画像に関連付けられたタイプ意味タグに基づき、訓練して前記タイプ情報に対応した少なくとも１つの意味タグモデルを取得するステップにおいては、次のステップを含んでもよい。
【００３５】
第１のステップ：前記タイプデジタル画像に対して細粒度を認識して前記タイプデジタル画像に対応した細粒度情報を取得する。
その中で、前記細粒度は、前記タイプ情報の下位分類であり、例えば、デジタル画像が小犬を含む場合、デジタル画像の細粒度情報は、小犬の種類、毛色、およびサイズであってもよく、すなわち、細粒度情報は、タイプ情報をさら詳しく説明するものである。
【００３６】
第２のステップ：前記細粒度情報に対応したタイプ意味タグを検索する。
細粒度情報が取得された後に、細粒度情報に基づいて細粒度情報に対応したタイプ意味タグを決定する。例えば、細粒度情報が「犬の画像を含み、種類：ボーダー・コリー、毛色：白黒」であり、また、同じデジタル画像については、必要に応じて、他の同様な細粒度情報を取得してもよく、ここでは詳細な説明を省略する。細粒度情報から分かるように、細粒度情報に対応したのは、犬に関連するタイプ意味タグですべきであり、仮に、デジタル画像において１匹の犬しかいないとすると、この際のタイプ意味タグは、「１匹の白黒毛色のボーダー・コリー」であってもよい。
【００３７】
第３のステップ：機械学習法を利用し、前記細粒度情報、および前記細粒度情報に対応したタイプ意味タグに基づき、訓練して前記タイプ情報に対応した意味タグモデルを取得する。
細粒度情報とタイプ情報とを対応しているので、機械学習法により細粒度情報とタイプ意味タグとの間の対応に対して学習することは、前記タイプ情報に対応した意味タグモデルを取得することに相当する。
【００３８】
本実施例のいくつかの代替的な実現形態において、前記タイプデジタル画像に対して細粒度を認識して前記タイプデジタル画像に対応した細粒度情報を取得するステップは、次のステップをさらに含んでもよい。
【００３９】
第１のステップ：前記タイプデジタル画像に対して全図を認識して全図認識情報を取得する。
全図認識とは、デジタル画像の全体に対する認識を指し、これに対応して、全図認識情報は、前記デジタル画像に対する概括的な説明である。また、前記の小犬を含むデジタル画像をもう一度例とすると、デジタル画像において１匹の小犬しかいなく、他の画像もない場合、全図認識情報は、１匹の小犬を含む画像である。デジタル画像において１匹の小犬を含む以外、他の１匹の小犬（他の数の他のタイプの画像であってもよく）も含む場合、全図認識情報は、２匹の小犬を含む画像である。
【００４０】
第２のステップ：前記タイプデジタル画像から注意力領域を決定する。
その中で、前記注意力領域は、前記タイプデジタル画像に対して細粒度を認識する領域である。また、前記の小犬を含むデジタル画像を再度例とすると、小犬の画像が画像全体に満ちることできないため、小犬を認識する場合、小犬自体の画像（体の部位、体型、色）を認識し、これらの小犬自体の画像は、注意力領域になっている。デジタル画像の他の部分（ブランクまたは他の画像であってもよく）は、注意力領域にならない。
【００４１】
第３のステップ：細粒度により前記注意力領域内の画像を認識して局所認識情報を取得する。
注意力領域が決定された後に、注意力領域内における画像を認識することにより、局所認識情報を取得することができる。前記の小犬を含むデジタル画像を例として挙げて、この際の局所認識情報は、小犬の頭、体および尾であり、さらに、頭の毛色、体の毛色および尾の毛色を含んでもよく、すなわち、局所認識情報は、前記デジタル画像に対する具体的な説明である。
【００４２】
第４のステップ：前記全図認識情報および局所認識情報を細粒度情報として組み合わせる。
デジタル画像において１匹の小犬しかいない場合、細粒度情報は「１匹の小犬を含む画像、種類：ボーダー・コリー、毛色：白黒」である。
【００４３】
上記説明から分かるように、本実施例方法では、機械学習法により、デジタル画像に対応した意味タグを決定し、デジタル画像に対する認識を迅速で正確に実現することができ、意味タグモデルによりデジタル画像に対応した意味タグを検索するため、精度が非常に高い。
【００４４】
ステップ２０３：前記デジタル画像を前記意味タグモデルに導入し、前記デジタル画像に対応した全図認識情報および局所認識情報を取得し、前記全図認識情報および局所認識情報を意味タグとして組み合わせる。
【００４５】
その中で、前記全図認識情報は、前記デジタル画像に対する概括的な説明であり、前記局所認識情報は、前記デジタル画像に対する具体的な説明である。デジタル画像を前記の意味タグモデルに導入した後に、対応した意味タグを取得することができる。デジタル画像が端末装置１０１、１０２、１０３から送信されたものである場合、対応した端末装置１０１、１０２、１０３へ意味タグを送信する。
【００４６】
次いで、本実施例に係るデジタル画像の意味タグの取得方法の応用場面の１つの模式図である図３を参照する。図３は、端末装置によりデジタル画像の意味タグを取得する過程を示した。図３から分かるように、端末装置に１枚のデジタル画像を入力し、当該デジタル画像をデジタル画像の意味タグの取得装置へ送信し、デジタル画像の意味タグの取得装置は、当該デジタル画像に対応した意味タグモデルを検索し、デジタル画像に対してタイプを解析し、当該デジタル画像内が犬類画像であることを決定し、その後、犬類に関連する意味タグモデルを選択し当該意味タグモデルに入力した後に、当該デジタル画像の全図認識情報が１匹の小犬を含む画像であることを決定し、その後、小犬が当該デジタル画像における位置（すなわち、注意力領域）を決定し、且つ小犬に対して当該デジタル画像における位置をさらに認識し、小犬の具体的な特徴、例えば、小犬の品種、毛色を取得し、したがって当該デジタル画像の細粒度情報（１匹の小犬を含む画像、種類：ボーダー・コリー、毛色：白黒）を取得し、その後、犬に関連する意味タグ（すなわち、タイプ意味タグ）を検索し、ここで、説明すべきことは、当該細粒度情報と完全に符合した意味タグを見つけることができない場合、複数の意味タグから対応のキーワードを抽出する方法により、当該細粒度情報に対応した意味タグを取得することができる。例えば、この場合の細粒度情報は、「１匹の小犬を含む画像、種類：ボーダー・コリー、毛色：白黒」であるが、既存の犬に関連する意味タグは「白黒毛色のダルメシアン犬」、「黄白毛色のボーダー・コリー」（その他の情報であってもよく）であり、このように、前記２つの意味タグから、それぞれ「白黒色」および「ボーダー・コリー」を抽出することができ、両方を最終的な意味タグである「１匹の白黒毛色のボーダー・コリー」として組み合わせて、最後に、意味タグ「１匹の白黒毛色のボーダー・コリー」を端末装置へ送信し、デジタル画像の意味タグの取得を完成させる。
【００４７】
本発明の前記実施例で提供された方法は、まず、デジタル画像を取得し、次に、前記のデジタル画像に対応した意味タグモデルを検索し、意味タグモデルにより意味タグを取得し、デジタル画像に対応した意味タグの取得精度を向上した。
【００４８】
さらに、図４を参照し、本発明は、前記各図に示す方法の実現形態として、デジタル画像の意味タグの取得装置の一実施例を提供した。当該装置の実施例は、図２に示す方法の実施例に対応しており、当該装置は、具体的に各種の電子機器に適用されてもよい。
【００４９】
図４に示すように、本実施例の上記デジタル画像の意味タグの取得装置４００は、
デジタル画像を取得するためのデジタル画像取得ユニット４１０と、
前記デジタル画像に対応した意味タグモデルを検索するための意味タグモデル検索ユニット４０２と、
前記デジタル画像を前記意味タグモデルに導入し、前記デジタル画像に対応した全図認識情報および局所認識情報を取得し、前記全図認識情報および局所認識情報を意味タグとして組み合わせるための意味タグ取得ユニット４０３とを備えており、ここで、前記意味タグモデルは、デジタル画像と意味タグとの対応関係を表示するために用いられ、前記意味タグは、デジタル画像に対して文字で説明するために用いられ、前記全図認識情報は、前記デジタル画像に対する概括的な説明であり、前記局所認識情報は、前記デジタル画像に対する具体的な説明である。
【００５０】
本実施例のいくつかの代替的な実現形態において、意味タグモデル検索ユニット４０２は、
前記デジタル画像に対してタイプを解析し、前記デジタル画像のタイプ情報を決定するためのタイプ情報決定サブユニット（図示せず）と、前記タイプ情報に対応した意味タグモデルを検索するための意味タグモデル検索サブユニット（図示せず）とを備えてもよく、ここで、前記タイプ情報は、数字、文字、人物、動物、食物のうちの少なくとも１項を含む。
【００５１】
本実施例のいくつかの代替的な実現形態において、本実施例のデジタル画像の意味タグの取得装置４００は、意味タグモデルを構築するための意味タグモデル構築ユニット（図示せず）をさらに備えてもよい。前記意味タグモデル構築ユニットは、デジタル画像集合および意味タグ集合からそれぞれデジタル画像および意味タグを抽出するための抽出サブユニット（図示せず）と、
前記デジタル画像を、タイプ情報によって少なくとも１つのタイプデジタル画像集合に分けるためのデジタル画像集合取得サブユニット（図示せず）と、
前記意味タグを、前記タイプ情報によって少なくとも１つのタイプ意味タグ集合に分けるためのタイプ意味タグ集合取得サブユニット（図示せず）と、
機械学習法を利用し、前記タイプデジタル画像、および前記タイプデジタル画像に関連付けられたタイプ意味タグに基づき、訓練して前記タイプ情報に対応した少なくとも１つの意味タグモデルを取得するための意味タグモデル構築サブユニット（図示しない）とを備えてもよく、ここで、前記タイプ情報は、数字、文字、人物、動物、食物のうちの少なくとも１項を含むタイプ。
【００５２】
本実施例のいくつかの代替的な実現形態において、タイプデジタル画像集合取得サブユニットは、前記デジタル画像を認識してタイプ情報を取得するためのタイプ情報認識モジュール（図示せず）をさらに備える。
【００５３】
本実施例のいくつかの代替的な実現形態において、意味タグモデル構築サブユニットは、前記タイプデジタル画像に対して細粒度を認識し、前記タイプデジタル画像に対応した細粒度情報を取得するための細粒度情報取得モジュール（図示せず）と、前記細粒度情報に対応したタイプ意味タグを検索するためのタイプ意味タグ検索モジュール（図示せず）と、機械学習法を利用し、前記細粒度情報、および前記細粒度情報に対応したタイプ意味タグに基づき、訓練して前記タイプ情報に対応した意味タグモデルを取得するための意味タグモデル構築モジュール（図示せず）とを備えてもよく、ここで、前記細粒度は、前記タイプ情報の下位分類である。
【００５４】
本実施例のいくつかの代替的な実現形態において、細粒度情報取得モジュールは、前記タイプデジタル画像に対して全図を認識して全図認識情報を取得するための全図認識情報認識サブモジュール（図示せず）と、前記タイプデジタル画像から、前記タイプデジタル画像に対して細粒度を認識する領域である注意力領域を決定するための注意力領域決定サブモジュール（図示せず）と、細粒度により前記注意力領域内の画像を認識して局所認識情報を取得するための局所認識情報認識サブモジュール（図示せず）と、前記全図認識情報および局所認識情報を細粒度情報として組み合わせるための細粒度情報取得サブモジュール（図示せず）とを備えてもよい。
【００５５】
また、本実施例は、前記デジタル画像の意味タグの取得装置を備えるデジタル画像の意味タグの取得機器を提供した。
【００５６】
以下、本発明の実施例を実現するためのデジタル画像の意味タグの取得サーバに適用されるコンピュータシステム５００を示す構造模式図である図５を参照する。
【００５７】
図５に示すように、コンピュータシステム５００は、読み出し専用メモリ（ＲＯＭ）５０２に記憶されているプログラムまたは記憶部５０８からランダムアクセスメモリ（ＲＡＭ）５０３にロードされたプログラムに基づいて様々な適当な動作および処理を実行することができる中央処理装置（ＣＰＵ）５０１を備える。ＲＡＭ５０３には、システム５００の操作に必要な様々なプログラムおよびデータがさらに記憶されている。ＣＰＵ５０１、ＲＯＭ５０２およびＲＡＭ５０３は、バス５０４を介して互いに接続されている。入力／出力（Ｉ／Ｏ）インターフェース５０５もバス５０４に接続されている。
【００５８】
キーボード、マウスなどを含む入力部５０６、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）など、およびスピーカなどを含む出力部５０７、ハードディスクなどを含む記憶部５０８、およびＬＡＮカード、モデムなどを含むネットワークインターフェースカードの通信部５０９は、Ｉ／Ｏインターフェース５０５に接続されている。通信部５０９は、例えばインターネットのようなネットワークを介して通信処理を実行する。ドライバ５１０は、必要に応じてＩ／Ｏインターフェース５０５に接続される。リムーバブルメディア５１１は、例えば、マグネチックディスク、光ディスク、光磁気ディスク、半導体メモリなどのようなものであり、必要に応じてドライバ５１０に取り付けられ、したがって、ドライバ５１０から読み出されたコンピュータプログラムが必要に応じて記憶部５０８にインストールされる。
【００５９】
特に、本発明の実施例によれば、上記のフローチャートを参照しながら記載されたプロセスは、コンピュータのソフトウェアプログラムとして実現されてもよい。例えば、本発明の実施例は、コンピュータプログラム製品を含み、当該コンピュータプログラム製品は、機械可読媒体に有形に具現化されるコンピュータプログラムを含み、前記コンピュータプログラムは、フローチャートで示される方法を実行するためのプログラムコードを含む。このような実施例では、当該コンピュータプログラムは、通信部５０９を介してネットワークからダウンロードされてインストールされてもよく、および／またはリムーバブルメディア５１１からインストールされてもよい。
【００６０】
図面におけるフローチャートおよびブロック図は、本発明の各実施例に係るシステム、方法およびコンピュータプログラム製品により実現可能なアーキテクチャ、機能および操作を示す。ここで、フローチャートまたはブロック図における各枠は、１つのモジュール、プログラムセグメント、またはコードの一部を代表してもよく、前記モジュール、プログラムセグメント、またはコードの一部は、規定された論理機能を達成するための１つ以上の実行可能な命令を含む。また、いくつかの代替実施態様として、枠に示された機能は、図面に示された順番と異なる順番で実行されてもよい。例えば、連続して示された２つの枠は、関連する機能に応じて、実際にほぼ並行に実行されてもよく、逆の順番で実行されてもよい。また、ブロック図および／またはフローチャートにおける各枠と、ブロック図および／またはフローチャートにおける枠の組合せは、規定された機能または操作を実行する、ハードウェアに基づく専用システムで実現されてもよく、あるいは、専用ハードウェアとコンピュータの命令との組合せで実行されてもよい。
【００６１】
本発明の実施例に記載されたユニットは、ソフトウェアで実現されてもよく、ハードウェアで実現されてもよい。記載されたユニットは、プロセッサに設定されてもよく、例えば、「デジタル画像取得ユニット、意味タグモデル検索ユニット、および意味タグ取得ユニットを備えるプロセッサ」として記載されてもよい。その中でも、これらのユニットの名称は、ある場合において当該ユニットその自体を限定するものではなく、例えば、意味タグ取得ユニットは、「意味タグを取得するためのユニット」として記載されてもよい。
【００６２】
一方、本発明は、不揮発性コンピュータ記憶媒体をさらに提供し、当該不揮発性コンピュータ記憶媒体は、上記実施例の前記装置に含まれる不揮発性コンピュータ記憶媒体であってもよく、独立に存在して端末に組み立てられていない不揮発性コンピュータ記憶媒体であってもよい。前記不揮発性コンピュータ記憶媒体は、１つ以上のプログラムが記憶され、前記１つ以上のプログラムが１つの機器により実行された場合、前記機器に、デジタル画像を取得し、前記デジタル画像に対応した意味タグモデル（前記意味タグモデルは、デジタル画像と意味タグとの対応関係を表示するために用いられ、前記意味タグは、デジタル画像に対して文字で説明するために用いられ）を検索し、前記デジタル画像を前記意味タグモデルに導入し、前記デジタル画像に対応した全図認識情報および局所認識情報（前記全図認識情報は、前記デジタル画像に対する概括的な説明であり、前記局所認識情報は、前記デジタル画像に対する具体的な説明であり）を取得し、前記全図認識情報および局所認識情報を意味タグとして組み合わせるようにさせる。
【００６３】
以上の記載は、本発明の好ましい実施例、および使用された技術的原理の説明に過ぎない。本発明に係る特許請求の範囲が、上記した技術的特徴の特定な組合せからなる技術案に限定されることではなく、本発明の趣旨を逸脱しない範囲で、上記の技術的特徴または同等の特徴の任意の組合せからなる他の技術案も含むべきであることを、当業者は理解すべきである。例えば、上記の特徴と、本発明に開示された類似の機能を持っている技術的特徴（これらに限定されていない）とを互いに置き換えてなる技術案が挙げられる。
【図１】
2017134813.tif 000003
【図２】
2017134813.tif 000004
【図３】
2017134813.tif 000005
【図４】
2017134813.tif 000006
【図５】
2017134813.tif 000007