(57)【特許請求の範囲】
【請求項１】
認識される画像を受信し、且つ前記画像から候補オブジェクト領域を抽出するステップと、
抽出された候補オブジェクト領域における非オブジェクト領域を除外して、目標候補オブジェクト領域を取得し、且つ前記目標候補オブジェクト領域を調整し分類して、少なくとも一つの目標候補オブジェクト領域の集合を取得するステップと、
各目標候補オブジェクト領域の集合における目標候補オブジェクト領域を併合して、前記画像のオブジェクト領域を認識するステップと、を含み、
前記目標候補オブジェクト領域を調整するステップは、
各目標候補オブジェクト領域に対して、オブジェクトと現在の目標候補オブジェクト領域との大小関係及び位置関係に基づいて、前記現在の目標候補オブジェクト領域に対してスケーリング処理及び／又は平行移動処理を行うステップを含む、
ことを特徴とする画像オブジェクト領域の認識方法。
【請求項２】
前記抽出された候補オブジェクト領域における非オブジェクト領域を除外するステップは、
異なるレベルのクラシファイアを用いて抽出された候補オブジェクト領域を認識して、前記非オブジェクト領域を除外するステップを含む、
ことを特徴とする請求項１に記載の方法。
【請求項３】
前記目標候補オブジェクト領域を分類するステップは、
調整前及び調整後の各目標候補オブジェクト領域のスコア及び所属する類別を取得し、且つ同じ類別における目標候補オブジェクト領域のスコアに基づいて対応する目標候補オブジェクト領域に対してソーティングし、且つソーティング結果に基づいて前記目標候補オブジェクト領域の集合を取得するステップを含む、
ことを特徴とする請求項１または２に記載の方法。
【請求項４】
前記各目標候補オブジェクト領域の集合における目標候補オブジェクト領域を併合して、前記画像のオブジェクト領域を認識するステップは、
目標候補オブジェクト領域の間の大小関係及び位置関係に基づいて目標候補オブジェクト領域を併合するステップを含む、
ことを特徴とする請求項１〜３のいずれか一項に記載の方法。
【請求項５】
一つまたは複数のプロセッサーと、
メモリと、
一つまたは複数のモジュールと、を含み、
前記一つまたは複数のモジュールは、前記メモリに記憶され、前記一つまたは複数のプロセッサーにより実行される時、
認識される画像を受信し、且つ前記画像から候補オブジェクト領域を抽出することと、
抽出された候補オブジェクト領域における非オブジェクト領域を除外して、目標候補オブジェクト領域を取得し、且つ前記目標候補オブジェクト領域を調整し分類して、少なくとも一つの目標候補オブジェクト領域の集合を取得することと、
各目標候補オブジェクト領域の集合における目標候補オブジェクト領域を併合して、前記画像のオブジェクト領域を認識することと、を行い、
さらに、前記一つまたは複数のプロセッサーは、
各目標候補オブジェクト領域に対して、オブジェクトと現在の目標候補オブジェクト領域との大小関係及び位置関係に基づいて、前記現在の目標候補オブジェクト領域に対してスケーリング処理及び／又は平行移動処理を行うことを含む、
ことを特徴とする画像オブジェクト領域の認識設備。
【請求項６】
前記一つまたは複数のプロセッサーは、
異なるレベルのクラシファイアを用いて抽出された候補オブジェクト領域を認識して、前記非オブジェクト領域を除外するステップを含む、
ことを特徴とする請求項５に記載の設備。
【請求項７】
さらに、前記一つまたは複数のプロセッサーは、
調整前及び調整後の各目標候補オブジェクト領域のスコア及び所属する類別を取得し、且つ同じ類別における目標候補オブジェクト領域のスコアに基づいて対応する目標候補オブジェクト領域に対してソーティングし、且つソーティング結果に基づいて前記目標候補オブジェクト領域の集合を取得することを含む、
ことを特徴とする請求項５または６に記載の設備。
【請求項８】
さらに、前記一つまたは複数のプロセッサーは、
目標候補オブジェクト領域の間の大小関係及び位置関係に基づいて目標候補オブジェクト領域を併合するステップを含む、
ことを特徴とする請求項５〜７のいずれか一項に記載の設備。
【請求項９】
アプリケーションを記憶するための記憶媒体であって、
前記アプリケーションは、請求項１乃至４のいずれか一項に記載の画像オブジェクト領域の識別方法を実行する、
ことを特徴とする記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピューター技術に関し、特に画像オブジェクト領域の認識方法及び装置に関する。
【背景技術】
【０００２】
本出願は、バイドゥオンラインネットワークテクノロジー（北京）カンパニーリミテッドにより２０１４年１２月３０日付けで提出された発明の名称が「画像オブジェクト領域の認識方法及び装置」であり、中国特許出願番号が「２０１４１０８５０５１１.２」である特許出願の優先権を主張するものである。
【０００３】
現在、画像情報の抽出は、主に三種類の粒度の層面に集中されており、一つ目は、画像全体単位での粗粒度画像分類注記であり、二つ目は、画像における実態目標（例えば、歩行者、顔、自動車等）を取得することを目的とする目標検出方式であり、当該方式は、専門の類別の検出器を訓練させて検出を行うべきである。三つ目は、画像画素まで精密な細粒画像分割または解析であり、画像分割または解析は、画像オブジェクトの細部に対して画素レベルの粒度の描写を行うことができる。しかしながら、上記の三種類の粒度層面の画像処理方式に存在する問題は、画像分類注記が複数のオブジェクトを含む画像を正確且つ全面的分析できなく、取得された分析結果が不安定である。目標検出方式は、複数の類別の目標オブジェクトが含まれる場合、画像に対して数回のエルゴード処理を行うべきであり、所要の計算量が大きい。画像分割または解析は、所要の分析時間が長く、例えば、顔、服装、皮膚、バッグとラゲージの分割等の特定場面に使えられる。
【０００４】
インターネット技術の発展とともに、上記の単一粒度の画像処理の方式は、処理効率の面でウェブページ（ｗｅｂ）写真、ソーシャル（ｓｏｃｉａｌ）写真等のより多様な要求を満たし難い。時代の発展に適応するために、従来の画像にして処理を行う過程は、画像からオブジェクトの所在するオブジェクト領域を検出してから、オブジェクト領域に基づいてオブジェクトに対して後続の分析を行うことであり、例えば、オブジェクトに対して分類または認識を行うことができる。この過程全体から画像におけるオブジェクト領域を取得することは、画像の正確な分析結果を取得する関鍵であり、現在常用される画像オブジェクト領域検出方式としては二つあり、一つ目の方式は、顕著性領域に基づくオブジェクト検出方式であり、当該方式は、顕著性エネルギー関数により画像を処理して、画像のエネルギー分布図を生成し、且つエネルギー分布図によって顕著性の高い領域を取得し、且つ当該領域を画像のオブジェクト領域とする。二つ目の方式は、深層学習に基づくオブジェクト座標回帰であり、当該方式は、処理される画像を取得してから、既に訓練させた深層ニューラルネットワークによってオブジェクト外接矩形の四つの点の座標を予測して、オブジェクト領域の検出及びポジショニングを実現する。
【０００５】
しかしながら、上記の二つの方式に存在する問題は、一つ目の方式が用いる顕著性エネルギー関数は普遍性を有しなく、オブジェクト領域の検出結果の正確度及び有効性が足りない。二つ目の方式は、計算が複雑なだけでなく、適時性効果も良くなく、且つ当該方式は一つのオブジェクト領域にしか戻られなくて、複数のオブジェクトを含む画像を処理し難い。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、相関技術における技術問題のうち一つを少なくともある程度解決しようとする。このため、本発明の第１の方面の実施例は、画像オブジェクト領域の認識方法を提供することであり、当該方法は、画像のオブジェクト領域を正確に取得することができ、且つ複数のオブジェクトを含む画像から複数のオブジェクトに対応するオブジェクト領域を認識することができる。
【０００７】
本発明の第２の方面の実施例は、画像オブジェクト領域の認識装置を提供することである。
【０００８】
本発明の第３の方面の実施例は、記憶媒体を提供することである。
【０００９】
本発明の的第４の方面の実施例は、画像オブジェクト領域の認識設備を提供することである。
【課題を解決するための手段】
【００１０】
上記の目的を実現するために、本発明の第１の方面の実施例の画像オブジェクト領域の認識方法は、認識される画像を受信し、且つ前記画像から候補オブジェクト領域を抽出するステップと、抽出された候補オブジェクト領域における非オブジェクト領域を除外して、目標候補オブジェクト領域を取得し、且つ前記目標候補オブジェクト領域を調整し分類して、少なくとも一つの目標候補オブジェクト領域の集合を取得するステップと、各目標候補オブジェクト領域の集合における目標候補オブジェクト領域を併合して、前記画像のオブジェクト領域を認識するステップと、を含む。
【００１１】
本発明に係る実施例の画像オブジェクト領域の認識方法は、先に認識される画像から候補オブジェクト領域を抽出してから、抽出された候補オブジェクト領域における非オブジェクト領域を除外して、目標候補オブジェクト領域を取得し、且つ目標候補オブジェクト領域を調整し分類して、少なくとも一つの目標候補オブジェクト領域の集合を取得し、最後に各目標候補オブジェクト領域の集合における目標候補オブジェクト領域を併合して、画像のオブジェクト領域を認識する。従って、画像のオブジェクト領域を正確に取得でき、且つ複数のオブジェクトを含む画像から複数のオブジェクトに対応するオブジェクト領域を認識することができる。
【００１２】
上記の目的を実現するために、本発明の第２の方面の実施例の画像オブジェクト領域の認識装置は、認識される画像を受信し、且つ前記画像から候補オブジェクト領域を抽出する抽出モジュールと、抽出された候補オブジェクト領域における非オブジェクト領域を除外して、目標候補オブジェクト領域を取得し、且つ前記目標候補オブジェクト領域を調整し分類して、少なくとも一群の目標候補オブジェクト領域の集合を取得する処理モジュールと、各目標候補オブジェクト領域の集合における目標候補オブジェクト領域を併合して、前記画像のオブジェクト領域を認識する併合モジュールと、を含む。
【００１３】
本発明に係る実施例の画像オブジェクト領域的認識装置は、抽出モジュールにより認識される画像から候補オブジェクト領域を抽出してから、処理モジュールにより抽出された候補オブジェクト領域における非オブジェクト領域を除外して、目標候補オブジェクト領域を取得し、且つ目標候補オブジェクト領域を調整し分類して、少なくとも一つの目標候補オブジェクト領域の集合を取得し、及び各目標候補オブジェクト領域の集合における目標候補オブジェクト領域を併合して、画像のオブジェクト領域を認識する。従って、画像のオブジェクト領域を正確に取得でき、且つ複数のオブジェクトを含む画像から複数のオブジェクトに対応するオブジェクト領域を認識することができる。
【００１４】
上記の目的を実現するために、本発明の第３の方面の実施例の記憶媒体は、アプリケーションを記憶するのに用いられ、前記アプリケーションは、本発明の第１の方面の実施例に記載の画像オブジェクト領域の認識方法を実行する。
【００１５】
上記の目的を実現するために、本発明の第４の方面の実施例の画像オブジェクト領域の認識設備は、一つまたは複数のプロセッサーと、メモリと、一つまたは複数のモジュールと、を含み、前記一つまたは複数のモジュールは、前記メモリに記憶され、前記一つまたは複数のプロセッサーにより実行される時、認識される画像を受信し、且つ前記画像から候補オブジェクト領域を抽出することと、抽出された候補オブジェクト領域における非オブジェクト領域を除外して、目標候補オブジェクト領域を取得し、且つ前記目標候補オブジェクト領域を調整し分類して、少なくとも一つの目標候補オブジェクト領域の集合を取得することと、各目標候補オブジェクト領域の集合における目標候補オブジェクト領域を併合して、前記画像のオブジェクト領域を認識することと、を行う。
【図面の簡単な説明】
【００１６】
【図１】本発明に係る一つの実施例の画像オブジェクト領域の認識方法のフローチャートである。
【図２】本発明に係る一つの実施例の画像オブジェクト領域の認識方法のフローチャートである。
【図３】処理を経ていない原図の模式図である。
【図４】図３に対して候補オブジェクト領域を抽出した後の結果の模式図である。
【図５】図４における候補オブジェクト領域に対して非オブジェクト領域を除外した後の結果の模式図である。
【図６】図５における候補オブジェクト領域を調整し分類した後の結果の模式図である。
【図７】図６における目標候補オブジェクト領域を併合した後の結果の模式図である。
【図８】本発明に係る一つの実施例の画像オブジェクト領域の認識装置の構造図である。
【発明を実施するための形態】
【００１７】
以下に、本出願の実施例を詳細に説明する。前記実施例の例示が図面において示されるが、一貫して同一または類似する符号は、同一又は類似の部品、または、同一又は類似の機能を有する部品を表す。以下に、図面を参照しながら説明される実施例は例示性のものであり、本発明を解釈するためだけに用いられるものであって、本発明を限定するように理解されてはならない。
【００１８】
以下に、図面を参照しながら本発明の実施例の画像オブジェクト領域の認識方法及び装置を説明する。
【００１９】
図１は、本発明に係る一つの実施例の画像オブジェクト領域の認識方法のフローチャートであり、図１に示すように、当該画像オブジェクト領域の認識方法は、下記のステップＳ１０１〜ステップＳ１０３を含む。
【００２０】
ステップＳ１０１：認識される画像を受信し、且つ画像から候補オブジェクト領域を抽出する。
【００２１】
具体的には、ユニバーサルオブジェクト検出モデルによって認識される画像から異なるサイズ、幅長比を有する候補オブジェクト領域を抽出することができ、候補オブジェクト領域が認識される画像における各種の類別、異なる大きさ、異なるサイズのオブジェクト内容を覆うようにするために、ユニバーサルオブジェクト領域検出モデルにより、画像の大量の候補オブジェクト領域を取得でき、候補オブジェクト領域は、画像中一般に矩形フレームでマーキングできる。
【００２２】
その中で、ユニバーサルオブジェクト検出モデルは、画像の候補オブジェクト領域を抽出するモデルであり、当該モデルは、予め設定された画像特徴（例えば、画素グレーレベル（ｐｉｘｅｌ  ｇｒａｙ）、カラー、画像勾配、縁、方向勾配ヒストグラムＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔ）特徴、ローカル・バイナリー・パターンＬＢＰ（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）特徴等）によって画像の特徴を抽出し、認識される画像を抽出した後、画像の機械学習アルゴリズム（例えば、サポートベクターマシンＳＶＭ（ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）、Ａｄａｂｏｏｓｔアルゴリズム（当該アルゴリズムは、自己適応アンサンブル学習アルゴリズムである）、ランダムフォレスト（ｒａｎｄｏｍ ｆｏｒｅｓｔ）アルゴリズム等）により取得された特徴を分析して、認識される画像に対応する候補オブジェクト領域を取得することができる。説明すべきことは、当該モデルは、画像の候補オブジェクト領域を抽出する効率が高く、一般的な場合、一種の画像の候補オブジェクト領域を抽出するのに掛かる時間は、１００ｍｓである。
【００２３】
ステップＳ１０２：抽出された候補オブジェクト領域における非オブジェクト領域を除外して、目標候補オブジェクト領域を取得し、且つ目標候補オブジェクト領域を調整し分類して、少なくとも一つの目標候補オブジェクト領域の集合を取得する。
【００２４】
当該実施例において、認識される画像の大量の候補オブジェクト領域を取得した後、異なるレベルのクラシファイアを用いて抽出された候補オブジェクト領域を認識して、候補オブジェクト領域における非オブジェクト領域を除外することができる。
【００２５】
具体的には、認識される画像の大量の候補オブジェクト領域を取得した後、画像のオブジェクト領域を正確に取得するために、取得した候補オブジェクト領域を縦続接続された異なるレベルのクラシファイアを通過させて認識を行い、候補オブジェクト領域における非オブジェクト領域を次第に除外できる。その中で、異なるレベルのクラシファイアは異なる判定基準を有し、全てのレベルのクラシファイアを通過した候補オブジェクト領域が画像のオブジェクト領域になれる可能性がかなり高い。
【００２６】
例えば、現在三つのクラシファイアを縦続接続したと仮定し、現在の画像に対応する大量の候補オブジェクト領域を取得した後、取得された候補オブジェクト領域を第１段深層学習クラシファイアに入力し、第１段深層学習クラシファイアは、それに対応する判断基準に基づいて候補オブジェクト領域を認識して、オブジェクト領域特性を満たさない非オブジェクト領域を除外することができ、且つ取得した認識結果を第２段深層学習クラシファイアに入力し、第２段深層学習クラシファイアは、それに対応する判断基準に基づいて、オブジェクト領域特性を満たさない一部の非オブジェクト領域を更に除外し、且つ対応する認識結果を出力することができ、第２段深層学習クラシファイアの認識結果を取得した後、第２段深層学習クラシファイアが取得した認識結果を更に第３段リニアクラシファイアに入力し、ここで、当該リニアクラシファイアは、サポートベクターマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ、ＳＶＭと略称）とも称することができ、第３段リニアクラシファイアは、それに対応する判断基準に基づいて入力された認識結果をさらに認識し、且つその判断基準を満たさない非オブジェクト領域を除去し、及び対応する認識結果を出力することができ、出力された認識結果は、上記の三段のクラシファイアを通過した全部の候補オブジェクト領域である。ここで、大量の非オブジェクトを急速濾過させるために、初期段階で低レベルのクラシファイアを用いて大量の候補オブジェクト領域に対して予備スクリーニングを行い、後期に候補オブジェクト領域集合における少量の区分し難い非オブジェクト領域を正確に除外するために、高レベルのクラシファイアを用いて認識を行って、正確に対応する目標候補オブジェクト領域を取得することができる。その中で、全てのレベルのクラシファイアを通過した候補オブジェクト領域がちょうど目標候補オブジェクト領域である。
【００２７】
目標候補オブジェクト領域を取得した後、画像のオブジェクト領域を正確に取得するために、各目標候補オブジェクト領域に対して、オブジェクトと現在の目標候補オブジェクト領域との大小関係及び位置関係に基づいて現在の目標候補オブジェクト領域に対してスケーリング処理及び／又は平行移動処理を行うことができる。
【００２８】
各目標候補オブジェクト領域を調整した後、調整前及び調整後の各目標候補オブジェクト領域のスコア及び所属する類別が取得でき、且つ同じ類別における目標候補オブジェクト領域のスコアに基づいて対応する目標候補オブジェクト領域に対してソーティングし、且つソーティング結果に基づいて目標候補オブジェクト領域の集合を取得する。
【００２９】
例えば、取得した調整前及び調整後の目標候補オブジェクト領域を深層学習モデルに基づくクラシファイアに通過させ、当該クラシファイアは、各目標候補オブジェクト領域を分類し、且つ各目標候補オブジェクト領域が各類別に属する確率値を出力し、調整前及び調整後の目標候補オブジェクト領域が全部で四つあると仮定し、ａ、ｂ、ｃ及びｄでそれぞれこの四つの目標候補オブジェクト領域を示し、且つ現在クラシファイアに三つの類別があり、それぞれｌ、ｍ、ｎで示し、クラシファイアを通過させて取得した各目標候補オブジェクト領域に対応する三種の類別であるｌ、ｍ、ｎの確率分布は、ａは（０.１、０.１、０.８）であり、ｂは（０.２、０.２、０.６）であり、ｃは（０.７、０.１、０.２）であり、ｄは（０.１、０.８５、０.０５）である。対応する確率を取得した後、各類別に対して、各目標候補オブジェクト領域の確率によってそれに対してソーティングし、且つソーティング結果に基づいて目標候補オブジェクト領域に対応する類別を取得することができる。その中で、上記の四つの目標候補オブジェクト領域であるａ、ｂ、ｃ及びｄに対して処理を行った後、取得した結果は、ａ及びｂは類別ｎに属し、且つａの確率が高く（信頼度が高い）、ｂの前にソーティングされ、ｃは類別ｌに属し、ｄは類別ｍに属することである。
【００３０】
ステップＳ１０３：各目標候補オブジェクト領域の集合における目標候補オブジェクト領域を併合して、画像のオブジェクト領域を認識する。
【００３１】
当該実施例において、画像に対応する少なくとも一つの目標候補オブジェクト領域の集合を取得した後、各目標候補オブジェクト領域の集合に対して、目標候補オブジェクト領域の間の大小関係及び位置関係に基づいて目標候補オブジェクト領域を併合することができる。
【００３２】
例えば、現在二種類の目標候補オブジェクト領域の集合を取得したと仮定し、各目標候補オブジェクト領域の集合に対して、目標候補オブジェクト領域の間の大小関係及び位置関係に基づいて目標候補オブジェクト領域を併合することができる。具体的には、同じ類別の目標候補オブジェクト領域を併合する過程において、若し二つの目標候補オブジェクト領域が重なる場合、両者の外接矩形に従って併合することができる。また、併合する過程において、オブジェクトフレームクラスタリングアルゴリズム、ＣＲＦ(Ｃｏｎｄｉｔｉｏｎａｌ Ｒａｎｄｏｍ Ｆｉｅｌｄｓ、条件付き確率場)モデルに基づくオブジェクトフレーム分類区分アルゴリズム等機械学習アルゴリズムを用いて目標候補オブジェクト領域を併合して、二種類のオブジェクトの画像において対応するオブジェクト領域を取得しても良い。
【００３３】
当該実施例の画像オブジェクト領域検出方式は、画像中のオブジェクトに対応するオブジェクト領域を正確に取得することができ、且つオブジェクト領域の画像における位置関係を取得することができ、後続の取得されたオブジェクト領域に基づいて写真に対して分類、認識、刈り込み、検索等を行うのに便宜を供し、また、画像のオブジェクト領域によって画像に対して刈り込みを行い、且つ刈り込んだ後の写真を検索結果に応用して、検索結果ページ中の写真と文章とが互い合わせる検索結果を表示する。
【００３４】
本発明の実施例の画像オブジェクト領域の認識方法は、先に認識される画像から候補オブジェクト領域を抽出してから、抽出された候補オブジェクト領域における非オブジェクト領域を除外して、目標候補オブジェクト領域を取得し、且つ目標候補オブジェクト領域を調整し分類して、少なくとも一つの目標候補オブジェクト領域の集合を取得し、最後に各目標候補オブジェクト領域の集合における目標候補オブジェクト領域を併合して、画像のオブジェクト領域を認識する。従って、画像のオブジェクト領域を正確に取得することができ、且つ複数のオブジェクトを含む画像から複数のオブジェクトに対応するオブジェクト領域を認識することができる。
【００３５】
図２は、本発明に係るもう一つの実施例の画像オブジェクト領域の認識方法のフローチャートであり、当該実施例は、図３に示す写真を例として画像オブジェクト領域の認識過程を詳細に説明し、如図２に示すように、当該画像オブジェクト領域の認識方法は、ステップＳ２０１〜ステップＳ２０４を含む。
【００３６】
ステップＳ２０１：画像から候補オブジェクト領域を抽出する。
【００３７】
具体的には、ユニバーサルオブジェクト検出モデルによって図３から異なるサイズ、幅長比を有する候補オブジェクト領域を抽出でき、図３から候補オブジェクト領域を抽出した後の結果は、図４に示すように、図４では矩形フレームで候補オブジェクト領域を示し、図４の個々の矩形フレームは、一つの候補オブジェクト領域を示す。
【００３８】
その中で、ユニバーサルオブジェクト検出モデルは、画像の候補オブジェクト領域を抽出するモデルであり、当該モデルは、画像の候補オブジェクト領域を抽出する効率が高く、一般的な場合、一種の画像の候補オブジェクト領域を抽出するのに掛かる時間は１００ｍｓである。
【００３９】
ステップＳ２０２：抽出された候補オブジェクト領域における非オブジェクト領域を除外して、目標候補オブジェクト領域を取得する。
【００４０】
図４から見れば、候補オブジェクト領域には大量の候補オブジェクト領域が含まれていることが分かり、画像のオブジェクト領域を正確に取得するために、縦続接続された異なるレベルのクラシファイアにより抽出された大量の候補オブジェクト領域集合を認識し、且つ候補オブジェクト領域における非オブジェクト領域を次第に除外して、目標候補オブジェクト領域を取得することができる。その中で、全てのレベルのクラシファイアを通過した候補オブジェクト領域が画像のオブジェクト領域になる可能性がかなり大きく、全てのレベルのクラシファイアを通過した候補オブジェクト領域は、目標候補オブジェクト領域と称することができる。
【００４１】
具体的には、図４を処理する過程において、図４からみれば、当該図に二つのオブジェクトが含まれていることが分かり、従って、マルチレベルに分類されるクラシファイアにより二つのオブジェクトに対応する候補オブジェクト領域における非オブジェクト領域を除外することができ、図４の候補オブジェクト領域の非オブジェクト領域を除外した後取得された結果は、図５のようである。図４と図５とを比較することにより、図５には画像のオブジェクト領域になる可能性のあるいくつかの候補オブジェクト領域（即ち、目標候補オブジェクト領域）しか含まれていないことが分かる。
【００４２】
ステップＳ２０３：目標候補オブジェクト領域を調整し分類して、少なくとも一つの目標候補オブジェクト領域の集合を取得する。
【００４３】
当該実施例において、目標候補オブジェクト領域を取得した後、画像のオブジェクト領域を正確に取得するために、各目標候補オブジェクト領域に対して、オブジェクトと現在の目標候補オブジェクト領域との大小関係及び位置関係に基づいて現在の目標候補オブジェクト領域に対してスケーリング処理及び／又は平行移動処理を行うことができる。
【００４４】
図５から見れば、図５に含まれている目標候補オブジェクト領域と画像のオブジェクト領域との間に若干の偏差が存在することが分かり、画像のオブジェクト領域を正確に取得するために、図５における目標候補オブジェクト領域を調整することができる。具体的には、図５における各目標候補オブジェクト領域に対して、目標候補オブジェクト領域とオブジェクトとの大小関係及び位置関係に基づいてスケーリング、平行移動等を行って新たな目標候補オブジェクト領域が生成することができる。
【００４５】
各目標候補オブジェクト領域を調整した後、調整前及び調整後の各目標候補オブジェクト領域のスコア及び類別を取得することができ、且つ同じ類別における目標候補オブジェクト領域のスコアに基づいて対応する目標候補オブジェクト領域に対してソーティングし、且つソーティング結果に基づいて目標候補オブジェクト領域の集合を取得する。その中で、図５における目標候補オブジェクト領域を調整してから、クラシファイア、例えば、深層学習モデルに基づくクラシファイアにより調整前及び調整後の候補オブジェクト領域を処理し、処理後に取得した結果は、図６に示すようであり、図６は、取得された複数の目標候補オブジェクト領域を示す。
【００４６】
ステップＳ２０４：各目標候補オブジェクト領域の集合における目標候補オブジェクト領域を併合して、画像のオブジェクト領域を認識する。
【００４７】
当該実施例において、少なくとも一つの目標候補オブジェクト領域の集合を取得した後、各目標候補オブジェクト領域の集合に対して、目標候補オブジェクト領域の間の大小関係及び位置関係に基づいて目標候補オブジェクト領域を併合することができる。
【００４８】
図６における目標候補オブジェクト領域に関して、図６に二つのオブジェクトが含まれているため、図６にとって言えば、二つの目標候補オブジェクト領域の集合を取得することができ、二つの目標候補オブジェクト領域の集合を取得した後、各目標候補オブジェクト領域の集合に対して、目標候補オブジェクト領域の間の大小関係及び位置関係に基づいて目標候補オブジェクト領域を併合することができる。具体的には、図６における目標オブジェクト領域を併合する過程において、異なるオブジェクトに対して、オブジェクト周囲に対応する目標候補オブジェクト領域をぞれぞれ併合することができる。具体的には、目標候補オブジェクト領域の間の大小関係及び位置関係に基づいて併合することができ、若し二つの目標候補オブジェクト領域が重なる場合、両者の外接矩形に従って併合することができ、図６における目標候補オブジェクト領域を併合した後、取得された画像のオブジェクト領域は、図７に示すようであり、図７に示されている二つの矩形フレームがちょうど図３のオブジェクト領域である。
【００４９】
図３のオブジェクト領域を取得した後、取得されたオブジェクト領域によって写真に対して描写、分類、認識、刈り込み、展示等を行うことができ、また、取得されたオブジェクト領域に基づいて画像に対して刈り込みを行い、且つ刈り込んだ後の写真を検索結果に応用して、検索結果ページ中の写真と文章とが互い合わせる検索結果を表示する。
【００５０】
本発明の実施例の画像オブジェクト領域の認識方法は、先に認識される画像から候補オブジェクト領域を抽出してから、抽出された候補オブジェクト領域における非オブジェクト領域を除外して、目標候補オブジェクト領域を取得し、且つ目標候補オブジェクト領域を調整し分類して、少なくとも一つの目標候補オブジェクト領域の集合を取得し、最後に各目標候補オブジェクト領域の集合における目標候補オブジェクト領域を併合して、画像のオブジェクト領域を認識する。従って、画像のオブジェクト領域を正確に取得することができ、且つ複数のオブジェクトを含む画像から複数のオブジェクトに対応するオブジェクト領域を認識することができる。
【００５１】
上記の実施例実現するために、本発明は、画像オブジェクト領域の認識装置を更に提供する。
【００５２】
図８は、本発明に係る一つの実施例の画像オブジェクト領域の認識装置の構造図である。
【００５３】
図８に示すように、当該画像オブジェクト領域的認識装置は、抽出モジュール１００と、処理モジュール２００と、併合モジュール３００と、を含み、その中で、
【００５４】
抽出モジュール１００は、認識される画像を受信し、且つ画像から候補オブジェクト領域集合を抽出する。
処理モジュール２００は、抽出された候補オブジェクト領域における非オブジェクト領域を除外して、目標候補オブジェクト領域を取得し、且つ目標候補オブジェクト領域を調整し分類して、少なくとも一つの目標候補オブジェクト領域の集合を取得する。
併合モジュール３００は、各目標候補オブジェクト領域の集合における目標候補オブジェクト領域を併合して、画像のオブジェクト領域を認識する。
【００５５】
処理モジュール２００は、具体的には、候補オブジェクト領域の集合における各候補オブジェクト領域に対して、異なるレベルのクラシファイアを用いて現在の候補オブジェクト領域を認識して、非オブジェクト領域を除外する。
【００５６】
具体的には、処理モジュール２００は、縦続接続された異なるレベルのクラシファイアにより現在の候補オブジェクト領域を認識して、候補オブジェクト領域における非オブジェクト領域を除外して、目標候補オブジェクト領域を取得することができる。
【００５７】
処理モジュール２００が目標候補オブジェクト領域を取得した後、各目標候補オブジェクト領域に対して、処理モジュール２００は、オブジェクトと現在の目標候補オブジェクト領域との大小関係及び位置関係に基づいて現在の目標候補オブジェクト領域に対してスケーリング処理及び／又は平行移動処理を行うことができる。
【００５８】
処理モジュール２００が目標候補オブジェクト領域を調整した後、処理モジュール２００は、調整前及び調整後の各目標候補オブジェクト領域のスコア及び所属する類別を取得することができ、且つ同じ類別における目標候補オブジェクト領域のスコアに基づいて対応する目標候補オブジェクト領域に対してソーティングし、且つソーティング結果に基づいて目標候補オブジェクト領域の集合を取得する。
【００５９】
処理モジュール２００が少なくとも一つの目標候補オブジェクト領域の集合を取得した後、各候補オブジェクト領域集合に対して、併合モジュール３００は、目標候補オブジェクト領域の間の大小関係及び位置関係に基づいて目標候補オブジェクト領域を併合することができる。
【００６０】
抽出モジュール１００、処理モジュール２００、及び併合モジュール３００の画像オブジェクト領域の認識装置が画像オブジェクト領域を認識する過程は、図１または図２及び対応する文字説明を参照することができ、ここでは詳細に記述しないことにする。
【００６１】
本発明の実施例にの画像オブジェクト領域の認識装置は、抽出モジュールにより認識される画像から候補オブジェクト領域を抽出してから、処理モジュールにより抽出された候補オブジェクト領域における非オブジェクト領域を除外して、目標候補オブジェクト領域を取得し、且つ目標候補オブジェクト領域を調整し分類して、少なくとも一つの目標候補オブジェクト領域の集合を取得し、及び各目標候補オブジェクト領域の集合における目標候補オブジェクト領域を併合して、画像のオブジェクト領域を認識する。従って、画像のオブジェクト領域を正確に取得することができ、且つ複数のオブジェクトを含む画像から複数のオブジェクトに対応するオブジェクト領域を認識することができる。
【００６２】
上記の目的を実現するために、本発明は、アプリケーションを記憶するための記憶媒体を更に提供し、当該アプリケーションは、本発明の任意の実施例に記載の画像オブジェクト領域の認識方法を実行する。
【００６３】
上記の目的を実現するために、本発明は、画像オブジェクト領域の認識設備を更に提供し、一つまたは複数のプロセッサーと、メモリと、一つまたは複数のモジュールと、を含み、前記一つまたは複数のモジュールは、前記メモリに記憶され、前記一つまたは複数のプロセッサーにより実行される時、下記のことを行う。
【００６４】
Ｓ１０１’：認識される画像を受信し、且つ前記画像から候補オブジェクト領域を抽出する。
【００６５】
Ｓ１０２’：抽出された候補オブジェクト領域における非オブジェクト領域を除外して、目標候補オブジェクト領域を取得し、且つ目標候補オブジェクト領域を調整し分類して、少なくとも一つの目標候補オブジェクト領域の集合を取得する。
【００６６】
Ｓ１０３’：各目標候補オブジェクト領域の集合における目標候補オブジェクト領域を併合して、画像のオブジェクト領域を認識する。
【００６７】
本明細書の説明において、参照用語である「一つの実施例」、「いくつかの実施例」、「例示」、「具体的な例示」、または「いくつかの例示」などの説明は、当該実施例や例示を結合して説明する具体的な特徴、構造、材料、または特点が本発明の少なくとも一つの実施例や例示に含まれることを意味する。本明細書において、上記の用語に対する黙示的な記述が必ずしも同じ実施例や例示に対することではない。また、説明された具体的な特徴、構造、材料、または特点は、任意の一つのまたは複数の実施例または例示にて適当な方式で結合されることができる。また、相互に矛盾しない前提で、当業者は、本明細書において説明される異なる実施例または例示及び異なる実施例または例示の特徴に対する結合及び組み合わせを行うことができる。
【００６８】
なお、用語である「第一」、「第二」は、説明のためだけに用いられるものであり、比較的な重要性を指示又は暗示するか、または示された技術特徴の数を黙示的に明示すると理解してはいけない。従って、「第１」、「第２」で限定された特徴は、少なくとも一つの当該特徴を明示又は黙示的に含むことができる。本出願の説明において、別途に明確に具体的な限定をしない限り、「複数の」の意味は少なくとも二つであり、例えｃば、二つ、三つ等である。
【００６９】
フローチャートまたはここで他の方式で説明されたいかなる過程や方法説明は、一つのまたは複数の、特定ロジック機能または過程のステップの実行できるコマンドのコードのモジュール、セクターまたは部分を含む。また、本発明の望ましい実施形態の範囲は、他の実現を含み、ここで提示または討論された順序に従わなくてもよい。述べられた機能に基づいて基本的に同様な方式または逆の順序でその機能を実行することができる。これは、本発明の実施例の当業者に理解される。
【００７０】
フローチャート中で表され、又はその他の方式で説明されたロジック及び／又はステップは、例えば、ロジック機能を実現するための命令実行可能な順序リストであると考えられてよく、具体的には、いかなるコンピュータ読取可能媒体中でも実現することができ、それによって指令実行システム、装置、若しくは設備（例えばコンピュータに基づくシステム、プロセッサを含むシステム又は他の指令実行システム、装置又は設備から指令を取得して指令を実行することができるシステム等）に使用され、又はこれらの指令実行システム、装置、若しくは設備を結合して使用される。本明細書について言えば、「コンピュータ読取可能媒体」は、プログラムを含み、保存し、通信し、伝播し又は伝送して、指令実行システム、装置若しくは設備又はこれらの指令実行システム、装置若しくは設備に使用されるいかなる装置であってもよい。コンピュータ読取可能媒体のさらに具体的な例示（非網羅的リスト）には、１つ以上の配線を有する電気接続部（電子装置）、ポータブル型コンピュータディスク（磁気装置）、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＣＯＭ又はフラッシュメモリ）、光ファイバ、及びコンパクト光ディスク読み出し専用メモリ（ＣＤＲＯＭ）が含まれる。また、コンピュータ読取可能媒体は、その上に前述のプログラムを印刷した紙又はその他適当な媒質であってもよい。なぜなら、例えば、紙又はその他の媒質に対して光学スキャニングを行い、続いて編集、解釈又は必要であればその他適当な方式で処理を行って、電子方式によってプログラムを取得し、その後、それをコンピュータメモリ中に保存することができるからである。
【００７１】
理解すべきことは、本発明の各部分は、ハードウェア、ソフトウェア、ファームウエアまたはそれらの組み合わせで実現できる。上記の実施形態において、複数のステップまたは方法がメモリに保存され、適当なコマンド実行システムのソフトウェアまたはファームウエアで実現できる。例えば、ハードウェアで実現する場合、他の実施形態と同じように、本領域周知の下記の任意一つまたはそれらの組み合わせで実現できる。すなわち、デジタル信号に対してロジック機能を実現するロジックゲート回路を有する離散ロジック回路、ロジックゲート回路を組み合わせた適当な専用ＩＣ、プログラマブルゲートアレイ（ＰＧＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などである。
【００７２】
実施例の方法における全部または一部のステップがプログラムにより関連のハードウェアを実行することで完成されることは、本技術領域の普通の技術者に理解される。前記プログラムは一つの計算機の読み出し可能な記憶メディアに記憶される。当該プログラムを実行するとき、実施例方法のステップの一つまたはそれらの組み合わせを含む。
【００７３】
この他、本発明の各実施例の各機能ユニットは、一つの処理モジュールに集積され、または、各ユニットの単独的な物理存在であり、あるいは、二つまたは二つ以上のユニットが一つのモジュールに集積されることができる。上記の集積されたモジュールは、ハードウェアの形式、または、ソフトウェア機能モジュールの形式で実現できる。前記集積されたモジュールが、ソフトウェア機能モジュールの形式で実現され、且つ独立の製品として販売または使用される場合、コンピューターの読み出し可能な記憶メディアに記憶されることができる。
【００７４】
上記の記憶メディアは、読み出し専用メモリ、ディスク、または、ＣＤなどである。本発明の実施例を示して説明したが、当業者にとって理解できるのは、上記の実施例は例示性のものであり、本発明に対する限定と理解されてはいけない。本発明の範囲で上記の実施例に対して変化、補正、切り替え及び変形を行うことができる。
【図１】
0006397986.tif 000002
【図２】
0006397986.tif 000003
【図３】
0006397986.tif 000004
【図４】
0006397986.tif 000005
【図５】
0006397986.tif 000006
【図６】
0006397986.tif 000007
【図７】
0006397986.tif 000008
【図８】
0006397986.tif 000009