(57)【要約】  画像を教師なしでセグメント化する方法および装置が提供される。いくつかの例示的な実施形態において、方法は、人間の観察者にとって知覚的に理にかなったセグメント化マップを生成すべく、画像に従って従来のグラフベースのセグメント化アルゴリズムのセグメント化パラメータを調整する。いくつかの実施形態において、方法は画像のセグメント化過剰およびセグメント化不足を減少させる。
2017531867.tif 000002
【特許請求の範囲】
【請求項１】
画像を提供する段階と、
第１のセグメントと第２のセグメントとの間の境界条件を確定するための閾値関数に関するセグメント化パラメータの第１の値を決定する段階と、
前記画像と、前記セグメント化パラメータの前記第１の値に基づくそのセグメント化と、の間の類似性を示す類似性関数の第１の値を決定する段階と、
前記セグメント化パラメータの前記第１の値および前記類似性関数の前記第１の値を予め定められた関数と比較する段階と、
前記比較の結果に基づく前記セグメント化パラメータの第２の値を決定する段階と、
前記セグメント化パラメータの前記第２の値に基づいて前記画像をセグメント化する段階と、
を備える、画像をセグメント化する方法。
【請求項２】
前記類似性関数は対称不確実性関数を備える、請求項１に記載の方法。
【請求項３】
前記予め定められた関数は前記セグメント化パラメータの対数と対称不確実性との間の線形関係を表す線形関数であり、前記線形関数を上回る値はセグメント化過剰を示し、前記線形関数を下回る値はセグメント化不足を示す、請求項２に記載の方法。
【請求項４】
前記セグメント化パラメータの最適な値を決定する段階をさらに備え、前記セグメント化パラメータの前記最適な値は、前記対称不確実性の対応する値と前記線形関係の部分との差が最小となる前記画像のセグメント化を引き起こす前記セグメント化パラメータの値を備える、請求項３に記載の方法。
【請求項５】
前記セグメント化パラメータの前記第２の値に基づいて前記画像をセグメント化する段階は、
前記画像を、オーバーラップまたは非オーバーラップである複数のサブ画像に分割する段階と、
それぞれが前記複数のサブ画像の１つに対応する、前記セグメント化パラメータの複数の値を決定することによって前記画像に関するスケールマップを生成する段階と、
フィルタを用いて前記画像の前記スケールマップを平滑化する段階と、を備える、
請求項１から４のいずれか一項に記載の方法。
【請求項６】
前記フィルタはローパスフィルタを備える、請求項５に記載の方法。
【請求項７】
ビデオ内の前記画像に続いて配置される追加の画像を提供する段階と、
前記追加の画像を、サイズまたは位置のうち少なくとも一方において前記複数のサブ画像に対応する追加の複数のサブ画像に分割する段階と、
前記追加の複数のサブ画像に対応する前記セグメント化パラメータの複数の初期の推定値として前記セグメント化パラメータの前記複数の値を提供する段階と、
それぞれが前記追加の複数のサブ画像の１つに対応する、前記セグメント化パラメータの複数の最適化された値を決定する段階と、
前記セグメント化パラメータの前記複数の最適化された値に基づいて前記追加の画像をセグメント化する段階と、
をさらに備える、請求項５または６に記載の方法。
【請求項８】
前記線形関数を決定する段階は、
複数のトレーニング画像を提供する段階と、
前記セグメント化パラメータの複数の値における前記複数のトレーニング画像のそれぞれに関するセグメント化マップを生成する段階と、
各セグメント化マップに関する対称不確実性の値を決定する段階と、
少なくとも１の観察者による視覚に基づいて、セグメント化過剰、セグメント化良好、またはセグメント化不足であるとして各セグメント化マップを分類する段階と、を含む、
請求項３に記載の方法。
【請求項９】
画像を提供する段階と、
前記画像を、それぞれが複数のピクセルを備える複数のサブ画像に分割する段階と、を備える、画像をセグメント化する方法であって、
各々のサブ画像に関し、前記方法は、
第１のセグメントと第２のセグメントとの間の境界条件を確定する閾値関数に関するパラメータの第１の値を決定する段階と、
前記パラメータの前記第１の値に基づいて前記サブ画像の対称不確実性の第１の値を決定する段階と、
前記パラメータの前記第１の値および前記対称不確実性の前記第１の値を予め定められた関数と比較する段階と、
前記比較の結果に基づいて前記パラメータの第２の値を決定する段階と、を備える、
画像をセグメント化する方法。
【請求項１０】
前記パラメータの前記決定された値を前記サブ画像内の各ピクセルに割り当てる段階と、
前記割り当てられた値にフィルタを適用して、前記サブ画像内の各ピクセルに関する前記パラメータのフィルタリングされた値を得ることと、
前記パラメータの前記フィルタリングされた値に基づいて前記画像をセグメント化することと、を
さらに備える、請求項９に記載の方法。
【請求項１１】
前記フィルタはローパスフィルタを備える、請求項１０に記載の方法。
【請求項１２】
追加の画像を提供する段階と、
前記追加の画像を追加の複数のサブ画像に分割する段階と、
前記画像の前記複数のサブ画像のそれぞれに関して決定された前記パラメータの前記第２の値に部分的に基づいて前記追加の画像をセグメント化する段階と、を
さらに備える、請求項９から１１のいずれか一項に記載の方法。
【請求項１３】
前記予め定められた関数は前記パラメータの対数と前記対称不確実性との間の線形関係を表す線形関数であり、前記線形関数を上回る値はセグメント化過剰を示し、前記線形関数を下回る値はセグメント化不足を示す、請求項９から１２のいずれか一項に記載の方法。
【請求項１４】
前記線形関数を決定する段階は、
複数のトレーニング画像を提供する段階と、
前記パラメータの複数の値における複数のトレーニング画像のそれぞれに関するセグメント化マップを生成する段階と、
各セグメント化マップに関する対称不確実性の値を決定する段階と、
少なくとも１の観察者による視覚に基づいて、各セグメント化マップをセグメント化過剰、セグメント化良好、またはセグメント化不足であるとして分類する段階と、を含む、
請求項１３に記載の方法。
【請求項１５】
プロセッサ及びメモリを備える画像セグメント化デバイスであって、前記メモリは、前記プロセッサによって実行された場合、前記プロセッサに１または複数の構成要素をインスタンス化させるコンピュータ実行可能命令をそこで具現化させるコンピュータ可読媒体を含み、前記１または複数の構成要素は、
（１）複数のトレーニング画像について電子的に受信された入力に基づいて第１のパラメータと第２のパラメータとの間の関数的関係を決定し、
（２）セグメント化される画像のサブ画像に関して、
前記サブ画像に関する前記第１のパラメータの初期値を決定し、
前記第２のパラメータの初期値を決定する、
セグメント化モジュールと、
前記第１のパラメータの前記初期値および前記第２のパラメータの前記初期値の中間と、前記関数的関係と、の比較を実行する比較モジュールと、を備え、
前記セグメント化モジュールはさらに、前記比較に基づいて前記第１のパラメータの更新された値を決定する、
画像セグメント化デバイスを備えるシステム。
【請求項１６】
前記セグメント化モジュールはさらに、前記第１のパラメータの前記更新された値に部分的に基づいて前記画像をセグメント化し、セグメント化された画像データを生成する、請求項１５に記載のシステム。
【請求項１７】
前記セグメント化された画像データを符号化するエンコーダをさらに備える、請求項１６に記載のシステム。
【請求項１８】
前記セグメント化される画像と前記セグメント化された画像データとのうち少なくとも一方の通信を促進する通信モジュールをさらに備える、請求項１７に記載のシステム。
【請求項１９】
前記セグメント化モジュールはさらに、追加の画像を複数のサブ画像に分割し、
前記第１のパラメータの前記更新された値に部分的に基づいて前記追加の画像をセグメント化する、請求項１７または１８に記載のシステム。
【請求項２０】
前記第２のパラメータは前記サブ画像の対称不確実性を備える、請求項１５から１９のいずれか一項に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、２０１４年１０月１日に出願された米国仮特許出願第６２／０５８，６４７号と、２０１５年３月１２日に出願された米国仮特許出願第６２／１３２，１６７号と、２０１５年４月２４日に出願された米国非仮特許出願第１４／６９６，２５５号と、に基づく優先権を主張し、これによりそれらのそれぞれの全体が全ての目的のために参照によって本明細書に組み込まれる。
【０００２】
本発明は、画像データの処理に関し、より具体的には、画像、ならびに３次元またはより高い次元のデータのセグメント化に関する。
【背景技術】
【０００３】
セグメント化は、例えば、医療用画像処理からマシンビジョンおよびビデオ圧縮技術までにわたる、多くの用途において重要な処理ステップである。セグメント化への異なる手法が提案されてきたが、グラフに基づくものが、それらの計算の効率ゆえに多くの研究者をひきつけてきた。
【０００４】
今日、多くのセグメント化アルゴリズムが、当分野の熟練者に知られている。いくつかの例として、ウォーターシェッドアルゴリズム、およびＳＬＩＣ、最も近い隣の集合体に基づくスーパーピクセルアルゴリズムが挙げられる。典型的には、これらのアルゴリズムは、人間の監修者によって設定されるスケールパラメータを要求するという共通の不利な点を有する。したがって、実際的な用途は、一般に教師つきセグメント化を含む。多くの例において、セグメント化は動的に引き起こされるものであり、人による監修のための時間または機会がないことがあるので、これは用途の範囲を限定し得る。
【０００５】
実施形態において、Ｐ．Ｆ．ＦｅｌｚｅｎｓｚｗａｌｂおよびＤ．Ｐ．Ｈｕｔｔｅｎｌｏｃｈｅｒの著作に基づくグラフベースのセグメント化アルゴリズムが使用される。彼らは、その全体が参照によって本明細書に組み込まれる、彼らの論文"Ｅｆｆｉｃｉｅｎｔ  Ｇｒａｐｈ−Ｂａｓｅｄ  Ｉｍａｇｅ  Ｓｅｇｍｅｎｔａｔｉｏｎ"，Ｉｎｔ．Ｊｏｕｒ．Ｃｏｍｐ．Ｖｉｓ．，５９（２），２００４年９月において、一般的なセグメント化の基本原理を論じ、グラフ切断に基づく効率的なセグメント化アルゴリズムを開発すべく、これらの原理を適用した。ＦｅｌｚｅｎｓｚｗａｌｂおよびＨｕｔｔｅｎｌｏｃｈｅｒは、いかなるセグメント化アルゴリズムも、「しばしば画像の全体的な態様を反映する、知覚的に重要な集団または領域を捉える」べきであると述べた。
【０００６】
グラフベースのセグメント化手法の原理に基づいて、ＦｅｌｚｅｎｓｚｗａｌｋおよびＨｕｔｔｅｎｌｏｃｈｅｒは、最初に、無向グラフＧ＝（Ｖ，Ｅ）を作成し、ここで、ｖｉ∈Ｖはセグメント化される必要がある画像のピクセルのセットであり、（ｖｉ，ｖｊ）∈Ｅは、隣のピクセルの対を接続するエッジのセットであり、負でない重みｗ（ｖｉ，ｖｊ）は、各エッジに対して、ｖｉとｖｊとの差に比例する大きさに関連づけられる。画像セグメント化は、各構成要素が接続され、各構成要素の複数の要素の間の内部差が最小であり、他方で、異なる構成要素の複数の要素の間の差が最大であるように、Ｖの区切りを見出すことによって特定される。これは、２つの隣接する構成要素Ｃ１とＣ２との間に境界が存在するかどうかを決定する以下の方程式（１）における叙述の定義によって達成される。すなわち、
【数１】
2017531867.tif 000003
ここで、Ｄｉｆ（Ｃ１，Ｃ２）は２つの構成要素の差であり、Ｃ１およびＣ２を接続するエッジのセットの最小の重みとして定義される。ＭＩｎｔ（Ｃ１，Ｃ２）は最小内部差であり、以下の方程式（２）で定義される。
【数２】
2017531867.tif 000004
ここで、Ｉｎｔ（Ｃ）は構成要素Ｃの最小全域木における最大の重みであり、したがって、Ｃの複数の要素の間の内部差を表す。ここで、τ（Ｃ）＝ｋ／｜Ｃ｜は、２つの構成要素の間の境界に関する証拠があるかどうかを確定すべく使用される閾値関数である。閾値関数は、少なくとも、２つの小さいセグメントの間の差に有力な証拠がある場合には、それら２つの小さいセグメントが融合しないようにする。
【０００７】
実際には、セグメント化パラメータｋは観察のスケールを設定する。ＦｅｌｚｅｎｓｚｗａｌｂおよびＨｕｔｔｅｎｌｏｃｈｅｒは、アルゴリズムが過度に細かくも過度に粗くもないセグメント化マップを生成するが、細かさおよび粗さの定義は、知覚的に理にかなったセグメント化を得るべくユーザによって注意深く設定される必要があるｋに、最終的に依存することを示す。
【０００８】
グラフベースのアルゴリズムに関する適当なｋ値の定義、ならびに、例えば、これにより全ての目的においてその全体が参照によって本明細書に組み込まれる"Ｆａｓｔ  ａｎｄ  Ａｃｃｕｒａｔｅ  Ｅｄｇｅ−Ｂａｓｅｄ  Ｓｅｇｍｅｎｔａｔｉｏｎ  ｗｉｔｈ  Ｎｏ  Ｃｏｎｔｏｕｒ  Ｓｍｏｏｔｈｉｎｇ  ｉｎ  ２−Ｄ  Ｒｅａｌ  Ｉｍａｇｅｓ"、Ｇｉａｎｃａｒｌｏ  Ｉａｎｎｉｚｚｏｔｔｏ  ａｎｄ  Ｌｏｒｅｎｚｏ  Ｖｉｔａ、ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ、Ｖｏｌ．９、Ｎｏ．７、ｐｐ．１２３２−１２３７（２０００年７月）においてＩａｎｎｉｚｚｏｔｔｏおよびＶｉｔａによって説明されるアルゴリズムなどの、他のエッジベースのセグメント化アルゴリズムにおけるエッジ抽出に関して使用される閾値の選択は、「知覚的に重要な集団または領域」が画像から抽出されなければならない場合には、現在まで未解決の問題のままである。ＩａｎｎｉｚｚｏｔｔｏおよびＶｉｔａによって説明されたアルゴリズムにおいて、階調度の大きさが閾値より上であるグレースケール階調度の極大値に注目することによって、エッジが検出される。このアルゴリズムにおいて、ｋはこの閾値であり、適当なセグメント化のために適切に設定される必要がある。実施形態において、エッジ抽出に基づくセグメント化が使用され得る。それらの実施形態において、エッジ閾値は強度パラメータｋに基づいて確定される。セグメント化アルゴリズムの分野において、一般的に、観察のスケールを設定すべくパラメータが使用される。セグメント化が教師つきモードで実行される場合において、人間のユーザは特定の画像に関するｋ値を選択する。しかしながら、特定のアルゴリズムによって提供されたセグメント化クオリティは、特に人間がアルゴリズムの出力の最終的な受益者に相当する（ビデオ圧縮のような）用途において、人間の観察者によって知覚されるクオリティに一般的に関連することは明らかである。
【０００９】
例えば、６４０×４８０カラー画像が図１Ａで提供されている。本明細書で論じられるような図１Ａの画像に関連づけられたセグメント化の結果を生成すべく、グラフカットアルゴリズムが使用された。図１Ａの画像の、σ＝０．５、最小寸法５でのセグメント化マップが、様々な値のｋに関して、図１Ｂ−図１Ｄで提供されている。図１Ｂにおいてｋは３、図１Ｃにおいてｋは１００、そして図１Ｄにおいてｋは１０，０００である。図１Ｂに図示されるように、過度に小さいｋ値はセグメント化過剰につながり得る。図１Ｄに図示されるように、大きいｋ値はセグメント化不足を引き起こし得る。
【発明の概要】
【課題を解決するための手段】
【００１０】
人間の観察者にとって知覚的に理にかなったセグメント化マップを生成すべく画像に従ってセグメント化パラメータを自動的に適合させるアルゴリズムを用いて、本開示の方法の実施形態が教師なしでのセグメント化を実行するよう使用され得る。実施形態は、トレーニング画像のセットによってセグメント化クオリティモデルをトレーニングすることと、様々な値のセグメント化パラメータｋに関してセグメント化過剰、セグメント化良好、またはセグメント化不足として画像を分類することと、その後にセグメント化クオリティが望ましい場合の条件を定義することと、を含む。
【００１１】
本発明の実施形態は、画像のセグメント化の例示的方法を含む。例示の方法の実施形態は、第１のセグメントと第２のセグメントとの間の境界条件を確定するための閾値関数に関するセグメント化パラメータの第１の値を決定することと、画像と、セグメント化パラメータの第１の値に基づくそのセグメント化との間の類似性を示すように構成された類似性関数の第１の値を決定することと、セグメント化パラメータの第１の値および類似性関数の第１の値を予め定められた関数と比較することと、比較の結果に基づいてセグメント化パラメータの第２の値を決定することと、セグメント化パラメータの第２の値に基づいて画像をセグメント化することと、を含む。実施形態において、ｋ値を見出すべく二分法アルゴリズムが使用されてよく、これにより、点（ｋ，ｎｕｍｓｅｇｍｅｎｔｓ（ｋ））（"ｎｕｍｓｅｇｍｅｎｔｓ（ｋ）"は値ｋを用いる場合に生成されるセグメントの数を表す）は予め定められた領域内または予め定められた曲線上にある。類似性関数は対称不確実性（ｓｙｍｍｅｔｒｉｃ  ｕｎｃｅｒｔａｉｎｔｙ）関数を含み得る。実施形態において、予め定められた関数は、セグメント化パラメータの対数と対称不確実性との間の線形関係を表す線形関数であってもよく、線形関数を上回る値はセグメント化過剰を示し、線形関数を下回る値はセグメント化不足を示す。追加的、代替的、および／または重複する実施形態が、画像と画像のセグメント化マップとの間の他の類似性関数を含んでもよい。
【００１２】
段落［００１１］の方法の実施形態はさらに、セグメント化パラメータの最適な値を決定することを含み、最適な値は、対称不確実性の対応する値と線形関係の部分との差が最小となる画像のセグメント化を引き起こすセグメント化パラメータの値である。
【００１３】
段落［００１１］の方法の実施形態によれば、セグメント化パラメータの第２の値に基づく画像のセグメント化は、画像を複数のサブ画像に分割することと、それぞれが複数のサブ画像の１つに対応する、セグメント化パラメータの複数の値を決定することによって画像に関するスケールマップを生成することと、フィルタを用いて画像に関するスケールマップを平滑化することとを含み得る。フィルタはローパスフィルタであってもよい。
【００１４】
段落［００１３］の方法の実施形態はさらに、ビデオ内の画像に続いて配置される追加の画像を提供することと、追加の画像を、サイズおよび位置のうち少なくとも一方に関して複数のサブ画像に対応する追加の複数のサブ画像に分割することと、追加の複数のサブ画像に対応するセグメント化パラメータの複数の初期の推定値としてセグメント化パラメータの複数の値を提供することと、それぞれが追加の複数のサブ画像の１つに対応する、セグメント化パラメータの複数の最適化された値を決定することと、セグメント化パラメータの複数の最適化された値に基づいて追加の画像をセグメント化することと、を含み得る。
【００１５】
段落［００１１］の方法の実施形態によれば、線形関数を決定することは、複数のトレーニング画像を提供することと、セグメント化パラメータの複数の値における複数のトレーニング画像のそれぞれに関するセグメント化マップを生成することと、各セグメント化マップに関する対称不確実性の値を決定することと、少なくとも１の観察者による視覚に基づいて、セグメント化過剰、セグメント化良好、またはセグメント化不足であるとして各セグメント化マップを分類することとを含み得る。
【００１６】
実施形態によれば、画像をセグメント化する別の例示的方法は、画像を提供することと、画像を、それぞれが複数のピクセルを含む複数のサブ画像に分割することとを含み得る。各サブ画像に関して、例示の方法の実施形態は、第１のセグメントと第２のセグメントとの間の境界条件を確定する閾値関数に関するパラメータの第１の値を決定することと、第１のパラメータの第１の値に基づいてサブ画像の対称不確実性の第１の値を決定することと、パラメータの第１の値および対称不確実性の第１の値を予め定められた関数と比較することと、比較の結果に基づいてパラメータの第２の値を決定することとを含み得る。
【００１７】
実施形態において、段落［００１６］の例示的方法はさらに、パラメータの決定された値をサブ画像内の各ピクセルに割り当てることと、割り当てられた値にフィルタを適用して、サブ画像内の各ピクセルに対してパラメータのフィルタリングされた値を得ることと、パラメータのフィルタリングされた値に基づいて画像をセグメント化することとを含み得る。実施形態において、フィルタはローパスフィルタを含む。
【００１８】
段落［００１７］の例示の方法の実施形態はさらに、追加の画像を提供することと、追加の画像を追加の複数のサブ画像に分割することと、画像の第１の複数のサブ画像のそれぞれに関して決定されたパラメータの第２の値に部分的に基づいて追加の画像をセグメント化することとを含み得る。実施形態において、予め定められた関数は第１のパラメータの対数と対称不確実性との間の線形関係を表す線形関数であり得、線形関数を上回る値はセグメント化過剰を示し、線形関数を下回る値はセグメント化不足を示す。
【００１９】
実施形態において、段落［００１８］の方法はさらに、複数のトレーニング画像を提供することと、セグメント化パラメータの複数の値における複数のトレーニング画像のそれぞれに関してマップを生成することと、各セグメント化マップに関して対称不確実性の値を決定することと、少なくとも１の観察者による視覚に基づいて、各セグメント化マップをセグメント化過剰、セグメント化良好、またはセグメント化不足であるとして分類することとを含み得る。
【００２０】
実施形態によれば、例示的なシステムは、プロセッサ及びメモリを有する画像セグメント化デバイスを含む。メモリは、プロセッサによって実行された場合、プロセッサに１または複数の構成要素をインスタンス化させるコンピュータ実行可能命令をそこで実行させるコンピュータ可読媒体を含む。実施形態において、１または複数の構成要素は、複数のトレーニング画像について電子的に受信された入力に基づいて第１のパラメータと第２のパラメータとの間の関数的関係を決定すべく構成されるセグメント化モジュールを含む。セグメント化モジュールはさらに、セグメント化される画像のサブ画像に関して、サブ画像に関する第１のパラメータの初期値を決定し、第２のパラメータの初期値を決定すべく構成され得る。１または複数の構成要素はさらに、第１のパラメータの初期値および第２のパラメータの初期値の中間と、関数的関係と、の比較を実行するよう構成される比較モジュールを含み得、セグメント化モジュールはさらに、比較に基づいて第１のパラメータの更新された値を決定するよう構成される。
【００２１】
段落［００２０］のシステムの実施形態において、セグメント化モジュールはさらに、第１のパラメータの更新された値に部分的に基づいて画像をセグメント化し、セグメント化された画像データを生成すべく構成され得る。
【００２２】
実施形態において、段落［００２１］のシステムはさらに、セグメント化された画像データを符号化すべく構成されたエンコーダを含み得る。
【００２３】
実施形態において、段落［００２２］のシステムはさらに、セグメント化される画像とセグメント化された画像データとのうち少なくとも一方の通信を促進すべく構成された通信モジュールを含み得る。
【００２４】
段落［００２２］のシステムの実施形態において、セグメント化モジュールはさらに、追加の画像を複数のサブ画像に分割し、第１のパラメータの更新された値に部分的に基づいて追加の画像をセグメント化すべく構成され得る。
【００２５】
段落［００２０］のシステムの実施形態によれば、第２のパラメータはサブ画像の対称不確実性を含み得る。
【００２６】
添付の図面と併用される本発明の実施形態の以下の説明の参照によって、本発明の上記の、および他の特徴、ならびにそれらを達成する態様がより明らかになり、発明それ自体がよりよく理解されるであろう。
【図面の簡単な説明】
【００２７】
本特許または出願ファイルは、色を施された少なくとも１つの図面を含む。色つきの図面を有するこの特許公報または特許出願公報の写しは、申請および必要な料金の支払いがあれば庁によって提供されるであろう。
【００２８】
【図１Ａ】例示的な６４０×４８０のカラー画像である。
【００２９】
【図１Ｂ】ｋ＝３である、図１Ａのカラー画像のセグメント化マップである。
【００３０】
【図１Ｃ】ｋ＝１００である、図１Ａのカラー画像のセグメント化マップである。
【００３１】
【図１Ｄ】ｋ＝１０，０００である、図１Ａのカラー画像のセグメント化マップである。
【００３２】
【図２】本発明の複数の実施形態に係る、例示的な画像セグメント化システムを示す図である。
【００３３】
【図３】本発明の複数の実施形態に係る、図２に示される画像セグメント化システムの例示的なセグメント化デバイスを示す図である。
【００３４】
【図４Ａ】ｋが１から１０，０００の範囲である、図１Ａのカラー画像においてＡで示された１６０×１２０ピクセルのブロックに関する一連のセグメント化マップである。
【００３５】
【図４Ｂ】人間の観察者によって実行された評価と共に、ｋの関数として図４Ａのセグメント化マップの重みづけされた不確実性、すなわちＵＷを示す図である。
【００３６】
【図５Ａ】人間の観察者によって実行された、３２０×２４０の画像解像度のトレーニング画像の分類、および、ｋに対する所望のセグメント化数を示す最適なセグメント化線を示す図である。
【００３７】
【図５Ｂ】人間の観察者によって実行された、６４０×４８０の画像解像度のトレーニング画像の分類、および、ｋに対する所望のセグメント化数を示す最適なセグメント化線を示す図である。
【００３８】
【図６】本発明の複数の実施形態に係る、ｋ値を決定する例示的な方法を示す図である。
【００３９】
【図７Ａ】本発明の複数の実施形態に係る、（ｌｏｇ（ｋ），ＵＷ）平面における６４０×４８０画像からとられた１６０×１２０サブ画像に関する、図６のｋを推定する反復的方法を示す図である。
【００４０】
【図７Ｂ】本発明の複数の実施形態に係る、図７Ａにおける推定値に基づいた対応するセグメント化を示す図である。
【００４１】
【図８】本発明の複数の実施形態に係る、ｋ値を決定する別の例示的な方法を示す図である。
【００４２】
【図９Ａ】解像度６４０×４８０の画像である。
【００４３】
【図９Ｂ】本発明の複数の実施形態に係る、図８の方法を用いて得られる図９Ａの画像のｋ（ｘ，ｙ）のスケールマップである。
【００４４】
【図９Ｃ】本発明の複数の実施形態に係る、図８の方法を用いた図９Ａに対応するセグメント化を示す図である。
【００４５】
【図９Ｄ】図９Ｃに図示されたセグメント化においてのものと同数の全セグメントを得るようにスケールパラメータが選択された、ＦｅｌｚｅｎｓｚｗａｌｂおよびＨｕｔｔｅｎｌｏｃｈｅｒの方法を用いた図９Ａに対応するセグメント化を示す図である。
【００４６】
【図１０Ａ】解像度６４０×４８０の画像である。
【００４７】
【図１０Ｂ】本発明の複数の実施形態に係る、図８の方法を用いて得られる図１０Ａの画像のｋ（ｘ，ｙ）のスケールマップである。
【００４８】
【図１０Ｃ】本発明の複数の実施形態に係る、図８の方法を用いた図１０Ａに対応するセグメント化を示す図である。
【００４９】
【図１０Ｄ】図１０Ｃに図示されたセグメント化においてのものと同数の全セグメントが得られた、ＦｅｌｚｅｎｓｚｗａｌｂおよびＨｕｔｔｅｎｌｏｃｈｅｒの方法を用いた図１０Ａに対応するセグメント化を示す図である。
【００５０】
【図１１】本発明の複数の実施形態に係る、第１の画像のセグメント化に基づいて第２の画像をセグメント化する方法を示す図である。
【発明を実施するための形態】
【００５１】
以下に開示される実施形態は、包括的であることを意図したものでもなく、以下の詳細な説明において開示されるまさにその形態に発明を限定することを意図したものでもない。それどころか、実施形態は他の当業者がそれらの教示を利用し得るように選択されて説明される。
【００５２】
用語「ブロック」は、用いられる例示的方法の異なる複数の要素を含むように本明細書において使用され得るが、本用語は、個別のステップの順序に明示的に言及していなければ、および、言及している場合を除き、本明細書に開示された様々なステップ同士の、またはステップの間の、いかなる順序の要望または特定の順序を暗示するものとも解釈されるべきではない。
【００５３】
図２を参照すると、例示的な画像セグメント化システム１２が示されている。画像セグメント化システム１２はセグメント化デバイス１４を含む。セグメント化デバイス１４は、例として、通信リンク１８Ａによって画像ソース１６に結合される。例示的な一実施形態において、セグメント化デバイス１４は、例として、通信リンク１８Ａを介して画像ソース１６から画像ファイルを受信する。例示的な画像ファイルは、デジタル写真、医療用画像からのデジタル画像ファイル、マシンビジョン画像ファイル、動画ファイル、および複数のピクセルを有する任意の他の適した画像を含むが、それらに限定されない。セグメント化デバイス１４は、例として、通信リンク１８Ｂによって受信デバイス２０に結合される。例示的な一実施形態において、セグメント化デバイス１４は通信リンク１８Ｂを介して画像ファイルの通信を行う。いくつかの実施形態において、通信リンク１８Ａ、１８Ｂは互いに独立した有線接続または無線接続であるか、あるいは有線および無線ネットワークの組み合わせである。いくつかの実施形態において、通信リンク１８Ａ、１８Ｂの一方または両方がネットワークである。例示的なネットワークは、ショートメッセージングサービス（ＳＭＳ）、ローカルエリアネットワーク（ＬＡＮ）、無線ＬＡＮ（ＷＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、インターネット、Ｐ２Ｐネットワーク、または他の適したネットワークなどの、任意の数の異なるタイプの通信ネットワークを含む。ネットワークは複数のネットワークの組み合わせを含んでもよい。
【００５４】
本明細書において図示されないが、受信デバイス２０は、セグメント化デバイス１４を参照して本明細書において説明された構成要素、示されないか説明されない構成要素、および／またはこれらの組み合わせの任意の組み合わせを含み得る。実施形態において、セグメント化デバイス１４は、２０１２年３月２３日に出願された、"ＶＩＤＥＯ  ＥＮＣＯＤＩＮＧ  ＳＹＳＴＥＭ  ＡＮＤ  ＭＥＴＨＯＤ"と題された米国特許出願第１３／４２８，７０７号、および／または、２０１３年４月２３日に出願された、"ＭＡＣＲＯＢＬＯＣＫ  ＰＡＲＴＩＴＩＯＮＩＮＧ  ＡＮＤ  ＭＯＴＩＯＮ  ＥＳＴＩＭＡＴＩＯＮ  ＵＳＩＮＧ  ＯＢＪＥＣＴ  ＡＮＡＬＹＳＩＳ  ＦＯＲ  ＶＩＤＥＯ  ＣＯＭＰＲＥＳＳＩＯＮ"と題された米国特許出願第１３／８６８，７４９号において説明されている、符号化コンピューティングシステムを含み得るか、それに類似し得、それらのそれぞれの開示が参照によって明示的に本明細書に組み込まれる。
【００５５】
例示的なセグメント化デバイス１４が図３において概略的に図示される。単一のデバイスとして言及されているが、いくつかの実施形態において、セグメント化デバイス１４は、複数のバーチャルマシン、および／または同様のものの中でインスタンス化された、複数のコンピューティングデバイスにわたって分散されている複数のインスタンスにおいて実行され得る。セグメント化デバイス１４はプロセッサ２２を含む。プロセッサ２２は１または複数のプロセッサを含み得る。プロセッサ２２はメモリ２４に格納された様々なプログラム構成要素を実行し、それらは受信された画像ファイルの画像データ２６の符号化を促進し得る。図３に示されるように、セグメント化デバイス１４はさらに、例えば、モニタまたは他の適したディスプレイ３０、キーボード、プリンタ、ディスクドライブ、ユニバーサルシリアルバス（ＵＳＢ）ポート、スピーカ、ポインタデバイス、トラックボール、ボタン、スイッチ、タッチスクリーン、および／または、他の適したＩ／Ｏデバイスなどの、少なくとも１つの入力／出力デバイス２８を含む。
【００５６】
画像セグメント化システム１２および／またはセグメント化デバイス１４の様々な構成要素が、１つ又は複数のコンピューティングデバイス上で実行され得る。コンピューティングデバイスは、本発明の実施形態を実装するのに適する任意のタイプのコンピューティングデバイスを含んでよい。コンピューティングデバイスの例として、コンピューティングデバイスが本明細書に開示されたように構成されている条件で、「ワークステーション」、「サーバ」、「ラップトップ」、「デスクトップ」、「タブレットコンピュータ」、「ハンドヘルドデバイス」、および同様のものなどの、専用コンピューティングデバイスまたは汎用コンピューティングデバイスが挙げられる。例えば、実施形態によれば、セグメント化デバイス１４は、特別に設計されたコンピューティングデバイス（例えば、専用のビデオ符号化デバイス）、および／または、本明細書において論じられたシステム構成要素の実施形態の態様をプロセッサ２２に実装させる、および／または、本明細書において論じられた方法および手順の実施形態の態様をプロセッサ２２に実行させる、メモリ２４に格納されたコンピュータ実行可能命令を実行するように構成された汎用コンピューティングデバイス（例えば、デスクトップコンピュータ、ラップトップ、モバイルデバイス、および／または同様のもの）であり得るか、それを含み得る。
【００５７】
実施形態において、コンピューティングデバイスは、以下のデバイス、すなわち、プロセッサ、メモリ、入力／出力（Ｉ／Ｏ）ポート、Ｉ／Ｏ構成要素、および電源を、直接的および／または間接的に結合するバスを含む。任意の数の追加的な構成要素、異なる構成要素、および／または構成要素の組み合わせもコンピューティングデバイスに含まれてよい。バスは、１つ又は複数のバスであり得るもの（例えば、アドレスバス、データバス、またはそれらの組み合わせなど）を表す。同様に、実施形態において、コンピューティングデバイスは、いくつかのプロセッサ、いくつかのメモリ構成要素、いくつかのＩ／Ｏポート、いくつかのＩ／Ｏ構成要素、および／またはいくつかの電源を含み得る。さらに、任意の数のこれらの構成要素、またはそれらの組み合わせが、いくつかのコンピューティングデバイスにわたって分散させられ、および／または重複され得る。
【００５８】
実施形態において、メモリ２４は揮発性のメモリ、および／または不揮発性のメモリの形態のコンピュータ可読媒体を含み、メモリ２４は取り外し可能、取り外し不可能、またはそれらの組み合わせであり得る。媒体の例として、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、電子的に消去可能なプログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、光学若しくはホログラフィック媒体、磁気カセット、磁気テープ、磁気ディスクストレージ、若しくは他の磁気ストレージデバイス、データ送信、または、情報を格納するように使用可能であり、例えば量子状態メモリおよび同様のものなどのコンピューティングデバイスによってアクセス可能な任意の他の媒体が挙げられる。メモリ２４はプロセッサ２２にローカルであってよく、および／または、メモリ２４はプロセッサ２２からリモートであってネットワークを介してアクセス可能であってよい。実施形態において、メモリ２４は、本明細書において論じられたシステム構成要素の実施形態の態様をプロセッサ２２に実装させる、および／または、本明細書において論じられた方法および手順の実施形態の態様をプロセッサ２２に実行させる、コンピュータ実行可能命令を格納する。コンピュータ実行可能命令は、例えば、コンピュータコード、機械が使用可能な命令、および同様のもの、例えば、コンピューティングデバイスと関連づけられた１つ又は複数のプロセッサによって実行されることが可能なプログラム構成要素などを含み得る。そのようなプログラム構成要素の例として、セグメント化モジュール３２、比較モジュール３６、およびフィルタモジュール３８が挙げられる。本明細書において期待される機能のいくつかの、または全ては、ハードウェアおよび／またはファームウェアにおいても、または、代替としてハードウェアおよび／またはファームウェアにおいて、実装され得る。
【００５９】
実施形態において、プログラム構成要素の１つ又は複数が、画像の適切なセグメント化を決定することを助けるべく、トレーニング情報３３を利用する。例えば、トレーニング情報は異なるｋ値でセグメント化された複数の画像を含み得る。トレーニング画像は、所与の画像タイプ（医療用画像、動画、風景画像など）に関してセグメント化良好なセグメント化に対応するｋ値を決定すべく使用され得る。本明細書にさらに詳細に述べられるように、トレーニング画像からのこのｋ値は、セグメント化デバイス１４によるさらなる画像の適切なセグメント化の自動的な決定を助けるべく使用され得る。一実施形態において、トレーニング情報３３は様々な異なる画像タイプに関する情報を含む。実施形態において、トレーニング情報は、トレーニング画像のセット、それらのセグメント化、および人間の観察者によるこれらのセグメント化の分類から導出されたセグメント化クオリティモデルを含む。実施形態において、トレーニング画像およびそれらのセグメント化は保持されない。
【００６０】
実施形態において、以下にさらに詳細に説明するように、セグメント化モジュール３２は画像を複数のセグメントにセグメント化するように構成される。セグメントはセグメント化された画像データ３４としてメモリ２４に格納され得る。セグメントデータは画像の複数のピクセルを含む。セグメント画像データ３４はまた、図９Ｂおよび図１０Ｂにおいて図示されるスケールマップなどの、画像データ３４と関連づけられた１つ又は複数のパラメータを備え得る。セグメントは、例えば、オブジェクト、グループ、スライス、タイル、および／または、同様のものを含み得る。セグメント化モジュール３２は、当技術分野で知られる任意の数の様々な自動画像セグメント化方法を用いてよい。実施形態において、セグメント化モジュール３２は画像を類似の色およびテクスチャを有するセグメントに細分すべく、ピクセルの画像の色およびピクセルの対応する階調度を使用し得る。画像セグメント化技術の２つの例として、ピクセル連結性グラフのウォーターシェッドアルゴリズムおよび最適カット区画化が挙げられる。例えば、セグメント化モジュール３２は最適カット区画化に関するビデオフレーム上のエッジを検出し、得られるピクセル連結性グラフの最適カット区画化を用いてセグメントを生成すべく、Ｃａｎｎｙエッジ検出を使用し得る。
【００６１】
実施形態において、以下にさらに詳細に説明されるように、比較モジュール３６は算出された値または値の対を比較し得る。例えば、比較モジュール３６は上の方程式（２）におけるパラメータｋ、および／または以下の方程式（４）におけるＵＷを、図５Ａに示されるものなどの、基準値または値の対と比較し得る。
【００６２】
実施形態において、フィルタモジュール３８は、以下にさらに詳細に説明するように、画像データ２６またはセグメント化された画像データ３４にフィルタを適用し得る。例えば、フィルタモジュール３８は、図９Ｂおよび図１０Ｂに示されるものなどの、隣接するサブ画像の間のシャープな推移を回避すべく、画像のスケールマップにローパスフィルタを適用し得る。
【００６３】
図３の例示的な実施形態において、セグメント化デバイス１４は、画像データ２６を符号化して、符号化された画像データ４２を生成するように構成されるエンコーダ４０を含む。実施形態において、画像データ２６はセグメント化され、かつ符号化される。図３に図示されるように、セグメント化デバイス１４はさらに通信モジュール４４を含む。いくつかの実施形態において、通信モジュール４４は、画像ソース１６とセグメント化デバイス１４との間の、画像データ２６の通信を促進し得る。いくつかの実施形態において、通信モジュール４４は、セグメント化デバイス１４と受信デバイス２０との間の、セグメント化された画像データ３４および／または符号化された画像データ４２の通信を促進し得る。
【００６４】
図４Ａは、σ＝０．５、最小寸法＝５、ｋ値が１から１０，０００までの範囲である、ＦｅｌｚｅｎｓｚｗａｌｂおよびＨｕｔｔｅｎｌｏｃｈｅｒのグラフベースの手法によってセグメント化された１６０×１２０ピクセルのブロックを示す、図１Ａの部分Ａを図示する。１から５０の比較的低いｋ値（示される２０の画像のうち最初の８つ）に関して、目視検査で一般的にセグメント化過剰が発生し、したがって、このことは、知覚的に重要な領域であるエリアがセグメントのセットに誤って分割されたことを意味する。３５０から１０，０００にわたる比較的高いｋ値（示される２０の画像のうち最後の９つ）に関して、セグメント化マップに存在するセグメントはあまりにも少なく、それはセグメント化不足の結果である。７５から２００のｋ値（示される２０の画像のうち残りの３つ）に関して、セグメント化は一般的に良好に見える。これらの結果は図４Ｂに示される。
【００６５】
例えば定量的指標などの類似性関数が、セグメント化過程によってキャプチャされる元の画像、ｉｍｇに含まれる情報量を表すように定義され得る。実施形態において、例えば、カラー画像は、各ピクセルのＲＧＢ値を、対応するセグメント、ｓｅｇのピクセルの平均ＲＧＢ値に置き換えることによって定義され得る。各カラーチャネルに関して、ｉｍｇとｓｅｇとの間の対称不確実性Ｕは、これによりその開示がそれらの全体が参照によって本明細書に組み込まれる、Ｗｉｔｔｅｎ，Ｉａｎ  Ｈ．＆Ｆｒａｎｋ，Ｅｉｂｅ，Ｄａｔａ  Ｍｉｎｉｎｇ：Ｐｒａｃｔｉｃａｌ  Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ  Ｔｏｏｌｓ  ａｎｄ  Ｔｅｃｈｎｉｑｕｅｓ．  Ｍｏｒｇａｎ  Ｋａｕｆｍａｎｎ，Ａｍｓｔｅｒｄａｍ，ＩＳＢＮ９７８−０−１２−３７４８５６−０においてＷｉｔｔｅｎ＆Ｆｒａｎｋによって与えられる、方程式（３）によって算出され得る。
【数３】
2017531867.tif 000005
ここで、Ｓｉｊは画像ｊに関するｉ番目のチャネルの、ビットにおけるシャノンエントロピーを示し、Ｉ（ｉ，ｊ）は、ビットにおける、画像ｉおよびｊの相互情報量である。
【００６６】
対称不確実性Ｕは、各カラーチャネルに関するｉｍｇとｓｅｇとの間に占められるビットの割合を示す。セグメント化マップが元のカラー画像チャネルと相関しない場合、Ｕの値はゼロに近づく傾向があり、他方では、セグメント化マップがｉｍｇの対応するチャネルの任意の細かい詳細を表す場合、Ｕの値は１に近くなる。
【００６７】
異なる画像は各カラーチャネルにおいて異なる量の情報を有する。例えば、図１Ａのカラー画像は、緑のチャネルにおいて大きな情報量を含む。重みづけされた不確実性指標であるＵＷは方程式（４）のように定義され得る。
【数４】
2017531867.tif 000006
ここで、Ｕは各チャネルに関して方程式（３）のように決定され、Ｓは各チャネルに関するシャノンエントロピーである。
【００６８】
指標ＵＷは０と１との間に含まれ、セグメント化クオリティと相関する。図４Ｂを参照すると、重みづけされた不確実性指標ＵＷは、図１Ａに図示された１６０×１２０ピクセルのブロックのそれぞれに関して、ｌｏｇ（ｋ）の関数としてプロットされる。
［セグメント化クオリティモデル］
【００６９】
典型的な画像に関して、ｋが増加するにつれてセグメント化過剰からセグメント化不足へと進み、ＵＷは減少するであろう。特定のセグメント化クオリティモデルに関して、代表的な解像度の代表的なトレーニング画像のセットが選択され得る。例えば、図４Ｂに図示された曲線は、セグメントの数が、所与の解像度の図１Ａの画像の部分Ａのセグメント化に関するｋに応じて、どのように変化するかを示す。図５Ａおよび図５Ｂにあるような異なるｋ値でのそれらのセグメント化クオリティの、複数のトレーニング画像および人間による分類が与えられると、グラフ上のセグメント化良好の点を通る直線のフィッティングを決定することによって、図５Ａおよび図５Ｂにおいては８０によって行われたようなクオリティモデルが導かれ得る。複数の解像度に関して単一のクオリティモデルが使用され得、または、各解像度に関してクオリティモデルが生成され得る。解像度が３２０×２４０および６４０×４８０の、花、肖像、風景およびスポーツ環境画像を含む１２の画像のセットが、次いで、一実施形態におけるセグメント化クオリティのトレーニングセットとみなされる。実施形態によれば、各画像は１６０×１２０ピクセルのブロックに分割され、各ブロックは、σ＝０．５、最小寸法＝５、および、ｋ値が１から１０，０００にわたる、ＦｅｌｚｅｎｓｚｗａｌｂおよびＨｕｔｔｅｎｌｏｃｈｅｒのグラフベースのアルゴリズムによってセグメント化される。各セグメント化されたブロックは、ディスプレイ３０によって表示され、Ｉ／Ｏデバイス２８を通じて人間の観察者によって、セグメント化過剰、セグメント化良好、またはセグメント化不足として分類される。重みづけされた不確実性指標ＵＷは、方程式（４）によってセグメント化された各ブロックに関して決定される。
【００７０】
結果は図５Ａおよび図５Ｂに示される。図５Ａおよび図５Ｂに図示されるように、単一のｋ値またはｋ値の範囲は、所与の解像度においてセグメント化良好なブロックに対応しない。しかしながら、（ｌｏｇ（ｋ），ＵＷ）平面におけるエリアがこの目的のために定義され得る。
【００７１】
考察される各ブロックに関して、（ｌｏｇ（ｋ），ＵＷ）空間内にＳ型の曲線ＵＷ＝ＵＷ［ｌｏｇ（ｋ）］が見つかる。図５Ａおよび図５Ｂにおいて示されるように、比較的小さいｋ値に関して、ＵＷはほぼ一定のままであり、人間の観察者は一般的に、これらのデータをセグメント化過剰として分類する。ｋが増加するにつれて、ＵＷは急速に減少し、人間の観察者は一般的に、このデータをセグメント化良好として分類する。比較的高いｋ値に関して、人間の観察者は一般的に、このデータをセグメント化不足として分類し、ＵＷは別のほぼ一定の値に近くなる。
【００７２】
各トレーニング画像および入力された各ｋ値に関して、人間の監修者によって、セグメント化アルゴリズムの出力はセグメント化不足、セグメント化良好、またはセグメント化過剰に分類された。実施形態において、直線クオリティモデルが格納された。他の実施形態において、全てのトレーニング結果が格納され得、クオリティモデルが必要に応じて導かれ得る。実施形態において、セグメント化過剰、セグメント化不足、またはセグメント化良好として（ｋ，ｎｕｍｓｅｇｍｅｎｔｓ（ｋ））という順序づけられた対の分類を可能にする何らかの形態の分類手段が格納され得る。（ｌｏｇ（ｋ），ＵＷ）平面は、セグメント化結果の３つのクオリティに対応する３つの異なる領域に細分される。方程式（５）が、セグメント化不足領域とセグメント化良好領域とを区切る線ＵＷ＝ｍ・ｌｏｇ（ｋ）＋ｂの（ｍ，ｂ）パラメータを推定すべく利用された。
【数５】
2017531867.tif 000007
ここでＮＵＳおよびＮＷＥはそれぞれ、セグメント化不足の点の数およびセグメント化良好の点の数であり、δＵＳ，ｉおよびδＷＥ，ｉは、点が正しく分類されている場合（すなわち、例えば、任意のセグメント化不足の点が直線ＵＷ＝ｍ・ｌｏｇ（ｋ）＋ｂの下にある場合）は０であり、さもなければ１である。
【００７３】
方程式（６）が、セグメント化過剰領域とセグメント化良好領域とを分割する線ＵＷ＝ｍ・ｌｏｇ（ｋ）＋ｂのパラメータ（ｍ，ｂ）を推定すべく利用された。
【数６】
2017531867.tif 000008
ここで、ＮＯＳおよびＮＷＥはそれぞれ、セグメント化過剰の点の数およびセグメント化良好の点の数であり、δＯＳ，ｉおよびδＷＥ，ｉは、点が正しく分類されている場合（すなわち、例えば、任意のセグメント化良好の点が直線ＵＷ＝ｍ・ｌｏｇ（ｋ）＋ｂの下にある場合）は０であり、さもなければ１である。
【００７４】
方程式（５）および（６）の値は数値的アルゴリズムを用いて最小にされる。実施形態において、シンプレックス法が使用される。実際には、方程式（５）および方程式（６）のそれぞれのコスト関数は、誤って分類される全ての点の、直線ＵＷ＝ｍ・ｌｏｇ（ｋ）＋ｂからの距離の合計である。（ｌｏｇ（ｋ），ＵＷ）を分割する２つの線の推定は、独立して実行され得る。
【００７５】
セグメント化不足およびセグメント化良好を分割する線と、セグメント化良好およびセグメント化過剰を分割する線との間の平均の線が、（ｌｏｇ（ｋ），ＵＷ）平面のセグメント化の最適な線８０と想定された。（ｌｏｇ（ｋ），ＵＷ）平面において、Ｓのような形の典型的なＵＷ＝ＵＷ［ｌｏｇ（ｋ）］曲線が与えられると、セグメント化に関して最適な線とＵＷ＝ＵＷ［ｌｏｇ（ｋ）］曲線の間の交差の点が一般的に特定され得る。実施形態において、この点の特定は、所与の１６０×１２０画像に関する最適なｋ値を与える。
［最適なｋの特定］
【００７６】
次に図６を参照して、ｋ値を決定する例示的な方法１０２が、画像に関して提供される。上記で導かれたセグメント化に最適な線、ｍ・ｌｏｇ（ｋ）＋ｂが、人間の観察者によって良好なセグメント化と合理的に知覚され得る（ｌｏｇ（ｋ），ＵＷ）における点のセットを構成する。その結果として、１６０×１２０ピクセルのサイズのサブ画像が与えられると、最適なｋ値が、セグメント化の重みづけされた対称不確実性ＵＷがｍ・ｌｏｇ（ｋ）＋ｂに近いセグメント化を引き起こすｋ値として定義され得る。言い換えれば、最適なｋ値は、引き起こされるセグメント化の対称不確実性ＵＷと、例えばｍ・ｌｏｇ（ｋ）＋ｂなどの線形関係の部分との差が最小になるｋ値を含み得る。
【００７７】
最適なｋ値は、図７Ａおよび図７Ｂに図示されたような二分法１０２を通じて反復的に算出され得る。方法１０２（図６）の実施形態の最初の５回の反復の例示的な実装の結果は、図７Ａおよび図７Ｂにおいて提供される。ブロック１０４において、例として、複数回図７Ｂにおいて示される画像が提供される。画像は複数のサブ画像に分割される。図６の残りは、画像の各サブ画像に関して実行される。ブロック１０６に示されるように、反復ｉ＝０において、ｋＬｅｆｔ＝１およびｋＲｉｇｈｔ＝１０，０００に関するサブ画像がセグメント化される。実施形態において、他のｋ値が利用され得る。図７Ａに図示されるように、この例において、ｋＬｅｆｔ＝１およびｋＲｉｇｈｔ＝１０，０００のそれぞれに関して、ＵＷ，ＬｅｆｔおよびＵＷ，Ｒｉｇｈｔの対応する値が算出される。図７Ｂは、反復ｉ＝０において、ｋＬｅｆｔ＝１（図７Ｂの左上方、セグメント化過剰）およびｋＲｉｇｈｔ＝１０，０００（図７Ｂの右上方、セグメント化不足）に関する例示的な画像（全てサブ画像）のセグメント化を示す。
【００７８】
ブロック１０８において、ｉの値は第１の反復に関して増加させられる。ブロック１１０において、平均対数値（ｋ＝ｅｘｐ｛［ｌｏｇ（ｋＬｅｆｔ）＋ｌｏｇ（ｋＲｉｇｈｔ）］／２｝）が使用され、新しいｋ値を決定する。
【００７９】
ブロック１１２において、現在の反復ｉが反復の最大数と比較される。いくつかの例示的な実施形態において、反復の最大数は、５または任意の他の整数などの予め定められた整数であり、それは例えば、計算の負荷と画像セグメント化クオリティとの間のトレードオフを最適化するように選択され得る。他の例示的な実施形態において、反復の最大数は、ｋおよび／またはＵＷの、連続的な反復において決定される値の間の差に基づく。反復の最大数に達した場合、ブロック１１０において決定されたｋ値は、ブロック１１４において示されるように、セグメント化に関する最終的なｋ値として選択される。
【００８０】
ブロック１１２において反復の最大数にまだ達しない場合、ブロック１１６において、画像がセグメント化され、ブロック１１０で決定されたｋ値に関して対応するＵＷが算出される。図７Ａに示されるように、ｋの第１の反復は１００であり、第１の反復において算出されたＵＷは０．２８である。ｋの第１の反復で得られたセグメント化の例が図７Ｂで示される（第２の列、左画像）。
【００８１】
ブロック１１８において、決定されたｋｉ値およびＵＷ値が（ｌｏｇ  ｋｉ，ＵＷ）平面における最適な線と比較される。例えば、図７Ａに示されるように、第１の反復において、（ｌｏｇ  ｋｉ，ＵＷ）は最適な線より上に位置する。ブロック１２２でｋｒｉｇｈｔの値がｋｉに置き換えられ、方法１０２はブロック１０８に戻る。対照的に、第２の反復において、ｋ値＝１０００（図７Ｂの第２の列、右画像）、ＵＷ＝０．１７は（ｌｏｇ  ｋｉ，ＵＷ）平面における最適な線より下にある。第２の反復において、ブロック１２０でｋｌｅｆｔの値がｋｉに置き換えられ、方法１０２はブロック１０８に戻る。
【００８２】
図７Ｂの画像に関する、方法１０２の実施形態の例示的な結果が図７Ａに示される。０および１０，０００である初期のｋ値が、それぞれ強いセグメント化過剰およびセグメント化不足をもたらしたが、何回かの反復の後、図７Ｂの画像はセグメント化良好のように見え、（ｌｏｇ（ｋ），ＵＷ）空間において対応する点は、図７Ａに示されるように、最適なセグメント化線の近くにある。反復ｉ＝５において、ｋの値１３３．３５２１とＵＷの値０．２７は、最適なセグメント化線（図７Ａ）の非常に近くにあり、画像はセグメント化良好のように見える（図７Ｂ、一番下の画像）。
【００８３】
１６０×１２０ピクセルのサブ画像が図７Ａおよび図７Ｂにおいて考察されたが、セグメント化クオリティモデルのパラメータは画像解像度によって変化する。加えて、図７Ａに示された解像度３２０×２４０に関する最適なセグメント化線は、図７Ｂに示された解像度６４０×４８０に関する最適なセグメント化線よりも下にある。実施形態において、より高い解像度では、一般的に、より詳細なものが画像中に見え、したがって、より高いセグメント化クオリティ（すなわち、より高いＵＷ）を示すと考えられている。実施形態において、他の画像解像度へのセグメント化クオリティモデルの適用は、したがって、セグメント化された１６０×１２０ピクセルのサブ画像を所与の解像度において再分類することを示し得る。いくつかの実施形態において、知られている画像またはサブ画像の解像度の内挿または外挿が使用される。
［ｋの適応的選択］
【００８４】
方法１０２（図６）は、図７Ａおよび図７Ｂに図示されるような１６０×１２０ピクセルのサブ画像に関する最適なｋ値を推定するように使用される。実施形態において、解像度３２０×２４０または６４０×４８０ピクセルのフル画像をセグメント化すべく、隣接するサブ画像のセットが考察され得る。いくつかの実施形態において、サブ画像の境界にわたるセグメントが複数のセグメントに分割されることがあるので、各サブ画像の独立したセグメント化を組み合わせることは、満足なセグメント化マップを生成しないことがある。
【００８５】
次に図８を参照して、変更された方法２０２が示される。方法２０２は適応的なスケール係数ｋ（ｘ，ｙ）を使用し、方程式（２）における閾値関数τ（Ｃ）＝ｋ／｜Ｃ｜はτ（Ｃ，ｘ，ｙ）＝ｋ（ｘ，ｙ）／｜Ｃ｜になる。ステップ２０４において、画像が提供される。例示的な画像が図９Ａおよび図１０Ａにおいて示される。各画像に関して、ブロック２０６に示されるように、画像はすべての画像ピクセルについてｋ（ｘ，ｙ）＝１およびｋ＝（ｘ，ｙ）＝１０，０００を用いてセグメント化される。
【００８６】
ブロック２０８に示されるように、各画像はその後、複数のサブ画像に分割される。例として、各サブ画像は１６０×１２０ピクセルであり得る。ブロック２１０において、各サブ画像に関して、他のサブ画像から独立して、各サブ画像に関するｋ値が決定される。いくつかの実施形態において、図６に関して上で説明されたように、ｋ値は方法１０２を用いてサブ画像に関して決定される。ブロック２１４において、ブロック２１２で決定されたｋ値は、サブ画像の全てのピクセルに割り当てられる。
【００８７】
ブロック２１６において、画像に関するｋ（ｘ，ｙ）のスケールマップは、画像にわたってｋ（ｘ，ｙ）がシャープに推移することを回避すべく、ローパスフィルタを通じて平滑化される。
【００８８】
例示的な方法２０２の結果が図９Ａ〜図９Ｄおよび図１０Ａ〜図１０Ｄに図示される。図９Ａおよび図１０Ａは、図５Ｂのセグメント化クオリティモデルの推定に使用されるデータセットからとられた２つの例示的な６４０×４８０ピクセルの画像である。ブロック２１６におけるローパスフィルタを通した平滑化後の、各画像に関するｋ（ｘ，ｙ）スケールマップが図９Ｂおよび図１０Ｂに示され、対応するセグメント化が図９Ｃおよび図１０Ｃに示される。
【００８９】
図９Ｄおよび図１０Ｄは、σ＝０．５、最小寸法＝５における、ＦｅｌｚｅｎｓｚｗａｌｂおよびＨｕｔｔｅｎｌｏｃｈｅｒのグラフベースの手法によって達成されたセグメント化を示す。ｋ値は、図９Ｃおよび図９Ｃと同等なセグメントの数を保証するように経験的に設定される。図９Ｄに関して、ｋは１１５に設定され、図１０Ｄに関して、ｋは１８７に設定される。
【００９０】
図９ＤにおけるＦｅｌｚｅｎｓｚｗａｌｂ  ａｎｄ  Ｈｕｔｔｅｎｌｏｃｈｅｒの方法と比較した場合、図９Ｂおよび図９Ｃは、本方法は画像内の人物によって占められるエリアにおいては大きなセグメント（高いｋ値）を、および、多数の小さい葉が存在する画像の左上方のエリアにおいてはより細かいセグメント化（低いｋ値）を優先することを示す。
【００９１】
図１０Ｂおよび図１０Ｃは、図１０Ｄに示されるＦｅｌｚｅｎｓｚｗａｌｂ  ａｎｄ  Ｈｕｔｔｅｎｌｏｃｈｅｒの方法と比較した場合、空および超高層ビル群の一様なエリア内のより大きなセグメントを優先し得、例えば空のエリアにおけるセグメント化過剰を阻止し得る本方法の実施形態を示す。他の実施形態において、オーバーラップする方形型領域が使用され得る。
［後続の画像に関するｋの推定］
【００９２】
いくつかの実施形態において、第２の画像のセグメント化は第１の画像のセグメント化に基づいて推定され得る。例示的な実施形態はビデオ処理またはビデオ符号化を含み、画像の隣接するフレームは高度に類似し得るか、または高度に相関し得る。第２の画像をセグメント化する方法３０２が図１１に提供される。ブロック３０４において、第１の画像が提供される。ブロック３０６において、第１の画像は第１の画像を複数のサブ画像に分割することによってセグメント化され、ブロック３０８において、各サブ画像に関するｋ値を決定し、ブロック３１０において、決定されたｋ値に基づいて画像をセグメント化する。いくつかの実施形態において、ブロック３０６−３１０における第１の画像のセグメント化は方法１０２（図６）または方法２０２（図８）を用いて実行される。ブロック３１２において、第２の画像が提供される。いくつかの実施形態において、第１の画像および第２の画像は連続する動画である。第２の画像はブロック３１４において複数のサブ画像に分割される。いくつかの実施形態において、ブロック３１４における第２の画像の複数のサブ画像のうち１つ又は複数は、サイズおよび／または位置に関して、ブロック３０６における第１の画像の複数のサブ画像のうち１つ又は複数に対応する。ブロック３１６において、ブロック３０８で決定された第１の画像の各サブ画像に関するｋ値は、第２の画像の各対応するサブ画像のｋ値に関する最初の推定値として提供される。
【００９３】
他の実施形態において、図１１に示されるように、ブロック３１８で第２の画像のｋ値が最適化され、最初の反復として第１の画像から推定されたｋ値が用いられ、その後、ブロック３４０において第２の画像をセグメント化する。他の実施形態において、第２の画像は、ブロック３１８の最初の最適化を行わず、ブロック３４０において推定されたｋ値に基づいてセグメント化される。いくつかの実施形態において、ブロック３１６−３４０の第２の画像のセグメント化は、方法１０２（図６）または方法２０２（図８）を用いて実行される。
【００９４】
ビデオエンコーディングのような用途などのいくつかの実施形態において、動画のセグメント化の計算のコストが著しく減少し得ることにも気づき得る。一意的なフレームに適用される場合、提案される方法はｋの全範囲を考慮して各サブ画像に関する最適なｋ値の追求を実行する。ビデオエンコーディング用途に関して、隣接するフレームはビデオにおいて高度に相関するので、同一のサブ画像および／または対応サブ画像に関して前のフレームで得られる推定値を考慮することによって、ｋの範囲は著しく狭くなり得る。実施形態において、ｋ値は特定のフレーム間隔および／またはシーン変更においてのみ更新され得る。
［追加のセグメント化方法］
【００９５】
いくつかの実施形態において、セグメント化アルゴリズムを自動的に最適化する上記方法は、エッジ閾値処理およびＹＵＶ色空間における動作に基づいて実行され、類似の結果を達成する。複数の入力パラメータがセグメント化アルゴリズムによって使用される実施形態において、類似のセグメント化クオリティモデルが使用されるが、図５Ａ、図５Ｂおよび図７Ａに示された最適なセグメント化線は、平面または超平面に変更されて置き換えられる。
【００９６】
この発明を例示的な設計に関して説明してきたが、本発明は本開示の精神および範囲内でさらに変更され得る。さらに、この出願は、この発明が関連する当該技術分野において知られていること、または慣習的実務の内に含まれることなどの、本開示からのそのような逸脱を含めることを意図する。
【図１Ａ】
2017531867.tif 000009
【図１Ｂ】
2017531867.tif 000010
【図１Ｃ】
2017531867.tif 000011
【図１Ｄ】
2017531867.tif 000012
【図２】
2017531867.tif 000013
【図３】
2017531867.tif 000014
【図４Ａ】
2017531867.tif 000015
【図４Ｂ】
2017531867.tif 000016
【図５Ａ】
2017531867.tif 000017
【図５Ｂ】
2017531867.tif 000018
【図６】
2017531867.tif 000019
【図７Ａ】
2017531867.tif 000020
【図７Ｂ】
2017531867.tif 000021
【図８】
2017531867.tif 000022
【図９Ａ】
2017531867.tif 000023
【図９Ｂ】
2017531867.tif 000024
【図９Ｃ】
2017531867.tif 000025
【図９Ｄ】
2017531867.tif 000026
【図１０Ａ】
2017531867.tif 000027
【図１０Ｂ】
2017531867.tif 000028
【図１０Ｃ】
2017531867.tif 000029
【図１０Ｄ】
2017531867.tif 000030
【図１１】
2017531867.tif 000031
【国際調査報告】
2017531867.tif 000032
2017531867.tif 000033