(57)【要約】  空間制約を有する統合インタラクティブセグメンテーション方法は、最も一般的なオンライン学習アルゴリズムのうちの幾つかを１つに組み合わせることを利用して、ユーザの所与のマークの近くの有効マスクを定義する空間制約を実装する。加えて、教師あり学習と統計的分析の両方が統合され、互いに補償することができる。予測及びアクティベーションが得られると、ピクセル毎の乗算が行われ、各ピクセルがどれくらいの可能性で前景に属するかを完全に示すようにする。【選択図】      図３
2015518594.tif 000002
【特許請求の範囲】
【請求項１】
デバイスのメモリ内にプログラムされる画像処理方法であって、
（ａ）ユーザ入力を利用して予測のための学習モデルを生成するステップと、
（ｂ）アクティベーションのために統計的分析を利用するステップと、
（ｃ）前記画像処理を局所区域に制限する局所マスクを前記ユーザ入力から定義するステップと、
（ｄ）前記予測及び前記アクティベーションの組み合わせを用いてオブジェクトセグメンテーションを実施するステップと、
を含む、方法。
【請求項２】
ユーザからの入力を受け取るステップを更に含む、請求項１に記載の方法。
【請求項３】
前記入力が、ユーザによる前景及び背景のマーキングを含む、請求項２に記載の方法。
【請求項４】
ピクセル毎の乗算を用いて前記予測と前記アクティベーションを組み合わせるステップを更に含む、請求項１に記載の方法。
【請求項５】
前記予測及び前記アクティベーションからコスト関数を生成するステップを更に含む、請求項１に記載の方法。
【請求項６】
前記コスト関数が、グラフカットにより最適化される、請求項５に記載の方法。
【請求項７】
前記コスト関数が、エッジ検出情報を利用する、請求項５に記載の方法。
【請求項８】
前記オブジェクトセグメンテーションが、画像の前景及び背景を識別することである、請求項１に記載の方法。
【請求項９】
ユーザが前記画像処理の結果に満足するまで、前記（ａ）〜（ｄ）のステップを繰り返すことを更に含む、請求項１に記載の方法。
【請求項１０】
前記局所マスクを定義するための前記ユーザ入力が、囲まれた区域を含む、請求項１に記載の方法。
【請求項１１】
前記デバイスが、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ／モバイルフォン、スマート家電、ゲーム機、デジタルカメラ、デジタルビデオカメラ、カメラ付き携帯、タブレットコンピュータ、ポータブル音楽プレーヤ、ビデオプレーヤ、ＤＶＤライター／プレーヤ、高精細ビデオライター／プレーヤ、テレビ、及び家庭用娯楽機器システムを含む、請求項１に記載の方法。
【請求項１２】
デバイスのメモリ内にプログラムされる画像処理方法であって、
（ａ）ユーザ入力を利用して予測のための学習モデルを生成するステップと、
（ｂ）アクティベーションのために統計的分析を利用するステップと、
（ｃ）前記予測及び前記アクティベーションを組み合わせるステップと、
（ｄ）前記画像処理を局所区域に制限する局所マスクを前記ユーザ入力から定義するステップと、
（ｅ）前記予測及び前記アクティベーションからコスト関数を生成するステップと、
（ｆ）前記予測及び前記アクティベーションの組み合わせを用いてオブジェクトセグメンテーションを実施するステップと、
を含む、方法。
【請求項１３】
ユーザからの入力を受け取るステップを更に含む、請求項１２に記載の方法。
【請求項１４】
前記入力が、ユーザによる前景及び背景のマーキングを含む、請求項１３に記載の方法。
【請求項１５】
前記予測及び前記アクティベーションを組み合わせるステップが、ピクセル毎の乗算を用いることを含む、請求項１２に記載の方法。
【請求項１６】
前記コスト関数が、グラフカットにより最適化される、請求項１２に記載の方法。
【請求項１７】
前記コスト関数が、エッジ検出情報を利用する、請求項１２に記載の方法。
【請求項１８】
前記オブジェクトセグメンテーションが、画像の前景及び背景を識別することである、請求項１２に記載の方法。
【請求項１９】
ユーザが前記画像処理の結果に満足するまで、前記（ａ）〜（ｄ）のステップを繰り返すことを更に含む、請求項１２に記載の方法。
【請求項２０】
前記局所マスクを定義するための前記ユーザ入力が、囲まれた区域を含む、請求項１２に記載の方法。
【請求項２１】
前記デバイスが、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ／モバイルフォン、スマート家電、ゲーム機、デジタルカメラ、デジタルビデオカメラ、カメラ付き携帯、タブレットコンピュータ、ポータブル音楽プレーヤ、ビデオプレーヤ、ＤＶＤライター／プレーヤ、高精細ビデオライター／プレーヤ、テレビ、及び家庭用娯楽機器システムを含む、請求項１２に記載の方法。
【請求項２２】
（ｉ）ユーザ入力を利用して予測のための学習モデルを生成するステップと
（ｉｉ）アクティベーションのために統計的分析を利用するステップと、
（ｉｉｉ）前記画像処理を局所区域に制限する局所マスクを前記ユーザ入力から定義するステップと、
（ｉｖ）前記予測及び前記アクティベーションの組み合わせを用いてオブジェクトセグメンテーションを実施するステップと、
を含む、アプリケーションを保存するためのメモリと、
前記メモリに結合され、前記アプリケーションを処理するよう構成された処理構成要素と、
を備えたデバイス。
【請求項２３】
前記アプリケーションが更に、ユーザからの入力を受け取るステップを含む、請求項２２に記載のデバイス。
【請求項２４】
前記入力が、ユーザによる前景及び背景のマーキングを含む、請求項２３に記載のデバイス。
【請求項２５】
前記アプリケーションが更に、ピクセル毎の乗算を用いて前記予測と前記アクティベーションを組み合わせるステップを含む、請求項２２に記載のデバイス。
【請求項２６】
前記アプリケーションが更に、前記予測及び前記アクティベーションからコスト関数を生成するステップを含む、請求項２２に記載のデバイス。
【請求項２７】
前記コスト関数が、グラフカットにより最適化される、請求項２６に記載のデバイス。
【請求項２８】
前記コスト関数が、エッジ検出情報を利用する、請求項２６に記載のデバイス。
【請求項２９】
前記オブジェクトセグメンテーションが、画像の前景及び背景を識別することである、請求項２２に記載のデバイス。
【請求項３０】
前記アプリケーションが、ユーザが前記画像処理の結果に満足するまで、前記（ｉ）〜（ｉｖ）のステップを繰り返すことを更に含む、請求項２２に記載のデバイス。
【請求項３１】
前記局所マスクを定義するための前記ユーザ入力が、囲まれた区域を含む、請求項２２に記載のデバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理の分野に関する。より具体的には、本発明は、デジタル画像分析のためのインタラクティブセグメンテーションに関する。
【背景技術】
【０００２】
画像セグメンテーションは、デジタル画像を均質な特性（例えば、色、明度、又はテクスチャ）を有する意味のあるセグメントに分割するプロセスを指す。広範囲に及ぶ画像のコンテキスト、品質及び複雑さに起因して、全自動画像セグメンテーションは困難であると思われ、従って、近年では、半自動又はインタラクティブセグメンテーションが包括的に研究されている。その名前が示すように、セグメンテーションアルゴリズムは、１つ又は複数回を介したユーザとの対話によって案内されることになり、前景及び背景のユーザがマークした例から知的に学習し、ユーザがどのようにしてターゲットを定義するかに関する手掛かりを得て、学習したルールを他の非マーク区域に適用することができる。
【０００３】
一般的なインタラクティブセグメンテーションのフレームワークは、ユーザが特定のハード制約を課して、画像ドメイン内の範囲で画像前景及び背景それぞれの完全に一部であるよう特定ピクセルをマークできるようにする、使いやすいユーザインタフェースを含む。マークしたピクセルの総数は、場合によっては数百を超えない程度に極めて制限されるが、これらは、特定のモデルをオンラインでトレーニングする何らかの機械学習アルゴリズムにより利用できるインタラクティブな手掛かりである。その結果、このオンライントレーニングモデルは、予測の目的で残りの画像に適用される。ユーザに対して予測的結果を提示することにより、修正を行う必要がある場合には、２回目の対話が再度与えられることになる。この対話手技は、ユーザが満足するまで繰り返される。図１は、このようなオンラインモデル学習ベースのインタラクションフレームワークを例示している。
【０００４】
３つのモジュールの各々を最適化しようと、包括的研究を行ってきた。
【０００５】
ユーザとの対話に関して、前景及び背景をマークするための緩い入力が求められている。ブラシによって得られるストロークのような緩く位置決めされるマーキングラインの方が、精密な境界定義よりも好ましい。例示的な事例を図２に示しており、ここでは赤（２００）及び青（２０２）のストロークがそれぞれ前景及び背景を示している。
【０００６】
モデル学習に関して、コンピュータビジョンにおいて多くの教師あり学習が研究されており、サポートベクトルマシン（ＳＶＭ）、ブースティング及びその他など、多くの従来的教師あり学習アルゴリズムがこれまでに開発されている。混合正規分布モデル（ＧＭＭ）などの統計ベースのモデリングもまた、多くの文献で頻繁に言及されている。
【０００７】
予測に関して、残りの画像に学習モデルを適用することによって企図される。このような推論手順の出力は、尤度マップであり、前景及び背景として分類されることになる各ピクセルの確率を示している。
【０００８】
モデル学習／予測に対する代替手段は、ユーザがマークした前景及び背景を統合したコスト関数を定義することであり、全ての可能性のあるセグメンテーションの中からこのコスト関数を最適化することによってセグメンテーションが見つけられる。典型的な実施例は、インタラクティブセグメンテーションで広く使用されているグラフカットである。
【発明の概要】
【０００９】
空間制約を有する統合インタラクティブセグメンテーション方法は、最も一般的なオンライン学習アルゴリズムのうちの幾つかを１つに組み合わせることを利用して、ユーザの所与のマークの近くの有効マスクを定義する空間制約を実装する。加えて、教師あり学習と統計的分析の両方が統合され、互いに補償することができる。予測及びアクティベーションが得られると、ピクセル毎の乗算が行われ、各ピクセルがどれくらいの可能性で前景に属するかを完全に示すようにする。
【００１０】
１つの態様において、デバイスのメモリ内にプログラムされる画像処理方法は、ユーザ入力を利用して予測のための学習モデルを生成するステップと、アクティベーションのために統計的分析を利用するステップと、画像処理を局所区域に制限する局所マスクをユーザ入力から定義するステップと、予測及びアクティベーションの組み合わせを用いてオブジェクトセグメンテーションを実施するステップと、を含む。本方法は更に、ユーザからの入力を受け取るステップを含む。入力は、ユーザによる前景及び背景のマーキングを含む。本方法は更に、ピクセル毎の乗算を用いて予測とアクティベーションを組み合わせるステップを含む。本方法は更に、予測及びアクティベーションからコスト関数を生成するステップを含む。コスト関数は、グラフカットにより最適化される。コスト関数は、エッジ検出情報を利用する。オブジェクトセグメンテーションは、画像の前景及び背景を識別することである。本方法は更に、ユーザが画像処理の結果に満足するまで、各ステップを繰り返すことを含む。局所マスクを定義するためのユーザ入力が、囲まれた区域を含む。デバイスは、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ／モバイルフォン、スマート家電、ゲーム機、デジタルカメラ、デジタルビデオカメラ、カメラ付き携帯、タブレットコンピュータ、ポータブル音楽プレーヤ、ビデオプレーヤ、ＤＶＤライター／プレーヤ、高精細ビデオライター／プレーヤ、テレビ、及び家庭用娯楽機器システムを含む。
【００１１】
別の態様において、デバイスのメモリ内にプログラムされる画像処理方法は、ユーザ入力を利用して予測のための学習モデルを生成するステップと、アクティベーションのために統計的分析を利用するステップと、予測及び上記アクティベーションを組み合わせるステップと、画像処理を局所区域に制限する局所マスクをユーザ入力から定義するステップと、予測及びアクティベーションからコスト関数を生成するステップと、予測及びアクティベーションの組み合わせを用いてオブジェクトセグメンテーションを実施するステップと、を含む。本方法は更に、ユーザからの入力を受け取るステップを含む。入力は、ユーザによる前景及び背景のマーキングを含む。予測及びアクティベーションを組み合わせるステップは、ピクセル毎の乗算を用いることを含む。コスト関数が、グラフカットにより最適化される。コスト関数は、エッジ検出情報を利用する。オブジェクトセグメンテーションは、画像の前景及び背景を識別することである。本方法は更に、ユーザが上記画像処理の結果に満足するまで、各ステップを繰り返すことを含む。局所マスクを定義するための上記ユーザ入力は、囲まれた区域を含む。デバイスは、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ／モバイルフォン、スマート家電、ゲーム機、デジタルカメラ、デジタルビデオカメラ、カメラ付き携帯、タブレットコンピュータ、ポータブル音楽プレーヤ、ビデオプレーヤ、ＤＶＤライター／プレーヤ、高精細ビデオライター／プレーヤ、テレビ、及び家庭用娯楽機器システムを含む。
【００１２】
別の態様において、デバイスは、ユーザ入力を利用して予測のための学習モデルを生成するステップと、アクティベーションのために統計的分析を利用するステップと、画像処理を局所区域に制限する局所マスクを前記ユーザ入力から定義するステップと、予測及びアクティベーションの組み合わせを用いてオブジェクトセグメンテーションを実施するステップと、を含む、アプリケーションを保存するためのメモリと、メモリに結合され、アプリケーションを処理するよう構成された処理構成要素と、を備える。アプリケーションが更に、ユーザからの入力を受け取るステップを含む。入力が、ユーザによる前景及び背景のマーキングを含む。アプリケーションが更に、ピクセル毎の乗算を用いて予測とアクティベーションを組み合わせるステップを含む。アプリケーションが更に、予測及びアクティベーションからコスト関数を生成するステップを含む。コスト関数は、グラフカットにより最適化される。コスト関数は、エッジ検出情報を利用する。オブジェクトセグメンテーションは、画像の前景及び背景を識別することである。アプリケーションは、ユーザが画像処理の結果に満足するまで、各ステップを繰り返す。局所マスクを定義するためのユーザ入力が、囲まれた区域を含む。
【図面の簡単な説明】
【００１３】
【図１】一部の実施形態による、インタラクティブセグメンテーションフレームワークを示す図である。
【図２】一部の実施形態による、前景及び背景を示す緩やかに位置付けられたマーキングの一例を示す図である。
【図３】一部の実施形態による、インタラクティブセグメンテーションフレームワークを示す図である。
【図４Ａ】一部の実施形態による、セグメンテーション結果を示す図。
【図４Ｂ】一部の実施形態による、前景及び背景ストローク示す図。
【図４Ｃ】一部の実施形態による、局所的に定められたマスクを示す図。
【図５】一部の実施形態による、空間制約を有する統合インタラクティブセグメンテーションを実施するよう構成された例示的なコンピュータデバイスのブロック図である。
【発明を実施するための形態】
【００１４】
本明細書において、空間制約を有する統合インタラクティブセグメンテーションが記載される。統合とは、最も一般的なオンライン学習アルゴリズムのうちの幾つかを１つに組み合わせることを意味する。他の全ての非マーク領域に対して全体的に学習されたセグメンテーションルールを適用する既存の手法とは異なり、ユーザの所与のマークの近くの有効マスクを定義する空間制約が実装される。
【００１５】
モデル学習段階の間、ユーザ入力は、トレーニングサンプルとして扱われ、或いは、グラフカットがこのコスト関数を最適化して最良セグメンテーションを見つけるコスト関数の定義を助けることができる。この方式は通常、ユーザによってマークされるサンプルの不十分なトレーニングを生じやすい。不十分であるとは、トレーニングのサンプル数が極めて制限されるだけでなく、複雑な画像コンテキストを完全にはカバーできないトレーニングサンプルの多様性があることを意味し、過学習（例えば、非マーク領域に適用されたときの予測性能の劣化）の主要な原因となる。
【００１６】
予測段階の間、学習済みモデルは、残りの画像に適用されて局所的手掛かりにのみ基づいてセグメンテーションを取得する。しかしながら、上述のように、不十分な手掛かりは、局所的に意味があるものに過ぎない可能性がある。局所的に学習されたモデルを画像領域全体に適用したときには、この場合も予測性能の劣化が予想される可能性がある。
【００１７】
本明細書では、不十分なトレーニングサンプル問題を克服するための空間制約を有する統合インタラクティブセグメンテーションアルゴリズムが開示される。
【００１８】
インタラクティブセグメンテーションフレームワークは、図３に示すモジュールを含む。図１と比べて、教師あり学習及び統計的分析の両方を組み合わせることによるオリジナルモデル学習モジュールの確立、ピクセル毎に予測とアクティベーションの乗算によるオリジナルモデル予測モジュールの確立、入力画像を予測／アクティベーションモジュールに送り込む前に、ユーザのストローク近くの局所的有効マスクの定義、予測とアクティベーションの積に基づくコスト関数の定義及び最適化といった、４つの主要な改善項目がある。これらの改善点は、システム全体と統合された場合にこれまでのどの既存のシステムよりも優れている。
【００１９】
図３において、画像が保存される。ステップ３０２において、ユーザは、前景及び背景を異なる色でマーキングするなどにより画像と対話する。ステップ３０４において、教師あり学習を行い、ステップ３０６において、統計的分析が実施される。学習及び統計の結果は、予測３０８及びアクティベーション３１０に送られる。予測及びアクティベーションは、ピクセル毎に乗算され、ステップ３１２において、コスト関数最適化が実施される。ステップ３１４において結果が判定される。ユーザは、ステップ３１６において更新した画像で満足するかどうか尋ねられる。ユーザが満足した場合、ステップ３２２において最終が最終のものとなる。ユーザが満足しなかった場合、プロセスは、ステップ３０２に戻り、ユーザと対話する。一部の実施形態において、ユーザは、ステップ３１８において局所マスクを定義し、予測及びアクティベーションと連動して使用される。一部の実施形態において、ステップ３２０において、エッジ検出が実施され、その結果は、コスト関数最適化と共に使用される。
【００２０】
（教師あり学習と統計的分析の組み合わせ）
これまでの実施構成では、教師あり学習又は統計的分析の何れかを利用しているが、両方を利用していない。ユーザの入力は、過学習を引き起こす可能性があるほど不十分であるので、異なる視点から互いを補正するように両方が使用される。学習されたモデルの各々は、予測及びアクティベーションそれぞれを介して非マーク領域に独立して適用され、次いで、これらの結果が互いに組み合わされる。より具体的には、教師あり学習から学習されたモデル（例えば、ブースティング）は、非マーク領域に適用されて予測を取得し、統計的分析によってパラメータ化されたモデル（例えば、ＧＭＭ）は、同様に非マーク領域でアクティベートされる。
【００２１】
（予測及びアクティベーションのピクセル毎の乗算）
予測又はアクティベーションは、どれくらいの可能性で各ピクセルが前景に属するかを示す確率マップである。ピクセル毎の乗算は、これら２つの確率マップを共に組み合わせるのに適用することができる。例えば、ロケーション（ｘ，ｙ）でのピクセルにおいて、予測は、８０％の確率で前景であるとし、他方、アクティベーションでは前景である確率は５０％しか示さないとすれば、両方のモデルによれば、このピクセルが前景に属する全体の確率は４０％（８０％×５０％で）である。
【００２２】
（ユーザの入力近くの有効マスクの定義付け）
上述のように、ユーザの入力は、特にユーザが大きなサイズの画像に対して作業している場合には局所的に意味があり、ユーザにとっての主題は、満足していない一部の局所区域を補正することである。例えば、カメラマンの画像に特定のセグメンテーションアルゴリズムを適用することで、最初に、図４Ａに示すセグメンテーション結果を得ることができる。結果を評価した後、ユーザは、カメラマンのコート及び髪の毛には満足できるが、当初見つからなかったカメラマンの顔の一部の局所的詳細部を補正したいと考える。従って、図４Ｂに示す緑（４００）と青（４０２）のストロークをマークし、カメラマンの顔もセグメンテーションの一部として含めるべきであることを示し、ここで緑（４００）と青（４０２）のストロークは、それぞれ前景及び背景に相当する。しかしながら、モデルが緑及び青ストロークに基づいて単独でトレーニングされ、局所的にトレーニングされたモデルが全体画像に適用される場合には、カメラマンの顔の画像強度が周囲の空又は背後の建物の画像強度と極めて類似しており、最終のセグメンテーション結果は、同じ画像特性を有する他の物体を誤って含める可能性が極めて高いことが明らかになるであろう。
【００２３】
従って、有効マスクは、図４Ｃで矩形４０４により示されるように、包括的であるが、ユーザが指定した前景／背景ストロークから離れずに局所領域内に空間的に閉じ込められて定義される。このような局所マスクを定義することで、ユーザの概念に最も近い領域であるので、所与のストロークが予測／アクティベーションにとって十分であることを保証することができる。残りの画像については、追加のストロークが与えられない限り画像は損なわれないままである。加えて、このような局所マスク内で作業は、特にユーザがセグメンテーション結果の大部分に満足した場合、計算時間を有意に低減することができる。
【００２４】
（予測及びアクティベーションの乗算に基づくコスト関数の定義付け及び最適化）
上述のように、コスト関数最適化は、画像セグメンテーション作業における教師あり学習の代替手段であり、セグメントは、全ての可能性のあるセグメンテーションの中からこのコスト関数を最適化することによって見つけられる。典型的な実施例は、インタラクティブセグメンテーションにおけるグラフカットである。グラフカットをモデル学習と統合することで、予測及びアクティベーションの乗算の結果として確率マップを利用して、コスト関数を定義することができるようになり、該コスト関数は、グラフカットにより最適化されて改善されたセグメンテーション結果が得られる。
【００２５】
コスト関数は、予測とアクティベーションの積にリンク付けすることができる。グラフカットにより、コスト関数は、２つのターム、すなわちエッジタームと領域タームにより定義される。エッジタームは、セグメントの境界上に位置する隣接するピクセル、すなわち、一方が前景内部で他方が背景の内部のピクセルを表し、領域タームは、前景及び背景の確率を表している。コスト関数を予測とアクティベーションの積にリンク付けするために、前景の確率は、前景としてセグメント化された全てのピクセルの確率の合計と解釈され、上述のように、前景に属するピクセルの確率は、予測／アクティベーションの積として数値的に定義される。
【００２６】
図５は、一部の実施形態による、空間制約を有する統合インタラクティブセグメンテーションを実施するよう構成された例示的なコンピュータデバイス５００のブロック図を示している。コンピュータデバイス５００は、画像などの情報を収集、保存、計算、処理、通信、及び／又は表示するのに用いることができる。例えば、コンピュータデバイス５００は、画像を収集し保存するのに用いることができる。空間制約を有する統合インタラクティブセグメンテーションは通常、画像の収集中又は収集後に用いられる。一般に、コンピュータデバイス５００を実施するのに好適なハードウェア構造は、ネットワークインタフェース５０２、メモリ５０４、プロセッサ５０６、Ｉ／Ｏデバイス５０８、バス５１０、及びストレージデバイス５１２を含む。プロセッサの選択は、十分な処理速度を有する好適なプロセッサが選ばれる限り重要ではない。メモリ５０４は、当該技術分野で公知のあらゆる従来のコンピュータメモリとすることができる。ストレージデバイス５１２は、ハードドライブ、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ、ＤＶＤ−ＲＷ、Ｂｌｕ−Ｒａｙ（登録商標）、フラッシュメモリカード、又は他の何れかのストレージデバイスを含むことができる。コンピュータデバイス５００は、１又はそれ以上のネットワークインタフェース５０２を含むことができる。ネットワークインタフェースの一例は、Ｅｔｈｅｒｎｅｔ又は他のタイプのＬＡＮに接続されたネットワークカードを含む。Ｉ／Ｏデバイス５０８は、キーボード、マウス、モニタ、ディスプレイ、プリンタ、モデム、タッチスクリーン、ボタンインタフェース、及び他のデバイスのうちの１又はそれ以上を含むことができる。一部の実施形態において、ハードウェア構造は、並行処理を実施するために複数のプロセッサ及び他のハードウェアを含む。空間制約を有する統合インタラクティブセグメンテーションを実施するのに使用される、空間制約を有する統合インタラクティブセグメンテーションのアプリケーション５３０は、ストレージデバイス７１２及びメモリ７０４内に保存され、アプリケーションが通常処理されるように処理が行われる可能性が高い。図５に示す構成要素よりもより多い又はより少ない構成要素をコンピュータデバイス５００に含めることができる。一部の実施形態において、空間制約を有する統合インタラクティブセグメンテーションのハードウェア５２０が含まれる。図５のコンピュータデバイス５００は、空間制約を有する統合インタラクティブセグメンテーションを実施するためのアプリケーション５３０及びハードウェア５２０を含むが、空間制約を有する統合インタラクティブセグメンテーションは、コンピュータデバイス上でハードウェア、ファームウェア、ソフトウェア、又はこれらの組み合わせにおいて実装することができる。例えば、一部の実施形態において、空間制約を有する統合インタラクティブセグメンテーションのアプリケーション５３０は、メモリ内にプログラムされ、プロセッサを用いて実行される。別の実施例では、一部の実施形態において、空間制約を有する統合インタラクティブセグメンテーションのハードウェア５２０は、本方法を実施するよう特別に設計されたゲートを含むプログラムドハードウェアロジックである。
【００２７】
一部の実施形態において、空間制約を有する統合インタラクティブセグメンテーションのアプリケーション５３０は、複数のアプリケーション及び／又はモジュールを含む。一部の実施形態において、モジュールは、１又はそれ以上のサブモジュールも含む。
【００２８】
好適なコンピュータデバイスの実施例は、顕微鏡、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ／モバイルフォン、スマート家電、ゲーム機、デジタルカメラ、デジタルビデオカメラ、カメラ付き携帯、ｉＰｏｄ（登録商標）／ｉＰｈｏｎｅ／ｉＰａｄ、ビデオプレーヤ、ＤＶＤライター／プレーヤ、Ｂｌｕ−ｒａｙ（登録商標）ライター／プレーヤ、テレビ、家庭用娯楽機器システム、又は他の何れかの好適なコンピュータデバイスを含む。
【００２９】
空間制約を有する統合インタラクティブセグメンテーションを利用するため、コンピュータなどのデバイスを用いて画像を分析することができる。空間制約を有する統合インタラクティブセグメンテーションは、画像／ビデオ処理を実施するために自動的に使用される。空間制約を有する統合インタラクティブセグメンテーションは、ユーザが関与することなく自動的に実施することができる。
【００３０】
作動時には、空間制約を有する統合インタラクティブセグメンテーションは、過去のセグメンテーション方式の多くの問題を克服する
【００３１】
不十分なトレーニングサンプルによって引き起こされる過学習問題を軽減するために、教師あり学習と統計的分析の両方が統合され、２つの異なる態様から始まり、互いに可能な限り補償することができる。予測及びアクティベーションが得られると、ピクセル毎の乗算が行われ、各ピクセルがどれくらいの可能性で前景に属するかを完全に示すようにする。
【００３２】
画像特性の観点からの包括的矛盾（例えば、異なる対象物が同じ画像特性を共有する）を避けるため、ユーザの入力に近い有効マスクは、トレーニングモデルを非マーク領域に送り込む前に定義される。包括的に処理する既存の手法と比べて、局所マスクは、ユーザの意図をより良好に反映しており、トレーニングモデルを遙かに確実な方法で適用する。残りの画像は、新規のストロークがユーザから受け取られない限り損なわれないままである。
【００３３】
ユーザとの対話を迅速化するために、局所的に定義される有効性確認もまた、迅速且つ効率的に実施することができる。
【００３４】
セグメントの境界と領域特性との間の平衡をとるために、コスト関数は、予測とアクティベーションの乗算、例えば、局所的有効マスク内の非マークに対しての教師あり学習及び統計的分析の適用の結果に基づいて定義され、グラフカットがコスト関数を最適化して、グラフ理論に基づいた最良のセグメンテーション結果を見つけ出すことができるようになる。
【００３５】
空間制約を有する統合インタラクティブセグメンテーションは、関心対象物の識別、オートフォーカス、及び他の用途など、多くの画像処理用途で用いることができる。
【００３６】
デジタル画像分析のため空間制約を用いた統合インタラクティブセグメンテーション法
１．  デバイスのメモリ内にプログラムされる画像処理方法であって、
（ａ）ユーザ入力を利用して予測のための学習モデルを生成するステップと、
（ｂ）アクティベーションのために統計的分析を利用するステップと、
（ｃ）上記画像処理を局所区域に制限する局所マスクを上記ユーザ入力から定義するステップと、
（ｄ）上記予測及び上記アクティベーションの組み合わせを用いてオブジェクトセグメンテーションを実施するステップと、
を含む、方法。
２．  ユーザからの入力を受け取るステップを更に含む、条項１に記載の方法。
３．  上記入力が、ユーザによる前景及び背景のマーキングを含む、条項２に記載の方法。
４．  ピクセル毎の乗算を用いて上記予測と上記アクティベーションを組み合わせるステップを更に含む、条項１に記載の方法。
５．  上記予測及び上記アクティベーションからコスト関数を生成するステップを更に含む、条項１に記載の方法。
６．  上記コスト関数が、グラフカットにより最適化される、条項５に記載の方法。
７．  上記コスト関数が、エッジ検出情報を利用する、条項５に記載の方法。
８．  上記オブジェクトセグメンテーションが、画像の前景及び背景を識別することである、条項１に記載の方法。
９．  ユーザが上記画像処理の結果に満足するまで、上記（ａ）〜（ｄ）のステップを繰り返すことを更に含む、条項１に記載の方法。
１０．  上記局所マスクを定義するための上記ユーザ入力が、囲まれた区域を含む、条項１に記載の方法。
１１．  上記デバイスが、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ／モバイルフォン、スマート家電、ゲーム機、デジタルカメラ、デジタルビデオカメラ、カメラ付き携帯、タブレットコンピュータ、ポータブル音楽プレーヤ、ビデオプレーヤ、ＤＶＤライター／プレーヤ、高精細ビデオライター／プレーヤ、テレビ、及び家庭用娯楽機器システムを含む、条項１に記載の方法。
１２．  デバイスのメモリ内にプログラムされる画像処理方法であって、
（ａ）ユーザ入力を利用して予測のための学習モデルを生成するステップと、
（ｂ）アクティベーションのために統計的分析を利用するステップと、
（ｃ）上記予測及び上記アクティベーションを組み合わせるステップと、
（ｄ）上記画像処理を局所区域に制限する局所マスクを上記ユーザ入力から定義するステップと、
（ｅ）上記予測及び上記アクティベーションからコスト関数を生成するステップと、
（ｆ）上記予測及び上記アクティベーションの組み合わせを用いてオブジェクトセグメンテーションを実施するステップと、
を含む、方法。
１３．  ユーザからの入力を受け取るステップを更に含む、条項１２に記載の方法。
１４．  上記入力が、ユーザによる前景及び背景のマーキングを含む、条項１３に記載の方法。
１５．  上記予測及び上記アクティベーションを組み合わせるステップが、ピクセル毎の乗算を用いることを含む、条項１２に記載の方法。
１６．  上記コスト関数が、グラフカットにより最適化される、条項１２に記載の方法。
１７．  上記コスト関数が、エッジ検出情報を利用する、条項１２に記載の方法。
１８．  上記オブジェクトセグメンテーションが、画像の前景及び背景を識別することである、条項１２に記載の方法。
１９．  ユーザが上記画像処理の結果に満足するまで、上記（ａ）〜（ｄ）のステップを繰り返すことを更に含む、条項１２に記載の方法。
２０．  上記局所マスクを定義するための上記ユーザ入力が、囲まれた区域を含む、条項１２に記載の方法。
２１．  上記デバイスが、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ／モバイルフォン、スマート家電、ゲーム機、デジタルカメラ、デジタルビデオカメラ、カメラ付き携帯、タブレットコンピュータ、ポータブル音楽プレーヤ、ビデオプレーヤ、ＤＶＤライター／プレーヤ、高精細ビデオライター／プレーヤ、テレビ、及び家庭用娯楽機器システムを含む、条項１２に記載の方法。
２２．  （ｉ）ユーザ入力を利用して予測のための学習モデルを生成するステップと
（ｉｉ）アクティベーションのために統計的分析を利用するステップと、
（ｉｉｉ）上記画像処理を局所区域に制限する局所マスクを上記ユーザ入力から定義するステップと、
（ｉｖ）上記予測及び上記アクティベーションの組み合わせを用いてオブジェクトセグメンテーションを実施するステップと、
を含む、アプリケーションを保存するためのメモリと、
上記メモリに結合され、上記アプリケーションを処理するよう構成された処理構成要素と、
を備えたデバイス。
２３．  上記アプリケーションが更に、ユーザからの入力を受け取るステップを含む、条項２２に記載のデバイス。
２４．  上記入力が、ユーザによる前景及び背景のマーキングを含む、条項２３に記載のデバイス。
２５．  上記アプリケーションが更に、ピクセル毎の乗算を用いて上記予測と上記アクティベーションを組み合わせるステップを含む、条項２２に記載のデバイス。
２６．  上記アプリケーションが更に、上記予測及び上記アクティベーションからコスト関数を生成するステップを含む、条項２２に記載のデバイス。
２７．  上記コスト関数が、グラフカットにより最適化される、条項２６に記載のデバイス。
２８．  上記コスト関数が、エッジ検出情報を利用する、条項２６に記載のデバイス。
２９．  上記オブジェクトセグメンテーションが、画像の前景及び背景を識別することである、条項２２に記載のデバイス。
３０．  上記アプリケーションが、ユーザが上記画像処理の結果に満足するまで、上記（ｉ）〜（ｉｖ）のステップを繰り返すことを更に含む、条項２２に記載のデバイス。
３１．  上記局所マスクを定義するための上記ユーザ入力が、囲まれた区域を含む、条項２２に記載のデバイス。
【００３７】
本発明は、本発明の構成及び動作の原理の理解を容易にするための詳細内容を包含する特定の実施形態に関連して説明される。本明細書における特定の実施形態及びその詳細内容への言及は、請求項の範囲を限定するものではない。当業者であれば、請求項によって定義される本発明の精神及び範囲から逸脱することなく、例証のために選択された実施形態に他の様々な修正を行い得ることは容易に理解されるであろう。
【符号の説明】
【００３８】
３００  画像
３０２  ユーザと対話
３０４  教師あり学習
３０６  統計的分析
３０８  予測
３１０  アクティベーション
３１２  コスト関数最適化
３１４  即時的結果
３１８  局所マスクを定義
３２０  エッジ検出
【図１】
2015518594.tif 000003
【図２】
2015518594.tif 000004
【図３】
2015518594.tif 000005
【図４Ａ】
2015518594.tif 000006
【図４Ｂ】
2015518594.tif 000007
【図４Ｃ】
2015518594.tif 000008
【図５】
2015518594.tif 000009
【国際調査報告】
2015518594.tif 000010
2015518594.tif 000011