(57)【要約】【課題】階層構造制約に基づく毛髪セグメンテーションのためのシステムおよび方法を提供する。【解決手段】撮像デバイスから人間の頭部を含む画像を受信し、画像の１つまたは複数のピクセルを、１つまたは複数のスーパーピクセルにグループ化する。画像の極座標格子を生成する。極座標格子は、１つまたは複数の格子点を含む。階層構造制約に基づいて、１つまたは複数の格子点を、顔領域、毛髪領域、および背景領域のうちの１つとしてラベル付けする。１つまたは複数の格子点の１つまたは複数のラベルに基づいて、１つまたは複数のスーパーピクセルを、顔領域、毛髪領域、および背景領域のうちの１つとしてラベル付けする。１つまたは複数のスーパーピクセルの１つまたは複数のラベルを含む通知を送信する。【選択図】図１
2017111808.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つのプロセッサ（１２５）を用いて、撮像デバイス（１１０）から人間の頭部（２０５）を含む画像（２００）を受信すること（３０２、４０２）と、
前記画像（２００）の１つまたは複数のピクセルを、１つまたは複数のスーパーピクセル（２１５ａ、２１５ｂ、．．．、２１５ｎ）にグループ化すること（３０４、４０４）と、
前記画像（２００）に対応する極座標格子（２２０）を生成すること（３０６、４０８）であって、前記極座標格子（２２０）は、１つまたは複数の格子点（２２５ａ、２２５ｂ、．．．、２２５ｎ）を含む、生成すること（３０６、４０８）と、
階層構造制約に基づいて、前記１つまたは複数の格子点（２２５ａ、２２５ｂ、．．．、２２５ｎ）を、顔領域（２５５）、毛髪領域（２６０）、および背景領域（２６５）のうちの１つに対応するものとしてラベル付けすること（３０８）と、
前記１つまたは複数の格子点（２２５ａ、２２５ｂ、．．．、２２５ｎ）の１つまたは複数のラベル（２４５ａ、２４５ｂ、．．．、２４５ｎ）に基づいて、前記１つまたは複数のスーパーピクセル（２１５ａ、２１５ｂ、．．．、２１５ｎ）を、前記顔領域（２５５）、前記毛髪領域（２６０）、および前記背景領域（２６５）のうちの１つに対応するものとしてラベル付けすること（３１０、４１４）と、
前記１つまたは複数のスーパーピクセル（２１５ａ、２１５ｂ、．．．、２１５ｎ）の前記１つまたは複数のラベルを含む通知を送信すること（３１２）と
を含む、方法（３００、４００）。
【請求項２】
前記階層構造制約は、前記毛髪領域（２６０）が、前記画像（２００）内で前記顔領域（２５５）と前記背景領域（２６５）との間に位置することを示す、請求項１記載の方法（３００、４００）。
【請求項３】
前記１つまたは複数の格子点（２２５ａ、２２５ｂ、．．．、２２５ｎ）および前記階層構造制約に基づいて、前記毛髪領域（２６０）の下方境界および上方境界を判定すること（４１０）をさらに含む、請求項１記載の方法（３００、４００）。
【請求項４】
動的計画法アルゴリズムに基づいて、前記毛髪領域（２６０）の前記下方境界および前記上方境界を判定することをさらに含む、請求項３記載の方法（３００、４００）。
【請求項５】
前記毛髪領域（２６０）の前記下方境界および前記上方境界を連続してまたは同時に判定することをさらに含む、請求項３記載の方法（３００、４００）。
【請求項６】
前記１つまたは複数のピクセルの色、質感、および形状のうちの少なくとも１つに基づいて、前記画像（２００）の前記１つまたは複数のピクセルを前記１つまたは複数のスーパーピクセル（２１５ａ、２１５ｂ、．．．、２１５ｎ）にグループ化することをさらに含む、請求項１記載の方法（３００、４００）。
【請求項７】
前記極座標格子（２２０）を生成すること（３０６、４０８）は、
前記画像（２００）内の前記１つまたは複数のスーパーピクセル（２１５ａ、２１５ｂ、．．．、２１５ｎ）の密度を判定することと、
前記画像（２００）内の前記人間の頭部（２０５）の中心を判定すること（４０６）と、
前記画像（２００）内の前記人間の頭部（２０５）の前記中心および前記１つまたは複数のスーパーピクセル（２１５ａ、２１５ｂ、．．．、２１５ｎ）の前記密度に基づいて前記極座標格子（２２０）を生成することと
を含む、請求項１記載の方法（３００、４００）。
【請求項８】
前記１つまたは複数のスーパーピクセル（２１５ａ、２１５ｂ、．．．、２１５ｎ）の前記１つまたは複数のラベルに基づいてラベル付き画像（２５０）を生成すること（４１６）と、
前記ラベル付き画像（２５０）を視覚化すること（４１８）と
をさらに含む、請求項１記載の方法（３００、４００）。
【請求項９】
少なくとも１つのプロセッサ（１２５）と、
撮像デバイス（１１０）から人間の頭部（２０５）を含む画像（２００）を受信するように構成されている通信サブユニット（１４５）と、
前記通知サブユニット（１４５）と通信可能に結合されており、前記画像（２００）の１つまたは複数のピクセルを、１つまたは複数のスーパーピクセル（２１５ａ、２１５ｂ、．．．、２１５ｎ）にグループ化するように構成されているスーパーピクセルサブユニット（１５０）と、
前記スーパーピクセルサブユニット（１５０）と通信可能に結合されており、前記画像（２００）に対応する極座標格子（２２０）を生成するように構成されている極サブユニット（１５５）であり、前記極座標格子（２２０）は、１つまたは複数の格子点（２２５ａ、２２５ｂ、．．．、２２５ｎ）を含む、極サブユニット（１５５）と、
前記極サブユニット（１５５）に通信可能に結合されているラベル付けサブユニット（１６０）であり、
階層構造制約に基づいて、前記１つまたは複数の格子点（２２５ａ、２２５ｂ、．．．、２２５ｎ）を、顔領域（２５５）、毛髪領域（２６０）、および背景領域（２６５）のうちの１つに対応するものとしてラベル付けし、
前記１つまたは複数の格子点（２２５ａ、２２５ｂ、．．．、２２５ｎ）の１つまたは複数のラベル（２４５ａ、２４５ｂ、．．．、２４５ｎ）に基づいて、前記１つまたは複数のスーパーピクセル（２１５ａ、２１５ｂ、．．．、２１５ｎ）を、前記顔領域（２５５）、前記毛髪領域（２６０）、および前記背景領域（２６５）のうちの１つに対応するものとしてラベル付けするように構成されている、ラベル付けサブユニット（１６０）と、
前記ラベル付けサブユニット（１６０）と通信可能に結合されており、前記１つまたは複数のスーパーピクセル（２１５ａ、２１５ｂ、．．．、２１５ｎ）の１つまたは複数のラベルを含む通知を送信するように構成されている通知サブユニット（１６５）と
を備え、
前記通信サブユニット（１４５）、前記スーパーピクセルサブユニット（１５０）、前記極サブユニット（１５５）、前記ラベル付けサブユニット（１６０）、および前記通知サブユニット（１６５）のうちの１つまたは複数は、前記少なくとも１つのプロセッサ（１２５）によって実行可能である、セグメンテーションデバイス（１２０）。
【請求項１０】
前記階層構造制約は、前記毛髪領域（２６０）が、前記画像（２００）内で前記顔領域（２５５）と前記背景領域（２６５）との間にあることを示す、請求項９記載のセグメンテーションデバイス（１２０）。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書において開示されている技術は、一般的に、画像セグメンテーションに関する。より詳細には、本明細書において開示されている技術は、階層構造制約に基づく毛髪セグメンテーションのためのシステムおよび方法に関する。
【背景技術】
【０００２】
コンピュータビジョンおよびコンピュータグラフィック技術が出現したことにより、顔認識、物体／人間追跡、性別分類、頭部検出、毛髪合成、アニメーションなどのような様々な応用形態が発展してきている。毛髪は、人間の外観に関する重要な特徴であるため、コンピュータビジョンの科学者は、毛髪セグメンテーションを様々な応用形態の基礎として使用することが多い。
【０００３】
毛髪セグメンテーションのために現在利用可能な方法には、様々な種類の人々の間で毛髪の外観（たとえば、色、質感、形状など）が大きく変動すること、照明の変動、雑然とした背景などに起因する多数の問題がある。さらに、毛髪セグメンテーションのために現在利用可能な方法は、リアルタイム応用形態のために十分高速でない。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許出願公開第２０１４／０２３３８４９号公報
【発明の概要】
【課題を解決するための手段】
【０００５】
本明細書の一態様によれば、方法は、少なくとも１つのプロセッサを用いて、撮像デバイスから人間の頭部を含む画像を受信することを含む。さらに、方法は、画像の１つまたは複数のピクセルを、１つまたは複数のスーパーピクセルにグループ化することを含む。さらに、方法は、画像の極座標格子を生成することを含み、極座標格子は、１つまたは複数の格子点を含む。加えて、方法は、階層構造制約に基づいて、１つまたは複数の格子点を、顔領域、毛髪領域、および背景領域のうちの１つに対応するものとしてラベル付けすることを含む。方法はまた、１つまたは複数の格子点の１つまたは複数のラベルに基づいて、１つまたは複数のスーパーピクセルを、顔領域、毛髪領域、および背景領域のうちの１つに対応するものとしてラベル付けすることをも含む。さらに、方法は、１つまたは複数のスーパーピクセルの１つまたは複数のラベルを含む通知を送信することを含む。非一時的コンピュータ可読媒体を含むコンピュータプログラム製品であって、非一時的コンピュータ可読媒体は１つまたは複数の有形媒体を含み、１つまたは複数の有形媒体は、方法を実施するように適合されているコードを含む、コンピュータプログラム製品も提示される。
【０００６】
本開示の別の態様によれば、システムが提示される。システムは、少なくとも１つのプロセッサを含む。さらに、システムは、撮像デバイスから人間の頭部を含む画像を受信するように構成されている通信サブユニットを含む。さらに、システムは、画像の１つまたは複数のピクセルを、１つまたは複数のスーパーピクセルにグループ化するように構成されているスーパーピクセルサブユニットを含む。さらに、システムは、画像の極座標格子を生成するように構成されている極サブユニットを含み、極座標格子は、１つまたは複数の格子点を含む。加えて、システムは、階層構造制約に基づいて、１つまたは複数の格子点を、顔領域、毛髪領域、および背景領域のうちの１つに対応するものとしてラベル付けし、１つまたは複数の格子点の１つまたは複数のラベルに基づいて、１つまたは複数のスーパーピクセルを、顔領域、毛髪領域、および背景領域のうちの１つに対応するものとしてラベル付けするように構成されているラベル付けサブユニットを含む。システムはまた、１つまたは複数のスーパーピクセルの１つまたは複数のラベルを含む通知を送信するように構成されている通知サブユニットをも含む。
【０００７】
本発明のこれらのおよび他の特徴、態様、および利点は、添付の図面を参照しながら以下の詳細な説明を読むとよりよく理解されるようになる。図面全体を通じて同様の符号は同様の部分を表す。
【図面の簡単な説明】
【０００８】
【図１】本明細書の態様による、毛髪セグメンテーションのための例示的なシステムを示すブロック図である。
【図２（ａ）−２（ｅ）】本明細書の態様による、毛髪セグメンテーションのための例示的な方法を示す表示図である。
【図３】本明細書の態様による、毛髪セグメンテーションのための例示的な方法を示す流れ図である。
【図４】本明細書の態様による、毛髪セグメンテーションのための例示的な方法を示す流れ図である。
【発明を実施するための形態】
【０００９】
以下の明細書および特許請求の範囲において、いくつかの用語を参照するが、これらは以下の意味を有するように定義されるものとする。
【００１０】
単数形「１つの」（“ａ，”  “ａｎ”）および「その」（“ｔｈｅ”）は、別途文脈が明確に指示していない限り、複数の参照を含む。
【００１１】
本明細書において使用されるものとしては、「非一時的コンピュータ可読媒体」という用語は、任意のデバイス内のコンピュータ可読命令、データ構造、プログラムモジュールおよびサブモジュール、または他のデータのような情報の短期および／または長期記憶のための任意の方法または技術において実装される任意の有形コンピュータベースデバイスを表すように意図されている。それゆえ、本明細書に記載する方法は、限定ではないが、記憶デバイスおよび／またはメモリデバイスを含む、有形非一時的コンピュータ可読媒体内で具現化される実行可能命令として符号化することができる。そのような命令は、プロセッサによって実行されると、プロセッサに、本明細書に記載する方法の少なくとも一部分を実施させる。その上、本明細書において使用されるものとしては、「非一時的コンピュータ可読媒体」という用語は、限定ではないが、ファームウェア、物理および仮想ストレージ、コンパクトディスク読み出し専用メモリ、デジタル多用途ディスクのような揮発性および不揮発性媒体、ならびに、取り外し可能および取り外し不能媒体を含む、限定ではないが、非一時的コンピュータ記憶デバイス、ならびに、ネットワークまたはインターネットのような任意の他のデジタルソース、ならびに、未開発のデジタル手段を含む、すべての有形コンピュータ可読媒体を含むが、唯一の例外が、一時的な伝播信号である。
【００１２】
本明細書において使用されるものとしては、「ソフトウェア」および「ファームウェア」という用語は、相互交換可能であり、限定ではないが、モバイルデバイス、クラスタ、パーソナルコンピュータ、ワークステーション、クライアント、およびサーバを含むデバイスによって実行するために、メモリに記憶されている任意のコンピュータプログラムを含む。
【００１３】
本明細書において使用されるものとしては、「コンピュータ」という用語および関連用語、たとえば、「コンピューティングデバイス」は、当該技術分野においてコンピュータとして参照されている集積回路に限定されず、少なくとも１つのマイクロコントローラ、マイクロコンピュータ、プログラム可能論理コントローラ（ＰＬＣ）、特定用途向け集積回路、および他のプログラム可能回路を広範に参照し、これらの用語はここで、本明細書全体を通じて相互交換可能に使用される。
【００１４】
近似語は、ここで本明細書および特許請求の範囲全体を通じて使用されるものとしては、それが関係する基本的な機能に変化をもたらすことなく許容範囲で変化し得る任意の定量的表現を修飾するために適用され得る。したがって、「約」および「実質的に」のような１つまたは複数の用語によって修飾される値は、指定されている正確な値に限定されるべきではない。少なくともいくつかの事例において、近似語は、値を測定するための機器の精度に対応する場合がある。ここで、また、本明細書および特許請求の範囲全体を通じて、範囲の限定は組み合わせおよび／または交換することができ、そのような範囲は特定されており、文脈または文言によって別途指示されていない限り、その中に包含されるすべての部分範囲を含む。
【００１５】
毛髪セグメンテーションのためのシステムおよび方法を、本明細書に記載する。図１は、本明細書の態様による、毛髪セグメンテーションのための例示的なシステム１００のブロック図を示す。図示されている実施形態において、システム１００は、互いに通信可能に結合されている撮像デバイス１１０およびセグメンテーションデバイス１２０を含む。図１の実施形態において、撮像デバイス１１０およびセグメンテーションデバイス１２０は、有線信号回線１１５を介して通信可能に結合されているものとして示されている。しかしながら、他の実施形態において、撮像デバイス１１０およびセグメンテーションデバイス１２０は、無線で通信可能に結合されてもよい。図１の実施形態は撮像デバイス１１０およびセグメンテーションデバイス１２０を２つの独立型ユニットとして示しているが、別の実施形態において、セグメンテーションデバイス１２０は撮像デバイス１１０内に含まれてもよい。
【００１６】
撮像デバイス１１０は、画像および／またはビデオ（すなわち、画像シーケンス）を生成するように構成されている任意のタイプのデバイス、たとえば、カメラ、デジタルビデオレコーダ、カムコーダ、閉回路テレビ、ウェブカメラなどであってもよい。一実施形態において、撮像デバイス１１０は、少なくとも人間の頭部を含む画像および／またはビデオを生成するように構成されている。撮像デバイス１１０は、信号回線１１５を介してセグメンテーションデバイス１２０に画像および／またはビデオを送信するようにさらに構成されている。図示されている実施形態において、システム１００は、単一の撮像デバイス１１０を含んでいるが、別の実施形態において、システム１００は、複数の撮像デバイス１１０を含んでもよい。
【００１７】
さらに、セグメンテーションデバイス１２０は、画像および／またはビデオを受信し、少なくとも、画像および／またはビデオ内の人間の頭部の毛髪領域をセグメント化するように構成されている任意のタイプのデバイスであってもよい。本明細書における論述は毛髪セグメンテーションに焦点を当てているが、セグメンテーションデバイス１２０はまた、限定ではないが、撮像デバイス１１０の制御、物体追跡、顔認識などのような他の機能も実施することができることが留意され得る。図示されている実施形態において、セグメンテーションデバイス１２０は、プロセッサ１２５と、メモリ１３０と、表示デバイス１３５と、セグメンテーションユニット１４０とを含む。
【００１８】
プロセッサ１２５は、少なくとも１つの算術論理演算ユニット、マイクロプロセッサ、汎用コントローラ、または、計算を実施し、および／または、メモリ１３０に記憶されているデータを取り出すように構成されている他のプロセッサアレイを含んでもよい。一実施形態において、プロセッサ１２５は、マルチコアプロセッサであってもよい。プロセッサ１２５は、データ信号を処理し、複合命令セットコンピュータ（ＣＩＳＣ）アーキテクチャ、縮小命令セットコンピュータ（ＲＩＳＣ）アーキテクチャ、または、命令セットの組み合わせを実施するアーキテクチャを含む、様々なコンピューティングアーキテクチャを含んでもよい。一実施形態において、プロセッサ１２５の処理能力は、データの取り出しおよびデータの送信をサポートすることができる。別の実施形態において、プロセッサ１２５の処理能力はまた、様々なタイプの特徴抽出、変調、符号化、多重化などを含むより複雑なタスクを実施することもできる。他のタイプのプロセッサ、オペレーティングシステム、および物理的構成を使用することも想定されている。
【００１９】
メモリ１３０は、非一時的記憶媒体であってもよい。たとえば、メモリ１３０は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）デバイス、スタティックランダムアクセスメモリ（ＳＲＡＭ）デバイス、フラッシュメモリまたは他のメモリデバイスであってもよい。メモリ１３０はまた、ハードディスクドライブ、フロッピーディスクドライブ、コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）デバイス、デジタル多用途ディスク読み出し専用メモリ（ＤＶＤ−ＲＯＭ）デバイス、デジタル多用途ディスクランダムアクセスメモリ（ＤＶＤ−ＲＡＭ）デバイス、デジタル多用途ディスク書き換え可能（ＤＶＤ−ＲＷ）デバイス、フラッシュメモリデバイス、または他の不揮発性記憶デバイスのような、不揮発性メモリまたは同様の持続性記憶デバイス、および媒体をも含んでもよい。
【００２０】
メモリ１３０は、セグメンテーションユニット１４０が関連機能を実施するために必要とされるデータを記憶する。一実施形態において、メモリ１３０は、セグメンテーションユニット１４０の１つまたは複数のサブユニット（たとえば、通信サブユニット１４５、ラベル付けサブユニット１６０など）と関連付けられるコードおよびルーチンを記憶する。別の実施形態において、メモリ１３０は、たとえば、セグメンテーションデバイス１２０の管理者によって定義される階層構造制約を記憶する。階層構造制約は、セグメンテーションユニット１４０のラベル付けサブユニット１６０を参照してより詳細に説明する。
【００２１】
その上、セグメンテーションユニット１４０は、少なくとも、画像および／またはビデオ内の人間の頭部の毛髪領域をセグメント化するように構成されている。図示されている実施形態において、セグメンテーションユニット１４０は、通信サブユニット１４５と、スーパーピクセルサブユニット１５０と、極サブユニット１５５と、ラベル付けサブユニット１６０と、通知サブユニット１６５とを含む。セグメンテーションユニット１４０の複数のサブユニットは、ソフトウェア、ハードウェア、または、ソフトウェアとハードウェアとの組み合わせとして実装されてもよいコードまたはルーチンを含むことができる。セグメンテーションユニット１４０のサブユニット、プロセッサ１２５、メモリ１３０、および表示デバイス１３５は、互いと通信するためにバス（図示せず）に結合することができる。セグメンテーションユニット１４０は、本明細書においては一実施形態に従って、画像を受信し、少なくとも、画像内の毛髪領域をセグメント化するものとして記載されているが、他の実施形態において、セグメンテーションユニット１４０は、ビデオ（すなわち、画像シーケンス）を受信し、少なくとも、ビデオ内の毛髪領域をセグメント化してもよい。
【００２２】
通信サブユニット１４５は、撮像デバイス１１０、表示デバイス１３５、および、セグメンテーションユニット１４０の１つまたは複数のサブユニットの間の通信を処理するように構成されている。一実施形態において、通信サブユニット１４５は、撮像デバイス１１０、表示デバイス１３５、および、セグメンテーションユニット１４０の１つまたは複数のサブユニットの間の通信を処理する機能をもたらすために、プロセッサ１２５によって実行可能な命令セットを含む。別の実施形態において、通信サブユニット１４５は、メモリ１３０に記憶することができ、プロセッサ１２５によってアクセス可能かつ実行可能である。いずれの実施形態においても、通信サブユニット１４５は、プロセッサ１２５、および、セグメンテーションユニット１４０の１つまたは複数のサブユニットと通信し、協働するように適合されている。
【００２３】
一実施形態において、通信サブユニット１４５は、撮像デバイス１１０から人間の頭部を含む画像を受信する。通信サブユニット１４５は、スーパーピクセルサブユニット１５０および極サブユニット１５５に画像を送信する。別の実施形態において、通信サブユニット１４５は、たとえば、セグメンテーションデバイス１２０のユーザに通知を与えるためのグラフィックデータを受信する。そのような実施形態において、通信サブユニット１４５は、表示デバイス１３５にグラフィックデータを送信することができる。
【００２４】
スーパーピクセルサブユニット１５０は、画像の１つまたは複数のピクセルを、１つまたは複数のスーパーピクセルにグループ化するように構成されている。一実施形態において、スーパーピクセルサブユニット１５０は、画像の１つまたは複数のピクセルを、１つまたは複数のスーパーピクセルにグループ化する機能をもたらすために、プロセッサ１２５によって実行可能な命令セットを含む。別の実施形態において、スーパーピクセルサブユニット１５０は、メモリ１３０に記憶することができ、プロセッサ１２５によってアクセス可能かつ実行可能である。いずれの実施形態においても、スーパーピクセルサブユニット１５０は、プロセッサ１２５、および、セグメンテーションユニット１４０の他のサブユニットと通信し、協働するように適合されている。
【００２５】
上記で言及したように、一実施形態において、スーパーピクセルサブユニット１５０は、通信サブユニット１４５から画像を受信する。スーパーピクセルサブユニット１５０は、画像セグメンテーション／クラスタリングアルゴリズムを使用して、１つまたは複数の画像特徴に基づいて１つまたは複数のピクセルを１つまたは複数のスーパーピクセルにグループ化する。画像セグメンテーション／クラスタリングアルゴリズムのいくつかの例は、線形反復クラスタリングアルゴリズム、クイックシフト画像セグメンテーションアルゴリズム、Ｆｅｌｚｅｎｓｚｗａｌｂセグメンテーションアルゴリズムなどを含む。１つまたは複数の画像特徴の非限定例は、１つまたは複数のピクセルの色、質感、形状、および位置を含む。さらに、スーパーピクセルサブユニット１５０は、スーパーピクセルの数および画像内のピクセルの数に基づいてスーパーピクセルの密度を判定するように構成することができる。さらに、スーパーピクセルサブユニット１５０は、極サブユニット１５５およびラベル付けサブユニット１６０にスーパーピクセルデータ（すなわち、画像内の１つまたは複数のスーパーピクセルに関係するデータ）を送信するように構成されている。スーパーピクセルデータは、たとえば、各スーパーピクセルと関連付けられる画像特徴、スーパーピクセル密度などを含む。
【００２６】
さらに、極サブユニット１５５は、画像の極座標格子を生成するように構成されている。一実施形態において、極サブユニット１５５は、画像の極座標格子を生成する機能をもたらすために、プロセッサ１２５によって実行可能な命令セットを含む。別の実施形態において、極サブユニット１５５は、メモリ１３０に記憶することができ、プロセッサ１２５によってアクセス可能かつ実行可能である。いずれの実施形態においても、極サブユニット１５５は、プロセッサ１２５、および、セグメンテーションユニット１４０の１つまたは複数のサブユニットと通信し、協働するように適合されている。
【００２７】
上記で言及したように、一実施形態において、極サブユニット１５５は、通信サブユニット１４５から画像を受信する。極サブユニット１５５は、画像に対応する１つまたは複数の格子点を含む極座標格子を生成するように構成されている。一実施形態において、極サブユニット１５５は、画像の中心を、極座標格子の原点として割り当てる。別の実施形態において、極サブユニット１５５は、画像内の人間の頭部の中心を、極座標格子の原点として割り当てる。そのような実施形態において、極サブユニット１５５は、１つまたは複数の顔特徴（たとえば、鼻、目、口など）の位置に基づいて、人間の頭部の中心を識別する。極サブユニット１５５は、たとえば、ニューラルネットワークベースの顔検出アルゴリズム、形状ベースの検出アルゴリズムなどを使用して、これらの顔特徴を検出することができる。
【００２８】
別の実施形態において、極サブユニット１５５は、スーパーピクセル密度に基づいて極座標格子を生成する。たとえば、極サブユニット１５５は、スーパーピクセル密度を、極座標格子の格子点の密度として割り当てる。別の例において、極サブユニット１５５は、画像の中心付近の格子点により高い密度（すなわち、スーパーピクセル密度よりも高い）を割り当て、画像の境界付近の格子点により疎らな密度（すなわち、スーパーピクセル密度よりも低い）を割り当てる。そのような例において、極サブユニット１５５は、スーパーピクセルの数を、極座標格子内の格子点の数として割り当てることができる。極サブユニット１５５は、ラベル付けサブユニット１６０に極座標格子を送信するようにさらに構成されている。
【００２９】
ラベル付けサブユニット１６０は、１つまたは複数の格子点および１つまたは複数のスーパーピクセルをラベル付けするように構成されている。一実施形態において、ラベル付けサブユニット１６０は、１つまたは複数の格子点および１つまたは複数のスーパーピクセルをラベル付けする機能をもたらすために、プロセッサ１２５によって実行可能な命令セットを含む。別の実施形態において、ラベル付けサブユニット１６０は、メモリ１３０に記憶することができ、プロセッサ１２５によってアクセス可能かつ実行可能である。いずれの実施形態においても、ラベル付けサブユニット１６０は、プロセッサ１２５、および、セグメンテーションユニット１４０の１つまたは複数のサブユニットと通信し、協働するように適合されている。
【００３０】
加えて、ラベル付けサブユニット１６０は、スーパーピクセルサブユニット１５０からスーパーピクセルデータを受信し、極サブユニット１５５から極座標格子を受信する。ラベル付けサブユニット１６０は、極座標格子内の格子点を、顔領域、毛髪領域、および背景領域のうちの１つに対応するものとしてラベル付けするように構成されている。一実施形態において、ラベル付けサブユニット１６０は、階層構造制約および条件付き確率場（ＣＲＦ）に基づいて格子点をラベル付けする。
【００３１】
階層構造制約は、毛髪領域が、画像内で顔領域と背景領域との間にあることを示す。一例において、極座標格子の原点が人間の頭部の中心として定義される場合、階層構造制約は、半径方向に沿った極座標格子の原点と１つまたは複数の格子点のサブセットとを接続する線が、顔領域から始まり、毛髪領域を通過して、画像の背景領域で終端することを示す。したがって、階層構造制約は、線によって接続される１つまたは複数の格子点のサブセットのラベルが、顔領域から始まり、顔領域から毛髪領域へと変化し、その後、毛髪領域から背景領域へと変化する順序になることを示す。一例において、画像内の人間の頭部が毛髪領域を有しない（すなわち、禿頭）場合、階層構造制約は、線上の１つまたは複数の格子点のサブセットのラベルが、顔領域から背景領域へと変化する順序になることを示す。
【００３２】
その上、ＣＲＦは、画像の１つまたは複数の部分の間の位置関係をモデル化する統計モデル（たとえば、無向識別グラフィックモデル）である。そのような実施形態において、ラベル付けサブユニット１６０は、極座標格子の格子点を、１つまたは複数のエッジによって接続される二次元（２Ｄ）グラフの１つまたは複数のノードとして定義することによって、２Ｄグラフ（すなわち、ＣＲＦ）を生成する。ノードは、半径方向と周方向の両方において、２Ｄグラフ内の他の隣接するノードに接続することができる。明瞭かつ簡便にする目的で、２Ｄグラフに関係する記述においては、極座標格子の１つまたは複数の格子点を、１つまたは複数のノードとして参照する。
【００３３】
さらに、ラベル付けサブユニット１６０は、１つまたは複数の画像特徴に基づいて、各ノードについて１つまたは複数のノード特徴を割り当て、各エッジについて１つまたは複数のエッジ特徴を割り当てる。一例において、ラベル付けサブユニット１６０は、画像のスーパーピクセル化バージョンに、２Ｄグラフをマッピングする。そのような例において、ラベル付けサブユニット１６０は、ノードの位置に一致するスーパーピクセルを識別し、一致するスーパーピクセルと関連付けられる画像特徴を、そのノードのノード特徴として割り当てる。ラベル付けサブユニット１６０が、各ノードについて１つまたは複数のノード特徴を割り当てると、ラベル付けサブユニット１６０は、対応するエッジによって接続される２つのノードの１つまたは複数のノード特徴の間の関係に基づいて、各エッジについて１つまたは複数のエッジ特徴をさらに割り当てる。
【００３４】
そのような実施形態において、ラベル付けサブユニット１６０は、１つまたは複数のノード特徴、１つまたは複数のエッジ特徴、および階層構造制約に基づいて、各ノード（すなわち、格子点）について各ラベル（すなわち、顔領域、毛髪領域、および背景領域）の確率を推定する。さらに、ラベル付けサブユニット１６０は、ＣＲＦのエネルギー関数を最小化することによって、各ノードのラベルの確率に基づいて各ノードを同時にラベル付けする。エネルギー関数は、式（１）〜（４）によって定義される。
【００３５】
【数１】
2017111808.tif 000003
式（１）〜（４）において、Ｙはラベルを表し、Ｘnodeは１つまたは複数のノード特徴を表し、Ｘedgeは１つまたは複数のエッジ特徴を表し、ＥcrfはＣＲＦのエネルギー関数を表し、Ｐcrfはノードの各ラベルの確率を表し、Ｅnodeは、ノードの単項のエネルギー項を表し、Ｅedgeは、半径方向と周方向の両方において２つの隣接するノードを接続するエッジの対になったエネルギー項を表す。ラベル付けサブユニット１６０は、たとえば、多重ロジスティック回帰モデル、加重回帰モデルなどを使用して、各ノードのラベルの確率に基づいて単項のエネルギー項を推定する。
【００３６】
さらなる実施形態において、ラベル付けサブユニット１６０は、動的計画法アルゴリズムを使用して、ＣＲＦおよび階層構造制約に基づいて１つまたは複数の格子点をラベル付けする。階層構造制約は、２Ｄグラフの各列に沿ったラベルが２回（すなわち、顔領域から毛髪領域へ、および、毛髪領域から背景領域へ）変化することを示すため、ラベル付けサブユニット１６０は、２Ｄグラフを一次元（１Ｄ）グラフに変換する。したがって、そのような実施形態において、ラベル付けサブユニット１６０は、毛髪領域の上方境界および下方境界を判定するように構成されている。ラベル付けサブユニット１６０は、２Ｄグラフ内の対応する列のノードに基づいて、１Ｄグラフのノードを生成する。１Ｄグラフの各ノードは、２Ｄグラフ内の対応する列の上方境界および下方境界を表す。本明細書において使用されるものとしては、「下方境界」という用語は、２Ｄグラフ内の顔領域と毛髪領域との間の境界を指す。同じく、本明細書において使用されるものとしては、「上方境界」という用語は、２Ｄグラフ内の毛髪領域と背景領域との間の境界を指す。さらに、ラベル付けサブユニット１６０は、２Ｄグラフ内の２つの隣接する列のノードを接続するエッジに基づいて、１Ｄグラフの２つのノードを接続するエッジを生成する。
【００３７】
さらに、ラベル付けサブユニット１６０は、２Ｄグラフのエネルギー関数に基づいて１Ｄグラフ内のノードおよびエッジの単項のエネルギー項および対になったエネルギー項を定義する。ラベル付けサブユニット１６０は、１Ｄグラフ内のノードの単項のエネルギー項を、すべてのノードに対応する単項のエネルギー項、および、２Ｄグラフの対応する列内の半径方向に沿った２つの隣接するノードを接続するすべてのエッジの対になったエネルギー項の合計として定義する。１Ｄグラフ内のノードの単項のエネルギー項は、式（５）によって定義される。
【００３８】
【数２】
2017111808.tif 000004
式（５）において、Ｅcol（ｐ）は、１Ｄグラフのｐ番目の列内のノードの単項のエネルギー項を表し、Ｅnodeは、２Ｄグラフ内のノードの単項のエネルギー項を表し、Ｅradialは、エッジの半径方向における対になったエネルギー項を表し、ｉおよびｊは、２Ｄグラフのｐ番目の列内の半径方向に沿った隣接するノードを表す。
【００３９】
加えて、ラベル付けサブユニット１６０は、１Ｄグラフ内の２つの隣接するノードを接続するエッジの対になったエネルギー項を、２Ｄグラフの対応する列内の周方向に沿ったノードを接続するすべてのエッジのすべての対になったエネルギー項の合計として定義する。１Ｄグラフ内のエッジの対になったエネルギー項は、式（６）によって定義される。
【００４０】
【数３】
2017111808.tif 000005
式（６）において、Ｅedge（ｐ，ｑ）は、１Ｄグラフのｐ番目の列内のノードとｑ番目の列内のノードとを接続するエッジの対になったエネルギー項を表し、Ｅcircumは、エッジの半径方向における対になったエネルギー項を表し、ｉおよびｊは、それぞれ２Ｄグラフ内のｐ番目の列およびｑ番目の列内の周方向に沿ったノードを表す。
【００４１】
そのような実施形態において、ラベル付けサブユニット１６０は、動的計画法アルゴリズムを使用して１Ｄグラフを最適化することによって、２Ｄグラフ内の毛髪領域の上方境界および下方境界を判定する。ラベル付けサブユニット１６０は、式（１）、（２）、（３）、（５）、および（６）によって定義されるエネルギー関数を最小化することによって、１Ｄグラフを最適化する。一実施形態において、ラベル付けサブユニット１６０は、動的計画法アルゴリズムを使用して毛髪領域の上方境界および下方境界を同時に判定する。別の実施形態において、ラベル付けサブユニット１６０は、動的計画法アルゴリズムを使用して毛髪領域の上方境界および下方境界を連続して判定する。たとえば、ラベル付けサブユニット１６０は、上方境界が２Ｄグラフ内で下方境界の上になるという制約に基づいて、下方境界を判定し、その後、上方境界を判定する。同様に、別の例において、ラベル付けサブユニット１６０は、下方境界が２Ｄグラフ内で上方境界の下になるという制約に基づいて、上方境界を判定し、その後、下方境界を判定する。
【００４２】
さらに、ラベル付けサブユニット１６０は、下方境界および上方境界に基づいて、２Ｄグラフの各ノードを、顔領域、毛髪領域、および背景領域のうちの１つとしてラベル付けする。たとえば、ラベル付けサブユニット１６０は、上方境界と下方境界との間のノードを毛髪領域としてラベル付けし、上方境界と画像の縁との間のノードを背景領域としてラベル付けし、下方境界と２Ｄグラフの原点（すなわち、極座標格子の原点）との間のノードを顔領域としてラベル付けする。
【００４３】
ラベル付けサブユニット１６０は、２Ｄグラフの１つまたは複数のノードの１つまたは複数のラベル（すなわち、極座標格子の１つまたは複数の格子点の１つまたは複数のラベル）に基づいて、１つまたは複数のスーパーピクセルをラベル付けするようにさらに構成されている。一実施形態において、ラベル付けサブユニット１６０は、画像のスーパーピクセル化バージョンに、極座標格子をマッピングする。ラベル付けサブユニット１６０は、画像のスーパーピクセル化バージョンにおける、各スーパーピクセルの位置に一致する格子点を判定する。ラベル付けサブユニット１６０はその後、各スーパーピクセルに、一致する格子点のラベルをラベル付けする。一例において、ラベル付けサブユニット１６０は、スーパーピクセルの位置が、複数の格子点の位置と一致する可能性があると判定する場合がある。そのような例において、ラベル付けサブユニット１６０は、スーパーピクセルに、複数の一致する格子点の間で最も多い数の一致する格子点を有するラベルをラベル付けする。さらに、ラベル付けサブユニット１６０は、通知サブユニット１６５に、１つまたは複数のスーパーピクセルの１つまたは複数のラベルを送信するように構成されている。
【００４４】
通知サブユニット１６５は、１つまたは複数のスーパーピクセルの１つまたは複数のラベルに基づいて通知を生成するように構成されている。一実施形態において、通知サブユニット１６５は、１つまたは複数のスーパーピクセルの１つまたは複数のラベルに基づいて通知を生成する機能をもたらすために、プロセッサ１２５によって実行可能な命令セットを含む。別の実施形態において、通知サブユニット１６５は、メモリ１３０に記憶することができ、プロセッサ１２５によってアクセス可能かつ実行可能である。いずれの実施形態においても、通知サブユニット１６５は、プロセッサ１２５、および、セグメンテーションユニット１４０の１つまたは複数のサブユニットと通信し、協働するように適合されている。
【００４５】
さらに、通知サブユニット１６５は、ラベル付けサブユニット１６０から１つまたは複数のスーパーピクセルの１つまたは複数のラベルを受信し、通知を生成するように構成されている。通知サブユニット１６５はその後、たとえば、セグメンテーションデバイス１２０、セグメンテーションデバイス１２０に結合されている顔認識デバイス（図示せず）または物体追跡デバイス（図示せず）などのユーザに、通知を送信することができる。一実施形態において、通知は、毛髪領域を表す１つまたは複数のスーパーピクセルの位置を含む。別の実施形態において、通知は、顔領域、毛髪領域、および背景領域を表す１つまたは複数のスーパーピクセルの位置を含む。また別の実施形態において、通知サブユニット１６５は、１つまたは複数のスーパーピクセルの１つまたは複数のラベルを含むラベル付き画像を、通知として生成する。ラベル付き画像は、３つの部分から成る画像であってもよく、ラベル付き画像の各強度値は、３つのラベルのうちの１つに一意に対応する。そのような実施形態において、通知サブユニット１６５は、たとえば、セグメンテーションデバイス１２０のユーザにラベル付き画像を与えるためのグラフィックデータを生成するようにさらに構成することができる。一例において、通知サブユニット１６５は、表示デバイス１３５にグラフィックデータを送信する。表示デバイス１３５は、グラフィックデータをレンダリングし、ラベル付き画像を表示するように構成されている。別の例において、通知サブユニット１６５は、電子メール、ショートメッセージサービスなどを介してユーザにラベル付き画像を与えるためのグラフィックデータを送信する。
【００４６】
図２（ａ）〜図２（ｅ）はそれぞれ、本明細書の態様による、毛髪セグメンテーションのための例示的な方法の図表示を示している。図２（ａ）〜図２（ｅ）は図１の構成要素を参照して説明されることが留意され得る。図２（ａ）は、人間の頭部２０５を含む画像２００を示す。加えて、画像２００は、撮像デバイス１１０から、セグメンテーションデバイス１２０内のセグメンテーションユニット１４０によって受信される。図２（ａ）〜図２（ｅ）の例において、セグメンテーションデバイス１２０は、画像２００内の毛髪領域をセグメント化するように構成されている。
【００４７】
ここで図２（ｂ）を参照すると、画像２００の例示的なスーパーピクセル化バージョン２１０が示されている。このスーパーピクセル化バージョン２１０は、スーパーピクセルサブユニット１５０によって、画像２００の１つまたは複数のピクセルを、１つまたは複数のスーパーピクセル２１５ａ、２１５ｂ、．．．、２１５ｎにグループ化することによって生成される。一例において、スーパーピクセルサブユニット１５０は、画像２００の１つまたは複数のピクセルの色および質感に基づいて、画像２００のスーパーピクセル化バージョン２１０を生成する。
【００４８】
また、図２（ｃ）は、例示的な極座標格子２２０を有する画像２１８を示す。極座標格子２２０は、極サブユニット１５５によって生成される。図示されている実施形態において、極サブユニット１５５は、画像２００内の人間の頭部２０５の中心２３０に基づいて、極座標格子２２０を生成する。極サブユニット１５５は、人間の頭部２０５の中心２３０を、極座標格子２２０の原点２３０として割り当てる。参照符号２２５ａ、２２５ｂ、．．．、２２５ｎは、一般的に、極座標格子２２０内の格子点を表す。
【００４９】
ここで図２（ｄ）を参照すると、例示的な格子点ラベル２４５ａ、２４５ｂ、．．．、２４５ｎを有する画像２４０が示されている。これらの格子点ラベル２４５ａ、２４５ｂ、．．．、２４５ｎは、ラベル付けサブユニット１６０によって生成される。ラベル付けサブユニット１６０は、極座標格子２２０の１つまたは複数の格子点２２５ａ、２２５ｂ、．．．、２２５ｎを、顔領域、毛髪領域、および背景領域のうちの１つに対応するものとしてラベル付けする。図示されている実施形態において、ラベル付けサブユニット１６０は、１つまたは複数のスーパーピクセル２１５ａ、２１５ｂ、．．．、２１５ｎと関連付けられる画像特徴を使用して、階層構造制約およびＣＲＦに基づいて、１つまたは複数の格子点２２５ａ、２２５ｂ、．．．、２２５ｎをラベル付けする。階層構造制約は、半径方向において原点２３０と格子点２２５ａ、２２５ｂ、．．．、２２５ｎとを接続する線に沿ったラベルが、顔領域から始まり、毛髪領域へと遷移し、その後、背景領域へとさらに遷移する順序になることを示す。一例において、ラベル付けサブユニット１６０は、格子点２２５ａ、２２５ｂ、および２２５ｎを、それぞれ顔領域、毛髪領域、および背景領域に対応するものとしてラベル付けする。したがって、参照符号２４５ａは、顔領域と関連付けられるラベルを表し、一方で、毛髪領域と関連付けられるラベルは一般的に、参照符号２４５ｂによって表されている。同様に、参照符号２４５ｎは、背景領域に対応するラベルを表す。
【００５０】
加えて、図２（ｅ）は、通知サブユニット１６５によって生成される例示的なラベル付き画像２５０を示す。図示されている実施形態において、ラベル付けサブユニット１６０は、極座標格子２２０をスーパーピクセル化バージョン２１０にマッピングすることによって、１つまたは複数の格子点２２５ａ、２２５ｂ、．．．、２２５ｎのラベル２４５ａ、２４５ｂ、．．．、２４５ｎに基づいて、スーパーピクセル２１５ａ、２１５ｂ、．．．、２１５ｎをラベル付けする。通知サブユニット１６５はその後、１つまたは複数のスーパーピクセル２１５ａ、２１５ｂ、．．．、２１５ｎの１つまたは複数のラベルに基づいてラベル付き画像２５０を生成する。ラベル付き画像２５０において、参照符号２５５は顔領域を表し、一方で、毛髪領域は、参照符号２６０によって表される。また、参照符号２６５は、背景領域を表す。ラベル付き画像２５０において、顔領域２５５、毛髪領域２６０、および背景領域２６５は、明確に区切られていることが留意され得る。通知サブユニット１６５は、視覚化のために、ディスプレイにラベル付き画像２５０を送信する。その上、一例において、少なくともラベル付き画像２５０が、図１の表示装置１３５上で視覚化され得る。
【００５１】
毛髪は一般的に人間の頭部の上半分に見られるため、図２（ａ）〜図２（ｅ）の図示されている実施形態において、スーパーピクセル２１５ａ、２１５ｂ、．．．、２１５ｎおよび極座標格子２２０は、受信画像２００内の人間の頭部２０５の中心２３０よりも上の部分について生成される。これは、格子点およびスーパーピクセルの数が低減し、したがって、ラペル付けプロセスが加速するため、有利である。しかしながら、他の実施形態において、セグメンテーションユニット１４０は、画像２００全体のスーパーピクセル２１５ａ、２１５ｂ、．．．、２１５ｎおよび極座標格子２２０を生成してもよい。
【００５２】
図３は、本明細書の態様による、毛髪セグメンテーションのための例示的な方法３００を示す流れ図である。図３の方法３００は、図１の構成要素を参照して説明される。ステップ３０２において、通信サブユニット１４５が、撮像デバイス１１０から人間の頭部を含む画像を受信する。さらに、ステップ３０４において、スーパーピクセルサブユニット１５０が、画像の１つまたは複数のピクセルを、１つまたは複数のスーパーピクセルにグループ化する。また、ステップ３０６において、極サブユニット１５５が、画像の極座標格子を生成し、極座標格子は、１つまたは複数の格子点を含む。
【００５３】
その上、ステップ３０８において、ラベル付けサブユニット１６０が、階層構造制約に基づいて、１つまたは複数の格子点を、顔領域、毛髪領域、および背景領域のうちの１つに対応するものとしてラベル付けする。たとえば、ラベル付けサブユニット１６０は、ＣＲＦを生成し、階層構造制約およびＣＲＦに基づいて１つまたは複数の格子点をラベル付けする。加えて、ステップ３１０において、ラベル付けサブユニット１６０が、１つまたは複数の格子点の１つまたは複数のラベルに基づいて、１つまたは複数のスーパーピクセルを、顔領域、毛髪領域、および背景領域のうちの１つに対応するものとしてラベル付けする。その後、ステップ３１２において、通知サブユニット１６５が、１つまたは複数のスーパーピクセルの１つまたは複数のラベルを含む通知を、たとえば、セグメンテーションデバイス１２０のユーザに送信する。通知は、顔領域、毛髪領域、および背景領域を明確に区切る、図２（ｅ）のラベル付き画像２５０のようなラベル付き画像を含んでもよい。通知サブユニット１６５は、１つまたは複数のスーパーピクセルの１つまたは複数のラベルに基づいてラベル付き画像を生成する。特定の実施形態において、ラベル付き画像は、ディスプレイ上で視覚化することができる。別の例において、通知サブユニット１６５は、１つまたは複数のスーパーピクセルの１つまたは複数のラベルを含む通知を、セグメンテーションデバイス１２０に結合されている顔認識デバイスまたは物体追跡デバイスに送信してもよい。
【００５４】
図４は、本明細書の態様による、毛髪セグメンテーションのための別の例示的な方法４００を示す流れ図である。図４の方法４００は、図１の構成要素を参照して説明される。ステップ４０２において、通信サブユニット１４５が、撮像デバイス１１０から人間の頭部を含む画像を受信する。また、ステップ４０４において、スーパーピクセルサブユニット１５０が、画像の１つまたは複数のピクセルを、１つまたは複数のスーパーピクセルにグループ化する。さらに、ステップ４０６において、極サブユニット１５５が、画像内の人間の頭部の中心を判定する。加えて、ステップ４０８において、極サブユニット１６０が、人間の頭部の中心に基づいて画像に対応する極座標格子を生成し、極座標格子は、１つまたは複数の格子点を含む。
【００５５】
その上、ステップ４１０において、ラベル付けサブユニット１６０が、格子点および階層構造制約に基づいて、画像内の毛髪領域の下方境界および上方境界を判定する。たとえば、ラベル付けサブユニット１６０は、格子点に基づいて２Ｄグラフ（すなわち、ＣＲＦ）を生成する。ラベル付けサブユニット１６０はその後、２Ｄグラフを１Ｄグラフに変換し、１Ｄグラフおよび動的計画法アルゴリズムに基づいて、毛髪領域の下方境界および上方境界を判定する。さらに、ステップ４１２において、ラベル付けサブユニット１６０が、下方境界および上方境界に基づいて、格子点を、顔領域、毛髪領域、および背景領域のうちの１つに対応するものとしてラベル付けする。さらに、ステップ４１４において、ラベル付けサブユニット１６０が、１つまたは複数の格子点の１つまたは複数のラベルに基づいて、１つまたは複数のスーパーピクセルを、顔領域、毛髪領域、および背景領域のうちの１つに対応するものとしてラベル付けする。その後、ステップ４１６において、通知サブユニット１６０が、１つまたは複数のスーパーピクセルの１つまたは複数のラベルを含む、図２（ｅ）のラベル付き画像２５０のようなラベル付き画像を生成する。ラベル付き画像は、顔領域、毛髪領域、および背景領域を明確に区切る。また、特定の実施形態において、ラベル付き画像は、ステップ４１８によって示すように、ディスプレイ上で視覚化することができる。
【００５６】
本明細書において上述した毛髪セグメンテーションのためのシステムおよび方法は、現在利用可能なシステムおよび方法と比較したときに、毛髪セグメンテーションのための、より迅速でよりロバストな技法を提示する。特に、階層構造制約を使用することによって、画像内の人間の頭部の相対位置の効果的なモデル化が促進され、２Ｄ  ＣＲＦのロバストな最適化（すなわち、１つまたは複数の格子点のラベル付け）が可能になる。さらに、階層構造制約に基づいて下方境界および上方境界を判定することによって、多項式時間における１つまたは複数の格子点のラベル付けが促進される。たとえば、下方境界および上方境界を連続して判定することは、１つまたは複数の格子点をＯ（ｍｎ）にラベル付けする時間計算量を低減するのに役立ち、Ｏは大文字Ｏ表記法を表し、ｍは２Ｄまたは１Ｄグラフ内の列の数を表し、ｎは２Ｄまたは１Ｄグラフの各列内のノード（すなわち、格子点）の数を表す。時間計算量が低減されることは、それによって、本明細書において上述した毛髪セグメンテーションのためのシステムおよび方法の、限定ではないが、顔認識、物体／人間追跡などのようなリアルタイム用途における使用が促進されるため、特に有利である。
【００５７】
必ずしもすべての上述したそのような目的または利点が、任意の特定の実施態様に従って達成されるとは限らない場合があることは理解されたい。したがって、たとえば、本明細書に記載するシステムおよび技法は、必ずしも本明細書において教示または示唆され得るような他の目的または利点を達成することなく、本明細書において教示されているような１つの利点または一群の利点を達成または最適化するように、具現化または実行されてもよいことを、当業者は認識しよう。
【００５８】
本技術は、限られた数の実施態様のみに関連して詳細に説明されているが、本発明がそのような開示されている実施態様に限定されないことは、容易に理解されるはずである。むしろ、本技術は、これまでに記載されていないが、本開示の趣旨および範囲に相応する、任意の数の変形形態、変更形態、置換形態または均等な構成を組み込むように修正することができる。加えて、本技術の様々な実施態様が説明されているが、本技術の態様は、記載されている実施態様の一部のみを含んでもよいことは理解されたい。したがって、本発明は、上記の記載によって限定されるものとして考えられるべきではなく、添付の特許請求項の範囲のみによって限定される。新規である、米国特許状によって保護されることが所望されるとして、以下を特許請求する。
【００５９】
最後に、代表的な実施態様を以下に示す。
［実施態様１］
少なくとも１つのプロセッサ（１２５）を用いて、撮像デバイス（１１０）から人間の頭部（２０５）を含む画像（２００）を受信すること（３０２、４０２）と、
画像（２００）の１つまたは複数のピクセルを、１つまたは複数のスーパーピクセル（２１５ａ、２１５ｂ、．．．、２１５ｎ）にグループ化すること（３０４、４０４）と、
画像（２００）に対応する極座標格子（２２０）を生成すること（３０６、４０８）であって、極座標格子（２２０）は、１つまたは複数の格子点（２２５ａ、２２５ｂ、．．．、２２５ｎ）を含む、生成すること（３０６、４０８）と、
階層構造制約に基づいて、１つまたは複数の格子点（２２５ａ、２２５ｂ、．．．、２２５ｎ）を、顔領域（２５５）、毛髪領域（２６０）、および背景領域（２６５）のうちの１つに対応するものとしてラベル付けすること（３０８）と、
１つまたは複数の格子点（２２５ａ、２２５ｂ、．．．、２２５ｎ）の１つまたは複数のラベル（２４５ａ、２４５ｂ、．．．、２４５ｎ）に基づいて、１つまたは複数のスーパーピクセル（２１５ａ、２１５ｂ、．．．、２１５ｎ）を、顔領域（２５５）、毛髪領域（２６０）、および背景領域（２６５）のうちの１つに対応するものとしてラベル付けすること（３１０、４１４）と、
１つまたは複数のスーパーピクセル（２１５ａ、２１５ｂ、．．．、２１５ｎ）の１つまたは複数のラベルを含む通知を送信すること（３１２）と
を含む、方法（３００、４００）。
［実施態様２］
階層構造制約は、毛髪領域（２６０）が、画像（２００）内で顔領域（２５５）と背景領域（２６５）との間に位置することを示す、実施態様１に記載の方法（３００、４００）。
［実施態様３］
１つまたは複数の格子点（２２５ａ、２２５ｂ、．．．、２２５ｎ）および階層構造制約に基づいて、毛髪領域（２６０）の下方境界および上方境界を判定すること（４１０）をさらに含む、実施態様１に記載の方法（３００、４００）。
［実施態様４］
動的計画法アルゴリズムに基づいて、毛髪領域（２６０）の下方境界および上方境界を判定することをさらに含む、実施態様３に記載の方法（３００、４００）。
［実施態様５］
毛髪領域（２６０）の下方境界および上方境界を連続してまたは同時に判定することをさらに含む、実施態様３に記載の方法（３００、４００）。
［実施態様６］
１つまたは複数のピクセルの色、質感、および形状のうちの少なくとも１つに基づいて、画像（２００）の１つまたは複数のピクセルを１つまたは複数のスーパーピクセル（２１５ａ、２１５ｂ、．．．、２１５ｎ）にグループ化することをさらに含む、実施態様１に記載の方法（３００、４００）。
［実施態様７］
極座標格子（２２０）を生成すること（３０６、４０８）は、
画像（２００）内の１つまたは複数のスーパーピクセル（２１５ａ、２１５ｂ、．．．、２１５ｎ）の密度を判定することと、
画像（２００）内の人間の頭部（２０５）の中心を判定すること（４０６）と、
画像（２００）内の人間の頭部（２０５）の中心および１つまたは複数のスーパーピクセル（２１５ａ、２１５ｂ、．．．、２１５ｎ）の密度に基づいて極座標格子（２２０）を生成することと
を含む、実施態様１に記載の方法（３００、４００）。
［実施態様８］
１つまたは複数のスーパーピクセル（２１５ａ、２１５ｂ、．．．、２１５ｎ）の１つまたは複数のラベルに基づいてラベル付き画像（２５０）を生成すること（４１６）と、
ラベル付き画像（２５０）を視覚化すること（４１８）と
をさらに含む、実施態様１に記載の方法（３００、４００）。
［実施態様９］
少なくとも１つのプロセッサ（１２５）と、
撮像デバイス（１１０）から人間の頭部（２０５）を含む画像（２００）を受信するように構成されている通信サブユニット（１４５）と、
通知サブユニット（１４５）と通信可能に結合されており、画像（２００）の１つまたは複数のピクセルを、１つまたは複数のスーパーピクセル（２１５ａ、２１５ｂ、．．．、２１５ｎ）にグループ化するように構成されているスーパーピクセルサブユニット（１５０）と、
スーパーピクセルサブユニット（１５０）と通信可能に結合されており、画像（２００）に対応する極座標格子（２２０）を生成するように構成されている極サブユニット（１５５）であって、極座標格子（２２０）は、１つまたは複数の格子点（２２５ａ、２２５ｂ、．．．、２２５ｎ）を含む、極サブユニット（１５５）と、
極サブユニット（１５５）に通信可能に結合されているラベル付けサブユニット（１６０）であり、
階層構造制約に基づいて、１つまたは複数の格子点（２２５ａ、２２５ｂ、．．．、２２５ｎ）を、顔領域（２５５）、毛髪領域（２６０）、および背景領域（２６５）のうちの１つに対応するものとしてラベル付けし、
１つまたは複数の格子点（２２５ａ、２２５ｂ、．．．、２２５ｎ）の１つまたは複数のラベル（２４５ａ、２４５ｂ、．．．、２４５ｎ）に基づいて、１つまたは複数のスーパーピクセル（２１５ａ、２１５ｂ、．．．、２１５ｎ）を、顔領域（２５５）、毛髪領域（２６０）、および背景領域（２６５）のうちの１つに対応するものとしてラベル付けするように構成されている、ラベル付けサブユニット（１６０）と、
ラベル付けサブユニット（１６０）と通信可能に結合されており、１つまたは複数のスーパーピクセル（２１５ａ、２１５ｂ、．．．、２１５ｎ）の１つまたは複数のラベルを含む通知を送信するように構成されている通知サブユニット（１６５）と
を備え、
通信サブユニット（１４５）、スーパーピクセルサブユニット（１５０）、極サブユニット（１５５）、ラベル付けサブユニット（１６０）、および通知サブユニット（１６５）のうちの１つまたは複数は、少なくとも１つのプロセッサ（１２５）によって実行可能である、セグメンテーションデバイス（１２０）。
［実施態様１０］
階層構造制約は、毛髪領域（２６０）が、画像（２００）内で顔領域（２５５）と背景領域（２６５）との間にあることを示す、実施態様９に記載のセグメンテーションデバイス（１２０）。
［実施態様１１］
ラベル付けサブユニット（１６０）は、１つまたは複数の格子点（２２５ａ、２２５ｂ、．．．、２２５ｎ）および階層構造制約に基づいて、毛髪領域（２６０）の下方境界および上方境界を判定するようにさらに構成されている、実施態様９に記載のセグメンテーションデバイス（１２０）。
［実施態様１２］
ラベル付けサブユニット（１６０）は、条件付き確率場および動的計画法アルゴリズムに基づいて、毛髪領域（２６０）の下方境界および上方境界を判定するようにさらに構成されている、実施態様１１に記載のセグメンテーションデバイス（１２０）。
［実施態様１３］
ラベル付けサブユニット（１６０）は、毛髪領域（２６０）の下方境界および上方境界を連続してまたは同時に判定するようにさらに構成されている、実施態様１１に記載のセグメンテーションデバイス（１２０）。
［実施態様１４］
スーパーピクセルサブユニット（１５０）は、１つまたは複数のピクセルの色、質感、および形状のうちの少なくとも１つに基づいて、画像（２００）の１つまたは複数のピクセルを１つまたは複数のスーパーピクセル（２１５ａ、２１５ｂ、．．．、２１５ｎ）にグループ化するようにさらに構成されている、実施態様９に記載のセグメンテーションデバイス（１２０）。
［実施態様１５］
極サブユニット（１５５）は、
画像（２００）内の１つまたは複数のスーパーピクセル（２１５ａ、２１５ｂ、．．．、２１５ｎ）の密度を判定し、
画像（２００）内の人間の頭部（２０５）の中心を判定し、
画像（２００）内の人間の頭部（２０５）の中心および１つまたは複数のスーパーピクセル（２１５ａ、２１５ｂ、．．．、２１５ｎ）の密度に基づいて極座標格子（２２０）を生成するようにさらに構成されている、実施態様９に記載のセグメンテーションデバイス（１２０）。
［実施態様１６］
人間の頭部（２０５）を含む画像（２００）を生成するように構成されている撮像デバイス（１１０）と、
撮像デバイス（１１０）に通信可能に結合されているセグメンテーションデバイス（１２０）であり、
少なくとも１つのプロセッサ（１２５）と、
撮像デバイス（１１０）から画像（２００）を受信するように構成されている通信サブユニット（１４５）と、
通知サブユニット（１４５）と通信可能に結合されており、画像（２００）の１つまたは複数のピクセルを、１つまたは複数のスーパーピクセル（２１５ａ、２１５ｂ、．．．、２１５ｎ）にグループ化するように構成されているスーパーピクセルサブユニット（１５０）と、
スーパーピクセルサブユニット（１５０）と通信可能に結合されており、画像（２００）に対応する極座標格子（２２０）を生成するように構成されている極サブユニット（１５５）で、極座標格子（２２０）は、１つまたは複数の格子点（２２５ａ、２２５ｂ、．．．、２２５ｎ）を含む、極サブユニット（１５５）と、
極サブユニット（１５５）に通信可能に結合されているラベル付けサブユニット（１６０）で、
階層構造制約に基づいて、１つまたは複数の格子点（２２５ａ、２２５ｂ、．．．、２２５ｎ）を、顔領域（２５５）、毛髪領域（２６０）、および背景領域（２６５）のうちの１つに対応するものとしてラベル付けし、
１つまたは複数の格子点（２２５ａ、２２５ｂ、．．．、２２５ｎ）の１つまたは複数のラベル（２４５ａ、２４５ｂ、．．．、２４５ｎ）に基づいて、１つまたは複数のスーパーピクセル（２１５ａ、２１５ｂ、．．．、２１５ｎ）を、顔領域（２５５）、毛髪領域（２６０）、および背景領域（２６５）のうちの１つに対応するものとしてラベル付けするように構成されている、ラベル付けサブユニット（１６０）と、
ラベル付けサブユニット（１６０）と通信可能に結合されており、１つまたは複数のスーパーピクセル（２１５ａ、２１５ｂ、．．．、２１５ｎ）の１つまたは複数のラベルを含む通知を送信するように構成されている通知サブユニット（１６５）と
を備え、
通信サブユニット（１４５）、スーパーピクセルサブユニット（１５０）、極サブユニット（１５５）、ラベル付けサブユニット（１６０）、および通知サブユニット（１６５）のうちの１つまたは複数は、少なくとも１つのプロセッサ（１２５）によって実行可能である、セグメンテーションデバイス（１２０）と
を備える、システム（１００）。
［実施態様１７］
ラベル付けサブユニット（１６０）は、１つまたは複数の格子点（２２５ａ、２２５ｂ、．．．、２２５ｎ）および階層構造制約に基づいて、毛髪領域（２６０）の下方境界および上方境界を判定するようにさらに構成されている、実施態様１６に記載のシステム（１００）。
［実施態様１８］
ラベル付けサブユニット（１６０）は、毛髪領域（２６０）の下方境界および上方境界を連続してまたは同時に判定するようにさらに構成されている、実施態様１７に記載のシステム（１００）。
［実施態様１９］
通知サブユニット（１６５）は、１つまたは複数のスーパーピクセル（２１５ａ、２１５ｂ、．．．、２１５ｎ）の１つまたは複数のラベルに基づいてラベル付き画像（２５０）を生成するようにさらに構成されている、実施態様１６に記載のシステム（１００）。
［実施態様２０］
ラベル付き画像（２５０）を視覚化するように構成されている表示デバイス（１３５）をさらに備える、実施態様１９に記載のシステム（１００）。
【符号の説明】
【００６０】
１００  システム
１１０  撮像デバイス
１１５  有線信号回線
１２０  セグメンテーションデバイス
１２５  プロセッサ
１３０  メモリ
１３５  表示デバイス
１４０  セグメンテーションユニット
１４５  通信サブユニット
１５０  スーパーピクセルサブユニット
１５５  極サブユニット
１６０  ラベル付けサブユニット
１６５  通知サブユニット
２００  人間の頭部を含む画像
２０５  人間の頭部
２１０  画像のスーパーピクセル化バージョン
２１５ａ〜ｎ  スーパーピクセル
２１８  極座標格子を有する画像
２２０  極座標格子
２２５ａ〜ｎ  格子点
２３０  人間の頭部の中心
２４０  格子点ラベルを有する画像
２４５ａ〜ｎ  格子点ラベル
２５０  ラベル付き画像
２５５  顔領域
２６０  毛髪領域
２６５  背景領域
３００  方法
４００  方法
【図１】
2017111808.tif 000006
【図２（ａ）−２（ｅ）】
2017111808.tif 000007
【図３】
2017111808.tif 000008
【図４】
2017111808.tif 000009
【外国語明細書】
2017111808000001.pdf