(57)【要約】  本開示は、画像分割方法、画像分割装置、画像分割デバイス、プログラム及び記録媒体に関し、画像処理技術分野に属する。上記方法は、顔の外部輪郭点の位置決め結果に基づいて、所定の大きさを有する画像における各画素点の位置で顔肩前景が現れる事前確率を計算するステップと、事前確率、予め設定された顔肩前景の確率閾値及び背景の確率閾値に基づいて、分割しようとする画像において顔肩前景サンプル画素点及び背景サンプル画素点を選択するステップと、顔肩前景サンプル画素点の色特徴ベクトル及び背景サンプル画素点の色特徴ベクトルに基づいて、顔肩前景の第１色尤度確率と背景の第２色尤度確率を計算するステップと、事前確率、第１色尤度確率、及び第２色尤度確率に基づいて、顔肩前景の第１事後確率と背景の第２事後確率を計算するステップと、第１事後確率と第２事後確率に基づいて、分割しようとする画像に対して顔肩分割を行うステップとを含む。事前確率及び色尤度確率に基づいて、画像分割を行うため、分割精度が向上する。【選択図】図１
2016531361.tif 000002
【特許請求の範囲】
【請求項１】
顔の外部輪郭点の位置決め結果に基づいて、所定の大きさを有する画像における各画素点の位置で顔肩前景が現れる事前確率を計算するステップと、
前記事前確率、予め設定された顔肩前景の確率閾値及び背景の確率閾値に基づいて、分割しようとする画像において顔肩前景サンプル画素点及び背景サンプル画素点を選択するステップと、
前記顔肩前景サンプル画素点の色特徴ベクトルと前記背景サンプル画素点の色特徴ベクトルに基づいて、前記顔肩前景の第１色尤度確率と前記背景の第２色尤度確率を計算するステップと、
前記事前確率、前記第１色尤度確率、及び前記第２色尤度確率に基づいて、前記顔肩前景の第１事後確率と前記背景の第２事後確率を計算し、
前記第１事後確率と前記第２事後確率に基づいて、前記分割しようとする画像に対して顔肩分割を行うステップと、を含む
ことを特徴とする画像分割方法。
【請求項２】
前記顔の外部輪郭点の位置決め結果に基づいて、所定の大きさを有する画像における各画素点の位置で顔肩前景が現れる事前確率を計算するステップは、
所定枚数の女性正面顔画像を選択するステップと、
各女性正面顔画像に対してユーザにより行われた顔肩前景のキャリブレーション結果に基づいて、各女性正面顔画像の顔肩キャリブレーション画像を生成するステップと、
各女性正面顔画像に対して顔の外部輪郭特徴点の位置決めを行うことで位置決め結果を取得するステップと、
顔の外部輪郭特徴点の位置決め結果に基づいて、各前記顔肩キャリブレーション画像について位置揃え処理及び寸法正規化処理を行うことで、所定の大きさを有する画像を複数取得するステップと、
複数の所定の大きさを有する画像の同一位置にある画素点について、前記顔肩前景キャリブレーション結果に基づいて、前記画素点の位置で顔肩前景が現れる事前確率を計算するステップと、を含む
ことを特徴とする請求項１に記載の画像分割方法。
【請求項３】
前記顔の外部輪郭点の位置決め結果に基づいて、所定の大きさを有する画像における各画素点の位置で顔肩前景が現れる事前確率を計算するステップは、
所定枚数の男性正面顔画像を選択するステップと、
各男性正面顔画像に対してユーザにより行われた顔肩前景のキャリブレーション結果に基づいて、各男性正面顔画像の顔肩キャリブレーション画像を生成するステップと、
各男性正面顔画像に対して顔の外部輪郭特徴点の位置決めを行うことで位置決め結果を取得するステップと、
顔の外部輪郭特徴点の位置決め結果に基づいて、各前記顔肩キャリブレーション画像について位置揃え処理及び寸法正規化処理を行うことで、所定の大きさを有する画像を複数取得するステップと、
複数の所定の大きさを有する画像の同一位置にある画素点について、前記顔肩前景キャリブレーション結果に基づいて、前記画素点の位置で顔肩前景が現れる事前確率を計算するステップとを含む
ことを特徴とする請求項１に記載の画像分割方法。
【請求項４】
2016531361.tif 000023
【請求項５】
前記事前確率、予め設定された顔肩前景の確率閾値及び背景の確率閾値に基づいて、分割しようとする画像において顔肩前景サンプル画素点及び背景サンプル画素点を選択するステップは、
前記分割しようとする画像における顔に対して性別認識を行い、性別認識結果を取得するステップと、
前記性別認識結果に基づいて、前記分割しようとする画像に対応する事前確率を決定するステップと、
前記分割しようとする画像における各画素点について、前記画素点の事前確率が前記顔肩前景の確率閾値より大きいか否かを判定し、前記画素点の事前確率が前記顔肩前景の確率閾値より大きい場合、前記画素点を前景サンプル画素点と決定するステップと、
前記分割しようとする画像における各画素点について、前記画素点の事前確率が前記背景の確率閾値より小さいか否かを判定し、前記画素点の事前確率が前記背景の確率閾値より小さい場合、前記画素点を背景サンプル画素点と決定するステップと、を含む
ことを特徴とする請求項１に記載の画像分割方法。
【請求項６】
2016531361.tif 000024
【請求項７】
2016531361.tif 000025
【請求項８】
顔の外部輪郭点の位置決め結果に基づいて、所定の大きさを有する画像における各画素点の位置で顔肩前景が現れる事前確率を計算するための事前確率計算モジュールと、
前記事前確率、予め設定された顔肩前景の確率閾値及び背景の確率閾値に基づいて、分割しようとする画像において顔肩前景サンプル画素点及び背景サンプル画素点を選択するためのサンプル画素点選択モジュールと、
前記顔肩前景サンプル画素点の色特徴ベクトル及び前記背景サンプル画素点の色特徴ベクトルに基づいて、前記顔肩前景の第１色尤度確率と前記背景の第２色尤度確率を計算するための色尤度確率計算モジュールと、
前記事前確率、前記第１色尤度確率、及び前記第２色尤度確率に基づいて、前記顔肩前景の第１事後確率と前記背景の第２事後確率を計算するための事後確率計算モジュールと、前記第１事後確率と前記第２事後確率に基づいて、前記分割しようとする画像に対して顔肩分割を行うための画像分割モジュールと、を備える
ことを特徴とする画像分割装置。
【請求項９】
前記事前確率計算モジュールは、
所定枚数の女性正面顔画像を選択し、
各女性正面顔画像に対してユーザにより行われた顔肩前景のキャリブレーション結果に基づいて、各女性正面顔画像の顔肩キャリブレーション画像を生成し、
各女性正面顔画像に対して顔の外部輪郭特徴点の位置決めを行うことで、位置決め結果を取得し、
顔の外部輪郭特徴点の位置決め結果に基づいて、各前記顔肩キャリブレーション画像について位置揃え処理及び寸法正規化処理を行うことで、所定の大きさを有する画像を複数取得し、
複数の所定の大きさを有する画像の同一位置にある画素点について、前記顔肩前景キャリブレーション結果に基づいて、前記画素点の位置で顔肩前景が現れる事前確率を計算する
ことを特徴とする請求項８に記載の画像分割装置。
【請求項１０】
前記事前確率計算モジュールは、
所定枚数の男性正面顔画像を選択し、
各男性正面顔画像に対してユーザにより行われた顔肩前景のキャリブレーション結果に基づいて、各男性正面顔画像の顔肩キャリブレーション画像を生成し、
各男性正面顔画像に対して顔の外部輪郭特徴点の位置決めを行うことで、位置決め結果を取得し、
顔の外部輪郭特徴点の位置決め結果に基づいて、各前記顔肩キャリブレーション画像に対して位置揃え処理及び寸法正規化処理を行うことで、所定の大きさを有する画像を複数取得し、
複数の所定の大きさを有する画像の同一位置にある画素点について、前記顔肩前景キャリブレーション結果に基づいて、前記画素点の位置で顔肩前景が現れる事前確率を計算する
ことを特徴とする請求項８に記載の画像分割装置。
【請求項１１】
2016531361.tif 000026
【請求項１２】
前記サンプル画素点選択モジュールは、
前記分割しようとする画像における顔に対して性別認識を行い、性別認識結果を取得し、
前記性別認識結果に基づいて、前記分割しようとする画像に対応する事前確率を決定し、
前記分割しようとする画像における各画素点について、前記画素点の事前確率が前記顔肩前景の確率閾値より大きいか否かを判定し、前記画素点の事前確率が前記顔肩前景の確率閾値より大きい場合、前記画素点を前景サンプル画素点と決定し、
前記分割しようとする画像における各画素点について、前記画素点の事前確率が前記背景の確率閾値より小さいか否かを判定し、前記画素点の事前確率が前記背景の確率閾値より小さい場合、前記画素点を背景サンプル画素点と決定する
ことを特徴とする請求項８に記載の画像分割装置。
【請求項１３】
2016531361.tif 000027
【請求項１４】
2016531361.tif 000028
【請求項１５】
プロセッサと、
前記プロセッサにより実行可能な指令を記憶するメモリと、を備え、
前記プロセッサは、
顔の外部輪郭点の位置決め結果に基づいて、所定の大きさを有する画像における各画素点の位置で顔肩前景が現れる事前確率を計算し、
前記事前確率、予め設定された顔肩前景の確率閾値及び背景の確率閾値に基づいて、分割しようとする画像において顔肩前景サンプル画素点及び背景サンプル画素点を選択し、
前記顔肩前景サンプル画素点の色特徴ベクトル及び前記背景サンプル画素点の色特徴ベクトルに基づいて、前記顔肩前景の第１色尤度確率と前記背景の第２色尤度確率を計算し、
前記事前確率、前記第１色尤度確率、及び前記第２色尤度確率に基づいて、前記顔肩前景の第１事後確率と前記背景の第２事後確率を計算し、
前記第１事後確率と前記第２事後確率に基づいて、前記分割しようとする画像に対して顔肩分割を行う
ことを特徴とする画像分割デバイス。
【発明の詳細な説明】
【相互参照】
【０００１】
本願は、出願番号がＣＮ２０１４１０３５３１４０．７であって、出願日が２０１４年７月２３日である中国特許出願に基づき優先権を主張し、当該中国特許出願のすべての内容を本願に援用する。
【技術分野】
【０００２】
本開示は、画像処理技術分野に関し、特に、画像分割方法、画像分割装置、及び画像分割デバイスに関する。
【背景技術】
【０００３】
インターネット上のマルチメディア情報量の増加に伴い、顔肩（ｈｅａｄ−ｓｈｏｕｌｄｅｒ、人の頭部と肩部を含む部位を示す）分割技術は、特殊な画像分割技術として飛躍的な発展を成し遂げた。顔肩分割技術は、ビデオ会議の背景の置換やモバイルデバイスがフロントカメラで人を撮影し、リアカメラで景色などを撮影する場合に広く使用されている。
【０００４】
関連技術において、画像に対して顔肩分割を行う場合、まず、ユーザに顔肩前景の第１サンプル画素点及び背景の第２サンプル画素点を選択させ、その後、第１サンプル画素点及び第２サンプル画素点の色特徴ベクトルをそれぞれ計算し、顔肩前景の第１色特徴ベクトル及び背景の第２色特徴ベクトルを得る。第１色特徴ベクトル及び第２色特徴ベクトルに基づいて、顔肩前景及び背景のそれぞれについて色モデルを作成し、第１色モデル及び第２色モデルを得る。最後に、第１色モデルと第２色モデルを用いて画像に対して顔肩分割を行い、顔肩分割結果を得る。
【０００５】
本開示の実現において、発明者は、関連技術に下記問題が存在することを発見した。
【０００６】
画像分割において、ユーザが画素点の選択に関与する必要があり、ユーザの利便性が損なわれる。また、サンプルの画素点の色特徴ベクトルのみに基づいて画像分割を行うので、分割の精度が劣る。
【発明の概要】
【０００７】
本開示は、上記関連技術の問題点を解決するために、画像分割方法、画像分割装置、及び画像分割デバイスを提供する。
【０００８】
本開示の実施例の第１態様は、画像分割方法を提供する。
【０００９】
この画像分割方法は、
顔の外部輪郭点の位置決め結果に基づいて、所定の大きさを有する画像における各画素点の位置で顔肩前景が現れる事前確率を計算するステップと、
前記事前確率、予め設定された顔肩前景の確率閾値及び背景の確率閾値に基づいて、分割しようとする画像において顔肩前景サンプル画素点及び背景サンプル画素点を選択するステップと、
前記顔肩前景サンプル画素点の色特徴ベクトルと前記背景サンプル画素点の色特徴ベクトルに基づいて、前記顔肩前景の第１色尤度確率と前記背景の第２色尤度確率を計算するステップと、
前記事前確率、前記第１色尤度確率、及び前記第２色尤度確率に基づいて、前記顔肩前景の第１事後確率と前記背景の第２事後確率を計算し、
前記第１事後確率と前記第２事後確率に基づいて、前記分割しようとする画像に対して顔肩分割を行うステップと、を含む。
【００１０】
選択的には、前記顔の外部輪郭点の位置決め結果に基づいて、所定の大きさを有する画像における各画素点の位置で顔肩前景が現れる事前確率を計算するステップは、
所定枚数の女性正面顔画像を選択するステップと、
各女性正面顔画像に対してユーザにより行われた顔肩前景のキャリブレーション結果に基づいて、各女性正面顔画像の顔肩キャリブレーション画像を生成するステップと、
各女性正面顔画像に対して顔の外部輪郭特徴点の位置決めを行うことで位置決め結果を取得するステップと、
顔の外部輪郭特徴点の位置決め結果に基づいて、各前記顔肩キャリブレーション画像について位置揃え処理及び寸法正規化処理を行うことで、所定の大きさを有する画像を複数取得するステップと、
複数の所定の大きさを有する画像の同一位置にある画素点について、前記顔肩前景キャリブレーション結果に基づいて、前記画素点の位置で顔肩前景が現れる事前確率を計算するステップと、を含む。
【００１１】
選択的には、前記顔の外部輪郭点の位置決め結果に基づいて、所定の大きさを有する画像における各画素点の位置で顔肩前景が現れる事前確率を計算するステップは、
所定枚数の男性正面顔画像を選択するステップと、
各男性正面顔画像に対してユーザにより行われた顔肩前景のキャリブレーション結果に基づいて、各男性正面顔画像の顔肩キャリブレーション画像を生成するステップと、
各男性正面顔画像に対して顔の外部輪郭特徴点の位置決めを行うことで位置決め結果を取得するステップと、
顔の外部輪郭特徴点の位置決め結果に基づいて、各前記顔肩キャリブレーション画像について位置揃え処理及び寸法正規化処理を行うことで、所定の大きさを有する画像を複数取得するステップと、
複数の所定の大きさを有する画像の同一位置にある画素点について、前記顔肩前景キャリブレーション結果に基づいて、前記画素点の位置で顔肩前景が現れる事前確率を計算するステップとを含む。
【００１２】
2016531361.tif 000003
【００１３】
選択的には、前記事前確率、予め設定された顔肩前景の確率閾値及び背景の確率閾値に基づいて、分割しようとする画像において顔肩前景サンプル画素点及び背景サンプル画素点を選択するステップは、
前記分割しようとする画像における顔に対して性別認識を行い、性別認識結果を取得するステップと、
前記性別認識結果に基づいて、前記分割しようとする画像に対応する事前確率を決定するステップと、
前記分割しようとする画像における各画素点について、前記画素点の事前確率が前記顔肩前景の確率閾値より大きいか否かを判定し、前記画素点の事前確率が前記顔肩前景の確率閾値より大きい場合、前記画素点を前景サンプル画素点と決定するステップと、
前記分割しようとする画像における各画素点について、前記画素点の事前確率が前記背景の確率閾値より小さいか否かを判定し、前記画素点の事前確率が前記背景の確率閾値より小さい場合、前記画素点を背景サンプル画素点と決定するステップと、を含む。
【００１４】
2016531361.tif 000004
【００１５】
2016531361.tif 000005
【００１６】
本開示の実施例の第２態様は、画像分割装置を提供する。
【００１７】
前記装置は、顔の外部輪郭点の位置決め結果に基づいて、所定の大きさを有する画像における各画素点の位置で顔肩前景が現れる事前確率を計算するための事前確率計算モジュールと、
前記事前確率、予め設定された顔肩前景の確率閾値及び背景の確率閾値に基づいて、分割しようとする画像において顔肩前景サンプル画素点及び背景サンプル画素点を選択するためのサンプル画素点選択モジュールと、
前記顔肩前景サンプル画素点の色特徴ベクトル及び前記背景サンプル画素点の色特徴ベクトルに基づいて、前記顔肩前景の第１色尤度確率と前記背景の第２色尤度確率を計算するための色尤度確率計算モジュールと、
前記事前確率、前記第１色尤度確率、及び前記第２色尤度確率に基づいて、前記顔肩前景の第１事後確率と前記背景の第２事後確率を計算するための事後確率計算モジュールと、
前記第１事後確率と前記第２事後確率に基づいて、前記分割しようとする画像に対して顔肩分割を行うための画像分割モジュールと、を備える。
【００１８】
選択的には、前記事前確率計算モジュールは、
所定枚数の女性正面顔画像を選択し、
各女性正面顔画像に対してユーザにより行われた顔肩前景のキャリブレーション結果に基づいて、各女性正面顔画像の顔肩キャリブレーション画像を生成し、
各女性正面顔画像に対して顔の外部輪郭特徴点の位置決めを行うことで、位置決め結果を取得し、
顔の外部輪郭特徴点の位置決め結果に基づいて、各前記顔肩キャリブレーション画像について位置揃え処理及び寸法正規化処理を行うことで、所定の大きさを有する画像を複数取得し、
複数の所定の大きさを有する画像の同一位置にある画素点について、前記顔肩前景キャリブレーション結果に基づいて、前記画素点の位置で顔肩前景が現れる事前確率を計算する。
【００１９】
選択的には、前記事前確率計算モジュールは、
所定枚数の男性正面顔画像を選択し、
各男性正面顔画像に対してユーザにより行われた顔肩前景のキャリブレーション結果に基づいて、各男性正面顔画像の顔肩キャリブレーション画像を生成し、
各男性正面顔画像に対して顔の外部輪郭特徴点の位置決めを行うことで、位置決め結果を取得し、
顔の外部輪郭特徴点の位置決め結果に基づいて、各前記顔肩キャリブレーション画像に対して位置揃え処理及び寸法正規化処理を行うことで、所定の大きさを有する画像を複数取得し、
複数の所定の大きさを有する画像の同一位置にある画素点について、前記顔肩前景キャリブレーション結果に基づいて、前記画素点の位置で顔肩前景が現れる事前確率を計算する。
【００２０】
2016531361.tif 000006
【００２１】
選択的には、前記サンプル画素点選択モジュールは、
前記分割しようとする画像における顔に対して性別認識を行い、性別認識結果を取得し、
前記性別認識結果に基づいて、前記分割しようとする画像に対応する事前確率を決定し、
前記分割しようとする画像における各画素点について、前記画素点の事前確率が前記顔肩前景の確率閾値より大きいか否かを判定し、前記画素点の事前確率が前記顔肩前景の確率閾値より大きい場合、前記画素点を前景サンプル画素点と決定し、
前記分割しようとする画像における各画素点について、前記画素点の事前確率が前記背景の確率閾値より小さいか否かを判定し、前記画素点の事前確率が前記背景の確率閾値より小さい場合、前記画素点を背景サンプル画素点と決定する。
【００２２】
2016531361.tif 000007
【００２３】
2016531361.tif 000008
【００２４】
本開示の実施例の第３態様は、画像分割デバイスを提供する。
【００２５】
前記デバイスは、
プロセッサと、
前記プロセッサにより実行可能な指令を記憶するメモリと、を備え、
前記プロセッサは、
顔の外部輪郭点の位置決め結果に基づいて、所定の大きさを有する画像における各画素点の位置で顔肩前景が現れる事前確率を計算し、
前記事前確率、予め設定された顔肩前景の確率閾値及び背景の確率閾値に基づいて、分割しようとする画像において顔肩前景サンプル画素点及び背景サンプル画素点を選択し、
前記顔肩前景サンプル画素点の色特徴ベクトル及び前記背景サンプル画素点の色特徴ベクトルに基づいて、前記顔肩前景の第１色尤度確率と前記背景の第２色尤度確率を計算し、
前記事前確率、前記第１色尤度確率、及び前記第２色尤度確率に基づいて、前記顔肩前景の第１事後確率と前記背景の第２事後確率を計算し、
前記第１事後確率と前記第２事後確率に基づいて、前記分割しようとする画像に対して顔肩分割を行う。
【００２６】
本開示の実施例により提供された技術方案は、下記の有益な効果を奏する。
【００２７】
顔の外部輪郭点の位置決め結果に基づいて、所定の大きさを有する画像における各画素点の位置で顔肩前景が現れる事前確率を計算し、顔肩前景の事前確率に基づいて自動的に顔肩前景サンプル画素点及び背景サンプル画素点を選択することで、ユーザがサンプル画素点の選択に関与する必要がなくなり、ユーザの利便性が向上する。また、事前確率と色尤度確率に基づいて、画像分割を行い、分割の標準を細かく設定でき、分割精度が向上する。
【００２８】
以上の一般的な記述及び以下の詳細な記述は、例示のものに過ぎず、本開示を限定するものではないと理解すべきである。
【図面の簡単な説明】
【００２９】
ここでの図面は、明細書の一部分として明細書全体を構成することにより、本開示に合致する実施例を例示するとともに、本開示の原理を解釈するためのものである。
【図１】本開示の例示的な実施例による画像分割方法のフローチャートである。
【図２】本開示の例示的な実施例による画像分割方法のフローチャートである。
【図３】本開示の例示的な実施例による画像分割装置のブロック図である。
【図４】本開示の例示的な実施例による画像分割デバイスのブロック図である。
【図５】本開示の例示的な実施例による画像分割デバイスのブロック図である。
【発明を実施するための形態】
【００３０】
ここで、図面に示された例示的な実施例を詳細に説明する。以下の内容において、図面を言及するとき、特に説明しない限り、異なる図面における同じ数字が同一または同等の要素を示す。以下の例示的な実施例に記載の実施の形態は、本発明と一致するあらゆる実施の形態を代表するわけではない。逆に、それらは、添付された特許請求の範囲に詳細に記載される、本発明の一部の方面と一致する装置及び方法の例にすぎない。
【００３１】
図１は、本開示の例示的な実施例による画像分割方法のフローチャートである。図１に示すように、本開示の実施例による画像分割方法は、画像分割デバイスに用いられ、下記のステップを含む。
【００３２】
ステップ１０１において、顔の外部輪郭点の位置決め結果に基づいて、所定の大きさを有する画像における各画素点の位置で顔肩前景が現れる事前確率を計算する。
【００３３】
ステップ１０２において、事前確率、予め設定された顔肩前景の確率閾値及び背景の確率閾値に基づいて、分割しようとする画像において顔肩前景サンプル画素点及び背景サンプル画素点を選択する。
【００３４】
ステップ１０３において、顔肩前景サンプル画素点の色特徴ベクトル及び背景サンプル画素点の色特徴ベクトルに基づいて、顔肩前景の第１色尤度確率と背景の第２色尤度確率を計算する。
【００３５】
ステップ１０４において、事前確率、第１色尤度確率、及び第２色尤度確率に基づいて、顔肩前景の第１事後確率と背景の第２事後確率を計算する。
【００３６】
ステップ１０５において、第１事後確率と第２事後確率に基づいて、分割しようとする画像に対して顔肩分割を行う。
【００３７】
本開示の実施例にかかる方法によれば、顔の外部輪郭点の位置決め結果に基づいて、所定の大きさを有する画像における各画素点の位置で顔肩前景が現れる事前確率を計算し、顔肩前景の事前確率に基づいて自動的に顔肩前景サンプル画素点及び背景サンプル画素点を選択することで、ユーザがサンプル画素点の選択に関与する必要がなくなり、ユーザの利便性が向上する。また、事前確率と色尤度確率に基づいて、画像分割を行い、分割の標準を細かく設定でき、分割精度が向上する。
【００３８】
選択的には、顔の外部輪郭点の位置決め結果に基づいて、所定の大きさを有する画像における各画素点の位置で顔肩前景が現れる事前確率を計算するステップは、
所定枚数の女性正面顔画像を選択するステップと、
各女性正面顔画像に対してユーザにより行われた顔肩前景のキャリブレーション結果に基づいて、各女性正面顔画像の顔肩キャリブレーション画像を生成するステップと、
各女性正面顔画像に対して顔の外部輪郭特徴点の位置決めを行うことで、位置決め結果を取得するステップと、
顔の外部輪郭特徴点の位置決め結果に基づいて、各顔肩キャリブレーション画像について位置揃え処理及び寸法正規化処理を行うことで、所定の大きさを有する画像を複数取得するステップと、
複数の所定の大きさを有する画像の同一位置にある画素点について、顔肩前景キャリブレーション結果に基づいて、画素点の位置で顔肩前景が現れる事前確率を計算するステップとを含む。
【００３９】
選択的には、顔の外部輪郭点の位置決め結果に基づいて、所定の大きさを有する画像における各画素点の位置で顔肩前景が現れる事前確率を計算するステップは、
所定枚数の男性正面顔画像を選択するステップと、
各男性正面顔画像に対してユーザにより行われた顔肩前景のキャリブレーション結果に基づいて、各男性正面顔画像の顔肩キャリブレーション画像を生成するステップと、
各男性正面顔画像に対して顔の外部輪郭特徴点の位置決めを行うことで、位置決め結果を取得するステップと、
顔の外部輪郭特徴点の位置決め結果に基づいて、各顔肩キャリブレーション画像について位置揃え処理及び寸法正規化処理を行うことで、所定の大きさを有する画像を複数取得するステップと、
複数の所定の大きさを有する画像の同一位置にある画素点について、顔肩前景キャリブレーション結果に基づいて、画素点の位置で顔肩前景が現れる事前確率を計算するステップとを含む。
【００４０】
2016531361.tif 000009
【００４１】
選択的には、事前確率、予め設定された顔肩前景の確率閾値及び背景の確率閾値に基づいて、分割しようとする画像において顔肩前景サンプル画素点及び背景サンプル画素点を選択するステップは、
分割しようとする画像における顔に対して性別認識を行い、性別認識結果を取得するステップと、
性別認識結果に基づいて、分割しようとする画像に対応する事前確率を決定するステップと、
分割しようとする画像における各画素点について、画素点の事前確率が顔肩前景の確率閾値より大きいか否かを判定し、画素点の事前確率が顔肩前景の確率閾値より大きい場合、画素点を前景サンプル画素点と決定するステップと、
分割しようとする画像における各画素点について、画素点の事前確率が背景の確率閾値より小さいか否かを判定し、画素点の事前確率が背景の確率閾値より小さい場合、画素点を背景サンプル画素点と決定するステップとを含む。
【００４２】
2016531361.tif 000010
【００４３】
2016531361.tif 000011
【００４４】
上記全ての技術方案を適宜に組み合わせて本開示の選択的な実施例を構成することができ、ここで、詳しく説明しない。
【００４５】
図２は、本開示の例示的な実施例による画像分割方法のフローチャートである。図２に示すように、本開示の実施例による画像分割方法は、画像分割デバイスに用いられ、下記のステップを含む。
【００４６】
ステップ２０１において、顔の外部輪郭点の位置決め結果に基づいて、所定の大きさを有する画像における各画素点の位置で顔肩前景が現れる事前確率を計算する。
【００４７】
本開示の実施例において、顔肩前景の事前確率を計算することは、顔肩位置事前モデルを作成することである。男性と女性の顔特徴が一定の差異を有するため、顔肩位置事前モデルを作成する場合、女性顔肩位置事前モデルと男性顔肩位置事前モデルをそれぞれ作成する必要がある。以下、顔肩位置事前モデルの作成について詳しく説明する。
【００４８】
２０１ａにおいて、女性顔肩位置事前モデルを作成するには、下記５つのステップを含む。
【００４９】
ステップ１において、所定枚数の女性正面顔画像を選択する。
【００５０】
ここで、所定枚数は、５００枚又は１０００等であってもよく、本開示の実施例において、所定枚数を具体的に限定しない。所定枚数の女性正面顔画像は、後述する女性顔肩位置事前モデルのトレーニングデータとして画像トレーニングライブラリに保存しておく。
【００５１】
ステップ２において、各女性正面顔画像に対してユーザにより行われた顔肩前景のキャリブレーション結果に基づいて、各女性正面顔画像の顔肩キャリブレーション画像を生成する。
【００５２】
オフライントレーニングにおいて、所定枚数の女性正面顔画像の顔肩前景は、人によりキャリブレーションされる必要がある。即ち、ユーザは、手動で各女性正面顔画像における顔肩区域をキャリブレーションする必要がある。各女性正面顔画像のキャリブレーション結果を得た後、二値化画像を生成し、当該二値化画像を顔肩キャリブレーション画像とする。ここで、二値化画像の画素点の中、階調値が２５５の区域が顔肩前景であり、即ち、二値化画像における白色区域が顔肩区域である。また、二値化画像における画素点の中、階調値が０の区域が背景であり、即ち、二値化画像における黒色区域が背景区域である。
【００５３】
2016531361.tif 000012
【００５４】
ステップ３において、各女性正面顔画像に対して顔の外部輪郭特徴点の位置決めを行うことで、位置決め結果を取得する。
【００５５】
本開示の実施例において、各女性正面顔画像に対して顔の外部輪郭特徴点位置決めを行う場合、従来の顔の外部輪郭特徴点の位置決めアルゴリズムを用いて実現できるので、ここで詳細な説明を省略する。女性正面顔画像に対して、顔の外部輪郭特徴点の位置決めを行った後、各顔の外部輪郭特徴点の位置座標データを取得する。
【００５６】
ステップ４において、顔の外部輪郭特徴点の位置決め結果に基づいて、各顔肩キャリブレーション画像について位置揃え処理及び寸法正規化処理を行うことで、所定の大きさを有する画像を複数取得する。
【００５７】
ここで、所定大きさは、４００＊４００、２００＊２００などであってもよく、本開示において、所定大きさを具体的に限定しない。本開示の実施例において、所定大きさが４００＊４００である場合のみを例に挙げて説明する。
【００５８】
本開示の実施例において、各顔肩キャリブレーション画像のそれぞれについて、顔の外部輪郭特徴点の位置決め結果を得た後、まず、顔の外部輪郭特徴点の位置決め結果に基づいて、当該顔肩キャリブレーション画像を同一の寸法に調整する。そして、顔の外部輪郭特徴点の位置座標データに基づいて、顔肩キャリブレーション画像を顔の外部輪郭特徴点と位置揃えるとともに、顔肩キャリブレーション画像を４００＊４００のテンプレートに正規化する。各顔肩キャリブレーション画像のそれぞれが、すべて４００＊４００のテンプレートに対応するため、所定の大きさを有する画像を得ることができる。
【００５９】
ステップ５において、複数の所定の大きさを有する画像の同一位置にある画素点について、顔肩前景キャリブレーション結果に基づいて、画素点の位置で顔肩前景が現れる事前確率を計算する。
【００６０】
本開示の実施例において、複数の所定の大きさを有する画像の同一位置の画素点について、当該画素点の位置で顔肩顔肩前景に現れる事前確率は、即ち、画像トレーニングライブラリにおいて、各女性正面顔画像における当該画素点が顔肩前景にキャリブレーションされた頻度である。例えば、１０００枚の女性正面顔画像があり、ある画素点が５００枚の女性正面顔画像において顔肩前景にキャリブレーションされたとすると、当該画素点の位置で顔肩前景が現れる事前確率は、０．５である。従って、トレーニングデータにおいて、各画素点が顔肩前景にキャリブレーションされる頻度を計算することで、各画素点の位置で顔肩前景が現れる確率を取得することができる。
【００６１】
２０１ｂにおいて、男性顔肩位置事前モデルを作成するには、下記５つのステップを含む。
【００６２】
ステップ１において、所定枚数の男性正面顔画像を選択する。
【００６３】
ここで、所定枚数は、５００又は１０００等であってもよく、本開示の実施例において、所定枚数を具体的に限定しない。所定枚数の男性正面顔画像は、後述する男性顔肩位置事前モデルのトレーニングデータとして画像トレーニングライブラリに保存されている。
【００６４】
ステップ２において、各男性正面顔画像に対してユーザにより行われた顔肩前景のキャリブレーション結果に基づいて、各男性正面顔画像の顔肩キャリブレーション画像を生成する。
【００６５】
これは、上記２０１ａにおけるステップ２と同じであるので、詳細な説明を省略する。
【００６６】
ステップ３において、各男性正面顔画像に対して顔の外部輪郭特徴点の位置決めを行うことで、位置決め結果を取得する。
【００６７】
これは、上記２０１ａにおけるステップ３と同じであるので、詳細な説明を省略する。
【００６８】
ステップ４において、顔の外部輪郭特徴点の位置決め結果に基づいて、各顔肩キャリブレーション画像について位置揃え処理及び寸法正規化処理を行うことで、所定の大きさを有する画像を複数取得する。
【００６９】
これは、上記２０１ａにおけるステップ４と同じであるので、詳細な説明を省略する。
【００７０】
ステップ５において、複数の所定の大きさを有する画像の同一位置にある画素点について、顔肩前景キャリブレーション結果に基づいて、画素点の位置で顔肩前景が現れる事前確率を計算する。
【００７１】
これは、上記２０１ａにおけるステップ５と同じであるので、詳細な説明を省略する。
【００７２】
2016531361.tif 000013
【００７３】
女性正面顔画像について、各画素点の位置で顔肩前景が現れる事前確率を計算することで、女性顔肩位置事前モデルを得ることができ、男性正面顔画像について、各画素点の位置で顔肩前景が現れる事前確率を計算することで、男性顔肩位置事前モデルを得ることができる。
【００７４】
ステップ２０２において、分割しようとする画像における顔に対して性別認識を行い、性別認識結果を取得し、性別認識結果に基づいて、分割しようとする画像に対応する事前確率を決定する。
【００７５】
本開示の実施例において、男性顔画像と女性顔画像の特徴が一定の差異を有するため、それぞれ異なる顔肩位置事前モデルに対応する。従って、画像分割を行う前、分割しようとする画像中の顔に対して性別認識を行うことが必要である。分割しようとする画像中の顔に対して性別認識を行う場合、従来の顔識別アルゴリズムを用いることができるので、その詳細な説明を省略する。上記ステップ２０１において、女性顔肩位置事前モデル及び男性顔肩位置事前モデルを既に取得したため、分割しようとする画像中の顔の性別を特定した後、分割しようとする画像に対応する顔肩位置事前モデルを直接特定することができる。即ち、分割しようとする画像に対応する事前確率を取得することができる。
【００７６】
ステップ２０３において、分割しようとする画像における各画素点について、画素点の事前確率が顔肩前景の確率閾値より大きいか否かを判定し、画素点の事前確率が顔肩前景の確率閾値より大きい場合、画素点を前景サンプル画素点と決定し、分割しようとする画像における各画素点について、画素点の事前確率が背景の確率閾値より小さいかを判定し、画素点の事前確率が背景の確率閾値より小さい場合、画素点を背景サンプル画素点と決定する。
【００７７】
ここで、顔肩前景の確率閾値は、具体的に０．７又は０．８等であってもよく、本開示の実施例は、この顔肩前景の確率閾値を具体的に限定しない。背景の確率閾値は、具体的に０．２又は０．３等であってもよく、本開示の実施例は、この背景の確率閾値を具体的に限定しない。
【００７８】
本開示の実施例において、サンプル画素点を選択する前に、まず、分割しようとする画像に対して顔の外部輪郭特徴点位置決めを行い、また、位置決め結果に基づいて、分割しようとする画像に対して寸法調整を行い、４００＊４００テンプレートの寸法と同様にする。これにより、分割しようとする画像における各画素点は、４００＊４００テンプレートにおける同じ位置にある画素点とそれぞれ対応する。従って、４００＊４００テンプレート中の対応する位置にある画素点で顔肩前景が現れる事前確率は、分割しようとする画像における同一位置の画素点に対応する事前確率である。
【００７９】
例えば、顔肩前景の確率閾値が０．８、背景の確率閾値が０．２であるとすると、一つの画素点について、画素点の事前確率が０．８より大きい場合、この画素点を前景サンプル画素点として決定し、一方、この画素点の事前確率が０．２より小さい場合、この画素点を背景サンプル画素点として決定する。事前確率が０．２以上且つ０．８以下の画素点に対して、何の処理もしない。
【００８０】
ステップ２０４において、顔肩前景サンプル画素点の色特徴ベクトル及び背景サンプル画素点の色特徴ベクトルに基づいて，顔肩前景の第１色尤度確率と背景の第２色尤度確率を計算する。
【００８１】
2016531361.tif 000014
【００８２】
2016531361.tif 000015
【００８３】
ステップ２０５において、事前確率、第１色尤度確率、及び第２色尤度確率に基づいて、下記式を用いて、顔肩前景の第１事後確率と背景の第２事後確率を計算する。
【００８４】
2016531361.tif 000016
【００８５】
ステップ２０６において、第１事後確率と第２事後確率に基づいて、分割しようとする画像に対して顔肩分割を行う。
【００８６】
本開示の実施例において、第１事後確率と第２事後確率を取得することで、最終の顔肩分割モデルを取得することができる。この顔肩分割モデルをＧｒａｐｈｃｕｔの最適化フレームワーク中のデータ項目にロードし、画像画素のコントラスト情報を合わせて、ｍｉｎ−ｃｕｔ−ｍａｘ−ｆｌｏｗ最適化方法を用いて、分割しようとする画像に対して分割を行うことで、最後の顔肩分割結果を得ることができる。
【００８７】
本開示の実施例にかかる方法によれば、顔の外部輪郭点の位置決め結果に基づいて、所定の大きさを有する画像における各画素点の位置で顔肩前景が現れる事前確率を計算し、顔肩前景の事前確率に基づいて自動的に顔肩前景サンプル画素点及び背景サンプル画素点を選択することで、ユーザがサンプル画素点の選択に関与する必要がなくなり、ユーザの利便性が向上する。また、事前確率と色尤度確率に基づいて、画像分割を行い、分割の標準を細かく設定でき、分割精度が向上する。
【００８８】
図３は、本開示の例示的な実施例による画像分割装置のブロック図である。図３に示すように、この装置は、事前確率計算モジュール３０１、サンプル画素点選択モジュール３０２、色尤度確率計算モジュール３０３、事後確率計算モジュール３０４及び画像分割モジュール３０５を備える。
【００８９】
事前確率計算モジュール３０１は、顔の外部輪郭点の位置決め結果に基づいて、所定の大きさを有する画像における各画素点の位置で顔肩前景が現れる事前確率を計算する。
【００９０】
サンプル画素点選択モジュール３０２は、事前確率計算モジュール３０１と接続され、事前確率、予め設定された顔肩前景の確率閾値及び背景の確率閾値に基づいて、分割しようとする画像において顔肩前景サンプル画素点及び背景サンプル画素点を選択する。
【００９１】
色尤度確率計算モジュール３０３は、サンプル画素点選択モジュール３０２と接続され、顔肩前景サンプル画素点の色特徴ベクトル及び背景サンプル画素点の色特徴ベクトルに基づいて，顔肩前景の第１色尤度確率と背景の第２色尤度確率を計算する。
【００９２】
事後確率計算モジュール３０４は、色尤度確率計算モジュール３０３と接続され、事前確率、第１色尤度確率、及び第２色尤度確率に基づいて、顔肩前景の第１事後確率と背景の第２事後確率を計算する。
【００９３】
画像分割モジュール３０５は、事後確率計算モジュール３０４と接続され、第１事後確率と第２事後確率に基づいて、分割しようとする画像に対して顔肩分割を行う。
【００９４】
選択的には、事前確率計算モジュール３０１は、所定枚数の女性正面顔画像を選択し、各女性正面顔画像に対してユーザにより行われた顔肩前景のキャリブレーション結果に基づいて、各女性正面顔画像の顔肩キャリブレーション画像を生成し、各女性正面顔画像に対して顔の外部輪郭特徴点の位置決めを行うことで、位置決め結果を取得し、顔の外部輪郭特徴点の位置決め結果に基づいて、各顔肩キャリブレーション画像について位置揃え処理及び寸法正規化処理を行うことで、所定の大きさを有する画像を複数取得し、複数の所定の大きさを有する画像の同一位置にある画素点について、顔肩前景キャリブレーション結果に基づいて、画素点の位置で顔肩前景が現れる事前確率を計算する。
【００９５】
選択的には、事前確率計算モジュール３０１は、所定枚数の男性正面顔画像を選択し、各男性正面顔画像に対してユーザにより行われた顔肩前景のキャリブレーション結果に基づいて、各男性正面顔画像の顔肩キャリブレーション画像を生成し、各男性正面顔画像に対して顔の外部輪郭特徴点の位置決めを行うことで、位置決め結果を取得し、顔の外部輪郭特徴点の位置決め結果に基づいて、各顔肩キャリブレーション画像について位置揃え処理及び寸法正規化処理を行うことで、所定の大きさを有する画像を複数取得し、複数の所定の大きさを有する画像の同一位置にある画素点について、顔肩前景キャリブレーション結果に基づいて、画素点の位置で顔肩前景が現れる事前確率を計算する。
【００９６】
2016531361.tif 000017
【００９７】
選択的には、サンプル画素点選択モジュールは、分割しようとする画像における顔に対して性別認識を行い、性別認識結果を取得し、性別認識結果に基づいて、分割しようとする画像に対応する事前確率を決定し、分割しようとする画像における各画素点について、画素点の事前確率が顔肩前景の確率閾値より大きいか否かを判定し、画素点の事前確率が顔肩前景の確率閾値より大きい場合、画素点を前景サンプル画素点と決定し、分割しようとする画像における各画素点について、画素点の事前確率が背景の確率閾値より小さいか否かを判定し、画素点の事前確率が背景の確率閾値より小さい場合、画素点を背景サンプル画素点と決定する。
【００９８】
2016531361.tif 000018
【００９９】
2016531361.tif 000019
【０１００】
本開示の実施例にかかる装置によれば、顔の外部輪郭点の位置決め結果に基づいて、所定の大きさを有する画像における各画素点の位置で顔肩前景が現れる事前確率を計算し、顔肩前景の事前確率に基づいて自動的に顔肩前景サンプル画素点及び背景サンプル画素点を選択することで、ユーザがサンプル画素点の選択に関与する必要がなくなり、ユーザの利便性が向上する。また、事前確率と色尤度確率に基づいて、画像分割を行い、分割の標準を細かく設定でき、分割精度が向上する。
【０１０１】
上記実施例における装置において、各モジュールが操作を実行する具体的な形態は、すでに該当する方法の実施例において詳しく説明されたので、ここで、詳細な説明を省略する。
【０１０２】
図４は、本開示の例示的な実施例による画像分割デバイス４００のブロック図である。例えば、デバイス４００は、携帯電話、コンピューター、デジタル放送端末、メッセージ送受信デバイス、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、パーソナルデジタルアシスタント等であってもよい。
【０１０３】
図４を参照して、デバイス４００は、プロセスアセンブリ４０２、メモリ４０４、電源アセンブリ４０６、マルチメディアアセンブリ４０８、オーディオアセンブリ４１０、入出力（Ｉ／Ｏ）インターフェイス４１２、センサアセンブリ４１４、及び通信アセンブリ４１６のような一つ以上のアセンブリを含んでよい。
【０１０４】
プロセスアセンブリ４０２は、一般的にはデバイス４００の全体の操作を制御するものであり、例えば、表示、電話呼び出し、データ通信、カメラ操作、及び記録操作と関連する操作を制御する。プロセスアセンブリ４０２は、一つ以上のプロセッサ４２０を含み、これらによって命令を実行することにより、上記の方法の全部、或は一部のステップを実現するようにしてもよい。なお、プロセスアセンブリ４０２は、一つ以上のモジュールを含み、これらによってプロセスアセンブリ４０２と他のアセンブリの間のインタラクションを容易にするようにしてもよい。例えば、プロセスアセンブリ４０２は、マルチメディアモジュールを含み、これらによってマルチメディアアセンブリ４０８とプロセスアセンブリ４０２の間のインタラクションを容易にするようにしてもよい。
【０１０５】
メモリ４０４は、各種類のデータを記憶することによりデバイス４００の操作を支援するように構成される。これらのデータの例は、デバイス４００において操作されるいずれのアプリケーションプログラム又は方法の命令、連絡対象データ、電話帳データ、メッセージ、画像、ビデオ等を含む。メモリ４０４は、いずれの種類の揮発性メモリ、不揮発性メモリ記憶デバイスまたはそれらの組み合わせによって実現されてもよく、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｂｅｒ）、磁気メモリ、フラッシュメモリ、磁気ディスク、或いは光ディスクである。
【０１０６】
電源アセンブリ４０６は、デバイス４００の多様なアセンブリに電力を供給する。電源アセンブリ４０６は、電源管理システム、一つ以上の電源、及びデバイス４００のための電力の生成、管理及び割り当てに関連する他のアセンブリを含んでもよい。
【０１０７】
マルチメディアアセンブリ４０８は、前記デバイス４００とユーザの間に一つの出力インターフェイスを提供するスクリーンを含む。上記の実施例において、スクリーンは液晶モニター（ＬＣＤ）とタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含むことにより、スクリーンはタッチスクリーンを実現することができ、ユーザからの入力信号を受信することができる。タッチパネルは一つ以上のタッチセンサを含んでおり、タッチ、スライド、及びタッチパネル上のジェスチャを検出することができる。前記タッチセンサは、タッチ、或はスライドの動作の境界だけでなく、前記のタッチ、或はスライド操作に係る継続時間及び圧力も検出できる。上記の実施例において、マルチメディアアセンブリ４０８は、一つのフロントカメラ、及び／又はリアカメラを含む。デバイス４００が、例えば撮影モード、或はビデオモード等の操作モードにある場合、フロントカメラ、及び／又はリアカメラは外部からマルチメディアデータを受信できる。フロントカメラとリアカメラのそれぞれは、一つの固定型の光レンズ系、或は可変焦点距離と光学ズーム機能を有するものであってもよい。
【０１０８】
オーディオアセンブリ４１０は、オーディオ信号を入出力するように構成されてもよい。例えば、オーディオアセンブリ４１０は、一つのマイク（ＭＩＣ）を含み、デバイス４００が、例えば呼出しモード、記録モード、及び音声認識モード等の操作モードにある場合、マイクは外部のオーディオ信号を受信することができる。受信されたオーディオ信号は、さらにメモリ４０４に記憶されたり、通信アセンブリ４１６を介して送信されたりされる。上記の実施例において、オーディオアセンブリ４１０は、オーディオ信号を出力するための一つのスピーカーをさらに含む。
【０１０９】
Ｉ／Ｏインターフェイス４１２は、プロセスアセンブリ４０２と周辺インターフェイスモジュールの間にインターフェイスを提供するものであり、上記周辺インターフェイスモジュールは、キーボード、クリックホイール、ボタン等であってもよい。これらのボタンは、ホームボタン、ボリュームボタン、起動ボタン、ロッキングボタンを含んでもよいが、これらに限定されない。
【０１１０】
センサアセンブリ４１４は、デバイス４００に各方面の状態に対する評価を提供するための一つ以上のセンサを含む。例えば、センサアセンブリ４１４は、デバイス４００のＯＮ／ＯＦＦ状態、デバイス４００のディスプレイとキーパッドのようなアセンブリの相対的な位置決めを検出できる。また、例えば、センサアセンブリ４１４は、デバイス４００、或はデバイス４００の一つのアセンブリの位置変更、ユーザとデバイス４００とが接触しているか否か、デバイス４００の方位、又は加速／減速、デバイス４００の温度の変化を検出できる。センサアセンブリ４１４は、何れの物理的接触がない状態にて付近の物体の存在を検出するための近接センサを含んでもよい。センサアセンブリ４１４は、撮影アプリケーションに適用するため、ＣＭＯＳ、又はＣＣＤ図像センサのような光センサを含んでもよい。上記の実施例において、当該センサアセンブリ４１４は、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサ、及び温度センサをさらに含んでもよい。
【０１１１】
通信アセンブリ４１６は、デバイス４００と他の機器の間に有線、又は無線形態の通信を提供する。デバイス４００は、例えばＷｉＦｉ、２Ｇ、３Ｇ、或はこれらの組み合わせのような、通信規格に基づいた無線ネットワークに接続されてもよい。一つの例示的な実施例において、通信アセンブリ４１６は、放送チャンネルを介して外部の放送管理システムからの放送信号、又は放送に関連する情報を受信する。一つの例示的な実施例において、前記通信アセンブリ４１６は、近距離無線通信（ＮＦＣ）モジュールをさらに含むことにより、近距離通信を推進するようにする。例えば、ＮＦＣモジュールは、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）技術、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）技術、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）技術、ＢＴ（Ｂｌｕｅｔｏｏｔｈ）技術、他の技術に基づいて実現できる。
例示的な実施例において、デバイス４００は、一つ以上のＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＤＳＰＤ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、または他の電子部品によって実現されるものであり、上記方法を実行する。
【０１１２】
例示的な実施例において、さらに、命令を含む非一時的なコンピュータで読み取り可能な記憶媒体、例えば命令を含むメモリ４０４を提供しており、デバイス４００のプロセッサ４２０により上記命令を実行して上記方法を実現する。例えば、前記非一時的なコンピュータで読み取り可能な記憶媒体は、ＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ−Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ ＲＯＭ）、磁気テープ、フロッピーディスク、光データ記憶デバイス等である。
【０１１３】
非一時的なコンピュータで読み取り可能な記憶媒体は、当該記憶媒体中の指令がデバイス４００のプロセッサにより実行される際に、デバイス４００に画像分割方法を実行させることができる。前記方法は、
顔の外部輪郭点の位置決め結果に基づいて、所定の大きさを有する画像における各画素点の位置で顔肩前景が現れる事前確率を計算するステップと、
事前確率、予め設定された顔肩前景の確率閾値及び背景の確率閾値に基づいて、分割しようとする画像において顔肩前景サンプル画素点及び背景サンプル画素点を選択するステップと、
顔肩前景サンプル画素点の色特徴ベクトル及び背景サンプル画素点の色特徴ベクトルに基づいて、顔肩前景の第１色尤度確率と背景の第２色尤度確率を計算するステップと、
事前確率、第１色尤度確率、及び第２色尤度確率に基づいて、顔肩前景の第１事後確率と背景の第２事後確率を計算するステップと、
第１事後確率と第２事後確率に基づいて、分割しようとする画像に対して顔肩分割を行うステップとを含む。
【０１１４】
選択的には、顔の外部輪郭点の位置決め結果に基づいて、所定の大きさを有する画像における各画素点の位置で顔肩前景が現れる事前確率を計算するステップは、
所定枚数の女性正面顔画像を選択するステップと、
各女性正面顔画像に対してユーザにより行われた顔肩前景のキャリブレーション結果に基づいて、各女性正面顔画像の顔肩キャリブレーション画像を生成するステップと、
各女性正面顔画像に対して顔の外部輪郭特徴点の位置決めを行うことで、位置決め結果を取得するステップと、
顔の外部輪郭特徴点の位置決め結果に基づいて、各顔肩キャリブレーション画像について位置揃え処理及び寸法正規化処理を行うことで、所定の大きさを有する画像を複数取得するステップと、
複数の所定の大きさを有する画像の同一位置にある画素点について、顔肩前景キャリブレーション結果に基づいて、画素点の位置で顔肩前景が現れる事前確率を計算するステップとを含む。
【０１１５】
選択的には、顔の外部輪郭点の位置決め結果に基づいて、所定の大きさを有する画像における各画素点の位置で顔肩前景が現れる事前確率を計算するステップは、
所定枚数の男性正面顔画像を選択するステップと、
各男性正面顔画像に対してユーザにより行われた顔肩前景のキャリブレーション結果に基づいて、各男性正面顔画像の顔肩キャリブレーション画像を生成するステップと、
各男性正面顔画像に対して顔の外部輪郭特徴点の位置決めを行うことで、位置決め結果を取得するステップと、
顔の外部輪郭特徴点の位置決め結果に基づいて、各顔肩キャリブレーション画像について位置揃え処理及び寸法正規化処理を行うことで、所定の大きさを有する画像を複数取得するステップと、
複数の所定の大きさを有する画像の同一位置にある画素点について、顔肩前景キャリブレーション結果に基づいて、画素点の位置で顔肩前景が現れる事前確率を計算するステップとを含む。
【０１１６】
2016531361.tif 000020
【０１１７】
選択的には、事前確率、予め設定された顔肩前景の確率閾値及び背景の確率閾値に基づいて、分割しようとする画像において顔肩前景サンプル画素点及び背景サンプル画素点を選択するステップは、
分割しようとする画像における顔に対して性別認識を行い、性別認識結果を取得するステップと、
性別認識結果に基づいて、分割しようとする画像に対応する事前確率を決定するステップと、
分割しようとする画像における各画素点について、画素点の事前確率が顔肩前景の確率閾値より大きいか否かを判定し、画素点の事前確率が顔肩前景の確率閾値より大きい場合、画素点を前景サンプル画素点と決定するステップと、
分割しようとする画像における各画素点について、画素点の事前確率が背景の確率閾値より小さいか否かを判定し、画素点の事前確率が背景の確率閾値より小さい場合、画素点を背景サンプル画素点と決定するステップとを含む。
【０１１８】
2016531361.tif 000021
【０１１９】
2016531361.tif 000022
【０１２０】
本開示の実施例にかかる非一時的なコンピュータで読み取り可能な記憶媒体によれば、顔の外部輪郭点の位置決め結果に基づいて、所定の大きさを有する画像における各画素点の位置で顔肩前景が現れる事前確率を計算し、顔肩前景の事前確率に基づいて自動的に顔肩前景サンプル画素点及び背景サンプル画素点を選択することで、ユーザがサンプル画素点の選択に関与する必要がなくなり、ユーザの利便性が向上する。また、事前確率と色尤度確率に基づいて、画像分割を行い、分割の標準を細かく設定でき、分割精度が向上する。
【０１２１】
図５は、本開示の例示的な実施例による画像分割デバイス５００のブロック図である。例えば、デバイス５００は、サーバであってもよい。図５に示すように、デバイス５００は、１つ又は複数のプロセッサを含むプロセスアセンブリ５２２と、メモリ５３２が代表となり、例えばアプリケーションなどのプロセスアセンブリ５２２により実行可能な各種コマンドを記憶する記憶媒体ソースと、を備える。メモリ５３２内に記憶されたアプリケーションは、１つ又は１つ以上のモジュールを含み、当該１つ又は１つ以上のモジュールは、それぞれ１組の指令に対応する。また、プロセスアセンブリ５２２は、コマンドを実行するように構成され、これにより、上記方法を実行する。
【０１２２】
デバイス５００は、さらに、デバイス５００の給電管理を行うための電源アセンブリ５２６と、デバイス５００とネットワークと接続するための有線又は無線のネットワークインターフェース５５０と、入出力（Ｉ／Ｏ）インターフェース５５８とを備える。デバイス５００は、例えば、ＷｉｎｄｏｗｓＳｅｒｖｅｒＴＭ，Ｍａｃ ＯＳＸＴＭ，ＵｎｉｘＴＭ， ＬｉｎｕｘＴＭ，ＦｒｅｅＢＳＤＴＭなどの、メモリ５３２に記憶された操作システムにおいて操作を行うことができる。
【０１２３】
当業者は、本明細書に開示された発明の詳細を考慮し、実施することにより、本発明の他の実施方案を容易に想定することができる。本出願は、本発明のいかなる変形、用途、又は適応的な変化を含むことを目的としており、いかなる変形、用途、又は適応的な変化は、本発明の一般原理に基づき、且つ本開示において公開されていない本技術分野においての公知常識又は慣用技術手段を含む。明細書及び実施例は、例示的なものを開示しており、本発明の保護範囲と主旨は、特許請求の範囲に記述される。
【０１２４】
本発明は、上記において開示された構成又は図面に示した構造に限定されるものではなく、本発明の範囲内であれば、様々な補正又は変更を行うことができる。本発明の範囲は、特許請求の範囲により制限される。
【図１】
2016531361.tif 000029
【図２】
2016531361.tif 000030
【図３】
2016531361.tif 000031
【図４】
2016531361.tif 000032
【図５】
2016531361.tif 000033
【手続補正書】
【提出日】平成27年1月19日(2015.1.19)
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【０００２】
本開示は、画像処理技術分野に関し、特に、画像分割装置、画像分割デバイス、プログラム及び記録媒体に関する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本開示は、上記関連技術の問題点を解決するために、画像分割装置、画像分割デバイス、プログラム及び記録媒体を提供する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
前記デバイスは、
プロセッサと、
前記プロセッサにより実行可能な指令を記憶するメモリと、を備え、
前記プロセッサは、
顔の外部輪郭点の位置決め結果に基づいて、所定の大きさを有する画像における各画素点の位置で顔肩前景が現れる事前確率を計算し、
前記事前確率、予め設定された顔肩前景の確率閾値及び背景の確率閾値に基づいて、分割しようとする画像において顔肩前景サンプル画素点及び背景サンプル画素点を選択し、
前記顔肩前景サンプル画素点の色特徴ベクトル及び前記背景サンプル画素点の色特徴ベクトルに基づいて、前記顔肩前景の第１色尤度確率と前記背景の第２色尤度確率を計算し、
前記事前確率、前記第１色尤度確率、及び前記第２色尤度確率に基づいて、前記顔肩前景の第１事後確率と前記背景の第２事後確率を計算し、
前記第１事後確率と前記第２事後確率に基づいて、前記分割しようとする画像に対して顔肩分割を行う。
本開示の実施例の第４態様は、プロセッサに実行されることにより、前記画像分割方法を実現するプログラムを提供する。
本開示の実施例の第５態様は、前記プログラムを記録した記録媒体を提供する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００８１
【補正方法】変更
【補正の内容】
【００８１】
2016531361.tif 000034
【手続補正６】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
顔の外部輪郭点の位置決め結果に基づいて、所定の大きさを有する画像における各画素点の位置で顔肩前景が現れる事前確率を計算するステップと、
前記事前確率、予め設定された顔肩前景の確率閾値及び背景の確率閾値に基づいて、分割しようとする画像において顔肩前景サンプル画素点及び背景サンプル画素点を選択するステップと、
前記顔肩前景サンプル画素点の色特徴ベクトルと前記背景サンプル画素点の色特徴ベクトルに基づいて、前記顔肩前景の第１色尤度確率と前記背景の第２色尤度確率を計算するステップと、
前記事前確率、前記第１色尤度確率、及び前記第２色尤度確率に基づいて、前記顔肩前景の第１事後確率と前記背景の第２事後確率を計算し、
前記第１事後確率と前記第２事後確率に基づいて、前記分割しようとする画像に対して顔肩分割を行うステップと、を含む
ことを特徴とする画像分割方法。
【請求項２】
前記顔の外部輪郭点の位置決め結果に基づいて、所定の大きさを有する画像における各画素点の位置で顔肩前景が現れる事前確率を計算するステップは、
所定枚数の女性正面顔画像を選択するステップと、
各女性正面顔画像に対してユーザにより行われた顔肩前景のキャリブレーション結果に基づいて、各女性正面顔画像の顔肩キャリブレーション画像を生成するステップと、
各女性正面顔画像に対して顔の外部輪郭特徴点の位置決めを行うことで位置決め結果を取得するステップと、
顔の外部輪郭特徴点の位置決め結果に基づいて、各前記顔肩キャリブレーション画像について位置揃え処理及び寸法正規化処理を行うことで、所定の大きさを有する画像を複数取得するステップと、
複数の所定の大きさを有する画像の同一位置にある画素点について、前記顔肩前景キャリブレーション結果に基づいて、前記画素点の位置で顔肩前景が現れる事前確率を計算するステップと、を含む
ことを特徴とする請求項１に記載の画像分割方法。
【請求項３】
前記顔の外部輪郭点の位置決め結果に基づいて、所定の大きさを有する画像における各画素点の位置で顔肩前景が現れる事前確率を計算するステップは、
所定枚数の男性正面顔画像を選択するステップと、
各男性正面顔画像に対してユーザにより行われた顔肩前景のキャリブレーション結果に基づいて、各男性正面顔画像の顔肩キャリブレーション画像を生成するステップと、
各男性正面顔画像に対して顔の外部輪郭特徴点の位置決めを行うことで位置決め結果を取得するステップと、
顔の外部輪郭特徴点の位置決め結果に基づいて、各前記顔肩キャリブレーション画像について位置揃え処理及び寸法正規化処理を行うことで、所定の大きさを有する画像を複数取得するステップと、
複数の所定の大きさを有する画像の同一位置にある画素点について、前記顔肩前景キャリブレーション結果に基づいて、前記画素点の位置で顔肩前景が現れる事前確率を計算するステップとを含む
ことを特徴とする請求項１に記載の画像分割方法。
【請求項４】
2016531361.tif 000035
【請求項５】
前記事前確率、予め設定された顔肩前景の確率閾値及び背景の確率閾値に基づいて、分割しようとする画像において顔肩前景サンプル画素点及び背景サンプル画素点を選択するステップは、
前記分割しようとする画像における顔に対して性別認識を行い、性別認識結果を取得するステップと、
前記性別認識結果に基づいて、前記分割しようとする画像に対応する事前確率を決定するステップと、
前記分割しようとする画像における各画素点について、前記画素点の事前確率が前記顔肩前景の確率閾値より大きいか否かを判定し、前記画素点の事前確率が前記顔肩前景の確率閾値より大きい場合、前記画素点を前景サンプル画素点と決定するステップと、
前記分割しようとする画像における各画素点について、前記画素点の事前確率が前記背景の確率閾値より小さいか否かを判定し、前記画素点の事前確率が前記背景の確率閾値より小さい場合、前記画素点を背景サンプル画素点と決定するステップと、を含む
ことを特徴とする請求項１に記載の画像分割方法。
【請求項６】
2016531361.tif 000036
【請求項７】
2016531361.tif 000037
【請求項８】
顔の外部輪郭点の位置決め結果に基づいて、所定の大きさを有する画像における各画素点の位置で顔肩前景が現れる事前確率を計算するための事前確率計算モジュールと、
前記事前確率、予め設定された顔肩前景の確率閾値及び背景の確率閾値に基づいて、分割しようとする画像において顔肩前景サンプル画素点及び背景サンプル画素点を選択するためのサンプル画素点選択モジュールと、
前記顔肩前景サンプル画素点の色特徴ベクトル及び前記背景サンプル画素点の色特徴ベクトルに基づいて、前記顔肩前景の第１色尤度確率と前記背景の第２色尤度確率を計算するための色尤度確率計算モジュールと、
前記事前確率、前記第１色尤度確率、及び前記第２色尤度確率に基づいて、前記顔肩前景の第１事後確率と前記背景の第２事後確率を計算するための事後確率計算モジュールと、前記第１事後確率と前記第２事後確率に基づいて、前記分割しようとする画像に対して顔肩分割を行うための画像分割モジュールと、を備える
ことを特徴とする画像分割装置。
【請求項９】
前記事前確率計算モジュールは、
所定枚数の女性正面顔画像を選択し、
各女性正面顔画像に対してユーザにより行われた顔肩前景のキャリブレーション結果に基づいて、各女性正面顔画像の顔肩キャリブレーション画像を生成し、
各女性正面顔画像に対して顔の外部輪郭特徴点の位置決めを行うことで、位置決め結果を取得し、
顔の外部輪郭特徴点の位置決め結果に基づいて、各前記顔肩キャリブレーション画像について位置揃え処理及び寸法正規化処理を行うことで、所定の大きさを有する画像を複数取得し、
複数の所定の大きさを有する画像の同一位置にある画素点について、前記顔肩前景キャリブレーション結果に基づいて、前記画素点の位置で顔肩前景が現れる事前確率を計算する
ことを特徴とする請求項８に記載の画像分割装置。
【請求項１０】
前記事前確率計算モジュールは、
所定枚数の男性正面顔画像を選択し、
各男性正面顔画像に対してユーザにより行われた顔肩前景のキャリブレーション結果に基づいて、各男性正面顔画像の顔肩キャリブレーション画像を生成し、
各男性正面顔画像に対して顔の外部輪郭特徴点の位置決めを行うことで、位置決め結果を取得し、
顔の外部輪郭特徴点の位置決め結果に基づいて、各前記顔肩キャリブレーション画像に対して位置揃え処理及び寸法正規化処理を行うことで、所定の大きさを有する画像を複数取得し、
複数の所定の大きさを有する画像の同一位置にある画素点について、前記顔肩前景キャリブレーション結果に基づいて、前記画素点の位置で顔肩前景が現れる事前確率を計算する
ことを特徴とする請求項８に記載の画像分割装置。
【請求項１１】
2016531361.tif 000038
【請求項１２】
前記サンプル画素点選択モジュールは、
前記分割しようとする画像における顔に対して性別認識を行い、性別認識結果を取得し、
前記性別認識結果に基づいて、前記分割しようとする画像に対応する事前確率を決定し、
前記分割しようとする画像における各画素点について、前記画素点の事前確率が前記顔肩前景の確率閾値より大きいか否かを判定し、前記画素点の事前確率が前記顔肩前景の確率閾値より大きい場合、前記画素点を前景サンプル画素点と決定し、
前記分割しようとする画像における各画素点について、前記画素点の事前確率が前記背景の確率閾値より小さいか否かを判定し、前記画素点の事前確率が前記背景の確率閾値より小さい場合、前記画素点を背景サンプル画素点と決定する
ことを特徴とする請求項８に記載の画像分割装置。
【請求項１３】
2016531361.tif 000039
【請求項１４】
2016531361.tif 000040
【請求項１５】
プロセッサと、
前記プロセッサにより実行可能な指令を記憶するメモリと、を備え、
前記プロセッサは、
顔の外部輪郭点の位置決め結果に基づいて、所定の大きさを有する画像における各画素点の位置で顔肩前景が現れる事前確率を計算し、
前記事前確率、予め設定された顔肩前景の確率閾値及び背景の確率閾値に基づいて、分割しようとする画像において顔肩前景サンプル画素点及び背景サンプル画素点を選択し、
前記顔肩前景サンプル画素点の色特徴ベクトル及び前記背景サンプル画素点の色特徴ベクトルに基づいて、前記顔肩前景の第１色尤度確率と前記背景の第２色尤度確率を計算し、
前記事前確率、前記第１色尤度確率、及び前記第２色尤度確率に基づいて、前記顔肩前景の第１事後確率と前記背景の第２事後確率を計算し、
前記第１事後確率と前記第２事後確率に基づいて、前記分割しようとする画像に対して顔肩分割を行う
ことを特徴とする画像分割デバイス。
【請求項１６】
プロセッサに実行されることにより、請求項１ないし７のいずれか１項に記載の画像分割方法を実現することを特徴とするプログラム。
【請求項１７】
請求項１６に記載のプログラムが記録された記録媒体。
【国際調査報告】
2016531361.tif 000041
2016531361.tif 000042
2016531361.tif 000043
2016531361.tif 000044
2016531361.tif 000045
2016531361.tif 000046
2016531361.tif 000047