(57)【要約】本発明の一実施形態による色補正方法は、キャプチャされた画像から画像を取得するステップと、キャプチャされた画像から顔および両目を検出するステップと、検出された目（片目または両目）の強膜および瞳孔を分離するステップと、強膜および瞳孔を分離することによって抽出された強膜および瞳孔の各領域と、データベースに記憶された基準値とを比較することによって、画像を補正するステップと、補正された画像から顔の肌の色を抽出するステップと、を備えることができる。【選択図】図６
2019533269.tif 000002
【特許請求の範囲】
【請求項１】
色を補正する方法であって、
画像をキャプチャすることによって画像を取得するステップと、
キャプチャされた画像から顔および両目を検出するステップと、
検出された目（片目または両目）から強膜および瞳孔を抽出するステップと、
前記強膜および前記瞳孔を分離することによって抽出された前記強膜および前記瞳孔の各領域と、データベースに記憶された基準値とを比較することによって、前記画像を補正するステップと、
補正された画像から前記顔の肌の色を抽出するステップと、
を備える、方法。
【請求項２】
請求項１に記載の色を補正する方法において、
検出された目の前記強膜および前記瞳孔を分離する前記ステップは、
Otsuアルゴリズムと、目の形状のマスクとを用いて、検出された目から前記強膜および前記瞳孔を分割するステップと、
臨界照明値に基づき、前記強膜を分割することによって、所定値より高い輝度を有する前記強膜の領域を抽出するステップと、
瞳孔の円形の輪郭に沿って、前記瞳孔と強膜との間の境界を検出することによって、所定値より低い輝度を有する前記瞳孔の領域を抽出するステップと、
を備える、方法。
【請求項３】
請求項１に記載の色を補正する方法において、
前記画像を補正する前記ステップは、前記基準値に基づいて前記画像の前記色を変換するステップを備え、
所定値より高い輝度を有する前記強膜から抽出された前記強膜の領域と、所定値より低い輝度を有する前記瞳孔から抽出された前記瞳孔の領域とが、前記基準値と比較される、方法。
【請求項４】
請求項１に記載の色を補正する方法において、
前記補正された画像から前記顔の肌の色を抽出するステップは、
前記補正された画像から前記顔の肌の領域を検出し、Ｌ＊ａ＊ｂ値の測定範囲に基づき前記顔の肌の領域をフィルタリングすることによって前記肌の色を抽出するために、前記補正された画像の前記顔の中心を基準として肌の領域を抽出することと、抽出された肌の領域と記憶された肌の色の測定値とを比較することとによって、前記肌の色を抽出するステップ
を備える、方法。
【請求項５】
請求項４に記載の色を補正する方法において、
前記補正された画像から前記顔の肌の色を抽出する前記ステップは、
前記補正された画像から抽出された前記顔の肌の領域と、前記補正された画像から抽出された前記顔の肌の色とを表示するステップ
を備える、方法。
【請求項６】
請求項１に記載の色を補正する方法において、
異なる照明環境下で前記顔の肌の色を抽出するための基準値をデータベースに記憶するステップをさらに備え、
異なる照明環境下で前記顔の肌の色を抽出するための基準値をデータベースに記憶する前記ステップは、さらに、
画像補正のための前記強膜および前記瞳孔の画像補正測定値と、前記顔について測定された肌の色の値とを前記データベースに記憶するステップ
を備える、方法。
【請求項７】
請求項６に記載の色を補正する方法において、
異なる照明環境下で前記顔の肌の色を抽出するための基準値をデータベースに記憶する前記ステップは、さらに、
異なる照明環境下でキャプチャされた各画像を、前記肌の色を含む各標準色調を参照して変換するステップ
を備える、方法。
【請求項８】
請求項７に記載の色を補正する方法において、
異なる照明環境下で前記顔の肌の色を抽出するための基準値をデータベースに記憶する前記ステップは、さらに、
変換された画像から検出される前記顔の、額、鼻の頭、顎先、首、頬、頬骨および顎のうち少なくとも１つ以上から測定される前記肌の色の測定値から導出される平均値を記憶するステップ
を備える、方法。
【請求項９】
請求項１に記載の色を補正する方法において、
画像をキャプチャすることによって画像を取得する前記ステップは、さらに、
リアルタイムベースで前記顔および両目をスキャンすることによって、前記両目が開いているか閉じているかを判定し、両目が開いていると判定された場合には、画像キャプチャモードをアクティベートするステップ
を備える、方法。
【請求項１０】
色補正方法を実行するためのコンピュータソフトウェアプログラムであって、
色を補正する方法は、
画像をキャプチャすることによって画像を取得するステップと、
キャプチャされた画像から顔および両目を検出するステップと、
検出された目（片目または両目）から強膜および瞳孔を抽出するステップと、
前記強膜および前記瞳孔を分離することによって抽出された前記強膜および前記瞳孔の各領域と、データベースに記憶された基準値とを比較することによって、前記画像を補正するステップと、
補正された画像から前記顔の肌の色を抽出するステップと、
を備える、コンピュータソフトウェアプログラム。
【請求項１１】
色を補正するシステムであって、
画像をキャプチャすることによって画像を取得する、取得ユニットと、
キャプチャされた画像から顔および両目を検出する、検出ユニットと、
検出された目（片目または両目）の強膜および瞳孔を分離する、分離ユニットと、
前記強膜および前記瞳孔を分離することによって抽出された前記強膜および前記瞳孔の各領域と、データベースに記憶された基準値とを比較することによって、前記画像を補正する、補正ユニットと、
補正された画像から前記顔の肌の色を抽出する、抽出ユニットと、
を備える、システム。
【請求項１２】
請求項１１に記載の色を補正するシステムにおいて、
前記分離ユニットは、
Otsuアルゴリズムと、目の形状のマスクとを用いて、検出された目から前記強膜および前記瞳孔を分割することと、
臨界照明値に基づき、前記強膜を分割することによって、所定値より高い輝度を有する前記強膜の領域を抽出することと、
瞳孔の円形の輪郭に沿って、前記瞳孔と強膜との間の境界を検出することによって、所定値より低い輝度を有する前記瞳孔の領域を抽出することと、
を特徴とする、システム。
【請求項１３】
請求項１１に記載の色を補正するシステムにおいて、
前記補正ユニットは、前記基準値に基づいて前記画像の色を変換することを特徴とし、
所定値より高い輝度を有する前記強膜から抽出された前記強膜の領域と、所定値より低い輝度を有する前記瞳孔から抽出された前記瞳孔の領域とが、前記基準値と比較される、
システム。
【請求項１４】
請求項１１に記載の色を補正するシステムにおいて、前記抽出ユニットは、前記補正された画像から前記顔の肌の領域を検出し、Ｌ＊ａ＊ｂ値の測定範囲に基づき前記顔の肌の領域をフィルタリングすることによって前記肌の色を抽出するために、前記補正された画像の前記顔の中心を基準として肌の領域を抽出することと、抽出された肌の領域と記憶された肌の色の測定値とを比較することとによって、前記肌の色を抽出することを特徴とする、システム。
【請求項１５】
請求項１４に記載の色を補正するシステムにおいて、前記抽出ユニットは、前記補正された画像から抽出された前記顔の肌の領域と、前記補正された画像から抽出された前記顔の肌の色とを表示することを特徴とする、システム。
【請求項１６】
請求項１１に記載の色を補正するシステムにおいて、
前記システムは、さらに、異なる照明環境下で前記顔の肌の色を抽出するための基準値をデータベースに記憶する記憶ユニットを備え、
前記記憶ユニットは、画像補正のための前記強膜および前記瞳孔の画像補正測定値と、前記顔について測定された肌の色の値とを、記憶することを特徴とする、
システム。
【請求項１７】
請求項１６に記載の色を補正するシステムにおいて、前記記憶ユニットは、異なる照明環境下でキャプチャされた各画像を、肌の色を含む各標準色調を参照して変換することを特徴とする、システム。
【請求項１８】
請求項１７に記載の色を補正するシステムにおいて、前記記憶ユニットは、変換された画像から検出される前記顔の、額、鼻の頭、顎先、首、頬、頬骨および顎のうち少なくとも１つ以上から測定される前記肌の色の測定値から導出される平均値を記憶することを特徴とする、システム。
【請求項１９】
請求項１１に記載の色を補正するシステムにおいて、前記取得ユニットは、リアルタイムベースで前記顔および両目をスキャンすることによって、前記両目が開いているか閉じているかを判定し、両目が開いていると判定された場合には、画像キャプチャモードをアクティベートすることを特徴とする、システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理技術に関する。より具体的には、本発明は、人間の強膜および瞳孔の色に基づき、肌の色を補正する方法およびシステムに関する。
【背景技術】
【０００２】
［関連技術の説明］
近年、装置を用いたメークアップに関して様々な技術が提案されているが、それらのほとんどは、ユーザの顔の肌の色および照明環境を考慮しない。従来技術では、照明の影響のない真の肌の色を測定する方法が開示されているが、これらは、一般的なユーザには利用できないスペクトルに基づいて色情報を測定する装置を利用する必要があるという欠点を有する。
【０００３】
さらに、照明環境を簡単に測定するための標準色テーブルを用いて写真を撮影するような技術が提案されているが、この技術では色テーブルを準備して写真撮影過程でこれを用いる必要がある。
【０００４】
さらに、Ｄｏ他（２０１２）は人間の目の強膜を用いて照明を補正する方法を提案しているが、この方法では、抽出される肌の色の範囲が影およびハイライトを含み広すぎるので、正しい肌の色を抽出することが困難である。
【０００５】
このように、ユーザの利便性を向上させ、様々なメークアップ関連プログラムに対して基礎を提供するために、人間の目の強膜および瞳孔を用いて、画像から正しい顔の肌の色を抽出することができる技術に対する需要が出現してきている。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、色を補正する方法を提供できる。本方法は、画像から顔および両目を検出し、目の強膜および瞳孔に基づいて色を補正する。より具体的には、本発明は、画像から顔および両目を検出し、目の強膜および瞳孔を抽出し、抽出された強膜および瞳孔の領域とデータベースに記憶された基準値とを比較することによって、画像を補正し、補正された画像から顔の肌の色を抽出する方法を提供することができる。
【課題を解決するための手段】
【０００７】
本発明の一実施形態による色を補正する方法は、
写真を撮影することによって画像を取得するステップと、
取得された画像から顔および両目を検出するステップと、
検出された目（片目または両目）の強膜および瞳孔を抽出するステップと、
抽出された前記強膜および前記瞳孔の各領域と、データベースに記憶された基準値とを比較することによって、前記画像を補正するステップと、
補正された画像から前記顔の肌の色を抽出するステップと、
を備えることができる。
【０００８】
検出された目（片目または両目）の前記強膜および前記瞳孔を抽出する前記ステップは、
Otsuアルゴリズムと、目の形状のマスクとを用いて、前記強膜および前記瞳孔を分割するステップと、
臨界照明値に基づき、前記強膜を分割することによって、所定値より高い輝度を有する前記強膜の領域を抽出するステップと、
瞳孔と強膜との間の境界を検出することによって、所定値より低い輝度を有する前記瞳孔の領域を抽出するステップと、
を備えることができる。
【０００９】
前記画像を補正する前記ステップは、前記基準値に基づいて前記画像の前記色を変換するステップを備えることができ、
所定値より高い輝度を有する前記強膜から抽出された前記強膜の領域と、所定値より低い輝度を有する前記瞳孔から抽出された前記瞳孔の領域とが、前記基準値と比較される。
【００１０】
前記顔の肌の色を抽出するステップは、前記補正された画像から前記顔の肌の領域を検出し、Ｌ＊ａ＊ｂ値の測定範囲に基づき前記顔の肌の領域をフィルタリングすることによって前記肌の色を抽出するために、前記補正された画像の前記顔の中心を基準として肌の領域を抽出するとともに、抽出された肌の領域と記憶された肌の色の測定値とを比較するステップを備えることができる。
【００１１】
前記補正された画像から前記顔の肌の色を抽出する前記ステップは、
前記補正された画像から抽出された前記顔の肌の領域と、前記補正された画像から抽出された前記顔の肌の色とを表示するステップ
を備えることができる。
【００１２】
色を補正する方法は、異なる照明環境によって前記顔の肌の色を抽出するための基準値をデータベースに記憶するステップをさらに備えることができ、
異なる照明環境によって前記顔の肌の色を抽出するための基準値をデータベースに記憶する前記ステップは、
画像補正のための前記強膜および前記瞳孔の画像補正測定値と、前記顔について測定された肌の色の測定値とを記憶するステップ
であってもよい。
【００１３】
異なる照明環境によって前記顔の肌の色を抽出するための基準値をデータベースに記憶する前記ステップは、さらに、
別の照明環境によってキャプチャされた画像を、前記肌の色を含む標準色調を参照して変換するステップ
を備えることができる。
【００１４】
異なる照明環境によって前記顔の肌の色を抽出するための基準値をデータベースに記憶する前記ステップは、さらに、
変換された画像から検出される前記顔の、額、顎、首、顎先、頬骨および顎のうち少なくとも１つ以上から測定される前記肌の色の測定値の平均値を記憶するステップ
を備えることができる。
【００１５】
画像をキャプチャする前記ステップは、さらに、
リアルタイムベースで前記顔および両目をスキャンすることによって、前記両目が開いているか閉じているかを判定し、両目が開いていると判定された場合には、画像キャプチャモードをアクティベートするステップ
を備えることができる。
【００１６】
本発明の一実施形態による、色補正のためのコンピュータソフトウェアプログラムを構築するための色補正方法は、
画像をキャプチャすることによって画像を取得するステップと、
キャプチャされた画像から顔および両目を検出するステップと、
検出された目（片目または両目）から強膜および瞳孔を抽出するステップと、
前記強膜および前記瞳孔を分離することによって抽出された前記強膜および前記瞳孔の各領域と、データベースに記憶された基準値とを比較することによって、前記画像を補正するステップと、
補正された画像から前記顔の肌の色を抽出するステップと、
を備えることができる。
【００１７】
本発明の一実施形態による色補正システムは、
キャプチャされた画像から画像を取得する、取得ユニットと、
キャプチャされた画像から顔および目（片目または両目）を検出する、検出ユニットと、
検出された目（片目または両目）の強膜および瞳孔を抽出する、分離ユニットと、
前記強膜および前記瞳孔を分離することによって抽出された前記強膜および前記瞳孔の各領域と、データベースに記憶された基準値とを比較することによって、前記画像を補正する、補正ユニットと、
補正された画像から前記顔の肌の色を抽出する、抽出ユニットと、
を備えることができる。
【００１８】
前記分離ユニットは、Otsuアルゴリズムと、目の形状のマスクとを用いて、検出された目（片目または両目）から前記強膜および前記瞳孔を分割し、
前記分離ユニットは、臨界照明値に基づき、前記強膜を分割することによって、所定値より高い輝度を有する前記強膜の領域を抽出することができ、
前記分離ユニットは、瞳孔の円形の輪郭に沿って、前記瞳孔と強膜との間の境界を検出することによって、所定値より低い輝度を有する前記瞳孔の領域を抽出する。
【００１９】
前記補正ユニットは、前記基準値に基づいて前記画像の色を変換することができ、所定値より高い輝度を有する前記強膜から抽出された前記強膜の領域と、所定値より低い輝度を有する前記瞳孔から抽出された前記瞳孔の領域とが、前記基準値と比較される。
【００２０】
前記抽出ユニットは、前記補正された画像から前記顔の肌の領域を検出し、Ｌ＊ａ＊ｂ値の測定範囲に基づき前記顔の肌の領域をフィルタリングすることによって前記肌の色を抽出するために、前記補正された画像の前記顔の中心を基準として肌の領域を抽出することと、抽出された肌の領域と記憶された肌の色の測定値とを比較することとによって、前記肌の色を抽出することができる。
【００２１】
前記抽出ユニットは、前記補正された画像から抽出された前記顔の肌の領域と、前記補正された画像から抽出された前記顔の肌の色とを示すことができる。
【００２２】
前記色補正システムは、さらに、異なる照明環境による前記顔の肌の色を抽出するための基準値をデータベースに記憶する記憶ユニットを備えることができ、
前記記憶ユニットは、画像補正のための前記強膜および前記瞳孔の画像補正測定値と、前記顔について測定された肌の色の測定値とを、記憶することができる。
【００２３】
前記記憶ユニットは、異なる照明環境下でキャプチャされた各画像を、肌の色を含む各標準色調を参照して変換することができる。
【００２４】
前記記憶ユニットは、変換された画像から検出される前記顔の、額、顎、首、顎先、頬骨および顎のうち少なくとも１つ以上から測定される前記肌の色の測定値の平均値を記憶することができる。
【００２５】
前記取得ユニットは、リアルタイムベースで前記顔および両目をスキャンすることによって、前記両目が開いているか閉じているかを判定し、両目が開いていると判定された場合には、画像キャプチャモードをアクティベートすることができる。
【発明の効果】
【００２６】
本発明の一実施形態による色補正システムは、瞳孔および目の光学的特徴を利用することにより、単純な写真撮影プロセスから正しい肌の色を抽出できる。
【００２７】
本発明の一実施形態による色補正システムは、基準値に基づいて人間の目の強膜および瞳孔の色調を利用する色補正を実行することにより、追加の測定器具や装置を用いることなく、照明環境に関わらず、正しい肌の色を抽出する、実用的な方法を提供する。
【００２８】
本発明の一実施形態による色補正システムは、すべての人間に共通する人間の目の強膜および瞳孔を利用するので、人種や出身地域に関わらず、すべての人間に適用することができる。
【００２９】
さらに、本発明の一実施形態による色補正システムは、ユーザに利便性を提供することおよびマルチ人種適用性によって容易にスケーラブルであるため、通信技術およびモバイル装置の発展に従って、様々なアプリケーションソフトウェアプログラムのためのコア技術となることが期待される。
【図面の簡単な説明】
【００３０】
【図１】本発明の一実施形態による色補正システムの動作の概略フローチャートである。
【図２】本発明の一実施形態による色補正システムの構成を示すブロック図である。
【図３】本発明の一実施形態による色補正システムのプロセッサに含まれ得る構造的要素を示すブロック図である。
【図４】本発明の一実施形態による色補正システムのデータ取得を例示する画像である。
【図５】本発明の一実施形態による色補正システムの、目の強膜および瞳孔を利用して画像を補正する方法を示すフローチャートである。
【図６】本発明の一実施形態による色補正システムの色補正の方法を説明するフローチャートである。
【図７】本発明の一実施形態による色補正システムの色補正の方法を説明するフローチャートである。
【発明を実施するための形態】
【００３１】
添付図面を参照して、本発明の例示的な実施形態が詳細に説明される。
【００３２】
図１は、本発明の一実施形態による色補正システムの動作の概略フローチャートである。
【００３３】
色補正システム１００は、ＰＣ（パーソナルコンピュータ）、ノートブックコンピュータ、ラップトップコンピュータ、スマートフォン、タブレット、ウェアラブルコンピュータまたはＴＶにおいて、アプリケーションソフトウェアの形態で実行することができる。以下の説明は、色補正システム１００が図１において実行されるという想定に基づく。
【００３４】
端末は、対象物（１１０）（たとえばユーザ）の画像をキャプチャする機能を備えることができる。端末はユーザの写真を撮影してもよい。端末は、ユーザの顔および両目をスキャンすることにより、ユーザの両目が開いているか閉じているかを判定してもよい。両目が開いていると判定された場合には、端末は画像キャプチャモードをアクティベートしてもよい（１１１）。一方、両目が閉じていると判定された場合には、端末は画像キャプチャモードをデアクティベートしてもよい（１１２）。
【００３５】
端末は、画像中の顔の肌の色を抽出するために、画像補正処理（１２０）を実行するために、キャプチャされた画像を取得してもよい。端末は、目を検出することによってその目の強膜および瞳孔を分離することができ、強膜および瞳孔を分離した後に、強膜および瞳孔の抽出された各領域と、事前にセットされ記憶された基準値とを比較することによって、画像の色を補正してもよい。画像補正の処理は、好適な実施形態を参照して以下に詳述する。
【００３６】
端末は、補正された画像（１３０）から抽出された顔の肌の領域と、補正された画像から抽出された顔の肌の色（１４０）とを抽出し示すことができる。
【００３７】
図２は、本発明の一実施形態による色補正システムの構成を示すブロック図である。
【００３８】
色補正システム（１００）は、プロセッサ（２１０）と、通信ユニット（２２０）と、表示ユニット（２３０）とを備えてもよい。さらに、色補正システム（１００）は、異なる照明環境下での顔の肌の色を抽出するために用いられるデータを記憶する記憶ユニット（２３０）を備えてもよい。
【００３９】
プロセッサ（２１０）は、色補正システム（１００）の各要素を制御することができ、色補正システム（１００）によって用いられるソフトウェアプログラムまたはアプリケーションを実行することができる。さらに、プロセッサ（２１０）は、ソフトウェアプログラムまたはアプリケーションおよびデータ処理の実行のために必要な演算を処理してもよい。
【００４０】
通信ユニット（２２０）は、ハードウェアモジュール（たとえば、プレイヤーのネットワークインタフェースカード、ネットワークチップまたはネットワーキングインタフェースポート、ネットワークデバイスドライバ）であってもよく、ソフトウェアモジュール（データおよび／または情報を、他の端末の独立したサーバと送受信するネットワーキングプログラム等）であってもよい。
【００４１】
色補正システム（１００）の情報のデータを記憶する記憶ユニット（２３０）は、メモリまたは他の種類の記憶デバイスとしてもよい。記憶ユニット（２３０）は、プロセッサ（２１０）によって実行されるソフトウェアまたはアプリケーションと、関連する情報とを記憶してもよい。
【００４２】
表示ユニット（２４０）は、キャプチャされた画像を表示することができ、補正された画像から抽出された顔の肌の領域と、補正された画像から抽出された顔の肌の色とを示すことができる。
【００４３】
図３は、本発明の一実施形態による色補正システムのプロセッサに含まれ得る構造的要素を示すブロック図である。
【００４４】
色補正システムに含まれるプロセッサ（２１０）は、取得ユニット（３１０）と、検出ユニット（３２０）と、分離ユニット（３３０）と、補正ユニット（３４０）と、抽出ユニット（３５０）とを備えてもよい。プロセッサ（２１０）と、プロセッサ（２１０）の各要素とは、メモリデバイス内の、オペレーティングシステムのコードと、少なくとも１つのソフトウェアプログラムのコードとによって与えられる命令を実行するよう構成されてもよい。プロセッサ（２１０）の各要素は、色補正システムに記憶されるソフトウェアコードによって提供される制御命令に従ってプロセッサ（２１０）によって実行される様々な機能の表現であってもよい。
【００４５】
取得ユニット（３１０）は、画像がキャプチャされる時に画像を取得してもよい。取得ユニット（３１０）は、リアルタイムベースで顔および両目をスキャンすることによって両目が開いているか閉じているかを判定することができ、両目が開いていると判定された場合には、画像キャプチャモードをアクティベートする。
【００４６】
検出ユニット（３２０）は、キャプチャされた画像から顔および両目を検出してもよい。
【００４７】
分離ユニット（３３０）は、検出された目から強膜および瞳孔を分離してもよい。分離ユニット（３３０）は、検出された目（片目または両目）から、Otsuアルゴリズムと、目の形状のマスクとを用いて強膜および瞳孔を分割する。分離ユニット（３３０）は、臨界照明値に基づいて強膜を分割することによって、所定値より高い輝度を有する強膜の領域を抽出することができ、瞳孔の円形の輪郭に沿って瞳孔と強膜との間の境界を検出することによって、所定値より低い輝度を有する瞳孔の領域を抽出してもよい。
【００４８】
補正ユニット（３４０）は、強膜および瞳孔を分離することによって抽出された強膜および瞳孔の各領域と、データベースに記憶された基準値とを比較することによって、画像を補正してもよい。補正ユニット（３４０）は、基準値（所定値より高い輝度を有する強膜から抽出された強膜の領域と、所定値より低い輝度を有する瞳孔から抽出された瞳孔の領域とが、この基準値と比較される）に基づいて、画像の色を変換してもよい。
【００４９】
抽出ユニット（３５０）は、補正された画像から顔の肌の色を抽出してもよい。抽出ユニット（３５０）は、補正された画像の顔の中心を基準として肌領域を抽出することと、抽出された肌領域と記憶された肌の色の測定値とを比較することとによって、肌の色を抽出することができ、補正された画像から顔の肌の領域を検出し、Ｌ＊ａ＊ｂの測定範囲に基づいて顔の肌の領域をフィルタリングすることによって肌の色を抽出する。抽出ユニット（３５０）は、補正された画像から抽出された顔の肌の領域と、補正された画像から抽出された顔の肌の色とを示すことができる。
【００５０】
図４は、本発明の一実施形態による色補正システムのデータ取得を例示する画像である。
【００５１】
色補正システムは、異なる照明環境下の顔の肌の色を抽出するためのデータを、データベースに記憶してもよい。より具体的には、色補正システムは、多様な照明環境下の、異なるユーザの複数の顔の写真を撮影してもよい。この時に、画像をキャプチャするデバイスによって、多様な色調、照明の強度、色温度、等を用いて画像をキャプチャすることができ、画像キャプチャリングの環境に従って、多様な照明環境を生じさせることができる。たとえば、肌の色を抽出するためのデータは、所定数（たとえば３００人）より多い人数および所定範囲の年齢（たとえば１７〜５６歳）のユーザの写真を撮影することによって取得してもよい。
【００５２】
色補正システムは、肌の色を含む標準色調を参照して、様々な環境下でキャプチャされた画像を変換してもよい。たとえば、色補正システムは、異なる照明環境下で標準色テーブルを用いてキャプチャされた画像を、標準色テーブルを参照して変換してもよい。
【００５３】
色補正システムは、コンピュータグラフィック技術または顔検出器（たとえばViola-Jones顔検出器）を用いて、画像から顔および目の各領域を検出してもよい。たとえば、色補正システムは、Otsuアルゴリズムと目の形状のマスクとを用いて、目の領域から強膜および瞳孔を分離してもよい。光を反射する強膜は、照明環境の特徴を反映する色調でキャプチャされ、光を吸収する瞳孔は黒であるが画像キャプチャリングデバイスの補正処理によって影響を受ける。したがって、色補正システムは画像から目の強膜および瞳孔を分離することができる。目の瞳孔および強膜を分離できる他の様々な技術も利用可能であるので、強膜および瞳孔を分離するための技術は上述のアルゴリズムに限られない。
【００５４】
色補正システムは、強膜を、照明の臨界値を基準として比較的明るい領域と比較的暗い領域とに分割することにより、強膜の領域を抽出してもよい。色補正システムは、輝度が色補正のための所定レベルより高い強膜の領域を抽出してもよい。色補正システムは、血管、しみ、等によって影響を受けない白い領域として、所定レベルより明るい抽出された強膜の領域を取る。
【００５５】
さらに、色補正システムは、Hough変換を用いて、瞳孔の円形の輪郭に沿って瞳孔と強膜との間の干渉を検出してもよい。色補正システムは、瞳孔と強膜との間の干渉を検出することにより、抽出された瞳孔から、所定レベルより輝度が低い瞳孔の領域を抽出してもよい。
【００５６】
上述のように、本発明の色補正システムは、上記で抽出された、輝度が所定レベルより高い強膜の領域と、輝度が所定レベルより低い瞳孔の領域とを、データベースに保存してもよい。たとえば、本発明の色補正システムは、輝度が所定レベルより高い強膜の領域と、輝度が所定レベルより低い瞳孔の領域との、画像補正された測定値を、データベースに保存してもよい。この時に、測定された画像補正された測定値は、画像サンプルの追加または削除の度に更新されてもよい。
【００５７】
色補正システムは、標準色テーブルを参照して変換された画像に含まれる顔の特定の領域の肌の色の情報を保存してもよい。色補正システムは、画像（４１０）から検出される顔の、額、鼻の頭、顎先(chin)、首、頬、頬骨および顎(jaw)（４１１〜４１７）のうち少なくとも１つ以上の肌の色を測定してもよい。ここで、色補正システムは、Ｌ＊ａ＊ｂ値に基づき、測定された肌の色の情報を参照して、肌の色の最終的な範囲を導出してもよい。
【００５８】
色補正システムは、測定された各領域の肌の色のうち少なくとも１つ以上について、平均値を計算してもよい。色補正システムは、肌の色の測定された値を平均することによって得られる平均値を、データベースに保存してもよい。同様に、肌の色の測定値は、画像サンプルの追加または削除の度に更新されてもよい。
【００５９】
色補正システムは、画像補正のための強膜および瞳孔の画像補正測定値と、顔について測定された肌の色の値とを、データベースに保存してもよい。このデータを用いて、色補正システムは、画像補正のための、強膜および瞳孔についての基準値と、顔の肌の色を抽出するための基準値とを、導出してもよい。
【００６０】
本発明の一実施形態による色補正システムは、すべての人間に共通する人間の目の強膜および瞳孔を利用するので、人種や出身地域に関わらず、すべての人間に適用することができる。
【００６１】
本発明の一実施形態による色補正システムは、データベースを構築することによってデータを標準化することができ、標準化されたデータに基づいて、目標値および実際の肌範囲を導出するために領域の肌の色を測定することができ、これに従って肌の色を抽出することができる。
【００６２】
図５は、本発明の一実施形態による色補正システムの、目の強膜および瞳孔を利用して画像を補正する方法を例示するフローチャートである。
【００６３】
色補正システムは画像を取得することができる（５１０）。色補正システムは、顔および両目をスキャンすることができ、取得された画像から両目を検出することができる（５２０）。色補正システムは、画像から目を検出することによって目の強膜および瞳孔を分離することができる（５３０，５４０）。たとえば、色補正システムは、Otsuアルゴリズムと、目の形状のマスクとを用いて、目の領域から強膜および瞳孔を分離することができる。
【００６４】
ステップ（５３０〜５３３）において、色補正システムは、たとえば、Otsuアルゴリズムに基づき、肌の画素から強膜を分割するために、輝度に対する臨界値を決定することによって、比較的明るいグループと、比較的暗いグループとによって各画素を分類してもよい。瞼および強膜内の暗い血管が落とす影の影響を排除するために、強膜を分割した後に、輝度が所定レベルより高い強膜の領域を、色補正のために抽出してもよい。たとえば、色補正システムは、強膜から最高輝度の１０％を抽出してもよい。強膜から抽出された最も明るい領域の１０％に対応する値を導出してもよい。
【００６５】
さらに、色補正システムは、ステップ（５４０〜５３４）において、たとえばHough変換を用いることにより、瞳孔を検出してもよい。Hough変換は、円形の輪郭に沿って、瞳孔と強膜との間のインタフェースを特定することができる。色補正システムは、抽出された瞳孔から、輝度が所定レベルより低い瞳孔の領域を抽出してもよい。この時に、透明な角膜に起因する光の反射の影響を除去するために、輝度が所定レベルより低い瞳孔の領域を抽出してもよい。たとえば、色補正システムは、瞳孔から最も暗い領域の１０％を抽出してもよい。瞳孔から抽出された最も暗い領域の１０％に対応する値を導出してもよい。
【００６６】
色補正システムは、基準値に基づいて画像の色を変換してもよい（この基準値に対し、所定値より高い輝度を有する強膜から抽出された強膜の領域と、所定値より低い輝度を有する瞳孔から抽出された瞳孔の領域と）（５５０）。
【００６７】
図６および図７は、本発明の一実施形態による、色補正システムの色補正方法を説明するフローチャートである。
【００６８】
ステップ（６１０）において、色補正システムは、リアルタイムベースでユーザの顔および両目を検出してもよい。たとえば、色補正システムはカメラを介してユーザの顔および両目を検出してもよい。
【００６９】
ステップ（６２０）において、色補正システムは、ユーザの両目が開いているか否かを判定してもよい。たとえば、色補正システムは、目の領域が所定サイズ範囲内である場合に、目が開いていると判定してもよい。この時に、ユーザの両目が閉じていると判定された場合には、システムは顔および両目を再び検出してもよい。
【００７０】
ステップ（６３０）において、ユーザの両目が開いている場合には、色補正システムは画像をキャプチャしてもよい。色補正システムは、カメラで画像をキャプチャする時に、ユーザの両目が開いている間にユーザの画像をキャプチャしてもよい。
【００７１】
ステップ（６４０）において、色補正システムは、画像に含まれる目から瞳孔および強膜を分離してもよい。
【００７２】
ステップ（６５０）において、色補正システムは、瞳孔および強膜に基づき、画像を補正してもよい。色補正システムは、強膜および瞳孔を分離することによって抽出された強膜および瞳孔の各領域と、データベースに記憶された基準値とを比較することによって、画像を補正してもよい。ここで、データベース（６７０）は、異なる照明環境下で顔の肌の色を抽出するための基準値をデータベースに記憶してもよい。たとえば、データベースは、画像補正のために、顔の、強膜および瞳孔の画像補正された測定値（６７１）と、測定された肌の色の値（６７２）とを記憶してもよい。データベース（６７０）の詳細な説明は、以下に図４を参照して提供される。
【００７３】
図７を参照して、色補正システムは、ステップ（７１０）において、輝度が所定値より高い強膜の領域を抽出してもよく、輝度が所定値より低い瞳孔の領域を抽出してもよい。ステップ（７２０）において、色補正システムは、強膜および瞳孔の抽出された各領域の測定値と、データベースに記憶された測定された画像補正された値とを比較してもよい。ステップ（７３０）において、色補正システムは、測定された画像補正された値に基づき、画像の色を変換してもよい。
【００７４】
ステップ（６６０）において、色補正システムは、補正された画像から肌の領域を抽出してもよい。とくに、色補正システムは、補正された画像から顔の肌の領域を検出し、Ｌ＊ａ＊ｂ値の測定範囲に基づいて顔の肌の領域をフィルタリングすることによって、肌の色を抽出するために、補正された画像の顔の中心を基準として肌の領域を抽出することと、抽出された肌の領域とデータベースに記憶された肌の色の測定値とを比較することとによって、肌の色を抽出してもよい。色補正システムは、補正された画像から抽出された肌の色および肌の領域を提供してもよい。
【００７５】
本発明の一実施形態による色補正システムは、肌の色の推定の精度を改善することができる。
【００７６】
上述の装置は、ハードウェア要素またはソフトウェア要素によって、および／または、ハードウェア要素とソフトウェア要素との組み合わせによって、実装することができる。たとえば、各実施形態において説明された装置およびその要素は、１つ以上の汎用コンピュータまたは特定目的コンピュータ（プロセス、コントローラ、算術論理回路（ＡＬＵ）、デジタル信号プロセッサ、マイクロコンピュータ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラム可能論理回路（ＰＬＵ）、マイクロプロセッサ、等）または命令を実行し命令に応答することができる他の任意のデバイスを用いて実装可能である。処理ユニットは、オペレーティングシステム（ＯＳ）を実行してもよく、当該オペレーティングシステム上で１つ以上のアプリケーションソフトウェアが実行されてもよい。さらに、処理ユニットは、ソフトウェアの実行に応答して、データにアクセスし、データを記憶し、データを操作し、データを処理し、データを生成してもよい。読者の理解を容易にするために、上述の説明は単一の処理ユニットを含んでもよい。しかしながら、処理ユニットは複数の処理要素および／または複数種類の処理要素を備えてもよいということは当業者に明白である。たとえば、処理ユニットは、複数のプロセッサまたは１つのプロセッサおよび１つのコントローラを備えてもよい。さらに、異なる処理構成（並列プロセッサ等）も可能である。
【００７７】
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらの組み合わせを１つ以上備えてもよく、処理ユニットは、命令された通りに動作できるように構成されてもよいし、独立にまたは集合的に命令されてもよい。ソフトウェアおよび／またはデータは、ある種類の機械、コンポーネント、物理デバイス、仮想機器、コンピュータ記憶媒体または処理ユニットによって解釈可能なデバイス、または処理ユニットに命令またはデータを提供するデバイスにおいて恒久的にまたは一時的に実施されてもよい。ソフトウェアは、ネットワークによって接続された分散コンピュータシステム上にインストールされることにより、分散態様で記憶または実行されてもよい。ソフトウェアおよびデータは、コンピュータシステムを用いて読み取ることが可能な１つ以上の記録媒体デバイスに記憶されてもよい。
【００７８】
本発明の一実施形態による方法は、様々なコンピュータ手段によって実行され得るプログラムの形態で実装されてもよく、コンピュータ可読媒体に記録されてもよい。コンピュータ可読媒体は、プログラム命令、データファイル、および／またはデータ構造を、独立にまたはそれらを組み合わせて備えてもよい。媒体に記録されたプログラム命令は、本発明またはコンピュータソフトウェアの当業者に利用可能な一般的ソフトウェアのために特別に設計および製造されることができる。コンピュータ可読記録媒体の例は、磁気的媒体（ハードディスク、磁気テープ、等）、光学的媒体（ＣＤ−ＲＯＭ、ＤＶＤ、等）、磁気光媒体（フロプティカルディスク等）、および、プログラム命令を記憶し実行するよう特別に構成されたハードウェアデバイス（ＲＯＭ、ＲＡＭ、フラッシュメモリデバイス、等）を含む。ソフトウェア命令の例は、コンパイラによって生成される機械コードと、コンピュータシステムがインタプリタを用いて実行可能な高レベル言語コードとを含む。
【００７９】
上記より、当業者は、本発明の価値ある改善を認識し、本発明はその好適な実施形態および添付図面に関連して説明されたが、当業者によって本発明の精神および範囲から逸脱することなく多数の変更および修正を加えることができるということを容易に理解すると確信される。たとえば、本明細書に開示される技術は、適切な結果を達成しつつ、説明とは異なる順序で実行されてもよく、および／または、説明されたシステム、構造、デバイス、回路、または他の要素は、異なる構成で組み合わせられてもよく、他の要素または均等物で代替または置換されてもよい。
【００８０】
したがって、特許請求の範囲に対する他の実装、実施形態および均等物は、添付の特許請求の範囲に含まれる。
【図１】
2019533269.tif 000003
【図２】
2019533269.tif 000004
【図３】
2019533269.tif 000005
【図４】
2019533269.tif 000006
【図５】
2019533269.tif 000007
【図６】
2019533269.tif 000008
【図７】
2019533269.tif 000009
【国際調査報告】
2019533269.tif 000010
2019533269.tif 000011