(57)【要約】【課題】白色バランス補正のためのシステムと装置。【解決手段】キャプチャされたシーン画像に現れる参照オブジェクトが識別され、そして、色変換が、その参照オブジェクトに対する既知の色バランス情報に基づいて、計算される。その色変換は、既知の照明の下で取られた参照オブジェクトの色情報および、キャプチャされた画像において見られたときの前記参照オブジェクトの前記見かけの色の間の差異に基づいている。このキャプチャされた画像に色変換が適用され、キャプチャされた画像の各々のピクセルに色補正を適用することに基づいて、補正された画像がつくられる。【選択図】図１
2015119482.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つのプロセッサと、命令のプログラムを格納しているメモリと、を備える装置であって、
該メモリは、前記少なくとも１つのプロセッサにより、前記装置に、少なくとも、
キャプチャされたシーン画像に現れる参照オブジェクトを識別させ、
前記参照オブジェクトに対する既知の色バランス情報に基づいて、色変換を計算させ、ここで、該色変換は、既知の照明の下での前記参照オブジェクトに対する既知の色バランス情報、および、キャプチャされた画像において見られたときに参照オブジェクトの見かけの色バランスの間の差異に基づいており、
前記キャプチャされた画像に前記色変換を適用させ、
前記キャプチャされた画像への前記色変換の前記適用に基づいて、補正された画像を生成させる
ように構成された命令のプログラムを格納している、装置。
【請求項２】
前記キャプチャされた画像に前記色変換を適用することは、色補正を適用することを含み、
適用される前記色補正は、前記参照オブジェクトの前記見かけの色を前記既知の色に補正するために計算されたものである、請求項１に記載の装置。
【請求項３】
前記キャプチャされた画像に前記色変換を適用することは、前記全体の画像に色補正を適用することを含む、請求項２に記載の方法。
【請求項４】
前記既知の色バランス情報は、以前にキャプチャされた参照画像から取られた、以前に格納された色バランス情報である、請求項１に記載の装置。
【請求項５】
前記既知のカラー・バランス情報は、前記参照オブジェクトの参照画像を処理することに基づいており、該参照画像は、既知の照明の下での前記参照オブジェクトである、請求項１に記載の装置。
【請求項６】
前記参照オブジェクトは、前記シーン画像において自動的に検出される、請求項１に記載の装置。
【請求項７】
前記参照オブジェクトは、特定の標準的な参照オブジェクトであり、前記参照オブジェクトに対する識別および色バランス情報は、中央レポジトリから読み出される、請求項１に記載の装置。
【請求項８】
キャプチャされたシーン画像に現れる参照オブジェクトを識別するステップと、
前記参照オブジェクトに対する既知の色バランス情報に基づいて、色変換を計算するステップであって、該色変換は、既知の照明の下で取られた前記参照オブジェクトに対する既知の色バランス情報、および、キャプチャされた画像において見られたときの前記参照オブジェクトの前記見かけの色の間の差異に基づいている、ステップと、
前記キャプチャされた画像に前記色変換を適用するステップと、
前記キャプチャされた画像への前記色変換の前記適用に基づいて、補正された画像をつくるステップと、
を含む方法。
【請求項９】
前記キャプチャされた画像に前記色変換を適用するステップは、色補正を適用するステップを含み、適用される色補正は、前記参照オブジェクトの前記見かけの色を前記既知の色に補正するために計算されたものである、請求項８に記載の方法。
【請求項１０】
前記キャプチャされた画像に前記色変換を適用するステップは、前記画像の各々のピクセルに色補正を適用するステップを含む、請求項９に記載の方法。
【請求項１１】
前記既知の色バランス情報は、以前にキャプチャされた参照画像から取られた、以前に格納された色バランス情報である、請求項８に記載の方法。
【請求項１２】
前記既知の色バランス情報は、前記参照オブジェクトの参照画像を処理することに基づいており、該参照画像は、既知の照明の下での前記参照オブジェクトである、請求項８に記載の方法。
【請求項１３】
前記参照オブジェクトは、前記シーン画像において自動的に検出される、請求項８に記載の方法。
【請求項１４】
前記参照オブジェクトは、特定の標準的な参照オブジェクトであり、前記参照オブジェクトに対する識別および色バランス情報は、中央レポジトリから読み出される、請求項８に記載の方法。
【請求項１５】
プロセッサが実行することにより、装置が、少なくとも、
キャプチャされたシーン画像に現れる参照オブジェクトを識別し、
前記参照オブジェクトに対する既知の色バランス情報に基づいて、色変換を計算し、ここで、該色変換は、既知の照明の下で取られた前記参照オブジェクトに対する既知の色バランス情報、および、キャプチャされた画像において見られたときの前記参照オブジェクトの前記見かけの色の間の差異に基づいており、
前記キャプチャされた画像に前記色変換を適用させ、
前記キャプチャされた画像への前記色変換の前記適用に基づいて、補正された画像を生成するように構成する命令のプログラムを格納する固定コンピュータ読取可能メディア。
【請求項１６】
前記キャプチャされた画像に前記色変換を適用することは、色補正を適用することを含み、
適用される前記色補正は、前記参照オブジェクトの前記見かけの色を前記既知の色に補正するために計算されたものである、請求項１５に記載のコンピュータ読取可能メディア。
【請求項１７】
前記既知の色バランス情報は、以前にキャプチャされた参照画像から取られた、以前に格納された色バランス情報である、請求項１５に記載のコンピュータ読取可能メディア。
【請求項１８】
前記既知の色バランス情報は、前記参照オブジェクトの参照画像を処理することに基づいており、
該参照画像は、既知の照明の下での前記参照オブジェクトである、請求項１５に記載のコンピュータ読取可能メディア。
【請求項１９】
前記参照オブジェクトは、前記シーン画像において自動的に検出される、請求項１５に記載のコンピュータ読取可能メディア。
【請求項２０】
前記参照オブジェクトは、特定の標準的な参照オブジェクトであり、前記参照オブジェクトに対する識別および色バランス情報は、中央レポジトリから読み出される、請求項１５に記載のコンピュータ読取可能メディア。
【発明の詳細な説明】
【技術分野】
【０００１】
本願発明は、一般に画像のキャプチャおよび処理に関するものである。より詳細には、本願発明は、キャプチャされた画像における、色補正の改良されたシステムおよび技術に関するものである。
【背景技術】
【０００２】
写真撮影（静止画像と動画）は、その最初の発明以来、絶えず発達してきた。数十年を通して、より安価に、そして、より簡単になってきた。１８２２年に始まるニエプスのフォトエッチング（１８２６年の「ル・グラの窓からの眺め」が残存する最も初期の例であり、それ以前のものは失われている）から、ニエプスによる開発、および、ダゲール（Ｄａｕｇｕｅｒｒｅ）の銀化合物を使用する写真撮影を経て発展し、さらに、ガラスおよびセルロイドなどのメディア上でそのような合成物を用いることにより、安価で幅広く利用できるカメラの開発を経て、また、インスタント写真を経て、現代のデジタル写真撮影に続いている。静止画像や動画像を記録する能力は、ますます、広範囲にわたるようになり、現在、それが、先進国社会では、ほとんど一般的になっている。たくさんの人々が、彼ら生活や友人の生活のあらゆる態様をドキュメント化して、彼らの生活のあらゆる面白いイベントの画像を作って、配布している。多くの写真撮影はカジュアルで、そのような写真家は、非常に注意深いカメラ調整をするといったことに無関心であり、幅広い様々な照明の下で実行される。しかしながら、そのような写真家は、特に、色バランスのような特性の面から、彼らの写真が魅力的に見え、対象に似ていることを望んでいる。ここで、色バランスは、画像の各々の色コンポーネント（赤、青、緑の原色など）の相対的な輝度の尺度である。（例えば、白や灰色の）中間色が、正しい色として見えることが特に重要であるので、色バランスは、また、ホワイト・バランスまたはグレー・バランスと言われる。色恒常性は、人間の視覚システムの特性である。人間の脳は、対象を照明している光の波長変動のかなりの範囲にわたり比較的一定の色知覚を提供する。他方、画像をキャプチャするための人工のメカニズムは、そのような定常性を達成するためには、調整と補正のためのメカニズムを組み込む必要がある。
【発明の概要】
【０００３】
本願発明の１つの実施形態において、装置は、少なくとも１つのプロセッサと、命令のプログラムを格納しているメモリとを備える。この命令のプログラムを格納するメモリは、少なくとも１つのプロセッサにより、その装置に、少なくとも、既知の照明の下で撮られたキャプチャされたシーン画像に現れる参照オブジェクトを識別し、その参照オブジェクトに対する既知の色バランス情報に基づいて、色変換を計算し、前記キャプチャされた画像に前記カラー変換を適用させ、前記キャプチャされた画像への前記色変換の前記適用に基づいて、補正された画像を生成させる。ここで、その色変換は、参照オブジェクトに対する既知の色バランス情報、および、キャプチャされた画像において見られたときの前記参照オブジェクトの前記見かけの色の間の差異に基づいているものである。
【０００４】
本願発明の別の実施形態において、この方法は、キャプチャされたシーン画像に現れる参照オブジェクトを識別するステップと、既知の照明の下で撮られた前記参照オブジェクトに対する既知の色バランス情報に基づいて、色変換を計算するステップであって、該色変換は、前記既知のカラー・バランス情報、および、キャプチャされた画像において見られたときの前記参照オブジェクトの前記見かけのカラーの間の差異に基づいている、ステップと、前記キャプチャされた画像に前記色変換を適用するステップと、前記キャプチャされた画像への前記カラー変換の前記適用に基づいて、補正された画像をつくるステップと、を含む。
【０００５】
本願発明の別の実施形態において、固定コンピュータ読取可能メディアは、プロセッサが実行することにより、装置が、少なくとも、既知の照明の下で撮られたキャプチャされたシーン画像に現れる参照オブジェクトを識別し、その参照オブジェクトに対する既知の色バランス情報に基づいて、色変換を計算し、前記キャプチャされた画像に前記カラー変換を適用させ、前記キャプチャされた画像への前記色変換の前記適用に基づいて、補正された画像を生成するように構成する命令のプログラムを格納する。ここで、その色変換は、前記既知のカラー・バランス情報、および、キャプチャされた画像において見られたときの前記参照オブジェクトの前記見かけの色の間の差異に基づいているものである。
【図面の簡単な説明】
【０００６】
【図１】図１および図２は、本願発明の実施形態にしたがう、画像処理と色補正システムを図示する。
【図２】図１および図２は、本願発明の実施形態にしたがう、画像処理と色補正システムを図示する。
【図３】図３は、本願発明の実施形態にしたがう、プロセスを図示する。
【発明を実施するための形態】
【０００７】
光源のスペクトル・パワーとそして、一緒に照明されたオブジェクトの反射率との積が、カメラ・センサによりキャプチャされた色刺激を決定する。したがって、照明光は、色刺激の上に顕著な影響を有する。例えば、光源の色温度が低いならば、光源によって照明されるシーンの画像とシーンの中のオブジェクトは、赤みがかったものとなる傾向があり、そして、光源の色温度が高いならば、画像は、青っぽいものとなる傾向がある。自動のホワイト・バランス・メカニズムは、シーンにおける照明を推定し、あたかも標準的な照明の下にあるように、画像における色を補正することを試みる。入手可能な情報は、照明の色温度を分離せず、むしろ、照明およびシーンの中のオブジェクトの反射率の結果であるので、そのような推定は難しい課題である。プロの写真家によって使われる１つのメカニズムは、色チェック用チャートを持ち運び、チャートの写真を意図された写真と同じ位置、同じ時間に持っていくことによって、そのチャートを参照オブジェクトとして使用するように構成されることである。次に、画像編集プログラムを、カメラにより用いられるホワイト・バランスを調節するために、使用することができる。しかし、このアプローチは、わずらわしく、そして、かなりの技術を必要とする。加えて、カラー・シートは、退色して、実際の色が分からなくなってしまう可能性がある。参照オブジェクトの色が分からなければ、参照オブジェクトに基づいた色補正は、信頼することができない。
【０００８】
これら、および、他の問題に、本願発明の実施形態によって、取り組む。本願発明は、画像の中の既知の参照オブジェクトに基づいて、自動補正のメカニズムを提供する。参照オブジェクトは、既知の照明を使用して、照明され、参照オブジェクトのための色彩情報が決定される。１つのアプローチにおいて、参照オブジェクトは、参照画像をつくるために既知の照明の下で写真を撮ることができ、色情報を、参照画像に基づいて、抽出することができる。別のアプローチにおいて、参照オブジェクトのための色彩情報は、画像を取得することなく、直接に測定することができる。参照オブジェクトに対する色バランス情報を得るための、いかなる適切なメカニズムをも、使用することができる。
【０００９】
オブジェクトが見える写真が撮られるときに、写真の中で見られたときのオブジェクトの画像に基づいて、色変換が計算され、既知の照明の下でオブジェクトを写真撮影することから得られる情報を格納する。全体の画像に対する色補正を生成するために、色変換は、画像におけるすべてのピクセルに適用される。前記全体の画像に適用して、参照オブジェクトの見た目の色を補正するために必要な補正であった。
【００１０】
補正されるべき画像における参照オブジェクトの位置は、自動的に決定することができる、または、ユーザが、参照オブジェクトの位置を見つける際に支援することができる。−例えば、ユーザは、オブジェクトを示すことができる、あるいは、オブジェクトが位置する領域を区切ることができる。また、参照オブジェクトは、いつでも既知の照明の下で写真撮影できることが認識される。そのような写真撮影は、補正するべき写真を撮る前に実行する必要がない。オブジェクトと既知の照明源が利用できる時はいつでも、そのオブジェクトを既知の照明源の下で写真撮影でき、参照オブジェクトが現れる既存の写真の色補正の情報を得るためにデータをキャプチャすることができる。
【００１１】
しかるに、図１は、本願発明の実施形態にしたがう、参照情報システム１００を図示する。システム１００は、参照色情報ステーション１０２を備える。それは、それ自身が適切に、カメラ１０４、プラットホーム１０６、照明器１０８、および、参照処理装置１１０を備える。参照処理装置は、少なくとも１つのプロセッサ（ＤＰ）１１２とメモリ（ＭＥＭ）１１６とを備える。メモリ１１６は、高速メモリ、長期ストレージ、または、その任意の組合せを備えることができ、そして、データ１１８とプログラム（ＰＲＯＧＳ）１２０とを格納することができる。参照処理装置１１０は、また、インタフェース１２２Ａ、１２２Ｂのような１つ以上の有線または無線インタフェースを適切に備えることができる。これらは、コントロール、そして、カメラ１０４や照明器１０８などの要素からの情報を受信するのに使うことができる。
【００１２】
参照オブジェクト１２４は、プラットホーム１０６に配置することができ、オブジェクト１２４は、設計および構成選択に依存して、参照処理ユニット１１０とは独立であるか、あるいは、そのコントロールの下で、照明器１０８により照明することができる。画像は、参照オブジェクト１２４から撮られ、参照処理ユニット１１０に提供され、次に、色バランス情報を抽出して、保存することができる。画像は、プロセッサ１１２のコントロールの下で自動的に撮ることができる、あるいは、ユーザにより、または、プロセッサ１１２のコントロールとは別の他の自動コントロールの下で撮ることができる。しかしながら、画像はキャプチャされ、それは、色バランス情報抽出のためにある時点において、アクセス可能になる。
【００１３】
加えて、あるいは、代替として、参照オブジェクトの色バランス情報は、実際の画像を撮ることなく、単に測定することができる。したがって、カメラ１０４の代替として、または、それに加えて、彩度センサ１２５を使用することができる。彩度センサ１２５は、オブジェクト１２４が、照明器１０８で照明されるときに、参照オブジェクト１２４から反射される光の特性を測定し、参照オブジェクト１２４に対するカラー・バランス情報を決定する。また、彩度センサ１２５が、それ自身のビルトイン照明器を含むことができこと、また、ステーション１０２の特定の構成が、説明のために選ばれるが、本願発明の実施形態の実施は、カメラ１０４、参照オブジェクト１２４、および、彩度センサ１２５に対する固定された位置に限られておらず、これらのデバイスを、望むように配置することができ、そして、有線あるいは無線で通信することができることが認識される。
【００１４】
抽出された色バランス情報は、メモリ１１８に格納することができ、そして、またさらに、あるいは、代替として、外部データ・リポジトリ１２６に伝送することができる。これは、インターネット１２８のようなネットワークを通してアクセスすることができる。
【００１５】
本願発明の１つの例示的な実施形態において、参照色情報ステーション１０２は、企業によって、または、企業のために運用されることができる。その企業は、カメラ、写真撮影可能な携帯電話、または、写真撮影されるシーンに配置することができる参照オブジェクトを有する画像編集ソフトウェアなどの写真撮影プロダクトをパッケージすることができる。そのオブジェクトは着用可能であり、例えば、帽子またはバッジ、あるいは、写真のなかの人が、持つのに適していることができ、または、そのオブジェクトは、シーンに置くのに適していることができる。持つのに適している、あるいは、シーンに置くのに適しているそのようなオブジェクトは、例えば、おもちゃ、または、ぬいぐるみの動物の形をとることができる。ユーザは、パッケージされた参照オブジェクトがシーンに現れるという保証の下で、写真を撮ることができる。そして、写真撮影される参照オブジェクトのための色バランス情報は、写真撮影プロダクトに組み込むことができる。あるいは、別の実施形態において、製品のユーザを、例えば、インターネット１２８を通した接続によって、リポジトリ１２６に対してアクセス可能にすることができる。さらなる、代替として、参照オブジェクト１２４のような参照オブジェクトが、色バランス情報へのアクセスと共に販売されるかもしれない。そして、そのような参照オブジェクトは、例えば、衣類、装飾的オブジェクト、装飾品、または、おもちゃなどの任意の数の異なる形をとることができる。そのようなオブジェクトは、カメラまたは写真撮影対応電話に識別子を保存すること、または、識別子を参照オブジェクトに埋め込むことなどによって、バー・コードまたは高周波識別子の形などで、写真撮影プロダクトに提供することができる識別子と結びついていることができる。その識別子が読まれるときに、写真撮影プロダクトは、適当な色バランス情報を、それ自身のオンボード・メモリから、または、レポジトリ１２６から読み出すことができる。
【００１６】
システム１００は、特に、カジュアルなユーザに便利なメカニズムを図示するために、参照画像情報を得るための別々の仕組みとして例示され、また、議論された。システム１００などのシステムによって得られた情報は、ユーザからのごくわずかな仕事、または、考慮によって、ユーザに利用可能となることができる。しかしながら、本願発明の実施形態は、望むだけのコントロールをユーザにあたえ、ユーザが自分の参照オブジェクトを選択し、または、キャプチャされた画像に現れるオブジェクトを識別し、そして、次に、そのオブジェクトの参照の画像をキャプチャし、次に、参照画像から得た情報を用いて、既存のシーン画像を色補正するのを可能にするように考案されることができることが認識される。
【００１７】
しかるに、図２は、本願発明の実施形態にしたがう、画像キャプチャ・デバイス、補正画像キャプチャ・デバイス、訂正および画像処理ステーション、および、例えば、図１の１２６のレポジトリなどの、補正情報レポジトリへの接続のためのインタフェースを備える写真撮影・補正システム２００を図示する。システム２００は、このように、画像センサ２０２、プロセッサ２０４、データ２１０とプログラム２０８とを格納するメモリ２０６、送信器２１２、受信器２１４、アンテナ２１５、およびインタフェース２１６を備える写真撮影能力を有する携帯電話２０１を備える。携帯電話２０１は、すでにローカルに保存された色バランス情報、参照オブジェクトのための識別子情報、および、参照オブジェクトとその識別子と結びついた保存された色バランス情報の検索情報を含むことができる色バランス情報２１８、を含む。例えば、電話２０１は、有線または無線ネットワークを通して通信することにより、図１のレポジトリ１２６から、参照オブジェクトの色バランス情報を収集することができる。これは、セルラ・システム、有線ＬＡＮ、または無線ＬＡＮなどによって達成できる。
【００１８】
携帯電話２００に対して、カメラ機能が選択されたとき、色補正モジュール２２０は、活性化される。色補正モジュール２２０は、プログラム２０８の１つ以上としてインプリメントすることができ、そして、参照オブジェクトの識別と位置特定を可能とし、参照オブジェクトのためのカラー・バランス情報の検索、および、参照オブジェクトが現れる画像の補正を、色バランス情報に基づいて可能とする。
【００１９】
一旦、色補正モジュール２２０が（例えば、カメラ機能の選択と同時に自動的に、または、明確なユーザ選択を通して）活性化されると、モジュール２２０は、参照オブジェクトまたは使われているオブジェクトを識別することを引き受ける。これは、例えば、自動識別を通して、あるいは、明白なユーザ選択を通して達成される。参照オブジェクトまたはオブジェクトの色バランス情報が識別され、そして、情報へのアクセスが、確立される（例えば、電話２００のローカル・ストレージにおいて、それを読み出し、検索アドレスを識別し、あるいは、必要とされる色バランス情報を使用のためにアクセスできるようにするためにある他の適当なメカニズムを用いるなど）。
【００２０】
ユーザが、写真を撮るとき、画像２２２が、データ２１０の部分としてメモリ２０６にキャプチャされる。画像２２２は、ディスプレイ・スクリーン２２４を手段としてユーザに提示することができる。色補正モジュール２２０は、その参照オブジェクトに対する正しい色バランスを達成するために必要な補正を全体の画像に適用するために、色バランス情報を用いて色補正を実行するために、画像を処理することができる。最初に、色補正モジュール２２０は、画像における参照オブジェクトを識別する。これは、自動的に、または、ユーザの介入により実行されることができる。例えば、ユーザは、参照オブジェクトの位置を指示する、または、参照オブジェクトが現れる領域を指定する要求を信号伝達されることができる。一旦、参照オブジェクトが識別されるならば、オブジェクトが画像に現れるときの参照オブジェクトの色バランスが、分析され、そして、オブジェクトの見た目の色を補正するために必要である色変換２２５（これは、また、色彩どちらが、色順応と呼ばれることもある）が、参照オブジェクトの見た目の色と、既知の以前に測定された色との間での差異に基づいた色変換により計算される。
【００２１】
計算された色変換２２５は、次に、その画像が、このように、その参照オブジェクトに対する正しい既知の測定された色を達成するような方法で、色補正されるように、画像の中のピクセルに適用することができる。例示的な実施形態において、次に、色変換２２５を、画像の中のピクセルに適用することができる。
【００２２】
色変換または色彩変換は、選択されたピクセルの色を参照オブジェクトの測定された色に変換するように計算される。色彩変換の１つの例は、フォン・クリース変換であるが、任意の適切な変換をも使用することができる。本願発明の１つ以上の実施形態において、白色点変換を実行することができる。参照オブジェクトの光源の色（白色点）が既知であるならば、ＬＭＳ色空間において、白化点変換を、以下の通りに実行することができる。
Ｌｏｕｔ＝Ｌ２／Ｌ１＊Ｌｉｎ
Ｍｏｕｔ＝ｍ２／Ｍ１＊Ｍｉｎ
Ｓｏｕｔ＝Ｓ２／Ｓ１＊Ｓｉｎ
ここで、（Ｌ２，Ｍ２，Ｓ２）は、標準光源（Ｄ６５など）に対応する白色点のＬＭＳ色空間の座標である。そして、（Ｌ１，Ｍ１，Ｓ１）は、画像における光源の白色点のＬＭＳ色空間の座標である。（Ｌ１，Ｍ１，Ｓ１）は、未知であるが、既知の光源（Ｌｏｕｔ，Ｍｏｕｔ，Ｓｏｕｔ）の下でのオブジェクトの測定された色は、既知である。（ユーザ選択ピクセルなど）選択されたピクセルの入力画像ピクセル値（Ｌｉｎ，Ｍｉｎ，Ｓｉｎ）と同様である。この情報は、比率Ｌ２／Ｌ１、Ｍ２／Ｍ１、および、Ｓ２／Ｓ１を計算するのに用いることができ、それは、完全に変換を規定する。既知の照明と標準的な照明のスペクトルが知られているならば、同様の変換を、既知の照明からＤ６５の標準的な照明に行くために、使うことができる。
【００２３】
次に、補正された画像２２６は、ユーザへの提示のために、メモリ２０６に保持することができる。そして、また、自動的に、または、ユーザからのコマンドに応答して、のいずれかで長期ストレージに保存することができる。
【００２４】
複数の参照オブジェクトを使うことができ、キャプチャされた画像は、複数の参照オブジェクトの画像を含むことができることが認識される。複数の参照オブジェクトは、既知の照明の下で写真撮影することができ、そして、色情報は、各々のオブジェクトに対して格納することができる。複数の参照オブジェクトがシーンの単一の画像に現れるならば、各々のオブジェクトに対して、色変換を計算することができる。そして、既知の参照オブジェクトの色と一致するように全体的な画像を持ってくるために、変換の組み合わせ推定を計算することができる。オブジェクトが現れる画像がキャプチャされる前にオブジェクトは、特に参照オブジェクトとして識別される必要はないことが認識される。画像に現れているオブジェクトが、参照画像をつくるために、既知の照明の下での写真撮影することができるならば、オブジェクトが、参照画像がキャプチャされる時に、および、シーン画像がキャプチャされる時に同じ色彩を有する限り、参照画像から得られた情報をいつでも、色補正のために使うことができる。したがって、参照オブジェクトを写真撮影することができ、参照画像が、写真撮影プロダクト製造者またはベンダーによってつくられることができる、あるいは、ユーザが、シーン画像をキャプチャする前に、参照画像をつくるために参照オブジェクトの写真撮影をすることができる。代替的に、ユーザが、画像に現れるオブジェクトにアクセスを有するならば、ユーザは、参照画像をつくるために、任意の都合がよい時刻に、そのオブジェクトを写真撮影することができ、そして、その参照画像を、参照オブジェクトが現れるいかなる画像の色補正のためにでも使用することができる。一旦、参照画像がキャプチャされて、保存されるならば、それは、画像に位置している参照オブジェクトで、既存の、または、その後キャプチャされた画像の色補正を実行するのに用いることができるそして、見た目の色と参照オブジェクトの測定された色との間の差異に基づいて、画像を補正する色変換が実行される。
【００２５】
参照画像ステーション１０２が、上の図１に関連して、便宜のために、製造者は、参照オブジェクトの情報を収集することができ、そして、この情報をユーザが利用できるようにすることができアイディアを図示して、記述されることが理解される。そして、上の例において、カメラ２０１は、そのような情報を収集し、そして、色補正を実行するためにそれを使った。しかしながら、このアプローチは、いくつかの例のうちの１つであること、（上記したように）システム２００のようなシステムは、画像処理と色補正ステーション２３０とを含むことができることが認識される。本願の例において、ステーション２３０は、プロセッサ２３４、メモリ２３６、データ２３８、および、プログラム２４０を備えることができる。ここで、プログラム２４０は、画像処理ソフトウェア２４２、および、参照画像管理ソフトウェア２４４を含み、そして、データ２３８は、補正情報２４６含む。これは、参照オブジェクト識別子と参照オブジェクト情報とを含む。ユーザは、画像処理ステーション２３０に組み込まれたカメラ２５０、カメラ２０１、または、他の任意の適当な画像キャプチャ・デバイスを用いて、参照ステーション２３０の既知の照明源２４８の下で参照オブジェクトの参照画像をキャプチャすることができる。参照オブジェクト情報は、（たとえば、無線インタフェース２５２を使用して）電話２０１など写真撮影可能なデバイスに供給されることができ、補正情報レポジトリ２４６に格納されることができる。または、その両方であり得る。そして、画像処理ソフトウェア２４２によって、上述したのと同様なやり方で、色補正を実行するために、使用されることができる。
【００２６】
システム２００は、また、これは、照明器２７２とイメージング・センサ２７４、彩度センサ２７５、または、その両方ともを備える自己内蔵型参照情報キャプチャ・デバイス２７０を含むことができる。参照情報キャプチャ・デバイス２７０は、また、プロセッサ２７６、メモリ２７８、データ２８０、プログラム２８２、および、インタフェース２８４を備えることができる。これは、適切に、無線インタフェースであることができる。参照情報キャプチャ・デバイス２７０は、オブジェクトを照明するため、そして、オブジェクトの色を感知するために使用することができる。色彩情報を、例えば、参照ステーション２３０または電話２０１に提供する。参照情報キャプチャ・デバイス２７０は、参照オブジェクトの本当の色彩情報をキャプチャするために便利に使用することができ、そして、ユーザは、容易に、オブジェクトを照明することができ、写真を撮る前か後に、既知の照明の下でオブジェクト上のカラー・キャプチャを実行することができる。ユーザは、例えば、シーンの写真を撮り、シーンのカラー・キャストが不満足であることを観察し、参照オブジェクトとして使用するシーンに現れるオブジェクトを選ぶことができる。本当の色彩情報を、補正された画像を提供するために、キャプチャされたシーン画像を処理するのに用いられる任意のデバイスに（キャプチャされた画像の中で参照オブジェクトを識別し、参照オブジェクトの画像の色補正のために必要な色変換を計算し、そして、キャプチャされたシーン画像の中のすべてのピクセルに色補正を適用することによって、）供給することができるそして、また、後の使用のために保存することができる。１つのアプローチにおいて、デバイス２７０は、参照オブジェクトの画像をキャプチャするために画像化センサ２７４を使用することができる。これは、次に、色バランス情報を抽出するために処理することができる。別のアプローチにおいて、デバイス２７０は、参照オブジェクトの色値を測定し、色バランス情報を決定し格納するために測定値を処理するのに彩度センサ２７５を使用することができる。いかなる他の適切なアプローチをも、参照オブジェクトの反射率を決定するために、使用することができる。この情報は、メモリ２７８に格納することができ、例えば、２８４を用いて、任意の所望のデバイスでに提供することができる。
【００２７】
任意数のオブジェクトを、参照オブジェクトとして使用することができる。しかし、いくらかの特に有用な選択は、衣類であり得る。例えば、ユーザは、シャツや帽子など好みの衣料品の参照画像をキャプチャすることができる。そして、写真撮影のシーンで、そのような品を着ることにより、ほとんど自動色補正を実行することができるほど易しくする。写真撮影対応デバイスは、指定された衣料品がシーンに現れることがわかるようになる。指定されたアイテムを識別することができ、アイテムの既知の色の色補正のベースとなる。参照画像キャプチャ・デバイス２７０のようなデバイスは、そのような参照画像をキャプチャするのに特に適切であり、既知の照明を提供し、色彩情報をキャプチャするように構成される。デバイス２７０のようなデバイスは、携帯端末であるために適切なサイズであり、ユーザが簡単に操作できる。加えて、デバイス２７０は、上記したように、それ自身、画像キャプチャ能力を有することができる。そして、これらの能力は、シーンをキャプチャするのに用いることができる。デバイス２７０は、また、それ自身のシーン画像の色補正を実行するために、その参照オブジェクト色バランス決定能力を使用することができる。
【００２８】
図３は、本願発明の実施形態にしたがう、プロセス３００を図示する。ブロック３０２において、参照オブジェクトは、既知の照明で照明され、ブロック３０４において、参照オブジェクトの画像がキャプチャされる。ブロック３０６において、参照オブジェクトの色バランスが、キャプチャされた参照オブジェクト画像と既知の照明に基づいて、測定される。色バランス情報と反射率情報とが、測定によって提供されるように、既知の照明の下での色バランス情報が、参照オブジェクトの反射率を示す。ブロック３０８において、参照オブジェクト情報が、ローカルに、中心レポジトリの画像処理ステーションにおいて、または、任意の適切な位置、または、位置の組合せにおける、カメラでまたは他の可能な写真撮影デバイスに、格納される。ブロック３１０において、参照オブジェクトが現れるシーン画像が、キャプチャされる。ブロック３１２において、シーン画像の中の参照オブジェクトの位置が識別される。そして、ブロック３１４において、色彩変換が、参照オブジェクトの既知の色バランスと、シーンにおいて見られたときの参照オブジェクトの色バランスとの間の差異に基づいて、計算される。ブロック３１６において、参照オブジェクトの画像を補正するために必要な色変換を、画像の各々のピクセルに適切に適用して、カラー変換が、シーン画像に適用される。ブロック３１８において、シーン画像が格納される、または、さもなければ、伝送されるか、使用のために利用可能にされる。
【００２９】
再び、図１および図２を参照すると、種々のメモリに格納された少なくとも１つのプログラムは、関連するプロセッサによって実行されるとき、上で詳細に述べたように、本願発明の例示的な実施形態に従って、デバイスが動作するのを可能にするプログラム命令セットを含むと考えられる。これらに関連して、本願発明の例示的な実施形態は、メモリに格納された、プロセッサにより実行可能なコンピュータ・ソフトウェアによって、少なくとも部分的にはインプリメントすることができる。代替的に、または、加えて、実施形態はハードウェアで、または、実体的に格納されたソフトウェアとハードウェア（および、実体的に格納されたファームウェア）の組合せによって、インプリメントすることができる。本願発明のこれらの態様をインプリメントする電子デバイスは、図１または図２で表されるような、全体のデバイスである必要はない、または、上で記述された、実体的に格納されたソフトウェア、ハードウェア、ファームウェア、そして、データプロセッサまたは、チップＳＯＣまたはアプリケーション特定集積回路ＡＳＩＣの上のシステムなどのうちの１つ以上のコンポーネントであってもよい。
【００３０】
一般に、電話２０１、または、参照画像キャプチャ・デバイス２７０の種々の実施形態は、限定されることなく、無線通信能力を有するパーソナル携帯型ディジタル・デバイスを含むことができ、限定されることなく、携帯電話、ナビゲーション・デバイス、ラップトップ／パームトップ／タブレット型コンピュータ、デジタル・カメラおよび音楽デバイス、そして、インターネット機器を含むことができる。
【００３１】
コンピュータ読取り可能メモリの種々な実施形態は、ローカルな技術的環境に適切な、いかなるデータ格納技術のタイプをも含む。半導体ベース・メモリ・デバイス、磁気記憶デバイスおよびシステム、光学的記憶装置およびシステム、固定メモリ、取り外し可能メモリ、ディスク・メモリ、フラッシュ・メモリ、ＤＲＡＭ、ＳＲＡＭ、ＥＥＰＲＯＭその他を含む。しかし、これらに限定されるものではない。プロセッサの種々の実施形態は、汎用コンピュータ、専用コンピュータ、マイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）およびマルチコア・プロセッサを含むが、それらに限定されるものではない。
【００３２】
本願発明のこれらの態様をインプリメントする電子デバイスは、図１または図２で表されるような、全体のデバイスである必要はない、または、上で記述された、実体的に格納されたソフトウェア、ハードウェア、ファームウェアおよびＤＰ、または、チップＳＯＣまたはアプリケーション特定集積回路ＡＳＩＣの上のシステムなどのうちの１つ以上のコンポーネントであってもよい。
【００３３】
種々の例示的な実施形態が上で記述されてきたが、本願発明の実施は、ここで、示され、議論された例示的な実施形態に限られていないことが理解されるべきである。本願発明の前述の典型的な実施形態に対する種々の修正と、適応が、前述の記載を参酌すれば、当業者には、明白になることができる。図３に図示し、前述した種々のブロックは、ステップとして実行することができるが、しかし、それらが、提示される順序は、限定されておらず、追加的な間に入るブロックまたはステップがあっても、無くても、いかなる適切な順序においても実行されることができることが、さらに認識される。
【００３４】
さらに、上記の非限定的な実施形態の種々の特徴のいくつかは、他の記述された特徴を、対応して、使用することなく、有効に使用することができる。
【００３５】
したがって、前述の説明は、前述の記載は、単に、本願発明の、原理、教示、および、典型的な実施形態の例示として考えられなければならず、それらによって、制限されるものではない。
【図１】
2015119482.tif 000003
【図２】
2015119482.tif 000004
【図３】
2015119482.tif 000005
【外国語明細書】
2015119482000001.pdf