(57)【要約】【課題】  複数の観察者が検出された場合、画像表示装置に近い観察者に対して適切である画像を提供できるようにすることを目的とする。【解決手段】  上記課題を解決するために、本願発明に係る画像処理装置は、観察者の位置に応じて表示画像の色を補正する画像処理装置であって、画像表示装置の観察範囲を撮像することにより得られる撮像画像データを取得する取得手段と、前記撮像画像データから最も近い距離にいる観察者の視点距離を算出する視点距離算出手段と、前記撮像画像データにおける前記最も近い距離にいる観察者を示す画像位置と、前記最も近い距離にいる観察者の視点距離とを用いて、前記最も近い距離にいる観察者の観察角度を算出する観察角度算出手段と、前記算出された観察角度に応じた色補正を、入力画像データに対して行う色補正手段とを有する。【選択図】  図１
2012042804.tif 000002
【特許請求の範囲】
【請求項１】
観察者の位置に応じて表示画像の色を補正する画像処理装置であって、
画像表示装置の観察範囲を撮像することにより得られる撮像画像データを取得する取得手段と、
前記撮像画像データから最も近い距離にいる観察者の視点距離を算出する視点距離算出手段と、
前記撮像画像データにおける前記最も近い距離にいる観察者を示す画像位置と、前記最も近い距離にいる観察者の視点距離とを用いて、前記最も近い距離にいる観察者の観察角度を算出する観察角度算出手段と、
前記算出された観察角度に応じた色補正を、入力画像データに対して行う色補正手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記視点距離算出手段は、前記撮像画像データから顔領域を検出し、前記検出された顔領域の左右の目の間隔を用いて、前記観察者の視点距離を算出することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記視点距離算出手段は、前記撮像画像データから顔領域を検出し、前記検出された顔領域の面積を用いて、前記観察者の視点距離を算出することを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記色補正手段は、観察角度が０度に応じた前記画像表示装置のデバイス値を前記算出された観察角度に応じた前記画像表示装置のデバイス値に変換することを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
【請求項５】
前記色補正手段は、入力画像データを前記算出された観察角度における前記画像表示装置の色再現範囲内の色データに補正することを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
【請求項６】
観察者の位置に応じて表示画像の色を補正する画像処理方法であって、
画像表示装置の観察範囲を撮像することにより得られる撮像画像データを取得する取得工程と、
前記撮像画像データから最も近い距離にいる観察者の視点距離を算出する視点距離算出工程と、
前記撮像画像データにおける前記最も近い距離にいる観察者を示す画像位置と、前記最も近い距離にいる観察者の視点距離とを用いて、前記最も近い距離にいる観察者の観察角度を算出する観察角度算出工程と、
前記算出された観察角度に応じた色補正を、入力画像データに対して行う色補正工程と
を有することを特徴とする画像処理方法。
【請求項７】
コンピュータを、請求項１乃至請求項５の何れか１項に記載された画像処理装置の各手段として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、観察者の位置に応じて表示画像の色を補正するものである。
【背景技術】
【０００２】
近年、パーソナルコンピュータの普及に伴い、様々な人が、デジタルカメラ、カラースキャナなどの画像入力装置によって画像を入力し、ＣＲＴ、ＬＣＤなどの画像表示装置で表示し、カラープリンタなどの画像出力装置によって出力している。このような状況に伴い、入力装置、表示装置、出力装置それぞれの再現色を一致させるカラーマッチング処理が注目されている。カラーマッチング処理は、マッチングの対象となる装置の色再現特性（所定の色票を出力し測色したデータ）が記述されたプロファイルをもとに、各装置の再現色を対応付けることで行われる。
【０００３】
色再現特性の算出は、一般的に測色器を用いて行われる。画像表示装置の測色は一般的に、画像表示装置の正面から垂直方向に発光される光を測色器で測色する。しかし、一般に画像表示装置は見る角度によって表示色が変化してしまうという視野角特性を有している。そのため、カラーマッチング処理によってマッチングされた結果も画像表示装置を正面以外の方向から見た場合は、色が合わない。
【０００４】
このような視野角特性による表示色の変化を補正する方法としては、観察者の観察角度に応じて画像表示装置の表示色を補正する技術が従来技術として知られている（例えば、特許文献１）。この技術は、画像表示装置を観察する観察者の観察位置と想定される範囲内の画像を撮像する。そして、撮像された画像から観察者の観察角度を算出し、観察角度に応じて表示画像の彩度・明度を補正する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１２８３８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来技術は観察者が複数いる場合にどの観察者の観察位置に適切な画像を表示するかという課題があった。
【０００７】
そこで本発明では、複数の観察者が検出された場合、画像表示装置に近い観察者に対して適切である画像を提供できるようにすることを目的とする。画像表示装置が表示する画像に最も関心を持っている人物は、画像表示装置の直近で表示画像を観察していることが多いと考えられるためである。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本願発明に係る画像処理装置は、観察者の位置に応じて表示画像の色を補正する画像処理装置であって、画像表示装置の観察範囲を撮像することにより得られる撮像画像データを取得する取得手段と、前記撮像画像データから最も近い距離にいる観察者の視点距離を算出する視点距離算出手段と、前記撮像画像データにおける前記最も近い距離にいる観察者を示す画像位置と、前記最も近い距離にいる観察者の視点距離とを用いて、前記最も近い距離にいる観察者の観察角度を算出する観察角度算出手段と、前記算出された観察角度に応じた色補正を、入力画像データに対して行う色補正手段とを有する。
【０００９】
また、上記課題を解決するために、本願発明に係る情報処理方法は、観察者の位置に応じて表示画像の色を補正する画像処理方法であって、画像表示装置の観察範囲を撮像することにより得られる撮像画像データを取得する取得工程と、前記撮像画像データから最も近い距離にいる観察者の視点距離を算出する視点距離算出工程と、前記撮像画像データにおける前記最も近い距離にいる観察者を示す画像位置と、前記最も近い距離にいる観察者の視点距離とを用いて、前記最も近い距離にいる観察者の観察角度を算出する観察角度算出工程と、前記算出された観察角度に応じた色補正を、入力画像データに対して行う色補正工程とを有する。
【発明の効果】
【００１０】
本発明によれば、最も近くにいる観察者に対して適切である画像を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】実施例１における画像処理装置を示すブロック図である。
【図２】実施例１における画像処理装置の処理の流れを示すフローチャートである。
【図３】画像表示装置、画像撮像装置、観察者の位置関係を示す図である。
【図４】目の間隔算出の説明図である。
【図５】色変換ＬＵＴ作成の流れを示すフローチャートである。
【図６】画像表示装置と観察角度が異なる観察者の位置関係の模式図である。
【図７】異なる観察角度による画像表示装置の色再現範囲の例を示す図である。
【図８】実施例２における画像処理装置の処理の流れを示すフローチャートである。
【図９】顔領域の面積算出の説明図である。
【発明を実施するための形態】
【００１２】
[実施例１]
以下、本発明に係る一実施形態について、図面を参照して詳細に説明する。
【００１３】
画像表示装置は一般的に観察する位置が正面からずれるほど表示色の彩度、コントラストが低下する視野角特性を有している。図６に画像表示装置２と観察角度が異なる観察者の位置関係の模式図を示す。観察者６１は画像表示装置２の中心からの法線方向と視線方向とがなす角度が０度の位置で、観察者６２は画像表示装置２の中心からの法線方向と視線方向とがなす角度が２２．５度の位置で、観察者６３は画像表示装置２の中心からの法線方向と視線方向とがなす角度が４５度の位置で観察している。図７は図６の観察者６１，６２，６３が画像表示装置２の表示色を観察した際に見える色再現範囲を表した図であり、画像表示装置２の色再現範囲のＣＩＥＬＡＢ空間におけるＬ＊−ａ＊断面を示している。線７１は観察者６１から見える色再現範囲を、点線７２は観察者６２から見える色再現範囲を、点破線７３は観察者６３から見える色再現範囲を示している。
【００１４】
図７から分かるように観察角度が大きくなるほど、観察者から見える画像表示装置２の色再現範囲は狭くなるため、同じ表示画像を観察者６１の位置と観察者６３の位置で観察した場合では、観察者６３の位置で観察した時の方が画像の彩度、コントラストが低下して見えてしまう。
【００１５】
図１は実施例１にかかる画像処理装置の構成を示したブロック図である。図１において、１は画像処理装置であり、図示しないプロセッサが各部を制御することにより、装置全体を制御する。２はディスプレイなどの画像表示装置である。３はデジタルカメラなどの、観察者の観察位置と想定される範囲を撮影する画像撮像装置である。メモリ４は画像表示装置２の測定値などを記憶する。画像入力手段１０１は画像データを入力する。色補正部１０２は入力された画像データに視点位置に応じた色補正を行う。画像出力部１０３は色補正された画像データを画像表示装置２に出力する。観察角度算出部１０４は観察者の観察角度を算出する。視点距離算出部１０５は観察者の視点距離を算出する。撮影画像取得部１０６は前記画像撮像装置３によって撮影された撮影画像を取得する。
【００１６】
図２は、画像処理装置１により実行される例示的な処理のフローチャートである。
まず、ステップＳ２１において、画像処理装置１は画像入力部１０１により元画像データを入力する。取得した元画像データはメモリ４に記憶される。
【００１７】
ステップＳ２２において、画像処理装置１は画像撮像装置３に画像表示機器２を観察する観察者の観察位置と想定される範囲を撮像させ、撮影画像取得部１０６を介して撮像画像データを取得する。画像撮像装置３はＣＣＤ等の撮像素子を備えており、画像表示装置１の上部に取り付けられているものとする。なお、画像撮像装置３の構成は特に限定されるものではなく、観察者の顔、目を認識できる画像を撮像できるものであればよく、デジタルスチルカメラであってもデジタルビデオカメラ等であってもよい。
【００１８】
ステップＳ２３において、撮像画像データを解析して、観察者の顔領域を検出する。顔領域の検出は、たとえば、撮像画像データから肌色領域を検出し、検出結果から顔領域を特定することができる。顔領域を検出する方法はこれに限られるものではなく、各種の公知の方法を用いてもかまわない。
【００１９】
ステップＳ２４において、画像処理装置１はステップＳ２３で、撮像画像から複数の顔領域が検出されたか否かを判定する。複数の顔領域が検出されたと判定された場合はステップＳ２５へ移行し、複数の顔領域が検出されていないと判定された場合はステップＳ２６へ移行する。
【００２０】
ステップＳ２５において、視点距離算出部１０５は検出された各顔領域に対応する視点距離を算出し、複数の顔領域に対応する観察者から画像表示装置２から最も距離が近い観察者を決定し、対象観察者と決定する。視点距離算出部１０５は、検出した顔領域からテンプレートマッチング等を用いて目の領域を検出する。目の領域を検出する方法はこれに限られるものではなく、各種の公知の方法を用いてもかまわない。視点距離算出部１０５は撮影画像における検出された左右の目の間隔のピクセル数を計算する。そして、予め求めておいた左右の目の間隔のピクセル数と観察距離との関係が定められた１次元ＬＵＴを用いて、前記左右の目の間隔のピクセル数から観察距離を算出する。観察者が画像表示装置２に近いほど左右の目の間隔は大きく撮像される関係にあるため、この関係を用いて観察距離を推定する。左右の目の間隔のピクセル数と観察距離の関係が定められた１次元ＬＵＴはメモリ４に記憶させておく。検出された複数の顔領域それぞれの観察距離を算出し、最も観察距離が小さい顔領域を、画像表示装置２から最も距離が近い観察者とする。
【００２１】
図３、図４を用いて最も距離が近い観察者を検出する方法を詳細に説明する。図３は画像表示装置２、画像撮像装置３、観察者３１，３２の位置関係を示す図である。画像撮像装置３にて観察者の観察位置と想定される範囲を撮像すると図４に示す撮像画像が得られる。撮像画像を示す撮像画像データからステップＳ２３において観察者３１，３２の顔領域が検出され、それぞれの左右の目の間隔のピクセル数ｄ１，ｄ２が算出される。左右の目の間隔のピクセル数が求まれば、左右の目の間隔のピクセル数と観察距離の関係の１次元ＬＵＴを用いて図３における観察距離Ｌ１、Ｌ２が算出される。
【００２２】
ステップＳ２６において、観察角度算出部１０４は、画像撮像部１０７により撮像された撮像画像データから、観察角度を算出する。
【００２３】
観察角度算出部１０４は、はじめに、画像表示装置２と対象観察者との距離を取得する。ステップＳ２４において複数の顔領域が検出されたと判定された場合は、ステップＳ２５で算出された、対象観察者の観察距離を取得する。ステップＳ２４で複数の顔領域が検出されないと判定された場合は、ステップＳ２５の観察距離算出処理と同様の処理を行い撮影画像に含まれる１つの観察者（対象観察者）の観察距離を算出する。
【００２４】
次に、撮像画像の水平方向の中心位置から対象観察者の左右の目の中点までの水平方向の間隔のピクセル数を計算する。そして、観察者の観察距離と撮像画像の水平方向の中心位置から観察者の左右の目の中点までの水平方向の間隔のピクセル数との組み合わせから観察角度を求めるための２次元ＬＵＴを用いて、対象観察者の観察距離と撮像画像の水平方向の中心位置から対象観察者の左右の目の中点までの水平方向の間隔のピクセル数とから対象観察者の観察角度を算出する。２次元ＬＵＴに定められていない入力値の場合は、入力値の周りの定められた値から補間処理を用いて求める。また、撮影画像の水平方向の中心位置と画像表示装置２の水平方向の中心が一致するよう画像撮像装置３の位置は合わせておくものとする。
【００２５】
観察者が複数いる場合は、複数の観察者の観察角度の平均値を算出し、平均値を観察者の位置とする方法が考えられる。しかしながら、この方法では表示画面から遠い距離に人物がいた場合、その人物が検出されてしまう影響により、近距離で画像を厳密に観察している観察者に対して適切である画像を表示できなくなってしまう可能性がある。そこで本実施例では、複数の観察者が検出された場合、観察者の画像表示装置からの距離を算出し、最も画像表示装置に近い観察者に対して適切である画像を表示する。画像表示装置が表示する画像に最も関心を持っている人物は、画像表示装置の直近で表示画像を観察していることが多いと考えられるからである。
【００２６】
ステップＳ２７において、色補正部１０２は、算出された観察角度に基づいて、入力された画像データを色補正する。色補正部１０２は、算出された観察角度に対する色変換ＬＵＴを用いて入力画像データを変換する。色変換ＬＵＴは５度おきに予め求めてメモリ４に記憶させておき、用意された角度にない観察角度の場合は、用意された角度のうち観察角度に最も近い大小２つの角度の色変換ＬＵＴから補間処理を用いて、算出された観察角度に応じた色変換ＬＵＴを算出する。また、色変換ＬＵＴに格納されていない入力画像データの場合は、入力画像データ周辺の、格納されている入力画像データに対応する格子点データを用いて四面体補間等の補間処理を行い、色補正後の画像データを求める。ここで、色変換ＬＵＴとは入力画像のＲＧＢ値と画像表示装置で出力するＲＧＢ値の対応関係が記述された３次元ＬＵＴである。なお、本実施例では色変換ＬＵＴを用意する角度間隔を５度としたが、これに限定されるものではなく、より細かい間隔でも大きい間隔でもよい。
【００２７】
以下、色変換ＬＵＴを作成する処理手順を図５のフローチャートを用いて説明する。
ステップＳ５１では、画像表示装置２のデバイスＲＧＢ値とＸＹＺ値の関係を取得するために、画像表示装置２に所定の複数のデバイスＲＧＢ値に応じてパッチを表示させ、パッチを測定し複数のＸＹＺ値を取得する。測定値はパッチを観察角度が０度の位置から測定した値と、色変換ＬＵＴを作成したい観察角度の位置から測定した値とを取得する。
ステップＳ５２では、Ｓ５０で取得した測定値（ＸＹＺ値）を（数式１）を用いてＬ＊ａ＊ｂ＊値に変換する。
【００２８】
【数１】
2012042804.tif 000003
【００２９】
ステップＳ５３では、まず、ある観察角度の複数の測定値に対応するＬ＊ａ＊ｂ＊値からある観察角度の色再現範囲を算出する。
【００３０】
そして、ステップＳ５１で取得された、観察角度が０度におけるデバイスＲＧＢ値とＸＹＺ値との関係を用いて、ＬＵＴを構成する格子点に対応するデバイスＲＧＢ値を観察角度が０度に対応するＬ＊ａ＊ｂ＊値に変換する。つぎに、この０度に対応するＬ＊ａ＊ｂ＊値を上記ある観察角度の色再現範囲内のＬ＊ａ＊ｂ＊値にマッピングする。図７に示すように観察角度に応じて色再現範囲は異なるので、色域圧縮処理は観察角度ごとに行う。観察角度によっては０度における色のＬ＊ａ＊ｂ＊値が、観察角度における画像表示装置２の色域外である場合があるため、色域圧縮処理によって全ての色を観察角度における画像表示装置２の色域内に圧縮し、観察角度において画像表示装置２が再現可能な色に変換する。
【００３１】
ステップＳ５４では、マッピングされたＬ＊ａ＊ｂ＊値をＸＹＺ値に変換する。ステップＳ５５では、ステップＳ５１で取得した、上記ある観察角度における画像表示装置２のデバイスＲＧＢ値とＸＹＺ値との関係を用いて上記ある観察角度における画像出力装置のデバイスＲＧＢ値にＸＹＺ値を変換する。
【００３２】
ステップＳ５６では、ステップＳ５１で用いた、観察角度が０度におけるデバイスＲＧＢ値に対応するＬＵＴを構成する格子点に、ステップＳ５５にて求められた、上記ある観察角度における画像出力装置のデバイスＲＧＢ値を格納する。ステップＳ５３〜ステップＳ５６の処理を、ＬＵＴを構成するすべての格子点に対して行うことにより、上記ある観察角度に対応するＬＵＴを作成することができる。そして、この観察角度に対応するＬＵＴの作成処理をステップＳ５１において測定した複数の観察角度のそれぞれに対して行うことにより、複数の観察角度のそれぞれに対応したＬＵＴを作成することができる。
【００３３】
そして、ステップＳ８において、画像出力部１０３は、色補正部１０２にて補正された画像データを画像表示装置１０２に出力する。
【００３４】
上述した本実施例により、観察者が複数人検出された場合に最も近くにいる観察者に対して適切である色再現が行われた画像を表示することができる。
【００３５】
[実施例２]
実施例１では、左右の目の間隔のピクセル数から観察者の距離を算出する例を示した。しかしながら、撮像画像上で観察者が別の物体と重なってしまい片方の目が写っていない場合などでは左右の目の間隔が計算できない。そこで本実施例においては、顔領域の面積から観察者の距離を算出する例について説明する。
【００３６】
本発明を実現する色処理装置の論理構成を示すブロック図は実施例１における図１と同様のため説明は割愛する。図８は、本実施例により実行される例示的な処理のフローチャートである。尚、図８においてステップＳ８５以外は実施例１における図２と同様のため同一の符号を付加し説明は割愛する。
【００３７】
ステップＳ８５において、画像処理装置１は視点距離算出部１０５より視点距離を算出し、画像表示装置２から最も距離が近い観察者を検出する。具体的には、視点距離算出部１０５は検出した顔領域の面積（顔領域に含まれるピクセル数）を計算し、予め求めておいた顔領域の面積と観察距離の関係の１次元ＬＵＴを用いて観察距離を算出する。撮像画像上で観察者が重なってしまい顔領域の一部が写っていない場合は、顔のテンプレートを用いて隠れている部分を予測することにより、面積を算出する。観察者が画像表示装置２に近いほど顔領域は大きく撮像されるため、この観察距離と顔領域との関係を用いて観察距離を推定する。すなわち、顔領域の面積と観察距離の関係の１次元ＬＵＴはメモリ４に記憶させておく。そして、検出された複数の顔領域それぞれの観察距離を算出し、最も観察距離が小さい顔領域を、画像表示装置２から最も距離が近い観察者とする。
【００３８】
図９は撮像画像の検出された顔領域の面積を説明する概念図である。観察者９１の検出された顔領域を点線９３に、観察者９２の検出された顔領域を点線９４に示す。観察者９１の顔領域の面積はｘ１×ｙ１により算出され、観察者９２の顔領域の面積はｘ２×ｙ２により算出される。本実施例では検出された顔領域を矩形としたが、形状はこれに限定されるものではなく円であっても楕円であってもよい。
【００３９】
上述した本実施例により、撮像画像上で観察者の顔領域の一部が写っていない場合においても距離を算出可能となり、最も近くにいる観察者に対して適切である画像を表示することが可能となる。
【００４０】
実施例１および２では、観察距離の算出に左右の目の間隔、顔領域の面積を用いたが、観察距離を算出する方法はこれに限られるものではなく、例えば、撮像装置３を２台用いてステレオ撮影を行ない、視差によって生じる画像のずれに基づいて距離を推定する方法等であってもよい。
【００４１】
また、本発明は、上述した実施例の機能（例えば、図２、５、８のフローチャートにより示される機能）を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても実現できる。この場合、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が、コンピュータが読み取り可能に記憶媒体に格納されたプログラムコードを読み出し実行することにより、上述した実施例の機能を実現する。
【図１】
2012042804.tif 000004
【図２】
2012042804.tif 000005
【図３】
2012042804.tif 000006
【図４】
2012042804.tif 000007
【図５】
2012042804.tif 000008
【図６】
2012042804.tif 000009
【図７】
2012042804.tif 000010
【図８】
2012042804.tif 000011
【図９】
2012042804.tif 000012