(57)【要約】      （修正有）【課題】使用者の眼の特性に応じた画像処理を行う。【解決手段】画像処理装置２００は、記録媒体と、画像処理回路２２０とを備える。前記画像処理装置は、三原色信号を含む第１画像データと使用者の眼の特性を示す特性情報とを前記記録媒体から取得し、前記第１画像データにおける前記三原色信号の少なくとも１つの色信号を、前記特性情報を用いて補正することによって第２画像データを生成して出力する。【選択図】図３
2017033356.tif 000002
【特許請求の範囲】
【請求項１】
記録媒体と、
画像処理回路と、
を備え、
前記画像処理回路は、
三原色信号を含む第１画像データと、使用者の眼の特性を示す特性情報とを前記記録媒体から取得し、
前記第１画像データにおける前記三原色信号の少なくとも１つの色信号を、前記特性情報を用いて補正することによって第２画像データを生成して出力する、
画像処理装置。
【請求項２】
前記特性情報は、前記使用者の眼内における光の散乱または拡散の程度を示す点像分布関数を規定する情報であり、
前記画像処理回路は、前記三原色信号の前記少なくとも１つの色信号に対し、前記点像分布関数を用いた演算を実行することにより、前記第２画像データを生成する、
請求項１に記載の画像処理装置。
【請求項３】
前記点像分布関数は、ガウス関数である、請求項２に記載の画像処理装置。
【請求項４】
前記画像処理回路は、前記三原色信号のうち、青色信号のみを、前記特性情報を用いて補正することによって前記第２画像データを生成する、請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
前記画像処理回路は、前記使用者の眼の特性を評価するためのチャートをディスプレイに表示させ、
前記チャートは、互いに色の異なる複数の第１オブジェクトと、前記複数の第１オブジェクトの１つと同じ色の第２オブジェクトとを含み、前記第２オブジェクトは、前記第２オブジェクトの色とは異なる色の第３オブジェクトに囲まれており、
前記画像処理回路は、前記複数の第１オブジェクトの中から前記第２オブジェクトの色に最も近いと認識される１つのオブジェクトを前記使用者に選択させ、選択された前記オブジェクトの色に基づいて、前記使用者の眼の特性を示す前記特性情報を生成する、
請求項１から４のいずれかに記載の画像処理装置。
【請求項６】
記録媒体と、
画像処理回路と、
を備え、
前記画像処理回路は、
三原色信号を含む第１画像データを前記記録媒体から取得し、
前記第１画像データにおける前記三原色信号のうち、青色信号のボケの程度を増加させた第２画像データと、赤色信号のボケの程度を増加させた第３画像データとを生成し、
前記第１画像データ、前記第２画像データ、および前記第３画像データを、同一画面に表示するようにディスプレイに指示する、
画像処理装置。
【請求項７】
三原色信号を含む第１画像データと、使用者の眼の特性を示す特性情報とを記録媒体から取得し、
前記第１画像データにおける前記三原色信号の少なくとも１つの色信号を、前記特性情報を用いて補正することによって第２画像データを生成して出力する、
画像処理方法。
【請求項８】
三原色信号を含む第１画像データを前記記録媒体から取得し、
前記第１画像データにおける前記三原色信号のうち、青色信号のボケの程度を増加させた第２画像データと、赤色信号のボケの程度を減少させた第３画像データとを生成し、
前記第１画像データ、前記第２画像データ、および前記第３画像データを、同一画面に表示するようにディスプレイに指示する、
画像処理方法。
【請求項９】
コンピュータに、
三原色信号を含む第１画像データと、使用者の眼の特性を示す特性情報とを記録媒体から取得し、
前記第１画像データにおける前記三原色信号の少なくとも１つの色信号を、前記特性情報を用いて補正することによって第２画像データを生成して出力する、
ことを実行させる、画像処理プログラム。
【請求項１０】
コンピュータに、
三原色信号を含む第１画像データを前記記録媒体から取得し、
前記第１画像データにおける前記三原色信号のうち、青色信号のボケの程度を増加させた第２画像データと、赤色信号のボケの程度を減少させた第３画像データとを生成し、
前記第１画像データ、前記第２画像データ、および前記第３画像データを、同一画面に表示するようにディスプレイに指示する、
ことを実行させる、画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディスプレイに表示される画像の色を観察者の眼の特性に合わせて補正する技術に関する。
【背景技術】
【０００２】
より自然で美しい画像表示を実現するために、人間の眼の特性に着目して画像表示装置（即ちディスプレイ）に表示される画像を補正する方法についての検討が進められてきた。例えば、特許文献１は、人の眼の分解能（即ち、色の差などの識別能力）が低輝度部分（即ち、暗い部分）では相対的に高い一方、高輝度部分（即ち、明るい部分）では相対的に低いという特性に着目して、高輝度部分におけるＲＧＢ信号の出力最大値を、ディスプレイが表示可能な最大値として出力する機能を持った画像処理装置を提案している。また、特許文献２は、人の眼における２つの視細胞（錐体細胞と桿体細胞）の働いている比率が明るさに応じて変わることに着目し、錐体視と桿体視との違いによる解像度の影響を補正して、良好に見える画質を提供することを提案している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１４２９８３号公報
【特許文献２】特開２０１４−１３４７８６号公報
【非特許文献】
【０００４】
【非特許文献１】Gatis Ikaunieks, M. Ozolinsh, "Effect of Light Scattering Simulation in the Eye on Different Color Stimuli Perception" , IFMBE Proceedings Volume 20, 2008, pp 367-370
【非特許文献２】Ginis, Harilaos S., “Wavelength dependence of the ocular straylight.” Invest Ophthalmol Vis Sci 54.5 (2013): 3702-8.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の色補正方法では、平均的な眼の特性に合わせた処理が行われる。このため、例えば同じ画像を見ても人によって色の認識が異なるという問題が生じていた。
【０００６】
本開示は、そのような問題が生じにくい新たな画像処理技術を提供する。
【課題を解決するための手段】
【０００７】
本開示の一態様に係る画像処理装置は、記録媒体と、画像処理回路と、を備え、前記画像処理回路は、三原色信号を含む第１画像データと、使用者の眼の特性を示す特性情報とを前記記録媒体から取得し、前記第１画像データにおける前記三原色信号の少なくとも１つの色信号を、前記特性情報を用いて補正することによって第２画像データを生成して出力する。
【０００８】
本開示の他の態様に係る画像処理装置は、記録媒体と、画像処理回路と、を備え、前記画像処理回路は、三原色信号を含む第１画像データを前記記録媒体から取得し、前記第１画像データにおける前記三原色信号のうち、青色信号のボケの程度を増加させた第２画像データと、赤色信号のボケの程度を増加させた第３画像データとを生成し、前記第１画像データ、前記第２画像データ、および前記第３画像データを、同一画面に表示するようにディスプレイに指示する。
【発明の効果】
【０００９】
本開示の一態様によれば、使用者の眼の特性に応じた画像処理を行うことにより、色認識の個人差の影響を低減し、より自然で美しい画像を表示することができる。
【図面の簡単な説明】
【００１０】
【図１】本開示の実施形態による画像補正の処理を示す図である。
【図２】従来の画像補正の処理を示す図である。
【図３】本開示の実施形態における画像処理装置の構成を示すブロック図である。
【図４】本開示の実施形態における画像処理回路による処理を示すフローチャートである。
【図５Ａ】眼の特性を測定するための簡易チャートの一例を示す図である。
【図５Ｂ】図５Ａに示す各円の色を示す表である。
【図６】色認識の個人差の年齢依存性の調査結果を示す図である。
【図７】年齢による水晶体の透過率の変化を示す図である。
【図８】眼の収差と散乱の影響を示す模式図である。
【図９】色認識に大きな個人差を与える「青と黒」あるいは「白と金」に見えるドレスを色度図上にプロットした結果を示す図である。
【図１０】実施例４における具体的な判定例を示す図である。
【発明を実施するための形態】
【００１１】
本開示は、以下の項目に記載の画像処理装置、画像処理方法、および画像処理プログラムを含む。
【００１２】
［項目１］
記録媒体と、
画像処理回路と、
を備え、
前記画像処理回路は、
三原色信号を含む第１画像データと、使用者の眼の特性を示す特性情報とを前記記録媒体から取得し、
前記第１画像データにおける前記三原色信号の少なくとも１つの色信号を、前記特性情報を用いて補正することによって第２画像データを生成して出力する、
画像処理装置。
【００１３】
［項目２］
前記特性情報は、前記使用者の眼内における光の散乱または拡散の程度を示す点像分布関数を規定する情報であり、
前記画像処理回路は、前記三原色信号の前記少なくとも１つの色信号に対し、前記点像分布関数を用いた演算を実行することにより、前記第２画像データを生成する、
項目１に記載の画像処理装置。
【００１４】
［項目３］
前記点像分布関数は、ガウス関数である、項目２に記載の画像処理装置。
【００１５】
［項目４］
前記画像処理回路は、前記三原色信号のうち、青色信号のみを、前記特性情報を用いて補正することによって前記第２画像データを生成する、項目１から３のいずれかに記載の画像処理装置。
【００１６】
［項目５］
前記画像処理回路は、前記使用者の眼の特性を評価するためのチャートをディスプレイに表示させ、
前記チャートは、互いに色の異なる複数の第１オブジェクトと、前記複数の第１オブジェクトの１つと同じ色の第２オブジェクトとを含み、前記第２オブジェクトは、前記第２オブジェクトの色とは異なる色の第３オブジェクトに囲まれており、
前記画像処理回路は、前記複数の第１オブジェクトの中から前記第２オブジェクトの色に最も近いと認識される１つのオブジェクトを前記使用者に選択させ、選択された前記オブジェクトの色に基づいて、前記使用者の眼の特性を示す前記特性情報を生成する、
項目１から４のいずれかに記載の画像処理装置。
【００１７】
［項目６］
記録媒体と、
画像処理回路と、
を備え、
前記画像処理回路は、
三原色信号を含む第１画像データを前記記録媒体から取得し、
前記第１画像データにおける前記三原色信号のうち、青色信号のボケの程度を増加させた第２画像データと、赤色信号のボケの程度を増加させた第３画像データとを生成し、
前記第１画像データ、前記第２画像データ、および前記第３画像データを、同一画面に表示するようにディスプレイに指示する、
画像処理装置。
【００１８】
［項目７］
三原色信号を含む第１画像データと、使用者の眼の特性を示す特性情報とを記録媒体から取得し、
前記第１画像データにおける前記三原色信号の少なくとも１つの色信号を、前記特性情報を用いて補正することによって第２画像データを生成して出力する、
画像処理方法。
【００１９】
［項目８］
三原色信号を含む第１画像データを前記記録媒体から取得し、
前記第１画像データにおける前記三原色信号のうち、青色信号のボケの程度を増加させた第２画像データと、赤色信号のボケの程度を減少させた第３画像データとを生成し、
前記第１画像データ、前記第２画像データ、および前記第３画像データを、同一画面に表示するようにディスプレイに指示する、
画像処理方法。
【００２０】
［項目９］
コンピュータに、
三原色信号を含む第１画像データと、使用者の眼の特性を示す特性情報とを記録媒体から取得し、
前記第１画像データにおける前記三原色信号の少なくとも１つの色信号を、前記特性情報を用いて補正することによって第２画像データを生成して出力する、
ことを実行させる、画像処理プログラム。
【００２１】
［項目１０］
コンピュータに、
三原色信号を含む第１画像データを前記記録媒体から取得し、
前記第１画像データにおける前記三原色信号のうち、青色信号のボケの程度を増加させた第２画像データと、赤色信号のボケの程度を減少させた第３画像データとを生成し、
前記第１画像データ、前記第２画像データ、および前記第３画像データを、同一画面に表示するようにディスプレイに指示する、
ことを実行させる、画像処理プログラム。
【００２２】
［項目１１］
三原色信号を含む第１画像データを記録媒体から取得し、
前記第１画像データにおける特定の領域を抽出し、
前記領域に含まれる各画素における三原色の値を色度図上の座標値に変換し、
前記座標値に基づいて、認識差パラメータを算出し、
前記認識差パラメータの値に基づいて、前記第１画像データの良否を判定する、
画像判定方法。
【００２３】
（本開示の基礎となった知見）
より自然で美しい画像表示を実現するために人間の眼の特性に着目して画像表示装置に表示される画像を補正する従来の方法では、人間の眼の共通的な特性に基づいて画像処理が行われる。しかしながら、本発明者の検討によれば、人間の眼の個人差は従来考えられていた以上に大きく、各個人の眼の光学特性に応じて、色の見え方が大きく異なることがあることが明らかになった。従来の色補正方法では、平均的な眼の特性に合わせた画像処理がなされるために、同じ写真を見ても人によって色の認識が異なるという問題が生じていた。例えば、ＴＶショッピングやインターネットショッピングにおいて提示された写真と実物とで色が異なるというトラブルが多く発生している。これは、撮影時の条件の設定が適切でないことに起因している場合もあるが、色認識の個人差に起因している場合も多くあると考えられる。同じ写真を見た場合でも人によって色認識が異なる場合があり、色認識の個人差が非常に大きくなるような条件においてトラブルが多く発生すると考えられる。
【００２４】
本発明者は、このような課題を解決するために、色覚の個人差に着目し、色認識の個人差による影響をできる限り低減する新たな画像処理方法を検討した。
【００２５】
まず、色認識に関して本発明者が見出した新たな知見を説明する。人の視覚には色恒常性という認識作用があるため、物体はどのような色の光源の下でも同じ色に知覚される。例えば、白い紙を白熱球の下で見た場合、白熱球はオレンジに近い色の光を発するのでオレンジ色の紙に見えるはずである。実際に、紙からの反射光の分光スペクトルを確認すると長波長側で強い光強度分布が測定される。しかし、実際には白熱球の下で見た紙は太陽光の下で見たときと同様、白い紙に見える。このように、光源色が変化しても本来の色を知覚する機能を色恒常性と呼ぶ。物は照明光によって変化しないので、照明光が変わっても物は同じ色に認識されなければ、日常生活でさまざまな混乱が生じることが想定される。人の視覚には、照明光によらず物体の色が同じに見える色恒常性の能力が備わっているため、混乱なく日常生活を送ることができる。
【００２６】
認識における色恒常性の作用が強いため、従来、色の認識に関しては個人差が少ないと考えられてきた。「私の見ている赤と他の人の見ている赤は同じ色なのか？」という疑問は誰しもが抱く疑問だが、見えている赤が共通に赤色と呼ばれているために誰にとっても赤は共通の赤色となる。色認識に関して大きな個人差は発生しないとうのがこれまでの考え方であった。これに対して、最近、インターネット上で、観察者によって「青と黒」あるいは「白と金」に見えるドレスが大きな話題となった（例えば、“THE SCIENCE OF WHY
NO ONE AGREES ON THE COLOR OF THIS DRESS”、http://www.wired.com/2015/02/scien
ce-one-agrees-color-dress/）。
【００２７】
ここで、基本色である青色や黄色が人によってまったく異なる色に認識されうることが明らかになり、専門家の間でも大きな議論を呼んだ。本発明者はこの色認識の大きな違いのメカニズムを解明することで、より高機能な画像表示装置の実現に資することができると考え、メカニズムの究明を行った。上記インターネット上の写真を少しずつ、黄色味から青味に変化させた写真を１３枚準備して順に並べ、どの写真でドレスの色が白から青に変わるかを５６名の観察者に聞いて評価した。
【００２８】
図６は、この調査の結果を示している。図６における横軸は観察者の年齢を、縦軸はドレスの色が白から青に変わったと認識された写真の番号を表している。ここで、番号が小さいほど画像中の各画素の青の成分が弱く、赤および緑の成分が強い。逆に、番号が大きいほど画像中の各画素の青の成分が強く、赤および緑の成分が弱い。図中の菱形は実データを、正方形は５歳ごとに区切った年齢層ごとの平均値を表している。個人差によるばらつきが大きいが、平均的には年齢を経るにつれて色が変わったと感じられる写真の番号が大きくなる、すなわち「白と金」に見えやすくなることを示している。このような明確な年齢依存は、色認識の個人差が心理的な要因よりも、何らかの眼の機能変化に起因していることを強く示唆している。
【００２９】
図７は、眼の経年変化の一例として、水晶体の透過率のスペクトルの、年齢による変化の例を示す図である。年齢とともに水晶体の透過率が低下する（即ち、光の感度が低下する）ことがわかる。特に、短波長（青色）の光の感度が年齢とともに顕著に低下することがわかる。青色の光の感度低下により、「白と金」に見えやすくなるというメカニズムは理解しやすいが、これは正しくない。なぜなら、眼の感度が変わっても色恒常性の作用によって色認識は正常に保たれるからである。高齢者を対象にした調査で、網膜に到達する青色の光量が低下するにもかかわらず、色認識は正しく保たれることが実証されている。人間の生存にとって正しい色認識がきわめて重要であるために、眼の機能低下が起こっても脳内の色認識処理で補正がなされて色恒常性が保たれるものと考えられる。
【００３０】
眼の経年変化については、水晶体での光の吸収による透過率の低下だけでなく、水晶体での光の散乱による解像度の低下も同時に起こることが知られている（図８における破線）。水晶体でレイリー散乱が発生した場合、散乱の度合い（即ち散乱光の強度）は波長の−４乗に比例するため、短波長側（青色）の光が特に強い散乱を受ける。その結果、青色の解像度が低下する。本発明者は、年齢に起因する色認識の個人差には主としてこの青色の光散乱が寄与しているという知見を得た。
【００３１】
さらに本発明者の詳細な検討によると、加齢による虹彩や眼底の色素濃度の低下に伴い、赤色光の拡散が増加し、赤色の解像度の低下が発生することが判明した。
【００３２】
従って、加齢による色認識の変化は、まず水晶体の青色光の散乱によって生じ、続いて光彩や眼底の色素低下による赤色光の拡散によっても生じる。このようなメカニズムで色認識の個人差が発生する。平均的に見ると、加齢に伴い青色の解像度の低下が発生し、その後に赤色の解像度の低下が発生する。しかし、これには個人差が大きく、例えば若年でも青色光の散乱が大きい人や、老齢でも青色光の散乱が小さい人がいる。よって、一概に年齢のみで特性を議論することはできない。いずれにせよ個人差が大きいため、単純に年齢の条件のみに基づいて画像を補正することはできない。ひとりひとりの眼の特性に応じたきめ細かな補正が必要である。
【００３３】
（従来の画像復元処理）
ここで、図２を参照しながら、従来の画像復元技術を簡単に説明する。以下の説明では、画像を示す情報または信号を、単に「画像」と称することがある。実空間のイメージの強度分布を表す関数をｆ（ｘ，ｙ）、カメラによって取得された画像の輝度分布を表す関数をｇ（ｘ，ｙ）、撮像に用いたカメラの特性を示す関数をｈ1（ｘ，ｙ）とする。ここで座標（ｘ，ｙ）は、画像における画素の位置を示す二次元座標である。座標（ｘ，ｙ）の定め方は任意であり、例えば画像の中心を原点とし、画像の横方向にｘ座標を、縦方向にｙ座標を定めることができる。関数ｆ（ｘ，ｙ）、ｇ（ｘ，ｙ）は、三原色（赤、緑、青）のそれぞれについて個別に定められ得る。以下では簡単のため、特定の１色の信号について考慮する。
【００３４】
カメラレンズの収差や回折限界に起因して、カメラが生成する画像にはボケ（ｂｌｕｒ）や歪が発生する。カメラの特性を示す関数ｈ1（ｘ，ｙ）は、点像がカメラを通して撮像された場合に得られるイメージに相当する点像分布関数（ＰＳＦ：  Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）として定義される。図２の下段中央に、点像分布関数（ＰＳＦ１と表す）の例が示されている。ｈ１（ｘ，ｙ）は、ある点像からその点像を原点とする相対座標（ｘ，ｙ）に位置する周辺画素にどのような重みでその点像が広がるかを表す関数であると言える。点像分布関数は、実際の演算処理においては、ブラーカーネルと称される線形フィルタ（行列）によって表され得る。
【００３５】
カメラによって取得される画像ｇ（ｘ，ｙ）は、元イメージｆ（ｘ，ｙ）とカメラの点像分布関数ｈ1（ｘ，ｙ）とのコンボリューリョン（畳み込み積分）によって表される。すなわち、画像ｇ（ｘ，ｙ）は、以下の式（１）のように表現される。
【数１】
2017033356.tif 000003
【００３６】
ここで、記号「＊」は、コンボリューションを示している。式（１）の右辺は、一般に、以下の式（２）で表される。
【数２】
2017033356.tif 000004
【００３７】
実際には、カメラで取得される画像を示すｇ（ｘ，ｙ）と、カメラの特性を示すｈ1（ｘ，ｙ）とがわかっており、これらに基づいて元のイメージｆ（ｘ，ｙ）を推定によって復元する必要がある。実空間でｆ（ｘ，ｙ）を復元すること（デコンボリューション）は困難であるため、通常、周波数空間でデコンボリューションが行なわれる。一般に、２つの関数の畳み込みのフーリエ変換は、各関数のフーリエ変換の積によって表される。したがって、周波数空間でデコンボリューションを行うことにより、演算が簡単になる。
【００３８】
実空間のイメージの強度分布をｆ（ｘ，ｙ）、周波数空間でのイメージの強度分布をＦ（ｕ，ｖ）とすると、Ｆ（ｕ，ｖ）はｆ（ｘ，ｙ）のフーリエ変換であり、以下の式（３）で表される。
【数３】
2017033356.tif 000005
なお、（ｕ，ｖ）は、周波数空間における座標であり、それぞれ、実画像におけるｘ方向およびｙ方向の空間周波数に対応している。
【００３９】
カメラで撮影されたｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊ｈ1（ｘ，ｙ）のコンボリューション（畳み込み積分）は、周波数空間では以下のように表せる。
【数４】
2017033356.tif 000006
ここで、Ｇ（ｕ，ｖ）およびＨ１（ｕ，ｖ）は、それぞれ、関数ｇ（ｘ，ｙ）およびｈ１（ｘ，ｙ）のフーリエ変換を表す。
【００４０】
式（４）を変形すると、以下の式（５）が得られる。
【数５】
2017033356.tif 000007
【００４１】
式（５）は、画像ｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）を、点広がり関数ｈ１（ｘ，ｙ）のフーリエ変換Ｈ１（ｕ，ｖ）で除算して得られた関数が、元の画像ｆ（ｘ，ｙ）のフーリエ変換Ｆ（ｕ，ｖ）に相当することを示している。すなわち、ｇ（ｘ，ｙ）およびｈ１（ｘ，ｙ）を用いて、Ｆ（ｕ，ｖ）を求めることができる。Ｆ（ｕ，ｖ）の逆フーリエ変換を行うことにより、元イメージｆ（ｘ，ｙ）に近い復元画像ｆ’（ｘ，ｙ）が得られる。
【００４２】
以上が従来用いられている画像復元の方法である。しかし、上記の方法では、人の眼の特性が考慮されていないため、前述のような、人によって画像の色が異なって見えるといった問題が生じ得る。本発明者は、上記の問題を見出し、検討を重ねた結果、以下に説明する本開示の実施形態を想到するに至った。
【００４３】
（実施形態）
以下、図１を参照しながら、前述した色認識に関する新たな知見に基づいて考案された画像処理技術を説明する。既に述べた従来の画像処理方法との違いは、眼の伝達関数を考慮する点にある。本実施形態では、カメラの点像分布関数（「ＰＳＦ１」と表す）ｈ1（ｘ，ｙ）に加えて、眼の点像分布関数（「ＰＳＦ２」と表す）ｈ2（ｘ，ｙ）を考慮する。
【００４４】
図１は、本実施形態における画像処理の流れを示す図である。カメラおよび眼を通して人の脳で認識される画像ｇ2（ｘ，ｙ）は、以下の式（６）で表される。
【数６】
2017033356.tif 000008
【００４５】
ｇ2（ｘ，ｙ）は、周波数空間では以下の式（７）のように表せる。
【数７】
2017033356.tif 000009
ここで、Ｇ２（ｕ，ｖ）、Ｆ（ｕ，ｖ）、Ｈ１（ｕ，ｖ）、Ｈ２（ｕ，ｖ）は、それぞれ、ｇ（ｘ，ｙ）、ｆ（ｘ，ｙ）、ｈ１（ｘ，ｙ）、ｈ２（ｘ，ｙ）のフーリエ変換を表す。
【００４６】
式（７）より、デコンボリューション演算は、以下の式（８）で表される。
【数８】
2017033356.tif 000010
【００４７】
Ｆ（ｕ，ｖ）に対して逆フーリエ変換を行うことにより、元イメージｆ（ｘ，ｙ）に近い復元画像が得られる。
【００４８】
実際の処理では、カメラによって取得された画像ｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）を、Ｈ1（ｕ，ｖ）Ｈ2（ｕ，ｖ）で除算する処理が行われる。即ち、以下の式（９）で表される処理が行われる。
【数９】
2017033356.tif 000011
【００４９】
ディスプレイに表示される画像は、式（９）で表される関数を逆フーリエ変換した画像ｆ”（ｘ，ｙ）である。
【００５０】
本実施形態における上記処理では、個人の眼の伝達関数（点像分布関数）ｈ２（ｘ，ｙ）を考慮して補正を行う点で、従来の補正処理とは異なる。ディスプレイ上に表示される画像ｆ”（ｘ，ｙ）は、元イメージｆ（ｘ，ｙ）とは異なり、人が眼を通して見たときに脳内で元画像ｆ（ｘ，ｙ）に近い画像であると認識できるように補正された画像である。本実施形態における画像処理は、万人に向けたディスプレイではなく、ひとりひとりに合わせた個人用のディスプレイに特に適している。
【００５１】
本実施形態では、眼の水晶体における光の散乱等の影響を模擬するために点像分布関数ｈ２（ｘ，ｙ）を用いた上記の処理が行われる。本実施形態ではカメラの特性ｈ1（ｘ，ｙ）による影響と眼の特性ｈ2（ｘ，ｙ）による影響とを同時に補正しているが、これは必ずしも必須ではない。通常、カメラの特性は眼の特性よりも優れているため、カメラの出力ｆ（ｘ，ｙ）＊ｈ1（ｘ，ｙ）を元画像として取り扱い、カメラの特性に関する補正を行わなくてもよい。実際には撮像に用いられるカメラの特性が知られていないことが多いため、カメラの特性に関する補正はせずに、眼の特性に関する補正のみを行う方が現実的である場合が多い。
【００５２】
眼の特性に関する補正のみを行う場合、式（９）に代えて、以下の式（１０）に示す処理を行えばよい。
【数１０】
2017033356.tif 000012
【００５３】
以上のような画像処理は、情報端末やディスプレイ等に搭載される画像処理回路によって実行される。画像処理回路は、例えばデジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等のプログラマブルロジックデバイス（ＰＬＤ）、または中央演算処理装置（ＣＰＵ）もしくは画像処理用演算プロセッサ（ＧＰＵ）とコンピュータプログラムとの組み合わせによって実現され得る。このような画像処理回路を搭載した機器を、画像処理装置と称する。
【００５４】
図３は、本実施形態における画像処理装置２００の概略構成を示す図である。画像処理装置２００は、メモリ（記録媒体）２４０と、画像処理回路２２０とを備えている。メモリ２４０には、三原色信号を含む第１画像データ（前述のｇ（ｘ，ｙ）に対応）と、使用者（即ち観察者）の眼の特性を示す特性情報（前述のｈ２（ｘ，ｙ）を規定する情報）とが格納される。画像処理回路２２０は、第１画像データと特性情報とを取得し、第１画像データに対して前述のデコンボリューション演算を行うことにより、色が補正された第２画像データを生成して出力する。第２画像データは、画像処理装置２００に接続されたディスプレイ３００に送られ、表示される。ディスプレイ３００は、画像処理回路２２０に搭載されていてもよい。
【００５５】
図４は、画像処理回路２２０による画像処理の概要を示すフローチャートである。画像処理回路２２０は、まず、三原色信号を含む入力画像データをメモリ２４０から取得する（ステップＳ１０１）。次に、使用者の眼の特性を示す特性情報を取得する（ステップＳ１０２）。特性情報は、前述の点像分布関数ｈ２（ｘ，ｙ）を規定する情報であり、例えば後述するＲＧＢ各色のガウス分布の標準偏差σr、σg、σbの少なくとも１つを示す情報であり得る。画像処理回路２２０は、第１画像データにおける三原色信号の少なくとも１つの色信号を、特性情報を用いて補正することによって第２画像データ（前述のｆ”（ｘ，ｙ）に相当）を生成する（ステップＳ１０３）。この補正処理は、図１を参照して説明したデコンボリューション演算処理に相当する。最後に、画像処理回路２２０は、生成した第２画像データを、ディスプレイ３００に出力する（ステップＳ１０４）。
【００５６】
以上のような動作により、画像処理装置２００は、使用者の視覚特性に応じた好適な画像をディスプレイ３００に表示させることができる。
【００５７】
次に、図８を参照しながら、眼の特性についてさらに詳細に説明する。前述のように、眼の光学特性には個人差が大きく、年齢を経るごとに変化していく。眼の光学特性を決定する要素としては、第一に水晶体レンズの収差がある。水晶体レンズの不完全性により、図８に実線で示すように収差が発生した場合、眼の解像度は大きく変化する。さらに眼の解像度を決定する要因として、水晶体レンズや角膜における光の散乱がある。図８に破線で示すように散乱が生じた場合も、解像度の低下が生じる。解像度の低下は、図８（ｂ）に示すように、ＰＳＦがブロードになることで表現される。水晶体での散乱は波長よりも小さい構造による散乱であるため、レイリー散乱であることが知られている。レイリー散乱では、散乱光の強度が波長の４乗分の１に比例する。このため、短波長の青色光の散乱が特に大きく、青色の解像度が低下する。眼の特性を決定する他の要素には、虹彩での光の透過や眼底での光の反射が知られている。これらは色素濃度が関係しており、赤色光の散乱の影響が大きいことが知られている。年齢を経るごとにこれらの影響が大きくなる。まず青色の解像度低下が、続いて赤色の解像度低下が発生する。眼の解像度は主として緑色で決定するため、解像度の低下よりも色の変化がより強く認識される。
【００５８】
眼内の光散乱による影響は主として色毎のイメージのボケとして生じる。このため、散乱による眼の特性を表す点像分布関数として、以下の式（１１）に示すガウス関数を採用することが適当である。
【数１１】
2017033356.tif 000013
ここでσ2は、分散を表す。
【００５９】
実際には、色毎に特性が異なるため、赤色ｈr（ｘ，ｙ）、緑色ｈg（ｘ，ｙ）、青色ｈb（ｘ，ｙ）に分けて点像分布関数を定義し、色毎に分離した画像に対して上述した画像補正処理を行ってもよい。これにより、それぞれの色の画像を再構成することができる。これらの三原色の補正された画像信号を統合して最終的な表示画像データを得ることができる。
【００６０】
ここでは、眼のボケを表す関数としてガウス関数を用いる例を説明したが、これに限られるものではない。中心の強度が高く周辺に向って強度が低下するような他の関数を用いることも可能である。ただし、光散乱の性質と周波数空間でのコンボリューションの簡便性を考えると、ガウス関数の採用が特に適切であると考えられる。
【００６１】
次に、個人ごとの眼の特性情報（例えば点像分布関数）の求め方を説明する。特性情報を求めることは、上記点像分布関数ｈr（ｘ，ｙ）、ｈg（ｘ，ｙ）、ｈb（ｘ，ｙ）を求めることに相当する。計算にガウス関数を用いる場合はガウス関数の半径に相当するσ値を求めることになる。三原色の全てについて補正する場合、σ値の赤緑青の３原色に対応する値σr、σg、σb、を求めることになる。眼内の散乱による画像のボケを直接測定することが可能である。例えば、眼内での光散乱を測定可能な装置が存在する。例えば非特許文献１に記載の円環状の照明を点滅させて中央部が最も暗くなる条件を測定する手法や、非特許文献２に記載の２重透過法を用いた測定装置を用いて、色ごとに眼内での散乱の程度を示すガウス分布（正規分布）を求めることができる。
【００６２】
（実施例１）
第一の実施例として、本開示の実施形態の画像処理装置を携帯電話のディスプレイに利用した例を説明する。携帯電話はインターネットに常時接続可能な情報端末であり、さまざまな情報を表示するため、より自然で美しい表示が求められている。また、携帯端末は基本的に特定の個人によって使用されるため、複数の人間が視聴する可能性の高いテレビに比べて、個人の眼の特性に合わせて画面を表示することのメリットが大きい。
【００６３】
個人の眼の特性情報は、上述のような専用の装置を用いてあらかじめ測定しておき、その特性値（σr、σg、σb）を携帯端末にパラメータとして入力して使用することも可能である。しかし、その場合、特殊な装置を用いた煩雑な作業が必要となる。携帯端末のようなデバイスではこのような手間をかけることは好まれない。そのため、本発明者は、より簡便に眼の特性を測定できるチャートを作成した。
【００６４】
図５Ａは、簡易測定用のチャートを示す図である。このチャートは、円環状に配列された１５個の色の異なる小さい円と、中央に位置する比較的大きい円と、その内部の中心および上下左右に配置された５個の小さい円とを含む。図５Ａでは色がわからないが、実際には、これらの円は、中央の小さい円を除き、全て色が異なっている。
【００６５】
図５Ｂは、このチャートのそれぞれの円（番号１〜１５、中心円大、中心円小、右、左、上、下）の（Ｒ，Ｇ，Ｂ）値を示している（８ビット表示でそれぞれの輝度を０−２５５で表示）。１５番の小さい円は、無彩色であり、その（Ｒ，Ｇ，Ｂ）値は、（１２８，１２８，１２８）である。小さい円の番号が１つ減少するごとに、ＲおよびＧの値が５ずつ増加し、Ｂの値が５ずつ減少する。すなわち、番号が小さい円ほど黄色味を帯びており、番号が大きい円ほど無彩色に近い。中央部の大きい円は、青味を帯びた色であり、その（Ｒ，Ｇ，Ｂ）値は、（１２８，１２８，２５５）である。その内部の上、右、下、左の小さい円の色は、それぞれ、マゼンタ、青、緑、青に近いシアンである。
【００６６】
中央部の小さい円は、１５番の円と同じ無彩色（灰色）である。しかし、人間の脳は周辺の青色を照明光の色と認識するために、中央の円は周辺の青色の成分を引いた黄色味を帯びた色と認識される。本発明者は、このような照明色の補正には個人差があり、これが個人の色認識の差と強く結びついていることを見出した。このチャートは青−黄色軸の色認識を見るためのチャートであるが、同様のチャートを赤−シアン軸、緑―マゼンタ軸についても作成することができる。
【００６７】
以下に、一例として、青色の眼の特性値σbを求める手順を説明する。まず、５４Ａに示すチャートを１００％の大きさで表示したものと２５％の大きさで表示したものとの２種類を準備する。１００％および２５％の表示に対して、中央の円の色と同じ色であると認識された外周の円の番号をそれぞれＮ100およびＮ25とする。すると、青色の光に対する眼のボケの程度を示す特性値δbは、以下の式（１２）で表される。
【数１２】
2017033356.tif 000014
ここでｋbは定数であり、検討の結果ｋb＝０．７であることが分かっている。このような手順を赤−シアン軸、緑―マゼンタ軸のチャートに対しても行なうことにより、眼の各色に対するボケ量を示す特性値（δr，δg，δb）を決定することができる。人間の眼は緑に対する感度が高く眼の解像度は主として緑色で決まるため、眼の特性値（σr，σg，σb）は、例えば各色のボケ量を緑色のボケ量で割ることにより定義することができる。例えば、眼の特性値を、（σr，σg，σb）＝（δr/δg−１，０，δb/δg−１）と表すことができる。ここで得られた（σr，σg，σb）を用いて画像処理を行うことができる。この例では、元の図の解像感を損なわないように、緑色画像にはボケの復元処理が行われない。
【００６８】
実際の測定作業には、携帯端末のための眼の特性値評価用のアプリケーションが用いられる。携帯端末の使用者は、まずアプリケーションをダウンロードし、端末にインストールする。アプリケーションを起動すると、画面上に図５Ａのようなチャートが表示される。チャートは１種類に限らず、何種類も表示され得る。チャートを見ながら、使用者は、アプリケーションの指示に従って本人の見え方についての入力を行う。何種類かのチャートに対して使用者が中央の小さい円と同じ色に見える円を１番〜１５番の中から選ぶことにより、上述のように赤、緑、青についての眼の特性値（σr、σg、σb）を算出することができる。特性値（σr、σg、σb）が得られれば、端末内のプロセッサは、図１に示した処理に従って色毎の画像処理を行う。まず、最初にカメラの特性Ｈ1（ｕ，ｖ）に関する補正を行う。続いて、眼の特性値（σr，σg，σb）を用いて、Ｈ2（ｕ，ｖ）で示される眼内で発生するボケに対応する補正処理を行う。これにより、表示画像ｆ”（ｘ，ｙ）を得る。
【００６９】
携帯端末における画像処理回路は、例えばＣＰＵを実装した半導体集積回路またはワンチップマイコンによって実現され得る。入力画像ｇ（ｘ，ｙ）からディスプレイへ出力される画像ｆ”（ｘ，ｙ）を算出する処理を行う。
【００７０】
図１では、Ｈ1（ｕ，ｖ）をカメラの特性を示す点像分布関数であるものとしているが、これに限るものではない。例えばホワイトバランスや輪郭強調などの通常行なわれている画像処理をこのステップで行い、次のステップで眼の特性に関する補正処理を行うことも可能である。
【００７１】
既に述べたように、眼内の光散乱あるいは光拡散は青色で最も顕著に発生し、続いて赤色で発生する。このため、三原色の処理を同等に行う必要は無く、眼の特性値に応じて最も大きなボケを生じる色だけに補正処理を施してもよい。このようにすることで、画像処理の負荷を軽くし効率的な処理を実現できる。
【００７２】
眼の特性評価のためのチャートとして図５Ａに示したものは一例であり、他のチャートを用いて眼の特性を評価してもよい。チャートは、互いに色の異なる複数の第１オブジェクトと、複数の第１オブジェクトの１つと同じ色の第２オブジェクトとを含み、第２オブジェクトが、第２オブジェクトの色とは異なる色の第３オブジェクトに囲まれているものであればよい。
【００７３】
画像処理回路の処理についても、上記処理に限定されない。画像処理回路は、使用者の眼の特性を評価するためのチャートをディスプレイに表示させ、複数の第１オブジェクトの中から第２オブジェクトの色に最も近いと認識される１つのオブジェクトを使用者に選択させ、選択されたオブジェクトの色に基づいて、使用者の眼の特性を示す特性情報を生成するものであればよい。
【００７４】
（実施例２）
第二の実施例として、本開示の実施形態における画像処理装置をテレビ（ＴＶ）の表示に用いる例を説明する。ＴＶの場合、視聴者が複数になる場合があるために複数の視聴者に対応する必要がある。視聴する個人ごとに眼の特性評価が必要となる。ＴＶのセットアップ時にセットアップ画面に、図５Ａで示したようなチャートを用いて個人ごとの眼内の特性を測定し登録することができる。ＴＶ視聴時に、視聴者を認識して視聴者に最適な画像処理を行うことができる。視聴者の認識方法としては、（１）リモコン等で視聴者本人が視聴者の情報を入力する、（２）カメラが内蔵されたＴＶセットにおいて、カメラが自動的に視聴者を認識する、などの方法がある。複数の視聴者がいる場合、それぞれの視聴者の眼の特性の平均値を求め、その平均値で補正することもできる。例えば、補正に用いる眼の特性値（σr、σg、σb）として、それぞれの視聴者の眼の各色の特性値の平均値を用いればよい。あるいは、複数の視聴者がいる場合、個人ごとの補正を行わず標準的な特性値を用いて補正した画像を表示してもよい。
【００７５】
コンピュータのディスプレイに対しても同様の信号処理が可能である。ただし、コンピュータのディスプレイの場合には、使用者が特定されることが多く、実際の運用としては実施例１に準じた取り扱いが可能である。
【００７６】
（実施例３）
第三の実施例として、インターネットショッピングでの応用例を説明する。これまでに説明したような、同じ写真を見た場合の色認識の個人差によって問題が発生する事例として、インターネットショッピング等の通信販売がある。表示されていた写真と実際の商品の色が違うというトラブルが多く発生している。この原因として、不注意な写真撮影によって適切でない写真が掲載されている場合も多いが、先に述べた色認識の個人差によってこのようなトラブルが発生しているケースも存在する。そのようなトラブルを避けるために、通信販売においてウェブサイト等に掲載される写真に対して、本開示の実施形態の信号処理を施し、その写真が個人差によってどのように認識され得るかをディスプレイ上で確認することができる。例えば、一つのディスプレイ上に、青色のボケを施した画像と赤色のボケを施した画像とを表示することにより、その見え方の差から、出品者が、掲載しようとしている画像が適切であるか否かを判断することができる。青色および赤色のボケの程度が異なる複数の画像を同一の画面に表示するようにすれば、眼の特性の異なる様々な顧客の見え方を出品者が確認することができる。これにより、青色または赤色のボケの程度を変えた場合に色が変化するような写真は、掲載画像から除外するといった判断が可能となる。
【００７７】
本実施例における画像処理回路は、三原色信号を含む第１画像データを記録媒体から取得し、第１画像データにおける三原色信号のうち、青色信号のボケの程度を増加させた第２画像データと、赤色信号のボケの程度を増加させた第３画像データとを生成し、第１画像データ、第２画像データ、および第３画像データを、同一画面に表示するようにディスプレイに指示する。ここで、ボケの程度を増加させる処理は、対象となる画像と適当な点像分布関数との畳み込み積分によって行われる。ここで用いられる点像分布関数の特性値σr、σbの値を変化させることにより、ボケの程度を調整することができる。
【００７８】
ここで青色と赤色が選ばれるのは、人間の眼の解像度の低下には、水晶体の濁りによる散乱に起因する青色の解像度の低下と、眼底の光吸収率の低下による光の拡散に起因する赤色の解像度の低下とが支配的であるためである。この２色の解像度低下の影響を確認することでネットショッピングでのトラブルの防止に役立てることができる。
【００７９】
このような画像処理はこれまでの画像処理とは異なり、高速な動画の処理を必要としない。このため、半導体チップに実装する必要はなく、コンピュータプログラムとして実現することが可能である。画像を入力すると、コンピュータ（画像処理プロセッサ）が青色と赤色のボケ画像を作成し並べて表示するような専用のソフトウェアにより容易に写真の適否を判定することが可能である。
【００８０】
ここまで、電子ディスプレイに補正した画像を表示する実施例を述べてきたが、本実施例については電子ディスプレイだけでなく印刷された紙面に対しても適用可能である。印刷原図を上記の方法であらかじめ確認して、色認識の個人差が生じやすい色合の写真を取り除くことで、インターネットショッピングだけでなく、カタログショッピングのような紙媒体（雑誌、書籍、カタログ）を用いた販売形態においてもトラブルを事前に防止することが可能になる。
【００８１】
（実施例４）
ここまで、色認識の個人差の影響を抑制する手法について述べてきた。色認識の個人差が生じやすい写真の特徴がわかれば画像補正を簡素化することができ、色認識の個人差によるトラブルを抑制することが可能になる。本発明者の詳細な検討の結果、特に色認識に個人差を生じやすい写真の特徴が見出された。
【００８２】
図９は、最初に述べた人によって色認識に大きな個人差を与える「青と黒」あるいは「白と金」に見えるドレスを色度図上にプロットした結果を示す図である。明るい側の縞模様（明縞）と暗い側の縞模様（暗縞）とを別の色でプロットしている。この色度図上の分布から、このドレスの写真が特異な色分布を持っていることがわかる。白色点(D65)を中心に明るい縞は青色方向、暗い縞は黄色方向に分布していることがわかる。このため、この場合には個人の青色の認識差により、青を強く感じる個人は青色と黒色（暗い側は無彩色となり黒と感じる）と認識し、青を弱く感じる個人は黄色と白色（明るい側は無彩色となり白と感じる）と認識するようになると理解できる。
【００８３】
本発明者は、白色点を中心に直線状に色が分布するような画像を作成し色認識の試験を行なった。その結果、青―黄色軸だけでなく、赤―シアン軸、緑―マゼンタ軸でも同様に大きな色認識の個人差を生じることを見出した。赤、緑、青軸以外の軸についても、原色軸ほど顕著ではないが、やはり色認識に個人差を生じることが確かめられた。
【００８４】
この新たな知見に基づき、色認識の個人差を与えやすい画像をあらかじめ判定することが可能になる。すなわち、色認識の個人差が生じやすいのは、白色点を中心に直線状に色が配置されている場合であるといえる。これが定量化できれば、人間の判断を待たず自動的に色認識に差が生じやすい画像（トラブルを生じやすい画像）を自動的に判定することが可能になる。
【００８５】
図１０は、具体的な判定例を示す図である。この判定例では、まず写真における問題になり得る領域（ショッピングの場合、商品部分）の各画素の色を色度図上にプロットし、その分布から９割の画素が含まれるような楕円を作成する。図１０に示すように、その楕円の中心座標を（xp, yp）、長軸の長さをdl、短軸の長さをdsとすると、中心座標が白色点(xw, yw)に近いほど、また短軸の長さdsと長軸の長さdlとの比（ds/dl）が小さいほど色認識に個人差が生じやすいことになる。そこで、認識差パラメータCPを以下の式（１３）のように定義する。
【数１３】
2017033356.tif 000015
【００８６】
CP値が小さいほど色認識の個人差が出やすいことになる。CP値に閾値（例えば0.01）を設け、写真を判定することで人の眼を介さずにトラブルを事前に防止することが可能になる。例えば、画像データにおける商品の領域を自動判定し、画素データからCP値を計算して画像が適当かを判定するソフトウェア（コンピュータプログラム）を実現できる。そのようなソフトウェアは、例えば、入力された画像データにおける商品の領域を自動判定し、その領域におけるCP値を式（１３）に基づいて計算し、CP値が所定の閾値を下回っているか否かを判定する処理をプロセッサ（コンピュータ）に実行させる。CP値が所定の閾値を下回っている場合には、その画像データの良否を示す情報（警告表示等）をディスプレイに表示させてもよい。そのようなソフトウェアを用いることにより、ネットショッピング、カタログショッピング等でのトラブルを防止することが可能になる。また、高齢化社会を迎えてユニバーサルデザインの観点からも、できるだけ見やすく色認識の個人差のない画像を提供することがますます重要となる。
【００８７】
以上のように、本実施例における画像判定方法は、以下の工程を含む。（１）三原色信号を含む第１画像データを記録媒体から取得する。（２）第１画像データにおける特定の領域（画像の一部の領域に相当）を抽出する。（３）その領域に含まれる各画素における三原色の値を色度図上の座標値に変換する。（４）その座標値に基づいて、色認識の個人差の出やすさを示す認識差パラメータを、例えば式（１３）に基づいて算出する。（５）認識差パラメータの値に基づいて、第１画像データの良否を判定する。
【００８８】
このような判定方法により、ネットショッピングやカタログショッピング等で使用される商品の画像の適否を容易に判定できる。出品者が適切な画像を容易に判断できるため、商品の色に関するトラブルを未然に防止することができる。
【産業上の利用可能性】
【００８９】
本開示の実施形態によれば、観察者の眼の特性に応じた好適な画像を表示できる。このため、ディスプレイに画像を表示させるあらゆる機器に利用することができる。
【符号の説明】
【００９０】
２００  画像処理装置
２２０  画像処理回路
２４０  メモリ
３００  ディスプレイ
【図１】
2017033356.tif 000016
【図２】
2017033356.tif 000017
【図３】
2017033356.tif 000018
【図４】
2017033356.tif 000019
【図５Ａ】
2017033356.tif 000020
【図５Ｂ】
2017033356.tif 000021
【図６】
2017033356.tif 000022
【図７】
2017033356.tif 000023
【図８】
2017033356.tif 000024
【図９】
2017033356.tif 000025
【図１０】
2017033356.tif 000026