(57)【要約】【課題】生成された画像に歪みや欠けなどが生じる場合があった。【解決手段】本実施形態の画像処理装置は、少なくとも１枚の処理対象画像から、複数の視点画像を生成する画像処理装置であって、前記処理対象画像の各画素の画素値から、拡散反射成分を分離した第１拡散反射成分と、前記第１拡散反射成分以外の成分を分離した第１非拡散反射成分とを分離する分離部と、前記第１非拡散反射成分の各画素の信号値を変更した第２非拡散反射成分を生成する第１生成部と、前記第１拡散反射成分と前記第２非拡散反射成分を合成して、各視点に対応する前記視点画像を生成する合成部と、を備える。前記第１生成部は、互いに異なる視点に提示される合成画像の生成に用いる前記第1非拡散反射成分の信号値を、それぞれ異なる方法で変更する。【選択図】  図１
2014074969.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１枚の処理対象画像から、複数の視点画像を生成する画像処理装置であって、
前記処理対象画像の各画素の画素値から、拡散反射成分を分離した第１拡散反射成分と、前記第１拡散反射成分以外の成分を分離した第１非拡散反射成分とを分離する分離部と、
前記第１非拡散反射成分の各画素の信号値を変更した第２非拡散反射成分を生成する第１生成部と、
前記第１拡散反射成分と前記第２非拡散反射成分を合成して、各視点に対応する前記視点画像を生成する合成部と、
を備え、前記第１生成部は、互いに異なる視点に提示される合成画像の生成に用いる前記第1非拡散反射成分の信号値を、それぞれ異なる方法で変更する画像処理装置。
【請求項２】
前記処理対象画像の奥行きを示す奥行き情報に基づいて、前記処理対象画像と視差のある画像の前記第１拡散反射成分及び前記第１非拡散反射成分を生成する第２生成部をさらに備え、
前記第１生成部は、前記処理画像に対応する前記第１非拡散反射成分の信号値と、前記処理対象画像と視差のある画像に対応する前記第１非拡散反射成分の信号値とを、異なる方法でそれぞれ変更する請求項１記載の画像処理装置。
【請求項３】
前記奥行き情報を前記処理対象画像の前記第１拡散反射成分から推定する第１推定部をさらに備える請求項２記載の画像処理装置。
【請求項４】
前記第１生成部は、互いに視差のある複数の処理対象画像に対応する前記第1非拡散反射成分の信号値を、それぞれ異なる方法で変更する請求項１記載の画像処理装置。
【請求項５】
前記第１生成部は、複数の処理対象画像から得られた前記第１非拡散反射成分の間の変位を推定する第２推定部をさらに備え、
前記変位に従って、前記非拡散反射成分の形状や輝度値を変更する第２生成部をさらに備える、請求項２〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記複数の視点画像は、前記処理対象画像を含む請求項１記載の画像処理装置。
【請求項７】
前記合成部は、同じ前記第１拡散反射成分に対して、それぞれ異なる方法で信号値を変更された複数の前記第1非拡散反射成分を合成することで、複数の視点画像を生成する請求項１記載の画像処理装置。
【請求項８】
前記第１生成部は、互いに異なる視点に提示される合成画像の生成に用いる前記第1非拡散反射成分の信号値を、それぞれ異なるガンマ値でガンマ変換する請求項１記載の画像処理装置。
【請求項９】
前記第１生成部は、前記第１拡散反射成分の信号値が特定の基準よりも大きい領域を求め、前記領域の大きさまたは位置の少なくとも一方を変更する請求項１記載の画像処理装置。
【請求項１０】
少なくとも１枚の処理対象画像から、複数の視点画像を生成する画像処理方法であって、
前記処理対象画像の各画素の画素値から、拡散反射成分を分離した第１拡散反射成分と、前記第１拡散反射成分以外の成分を分離した第１非拡散反射成分とを分離すること、
各画素の前記第１非拡散反射成分の信号値を変更した第２非拡散反射成分を生成すること、
前記第１拡散反射成分と前記第２非拡散反射成分を合成して、各視点に対応する前記視点画像を生成すること、
を有し、互いに異なる視点に提示される合成画像の生成に用いる前記第1非拡散反射成分の信号値を、それぞれ異なる方法で変更する画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本実施形態は、少なくとも１枚の処理対象画像から、複数の視点画像を生成する画像処理装置、及びその方法に関する。
【背景技術】
【０００２】
人間は、左右の眼に入射する反射光の強度差や反射する光線方向の微妙な差から、金属の輝きや水面の滑らかさなどを知覚していることが知られている。上記の性質を利用して、画像内の鏡面反射している領域を検出し、右眼用画像および左眼用画像の間で、鏡面反射している領域の位置および大きさを変更する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−８５８６８号
【非特許文献】
【０００４】
【非特許文献１】C．W．Tyler， "Binocular Vision"， Duane's Foundations in Clinical Ophthalmology．
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記従来技術では、鏡面反射していると検出された領域の位置、大きさを変更するため、生成後の画像に歪みや欠けなどが生じる場合があった。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本実施形態の画像処理装置は、少なくとも１枚の処理対象画像から、複数の視点画像を生成する画像処理装置であって、前記処理対象画像の各画素の画素値から、拡散反射成分を分離した第１拡散反射成分と、前記第１拡散反射成分以外の成分を分離した第１非拡散反射成分とを分離する分離部と、前記第１非拡散反射成分の各画素の信号値を変更した第２非拡散反射成分を生成する第１生成部と、前記第１拡散反射成分と前記第２非拡散反射成分を合成して、各視点に対応する前記視点画像を生成する合成部と、を備える。前記第１生成部は、互いに異なる視点に提示される合成画像の生成に用いる前記第1非拡散反射成分の信号値を、それぞれ異なる方法で変更する。
【発明の効果】
【０００７】
画像の歪みや欠けなどを生じず、画像の光沢感を制御することができる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態の画像処理装置を示す図。
【図２】第１の実施形態のフローチャート。
【図３】第２の実施形態の画像処理装置を示す図。
【図４】第２の実施形態のフローチャート。
【図５】視差ベクトルを推定する方法を説明する図。
【図６】第３の実施形態の画像処理装置を示す図。
【図７】第３の実施形態のフローチャート。
【図８】第３の実施形態の動作全体の概要図。
【図９】第３の実施形態における視点位置と画像の関係を説明する図。
【図１０】第３の実施形態における、視点間の光沢の変化量の推定・抽出する方法を説明する図。
【図１１】第３の実施形態における、抽出した変化量を用いて多視点画像を生成する方法を説明する図。
【発明を実施するための形態】
【０００９】
以下、図面を参照しながら本発明の実施形態の画像処理装置について詳細に説明する。ここで、互いに同じ部分には共通の符号を付して、重複説明は省略する。
【００１０】
(第１の実施形態)  
本実施形態の画像処理装置は、処理対象の入力画像から、各画素値の拡散反射成分に起因する画素値を抽出した画像（以下、拡散反射成分と記載）と、拡散反射成分以外の画像成分に起因する画素値を抽出した画像（以下、非拡散画像成分と記載）に分離する。拡散画像成分とは、物体の色など視点位置に依存して色や輝度などが変化しない画像成分を示す。また、非拡散画像成分とは、前記第１拡散反射成分以外の画像成分を示す。例えば、光沢や屈折光など視点位置に依存して色や輝度が変化する画像成分を示す。
【００１１】
入力画像は、各画素に対する画素値を含む。画素値は、例えば国際電機連合（以下、ＩＴＵと記載）の規格に基づく輝度信号、色信号を有する画像であり、三原色であるＲＧＢを成分とする方式と、ＲＧＢから輝度信号および色差信号に変換した方式のどちらであっても構わない。本実施形態では一例として、ＩＴＵ−ＲＢＴ．６０１規格における三原色に対応したＲＧＢを成分とする方式に関して説明する。そのため、入力画像における各画素の画素値は、赤色成分の輝度を有するＲチャンネルと、緑色成分の輝度を有するＧチャンネルと、青色成分の輝度を有するＢチャンネルとで表現される。それぞれ、Ｒチャンネルが０〜ｒ０、Ｇチャンネルが０〜ｇ０、Ｂチャンネルが０〜ｂ０の離散化された画素値を有する。なお、入力画像は静止画像であっても動画像であっても構わない。
【００１２】
なお、本実施形態では、１枚の入力画像から２つの視点（右眼、左眼）に対応する出力画像を生成する方法について例示するが、これに限られるものではない。例えば、出力画像は３つ以上の視点に対応する画像であっても構わない。裸眼で立体視をさせる等の用途の場合に好適である。また、入力画像が複数枚の画像であり、夫々が異なる視点に対応し互いに視差のある画像であっても構わない。その場合、入力画像毎に拡散反射成分と非拡散画像成分に分離を行う。また、出力画像のうち一つの画像として、入力画像をそのまま利用する構成であっても構わない。
【００１３】
図１は、本実施形態の画像処理装置を示す図である。画像処理装置は分離部１００と、生成部２００と、合成部３００を備える。
【００１４】
分離部１００は、入力画像の各画素の画素値から、拡散反射成分を分離した拡散反射成分と、非拡散反射成分とを分離する
生成部２００は、非拡散反射成分の各画素の信号値を変更した右眼用非拡散反射成分と左眼用拡散反射成分とを生成する。右眼に提示される右眼用非拡散反射成分と、左眼に提示される左眼用拡散反射成分とで異なる方法で非拡散反射成分の画素値を変更する。
【００１５】
合成部３００は、拡散反射成分と、右眼用非拡散反射成分及び左眼用拡散反射成分と、をそれぞれ合成して、各視点に対応する出力画像を生成する。拡散反射成分に対して、右眼用非拡散反射成分と左眼用拡散反射成分を加算することで、右眼と左眼にそれぞれ提示する画像を生成する。
【００１６】
次に本実施形態の画像生成動作を説明する。  
図２は本実施形態の動作をあらわすフローチャートである。  
分離部１００は、入力画像Iを拡散反射成分と非拡散反射成分に分離する（Ｓ１１）。本実施形態では、２色反射モデルに基づいて拡散反射成分と鏡面反射成分に分離する手法を用いる。すなわち、非拡散反射成分を鏡面反射成分とみなすが、本実施形態はこれに限るものではない。例えば、屈折光や表面化散乱光などを考慮できるモデルを用いて分離を行ってもよい。物体（被写体）からの反射光は２つの物理的に異なった経路で反射する。一つは物体の表面の境界で反射し、この反射は鏡面反射と呼ばれる。もう一方は、物体表面の凹凸に入射した光の散乱によるものであり、この反射を拡散反射と呼ぶ。拡散反射は、光源の色とは異なったオブジェクトの表面に固有の色とされる。入力画像Iに写っている物体の反射特性が２色性反射モデルに従うことを仮定すると、Iは式（１）であらわすことができる。
【数１】
2014074969.tif 000003
【００１７】
ここで、Idiffは拡散反射成分、Ispecは鏡面反射成分をあらわす。このとき、式（１）の画像の各ピクセルのRGB値ＣＲ、ＣＧ、ＣＢは式（２）で表すことができる。
【数２】
2014074969.tif 000004
【００１８】
ここで、ＤＲ、ＤＧ、ＤＢは拡散反射特性のＲＧＢ値を、ＳＲ、ＳＧ、ＳＢは鏡面反射特性のＲＧＢ値を、αは拡散反射係数を、βは鏡面反射係数を表す。入力画像Iより、IdiffとIspecを算出するには、各ピクセルについて、αとＤＲ、ＤＧ、ＤＢ、βとＳＲ、ＳＧ、ＳＢをそれぞれ算出すればよい。以下にその算出方法の一例を説明する。
【００１９】
まず、ＳＲ、ＳＧ、ＳＢは色比率が１：１：１であると仮定して値を決定する。すなわち、照明色が白であると仮定する。次に、ＤＲ、ＤＧ、ＤＢは、周辺のピクセルの値の中で、色相が近い集合から算出する。さらに、推定したＤＲ、ＤＧ、ＤＢを用いて、式（２）の方程式を解くことでαとβを算出する。以上により、IdiffとIspecを算出するために必要な値を計算し、画像を分離する。
【００２０】
生成部２００は、Ispecを元に、右眼用と左目用の非拡散反射成分I’specLとI’specRを生成する（Ｓ１２）。このとき、I’specLとI’specRの間で差を設ける。例えば、次式に示すように、Ispecに対して異なるガンマ値でガンマ変換した画像をI’specLとI’specRとすることで、I’specLとI’specRの間に輝度の差を設ける。
【数３】
2014074969.tif 000005
【００２１】
I’specLと、I’specRの間で差を設ける手法はこれに限らず、例えば、拡大縮小のパラメータを変更することで、I’specLとI’specRの間に大きさの差を設けてもよいし、モーフィングによる非線形な変形を用いて形状を変化させてもよい。そのやり方として、具体的には以下の方法を用いてもよい。鏡面反射成分を光沢の領域ごとに分割し、I’specLとI’specRの間で大きさに差を設けてもよい。鏡面反射成分を光沢の領域を分割するには、ある閾値で鏡面反射成分を２値化し、ラベリング処理などを適用すればよい。その他、既存の領域分割手法を用いても良い。分割された光沢領域の重心を中心として、I’specLとI’specRにおいて、それぞれ異なる拡大率で拡大または縮小することで、出力画像の左右の光沢の大きさに差を設けることができる。あるいは、モーフィングによりI’specLでは光沢の一部分を引き伸ばし、I’specLでは逆に一部分を縮めるような変形をさせてもよい。
【００２２】
合成部３００は、拡散反射成分IdiffとI’specL、I’specRを合成し、右眼用画像I’Lと左目用画像I’Rを生成する（Ｓ１３）。本実施形態では２色性反射モデルを仮定し、式（４）にしたがって出力画像を生成する。
【数４】
2014074969.tif 000006
【００２３】
従来技術では、非拡散反射成分（鏡面反射成分）と、拡散反射成分とを区別せずに、鏡面反射の領域の位置および大きさを変更する構成となっていた。そのため、光沢の位置や大きさの変更時に拡散反射成分にも影響が及び、生成後の画像に歪みや欠けなどが生じる場合があった。
【００２４】
本実施形態によれば、視点に応じて見えが変化する成分を分離して信号値を変更し、その後合成を行う。そのため、非拡散反射成分へ行った変更が拡散反射成分を劣化させることなく、輝きなどの質感を向上させた画像を生成することができる。 
(第２の実施形態)  
本実施形態は、入力画像から、相互に視差のある少なくとも２枚の立体視用の出力画像を生成する装置に関する。  
図３は、本実施形態の画像処理装置を示す図である。本実施形態の画像処理装置は、分離部１００と、生成部２００と、合成部３００と、生成部４００を備える。  
生成部４００は、画像の奥行き情報に応じて視差画像を生成する。
【００２５】
次に本実施形態の画像生成動作を説明する。  
図４は本実施形態の画像処理装置のフローチャートである。以下の説明では、入力画像が１枚であり、奥行き情報が入力される場合を例に説明する。また、入力画像の拡散反射成分と、非拡散反射成分を分離し、夫々を奥行き情報に従って視差を与える構成について説明する。しかしながら本実施形態は上記に限られるものではない。入力される情報は、視差ベクトルであっても構わない。また、奥行き情報に従って入力画像に視差を与えた画像を生成した後に、視差を与えた画像の拡散反射成分と、非拡散反射成分を分離する構成であっても構わない。また、奥行き情報は入力されず、奥行き情報を推定する構成（図示せず）を有する構成であっても構わない。その際に、拡散反射成分に基づいて奥行き情報を推定すると、推定精度が高まる。
【００２６】
なお、以下の説明では入力された奥行き情報をIdepthとあらわす。Idepthは入力画像Ｉの各ピクセルに対して奥行きの情報を保持している。ここで、各ピクセルに対応した奥行きをｚｆとあらわす。ｚｆがとりうる範囲を０≦ｚｆ≦Ｚ（例えばＺ＝１．０）とし、０が手前、Ｚが奥をあらわしている。
【００２７】
生成部４００は、入力された奥行き情報Idepthと、分離部１００により求められた拡散反射成分Idiffとに基づいて、視差画像を生成する（Ｓ２２）。Idepthより視差ベクトルｄを算出し、視差ベクトルｄに基づいて拡散反射成分Idiffの各画素を移動させる。以下、視差画像の生成方法の一例について詳述する。
【００２８】
図５は、奥行き情報から視差ベクトルを算出する方法を説明する図である。ここで、ｂ［ｃｍ］は眼間距離、ｚｓ［ｃｍ］は画面までの距離、ｚ０［ｃｍ］は画面からの最大の飛び出し距離、Ｌｚ［ｃｍ］は実空間での奥行きの距離を示す。ｂ,ｚｓ,ｚ０,Ｌｚのパラメータは提供したい立体視に基づいて任意に決定できる。このとき、視差ベクトルｄは式（５）に従い算出することができる。
【数５】
2014074969.tif 000007
【００２９】
視差画像は、拡散反射成分の画素値を視差ベクトルｄに従って移動させることにより生成する。移動により生成した右眼用、左眼用の画像をそれぞれ、I’diffL, I’diffRとあらわす。視差画像生成の際には、画素値が割り当てられない領域は、周辺の画素値を用いて補間する。
【００３０】
生成部２００は、第１の本実施形態と同様に、鏡面反射成分Ispecを元に、右眼と左目で値の異なる非拡散反射成分I’specLと、I’specRを生成する。その際、前記奥行き情報Idepthを参照して、I’specLと、I’specRを生成する（Ｓ２２）。例えば、式（３）で示したように、輝度を変化させた後、生成部４００の動作と同様にI’specLと、I’specR、に視差をつけることで、I’specLと、I’specRの間で輝度の差を設けつつ、立体感も再現することができる。
【００３１】
合成部３００は、拡散反射成分I’diffL, I’diffRと鏡面反射成分I’specL、I’specRを合成し、右眼用画像I’Lと左目用画像I’Rを生成する（Ｓ２５）。本実施形態でも２色性反射モデルを仮定し、式（４）と同様に次式に従って画像を合成する。
【数６】
2014074969.tif 000008
【００３２】
本実施形態によれば、入力画像と奥行き情報から、輝きなどの質感を向上させた、立体視可能な画像を生成することができる。
【００３３】
（第３の実施形態）
本実施形態は、入力画像から、入力画像と異なる視点に対応する出力画像を生成する画像処理装置に関する。本実施形態では、２つの視点に対応する複数の入力画像から３つ以上の視点数に対応する出力画像を生成する例について説明する。なお、本実施形態は上記構成に限られず、入力される画像は２枚以上でも構わない。
【００３４】
図６は本実施形態の画像処理装置を示す図である。  
本実施形態の画像処理装置は、複数の入力画像の非拡散反射成分の間の変化を推定・抽出する推定部２０１と、推定部２０１により推定した非拡散反射成分の変化を用いて、任意視点の非拡散反射成分を生成する生成部２０２と、入力された少なくとも２枚の画像から奥行きを推定する推定部５００をさらに備える。
【００３５】
図７に本実施形態のフローチャートを示す。また図８に、入力画像がステレオ画像の場合の本実施形態の模式図を示す。入力されたステレオ画像の左眼用画像をＩＬ、右眼用画像をＩＲとあらわす。分離部１００により分離されたステレオ画像の拡散反射成分をそれぞれILdiff、IRdiffとあらわす。また、鏡面反射成分をILspec、IRspecとあらわす。
【００３６】
生成部２００はILspecとIRspecの間での画像の変化量を推定・抽出し、その変化量を基に任意の視点位置における鏡面反射成分画像を生成する。ここでは、視点位置は図５に示すように、等間隔かつ水平に並んだ点として説明するが、これに限られるものではない。視点位置の数をＮであらわし、視点位置をｃ０，・・・，ｃＮ−１とあらわす。また対応する画像をＩ’0，・・・，Ｉ’N-1とあらわす。
【００３７】
推定部５００は、ＩＬとＩＲより奥行き情報Idepthを推定する（Ｓ３２）。本実施形態では、ステレオマッチング法により奥行き情報を推定するが、奥行きの推定方法はこれに限らない。
【００３８】
推定部２０１ではILspecとIRspec間の変化を推定し、I’spec0，・・・，I’specN-1を生成するために必要な変化量を抽出する（Ｓ３３）。ここで、変化量をＦとあらわす。本実施形態では、ILspecとIRspecの各画素間で対応関係を推定し、その対応ベクトルをＦとみなして抽出することができる。各画素間での対応関係を用いてＦを抽出する方法の一例を、以下に説明する。
【００３９】
図９に各画素間での対応関係を用いてＦを抽出する方法の一例を示す。本方法では、入力された二枚の画像間での対応関係を１）カメラ座標系（ステレオ画像撮影時の視点位置）による画像の差、２）視点位置に依存する光の反射の違いによる画像の差、の２点に分けて考える。
【００４０】
まず、右眼用画像ＩＲに対して、視点位置を左眼用画像ＩＬに揃えるようなカメラ座標変換をかけた画像Ｄ(ＩＲ)を考える。座標変換Ｄは奥行き情報より得られる視差ベクトルを用いて計算する。この時、図１０に示すように、ＩＬとD(IR)では、拡散反射成分は一致するが、鏡面反射成分は一致しない。このように視点位置を揃えても残る画像の差を変化量Ｆとして抽出する。
【００４１】
上記視点位置を揃えても残る画像の差は、鏡面反射成分にのみ依存する。そこで、ＩRspecに対してカメラ座標系をＩLspecに揃えるように変形した画像Ｄ（ＩＲspec）を生成し、次にＩＬspecとD(ＩRspec)を用いて、変化量Ｆを推定する。以下、変化量Ｆの推定方法について説明する。
【００４２】
ＩＬspecとD(ＩRspec)の画素値の差分をＦとすることで、視点ごとの光沢の輝度の変化量を推定することができる。
【００４３】
また、ＩＬspecとD(ＩRspec)の画素間の対応関係のベクトル場をＦとすることで、視点ごとの光沢の形状変化量を推定することができる。二枚の画像間の対応関係の推定には，オプティカルフローを用いる。対応関係の推定方法はオプティカルフローに限らず既存の如何なる手法を用いてもよい。
【００４４】
生成部２０２では、Ｉ’0，・・・，Ｉ’N-1の鏡面反射成分Ｉ’spec0，・・・，Ｉ’specN-1を生成する（Ｓ３４）。生成部２０２では、まず、変化量Ｆを用いて画像を変形する。光沢の輝度の変化量を用いる場合は、次式に示すように、変化量Ｆの定数倍を加算する。  
I’specn=ＩＬspec +a*Ｆ  
ただし，I’specnが0以下となる画素は0とする。ここで、aは定数倍の係数である。例えば、視点位置と中心位置との距離にしたがって、aの絶対値を大きくすることで、視点による光の強さの変化を表現することができる。また、光沢の形状変化量を用いる場合は、図１１上段に示すように、ＩLspecの各画素値を、Ｆのベクトル場に応じて移動することで鏡面反射成分が拡大・縮小・変形する画像を生成する。この時、視点位置と中心位置との距離にしたがって、移動する量を定数倍することで徐々に大きくなる鏡面反射成分を表現する。上記の輝度の差による方法と形状の差による方法は、組み合わせて使用しても良い。
【００４５】
Ｆの定数倍によってI’spec0，・・・，I’specN-1を生成する方法は一例であり、Ｆに関して画像を非線形に外挿して生成してもよい。
【００４６】
次に、生成部２０２では、奥行き情報を参照して、I’spec0，・・・，I’specN-1に対して視差を与える。第２の本実施形態における生成部２００の動作と同様、奥行き情報から視差ベクトルを算出し、画素値を移動させることで視差を与えることができる。
【００４７】
生成部４００は、第２の本実施形態同様に画像の奥行き情報に応じて、拡散反射成分ILdiffより視差画像I’diff0，・・・，I’diffN-1を生成する。  
合成部３００は、拡散反射成分I’diff0，・・・，I’diffN-1と鏡面反射成分I’spec0，・・・，I’specN-1を合成しI’0，・・・，I’N-1を生成する（Ｓ３６）。本実施形態でも２色性反射モデルを仮定し、式（５）と同様に次式に従って画像を合成する。  
本実施形態によれば、ステレオ撮影された画像から、多視点の立体映像を生成し、かつ輝きなど質感を向上させることができる。２色性反射モデルを仮定した場合、視点位置の変化に従い鏡面反射成分が変化しても、画素値は拡散反射成分の値以下にはならない。しかし、拡散反射成分を推定していない場合は、拡散反射成分の画素値よりも低くなったかどうかを判別できないため、物理的に正しくない変化を許してしまう可能性がある。一方、本実施例では、各画素の拡散反射色と鏡面反射色推定・分離しているため上記のような破綻が起きない。また、第１、第２の本実施形態同様、非拡散反射成分への変更が拡散反射成分を劣化させることがない。さらに、右眼と左眼用の間で非拡散反射成分に差を設ける際の変化量を画像より推定することができるため、より自然な質感をもった画像を生成することができる。
【００４８】
これまで、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００４９】
分離部１００、生成部２００、推定部２０１、生成部２０２、合成部３００、生成部４００、推定部５００
【図１】
2014074969.tif 000009
【図２】
2014074969.tif 000010
【図３】
2014074969.tif 000011
【図４】
2014074969.tif 000012
【図５】
2014074969.tif 000013
【図６】
2014074969.tif 000014
【図７】
2014074969.tif 000015
【図８】
2014074969.tif 000016
【図９】
2014074969.tif 000017
【図１０】
2014074969.tif 000018
【図１１】
2014074969.tif 000019
【手続補正書】
【提出日】平成25年7月9日(2013.7.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
少なくとも１枚の処理対象画像から、複数の視点画像を生成する画像処理装置であって、
前記処理対象画像の各画素の画素値から、拡散反射成分を分離した第１拡散反射成分と、前記第１拡散反射成分以外の成分を分離した第１非拡散反射成分とを分離する分離部と、
互いに異なる視点に対応する複数の前記第１非拡散反射成分の間の、各画素の変化量を推定する第１推定部と、
各画素の前記変化量に応じて、前記第１非拡散反射成分の形状または輝度値の少なくとも一方を画素毎に変更した第２非拡散反射成分を生成する第１生成部と、
前記第１拡散反射成分と前記第２非拡散反射成分を合成して、各視点に対応する前記視点画像を生成する合成部と、
を備える画像処理装置。
【請求項２】
前記第１推定部は、互いに異なる視点に対応する複数の前記第１非拡散反射成分を、同じ視点の座標系に変換し、変換後の前記第１非拡散反射成分間の各画素の対応関係から前記変位量を推定する請求項１記載の画像処理装置。
【請求項３】
前記分離部は、互いに異なる視点に対応する複数の前記処理対象画像の画素値から、複数の第１拡散反射成分を取得し、
前記第１推定部は、前記複数の拡散反射成分の各画素の間の対応関係から前記変化量を推定することを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記奥行き情報を前記処理対象画像の前記第１拡散反射成分から推定する第２推定部をさらに備える請求項１記載の画像処理装置。
【請求項５】
前記複数の視点画像は、前記処理対象画像を含む請求項１記載の画像処理装置。
【請求項６】
前記合成部は、同じ前記第１拡散反射成分に対して各画素の前記変化量に応じて、前記第１非拡散反射成分の形状または輝度値の少なくとも一方を画素毎に変更された複数の前記第1非拡散反射成分を合成することで、複数の視点画像を生成する請求項１記載の画像処理装置。
【請求項７】
前記第１生成部は、互いに異なる視点に提示される合成画像の生成に用いる前記第1非拡散反射成分の信号値を、それぞれ異なるガンマ値でガンマ変換する請求項１記載の画像処理装置。
【請求項８】
前記第１生成部は、前記第１拡散反射成分の信号値が特定の基準よりも大きい領域を求め、前記領域の大きさまたは位置の少なくとも一方を変更する請求項１記載の画像処理装置。
【請求項９】
少なくとも１枚の処理対象画像から、複数の視点画像を生成する画像処理方法であって、
分離部が、前記処理対象画像の各画素の画素値から、拡散反射成分を分離した第１拡散反射成分と、前記第１拡散反射成分以外の成分を分離した第１非拡散反射成分とを分離すること、
第１推定部が互いに異なる視点に対応する複数の前記第１非拡散反射成分の各画素の間の変化量を推定すること、
第１生成部が各画素の前記変化量に応じて、前記第１非拡散反射成分の形状または輝度値の少なくとも一方を画素毎に変更した第２非拡散反射成分を生成すること、
合成部が前記第１拡散反射成分と前記第２非拡散反射成分を合成して、各視点に対応する前記視点画像を生成すること、
を備える画像処理方法。