(57)【要約】【課題】適切な光線を付加した画像を生成することが可能な画像処理装置を提供する。【解決手段】本発明に係る画像処理装置は、画像を取得する取得手段と、画像から画像を撮像した際の光源の位置を推定する推定手段と、画像から所定の輝度値より高い輝度値を有する領域を高輝度領域として検出する検出手段と、推定手段により推定された光源の位置と検出手段により検出された高輝度領域の位置に応じて、前記光源からの光線を付加する領域を設定する設定手段とを有する。【選択図】図３
2016091376.tif 000002
【特許請求の範囲】
【請求項１】
画像を取得する取得手段と、
前記画像から前記画像を撮像した際の光源の位置を推定する推定手段と、
前記画像から所定の輝度値より高い輝度値を有する領域を高輝度領域として検出する検出手段と、
前記推定手段により推定された前記光源の位置と前記検出手段により検出された前記高輝度領域の位置に応じて、前記光源からの光線を付加する領域を設定する設定手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記検出手段は、互いに異なる第１の高輝度領域と第２の高輝度領域とを検出し、
前記設定手段は、前記光源の位置、前記第１の高輝度領域の位置および前記第２の高輝度領域の位置が略直線上に存在する場合に、前記第１の高輝度領域および前記第２の高輝度領域に対応した前記光線を付加する領域を設定し、前記光源の位置、前記第１の高輝度領域の位置および前記第２の高輝度領域の位置が略直線上に存在しない場合は、前記光線を付加する領域を設定しない、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記設定手段は、前記略直線上の一部を含む領域を、前記光線を付加する領域として設定する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記設定手段は、前記第１の高輝度領域および前記第２の高輝度領域のそれぞれと外接する互いに異なる２つの接線と、前記第１の高輝度領域および前記第２の高輝度領域とに囲まれる領域を、前記光線を付加する領域として設定する、
ことを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記検出手段は、第１の高輝度領域を含む１つ以上の高輝度領域を検出し、
前記設定手段は、前記光源の位置と前記第１の高輝度領域の位置に基づいて定められる略直線上に他の高輝度領域が存在しない場合に、前記第１の高輝度領域に対応した前記光線を付加する領域を設定し、前記光源の位置と前記第１の高輝度領域の位置に基づいて定められる略直線上に他の高輝度領域が存在する場合は前記光線を付加する領域を設定しない、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記設定手段は、前記略直線上の一部を含む領域であって、前記第１の高輝度領域の位置から前記光源の位置と反対方向の領域を、前記光線を付加する領域として設定する、
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記設定手段は、前記第１の高輝度領域の位置から前記光源の位置と反対方向に伸ばした、前記第１の高輝度領域に外接する互いに異なる２つの接線と、前記第１の高輝度領域および前記画像の端とに囲まれる領域を前記光線を付加する領域として設定する、
ことを特徴とする請求項５または６に記載の画像処理装置。
【請求項８】
前記画像に対応する、撮像装置からの距離情報を取得する距離情報取得手段をさらに有し、
前記設定手段は、前記光源の位置および前記高輝度領域の位置により前記光線を付加する領域を設定できる場合であっても、前記距離情報取得手段により取得された前記距離情報を用いることにより、前記画像に含まれる被写体の位置と前記略直線上の一部の位置とに応じて、前記光線を付加する領域を設定しない、
ことを特徴とする請求項２から７のいずれか１項に記載の画像処理装置。
【請求項９】
前記設定手段は、前記距離情報取得手段により取得された前記距離情報を用いて、３次元空間上で光線を付加する位置を設定する、
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記設定手段により設定された前記領域に、前記光線を付加する付加手段をさらに有し、
前記付加手段は、前記領域における画素値に所定の画素値を前記光線として加算する、
ことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記付加手段は、前記画像から前記光源の光源色を算出して、前記光源色を用いて得られる前記所定の画素値を前記光線として加算する、
ことを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記付加手段は、前記設定手段により設定された前記領域において、前記光源の位置からの距離に応じて前記所定の画素値を変化させる、
ことを特徴とする請求項１０または１１に記載の画像処理装置。
【請求項１３】
前記画像を撮像する撮像手段と、
請求項１から１２のいずれか１項に記載の画像処理装置と、
を有することを特徴とする撮像装置。
【請求項１４】
取得手段が、画像を取得する取得工程と、
推定手段が、前記画像から前記画像を撮像した際の光源の位置を推定する推定工程と、
検出手段が、前記画像から所定の輝度値より高い輝度値を有する領域を高輝度領域として検出する検出工程と、
設定手段が、前記推定手段により推定された前記光源の位置と前記検出手段により検出された前記高輝度領域の位置に応じて、前記光源からの光線を付加する領域を設定する設定工程と、
を有することを特徴とする画像処理装置の制御方法。
【請求項１５】
コンピュータを、請求項１から１２のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１６】
コンピュータを請求項１から１２のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラムを記録した、コンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置およびその制御方法、プログラムならびに記録媒体に関し、特に画像に所定のエフェクトを付加する技術に関する。
【背景技術】
【０００２】
従来、デジタルカメラ等で撮影する際に物理的なフィルタを撮影光学系の前面に装着すれば、例えば特定の色彩を強調したり画像の特定の部分に流れの効果を出すなど通常の撮影では得られないエフェクトを付加した画像を得ることができる。しかし、フィルタの付け替えが必要であり、フィルタを使用した状態では通常の撮影は行えないという制約がある。このような課題に対して、特許文献１は、画像処理によってエフェクトを付加する技術を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−９９９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の従来技術によれば、輝点から光線を伸ばした効果が得られるクロスフィルタと呼ばれる物理的なフィルタを使用せずに、画像処理によって当該フィルタを使用して撮影した場合と同様のエフェクトを付加した画像を生成することができる。
【０００５】
しかしながら、当該従来技術は十字や放射状などの予め用意されたパターンのエフェクトを、検出した輝点に付加する技術であるため、付加されるエフェクトによって得られる光線の位置や伸びる方向は固定的なものになる。このため、従来の画像処理によりエフェクトを付加する技術では、雲の隙間から差し込む薄明光線や窓から差し込む光のように、被写体および画角に依存して光線の位置や伸びる方向が一定とならないエフェクトを付加する場合、光の差し込む方向が不自然になる場合がある。
【０００６】
本発明は、上述の従来技術の問題点に鑑みてなされたものであり、適切な光線を付加した画像を生成することが可能な画像処理装置およびその制御方法、プログラムならびに記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００７】
この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、画像を取得する取得手段と、画像から画像を撮像した際の光源の位置を推定する推定手段と、画像から所定の輝度値より高い輝度値を有する領域を高輝度領域として検出する検出手段と、推定手段により推定された光源の位置と検出手段により検出された高輝度領域の位置に応じて、光源の光線を付加する領域を設定する設定手段とを有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、適切な光線を付加した画像を生成することが可能になる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る撮像装置の一例としてのデジタルカメラの機能構成例を示すブロック図
【図２】実施形態１に係る画像処理部１０５の構成を示すブロック図
【図３】実施形態１に係る光線付加処理の一連の動作を示すフローチャート
【図４】実施形態１に係る（ａ）推定した光源位置と検出した高輝度領域を示す図、（ｂ）高輝度領域間が光線を付加する対象であるか判定する処理を説明する図、（ｃ）光線を付加する領域を説明する図
【図５】実施形態２および実施形態３に係る画像処理部５０１の構成を示すブロック図
【図６】実施形態２に係る光線付加処理の一連の動作を示すフローチャート
【図７】実施形態３における光線付加処理の一連の動作を示すフローチャート
【発明を実施するための形態】
【００１０】
（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では画像処理装置の一例として、撮像した画像にエフェクト（光の効果）を付加することが可能なデジタルカメラに本発明を適用した例を説明する。しかし、本発明でいう画像処理装置は、デジタルカメラに限らず、撮影を行わずに、取得した画像に対してエフェクトを付加することが可能な任意の電子機器にも適用可能である。これらの電子機器には、例えば携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータ、時計型や眼鏡型の情報端末などが含まれてよい。
【００１１】
（デジタルカメラ１００の構成）
図１は、本実施形態の画像処理装置の一例としてデジタルカメラ１００の機能構成例を示すブロック図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。
【００１２】
撮影光学系１０１は、ズームレンズ、フォーカスレンズを含むレンズ群を含み、被写体の光学像を形成する。制御部５０は、ズームおよびフォーカスの各状態を取得し制御することができる。シャッター１０２は絞り機能を備え、制御部５０の指示に応じた絞りおよび時間により、撮像部１０３の不図示の撮像素子を露光する。
【００１３】
撮像部１０３は、光電変換素子を有する画素が複数、２次元的に配列された構成を有する撮像素子を含む。撮像素子は、撮影光学系１０１およびシャッター１０２を介して結像された被写体光学像を各画素で光電変換してアナログ信号を出力する。撮像素子は、ＣＣＤ（Charge-Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子であってよい。撮像素子は例えば原色ベイヤー配列のカラーフィルタを有し、各画素には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の何れかのカラーフィルタが設けられている。
【００１４】
Ａ／Ｄ変換部１０４は、撮像部から入力したアナログ信号をＡ／Ｄ変換回路によってアナログ・デジタル変換して、画素単位のデジタル信号（画像データ）を画像処理部１０５に出力する。
【００１５】
画像処理部１０５は、Ａ／Ｄ変換部１０４あるいはメモリ制御部１０７から画像データを取得する。そして、当該画像データに対し、ホワイトバランスなどの色変換処理、γ処理など各種画像処理を行い、ベイヤーＲＧＢデータあるいは輝度・色差信号（Ｙ、Ｒ−Ｙ、Ｂ−Ｙ）の画像データを出力する。画像処理部１０５から出力された画像データは、メモリ制御部１０７を介して画像メモリ１０６に書き込まれる。また、画像処理部１０５は、取得した画像データに対して所定の演算処理を行って演算結果を制御部５０に出力する。制御部５０は入力した演算結果に基づいて露光制御、測距制御を行い、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理やＡＥ（自動露出）処理などが実現される。画像処理部１０５は、さらに取得した画像データを解析して光源を推定し、推定した光源に基づきＡＷＢ（オートホワイトバランス）処理を行う。さらに、後述する光線付加処理を行って、画像内の光をより印象的にするための光線のエフェクトを付加する（単に光線を付加するともいう）。
【００１６】
画像メモリ１０６は、半導体メモリ等から構成される記憶媒体であり、撮像部１０３から出力された画像データや、表示部１０９に表示するための画像データを格納する。メモリ制御部１０７は画像メモリ１０６を制御して画像データの書き込みおよび読み出しを制御する。
【００１７】
Ｄ／Ａ変換部１０８は、画像メモリ１０６に格納されている画像表示用のデジタルデータをアナログ信号に変換して表示部１０９に供給する。表示部１０９は、例えばＬＣＤ等の表示装置に、Ｄ／Ａ変換部１０８から入力した表示用のアナログ信号を表示する。
【００１８】
コーデック部１１０は、画像メモリ１０６に記録された画像データをＭＰＥＧなどの規格に準拠した圧縮形式で圧縮符号化処理を行う。
【００１９】
記録媒体１１２はメモリカードやハードディスク等で構成される脱着可能な記録媒体である。記録Ｉ／Ｆ１１１は、記録媒体１１２とのインタフェースであり記録媒体１１２における画像データの書き込みや読み出しを制御する。
【００２０】
操作部１２０は、デジタルカメラ１００を操作するためのボタン、ダイヤルあるいはタッチパネル等であり、ユーザによる各種の操作指示を検出すると制御部５０に検出した操作あるいは操作内容を出力する。制御部５０は、操作部１２０から入力した操作等に応じてデジタルカメラ１００の各部を制御する。
【００２１】
電源スイッチ１２１は、デジタルカメラ１００の電源の入切りを制御するためのスイッチである。電源部１２３は、デジタルカメラ１００に電力を供給する電源装置であり、バッテリーあるいは電池を含む。電源制御部１２２は、電源部１２３における電池等の装着の有無、装着された電池等の種類および電池等の残量の検出を行ってその検出結果を制御部５０に出力する。
【００２２】
不揮発性メモリ１２４は、例えばＥＥＰＲＯＭ等を含む電気的に消去・記録が可能な記録媒体であり、撮影された画像データやデジタルカメラ１００の撮影に用いられる各種設定に関する情報等、電源を切った後も保持する必要のある情報を記憶する。システムタイマ１２５は各種制御に用いる時間や内蔵された時計の時間を計測する。
【００２３】
制御部５０は、例えばＣＰＵあるいはＭＰＵであり、不揮発性メモリ１２４に格納されたプログラムをシステムメモリ１２６の作業エリアに展開し、実行することにより、デジタルカメラ１００のシステム全体を制御する。システムメモリ１２６は、制御部５０のデータを一時記憶する揮発性の記憶媒体であり、不揮発性メモリ１２４から読み出されたプログラムのほか、制御部５０の動作用の定数、変数等が展開される。
【００２４】
（画像処理部１０５の構成）
次に、図２を参照して、画像処理部１０５の構成を説明する。画像処理部１０５は、光源位置推定部２０１、高輝度領域検出部２０２、光線付加領域設定部２０３および光線付加部２０４を有し、各部による動作を順に行って後述する光線付加処理の一連の動作を実現する。例えば、窓から差し込む光に対して光線を付加する場合、明るい窓の領域と室内の床上の明るい領域との間が窓から差し込む光の方向であり、この明るい２つの領域間に光線が現れるように光線を付加することが望ましい。このため、画像処理部１０５では、まず、光源位置推定部２０１により取得した画像データにおける光源位置を推定するとともに、高輝度領域検出部２０２により画像内の高輝度領域を算出する。これらの算出結果を用いて光線付加領域設定部２０３により光線を付加する位置（領域ともいう）を設定し、光線付加部２０４により設定した位置に対して光線を付加する。
【００２５】
（実施形態１に係る光線付加処理に係る一連の動作）
さらに、図３を参照して、光線付加処理に係る一連の動作をより詳細に説明する。また、光線を付加する領域を決定する方法を説明するために図４を適宜参照する。
【００２６】
なお、本処理は、例えば操作部１２０の不図示のレリーズボタンを押下することによって撮影が行われて撮像部１０３から出力された画像データを画像処理部１０５が取得した時点から開始される。
【００２７】
Ｓ３０１において光源位置推定部２０１は、取得した画像データに基づいて光源位置を推定する。光源位置を推定する方法は、公知の技術を用いることができるため詳細な説明は省略するが、例えば物体の陰影情報に基づいて光源位置を推定することができる。
【００２８】
Ｓ３０２において高輝度領域検出部２０２は、取得した画像データから高輝度領域を検出する。例えば、高輝度領域検出部２０２は、画像データに含まれる各画素の輝度値が、所定の閾値Ｔ１以上であるかを判定することにより高輝度領域を検出する。閾値Ｔ１は、例えば画像全体の平均輝度値と画像内の画素の最大輝度値との中間値を用いるものとするが、他の方法により算出した閾値であってもよい。高輝度領域検出部２０２は、各画素のうち輝度値がＴ１以上である画素を抽出する。抽出した各画素が隣接する場合は、隣接する画素を同一の領域として扱うことによって高輝度領域を形成させ、画像内で２つ以上の高輝度領域を検出する。図４（ａ）には、例えば３つの高輝度領域が検出された場合の高輝度領域を示している。図４（ａ）において、４０１は推定した光源位置を示しており、４０２〜４０４はそれぞれ３つの異なる高輝度領域を示している。
【００２９】
Ｓ３０３において光線付加領域設定部２０３は、Ｓ３０２で検出された各高輝度領域に対して、それぞれの重心座標を算出する。図４（ｂ）において重心座標４０５〜重心座標４０７は、Ｓ３０２において検出されたそれぞれの高輝度領域に対応する重心座標を示している。
【００３０】
Ｓ３０４において光線付加領域設定部２０３は、Ｓ３０２において検出された各高輝度領域のうちの２つの高輝度領域間が、光線を付加する対象であるかを判定する。具体的には、光線付加領域設定部２０３は、Ｓ３０３で算出した高輝度領域の重心座標の中から２つを選び、選んだ２つの重心座標とＳ３０１で推定した光源位置とが直線上に並ぶ場合に、その２つの高輝度領域間は光線を付加する対象であるとして判定する。即ち、光線を付加する対象となる領域は２つの高輝度領域の間の領域であり、その２つの高輝度領域が撮影した画像の画角内に含まれる場合に光線を付加する対象とする。
【００３１】
より詳細には、まず、光線付加領域設定部２０３は、選択した２つの高輝度領域の重心座標と推定した光源位置とが直線上に並ぶか否かを判定する。薄明光線などの光線は、光源から放射される光の散乱によって生じるため、光線を付加する対象となる領域は光源からの光の放射方向に沿った方向に存在し得る。このため、２つの高輝度領域の重心座標と光源位置とが直線上に並んでいない場合に、当該２つの高輝度領域間に光線を付加してしまうと、光源からの光の放射方向とは異なる方向に光線を付加してしまうこととなり、違和感のある画像が生成されてしまう。そこで、光線付加領域設定部２０３は、２つの高輝度領域の重心座標と光源位置とが直線上に並んでいないと判定した場合は、当該２つの高輝度領域間は光線を付加する対象でないと判定する。
【００３２】
但し、２つの高輝度領域の重心座標と光源位置とが一直線に並ばないが、直線上から多少のずれを持って位置する場合には、光線付加領域設定部２０３は、２つの高輝度領域間を光線を付加する対象と判定する。例えば、図４（ｂ）に示すように、光線付加領域設定部２０３は、高輝度領域４０２および高輝度領域４０３の重心座標４０５および重心座標４０６を通る直線Ｌと、光源位置４０１との距離ｄを算出する。そして、この距離ｄが所定の閾値Ｔ２以下であれば直線上に並んでいると判定して、２つの高輝度領域間を光線を付加する対象領域とする。なお、２つの高輝度領域の重心座標と光源位置とが直線上に並んでいても、２つの重心座標の間に光源位置がある場合には、その２つの高輝度領域間は光線を付加する対象領域としない。
【００３３】
光線付加領域設定部２０３は、２つの高輝度領域間が光線を付加する対象であるか否かの判定を全ての２つの高輝度領域の組に対して行う。光線付加領域設定部２０３は、光線を付加する対象となる高輝度領域があると判定したときは処理をＳ３０５に進め、光線を付加する対象となる高輝度領域がない場合は光線を付加する処理を行わない。
【００３４】
Ｓ３０５において光線付加領域設定部２０３は、各高輝度領域を始点領域または終点領域のいずれかに分類する。光線付加領域設定部２０３は、Ｓ３０４で光線を付加する対象と判定した２つの高輝度領域について、光源位置に近い重心座標を含む高輝度領域を光線を付加する始点領域、光源位置から遠い重心座標を含む高輝度領域を光線を付加する終点領域とする。
【００３５】
Ｓ３０６において光線付加領域設定部２０３は、Ｓ３０５の処理において定めた始点領域と終点領域の間を光線を付加する領域として設定する。即ち、始点領域と終点領域の重心座標を通る直線上の一部を含むような領域を、光線を付加する領域として設定する。より具体的には、光線付加領域設定部２０３は、図４（ｃ）に示すように、始点領域と終点領域にそれぞれ外接する２つの接線４０８および接線４０９を算出する。そして、始点領域、終点領域およびこれらの領域に外接する２つの接線で囲まれる領域を光線を付加する領域として設定する。
【００３６】
Ｓ３０７において光線付加部２０４は、Ｓ３０６において設定した領域に光線を付加する。例えば、光線を付加する領域の各画素のＲＧＢ値を（Ｒｉｎ，Ｇｉｎ，Ｂｉｎ）、付加する光線成分のＲＧＢ値を（Ｒｅｆｆ、Ｇｅｆｆ、Ｂｅｆｆ）とすると、光線を付加した後の各画素のＲＧＢ値（Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔ）は下記のように各ＲＧＢ値を加算したもので表される。
Ｒｏｕｔ  ＝  Ｒｉｎ  ＋  Ｒｅｆｆ
Ｇｏｕｔ  ＝  Ｇｉｎ  ＋  Ｇｅｆｆ
Ｂｏｕｔ  ＝  Ｂｉｎ  ＋  Ｂｅｆｆ
このとき、付加する光線成分のＲＧＢ比率は、公知の光源色推定方法によって算出した光源色のＲＧＢ比率を用いることができるため詳細な算出方法は省略するが、例えば画像内の輝度の高い画素およびその近傍の画素の画素値の差から鏡面反射成分を構成するＲＧＢの比率を算出し、当該比率を光源色として算出すればよい。
【００３７】
また、付加する光線成分の強度（光線成分のＲＧＢ値）は適宜設定することができる。例えば、終点領域とその周辺領域とに着目すると、終点領域と周辺領域とは同じ被写体であるものの、光源からの光が当たっているか否かによって輝度などの画素値に差分が生じている場合が想定できる。そこで、終点領域と周辺領域との輝度の差分を光線成分の強度と捉えて当該強度を設定しても良い。
【００３８】
なお、本実施形態では、Ｓ３０５で定めた始点領域と終点領域の組の間の領域に光線を付加する場合について説明したが、複数の終点領域を１つの終点領域として光線を付加しても良い。例えば、Ｓ３０５の処理により、始点領域と終点領域の組が複数定められている場合であって、これらの組の始点領域が同一の高輝度領域である場合には、これらの複数の終点領域を１つの終点領域として扱ったうえで光線を付加しても良い。
【００３９】
画像処理部１０５は、Ｓ３０７の処理を終えると光線付加処理に係る一連の動作を終了する。
【００４０】
なお、本実施形態では、Ｓ３０７で光線を付加する際に、始点領域から終点領域に向かって強度が一定の光線を付加する例について説明した。しかし、付加する光線の強度についてはこの例に限定されず、例えば、始点領域および終点領域に輝度の差分がある場合には、始点領域から終点領域への輝度の変化量に応じた光線の強度を設定してもよい。このようにすれば組となる高輝度領域間に輝度差がある場合により自然な光線を付加することができる。
【００４１】
以上説明したように本実施形態では、推定した光源の位置と画像中の高輝度領域の位置に応じて光線を付加する領域を設定するようにした。より具体的には、光源の位置と異なる２つの高輝度領域が所定の関係、即ち２つの高輝度領域の重心座標と光源位置とが略直線上に並ぶ関係にある場合に光線を付加するようにした。このようにすることで、雲の隙間から差し込む薄明光線や窓から差し込む光のように、被写体および画角に依存して光線の位置や伸びる方向が一定とならない光線を適切に付加することができる。従って、適切な光線を付加した画像を生成することが可能になる。
【００４２】
（実施形態２）
次に実施形態２について説明する。実施形態１では、２次元空間上で光線を付加する位置を決定する処理について説明したが、実施形態２では、３次元空間上で光線を付加する位置を決定する点が異なる。本実施形態の画像処理部５０１は、実施形態１と異なり距離情報（奥行情報）を算出および利用可能な構成であり、その他の構成は実施形態１と同一である。このため、同一の構成およびステップについては同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。
【００４３】
（画像処理部５０１の構成）
図５を参照して、本実施形態に係る画像処理部５０１の構成について説明する。画像処理部５０１は、実施形態１に係る画像処理部１０５の構成に加えて、距離情報取得部５０２および本実施形態に係る光線付加領域設定部５０３を有する。
【００４４】
距離情報取得部５０２は、取得した画像に対応する距離情報を例えば公知の測距センサから取得し取得した距離情報を画像データとともに出力する。光線付加領域設定部５０３は、高輝度領域検出部２０２により検出された高輝度領域のうち光線を付加する対象となる高輝度領域を判定し、光線を付加する領域を設定する。このとき、光線付加領域設定部５０３は、距離情報取得部５０２により取得された距離情報を用いて光線を付加する領域を設定する。
【００４５】
（実施形態２に係る光線付加処理に係る一連の動作）
次に、本実施形態に係る光線付加処理の一連の動作について図６を参照して説明する。
【００４６】
まず、光源位置推定部２０１は、実施形態１におけるＳ３０１と同様に取得した画像に対して光源位置の推定を行う。
【００４７】
Ｓ６０１において距離情報取得部５０２は、取得した画像の距離情報を取得する。距離情報は、例えば測距センサから出力されるデジタルカメラ１００からの距離情報であって、撮影画像の画素単位で取得することができる。そして、高輝度領域検出部２０２は、実施形態１におけるＳ３０２と同様に、取得した画像の中から高輝度領域を検出し、Ｓ３０３およびＳ３０４において光線付加領域設定部５０３は、高輝度領域の重心座標を算出する。光線付加領域設定部５０３は、光線を付加する対象となる高輝度領域があると判定したときはＳ６０２に処理を進め、光線を付加する対象となる高輝度領域がないと判定した場合は一連の処理を終了する。
【００４８】
Ｓ６０２において光線付加領域設定部５０３は、２つの高輝度領域の間を遮る被写体が存在するかを判定する。光線付加領域設定部５０３は、まず２つの高輝度領域の各重心座標を結ぶ直線を算出する。そして、算出した直線とＳ６０１で取得した距離情報とを用いて、求めた直線とデジタルカメラ１００との間に被写体が存在するか否かを判定する。光線付加領域設定部５０３は、算出した直線とデジタルカメラ１００との間に被写体が存在しない場合には、２つの高輝度領域の間を光線を付加する対象領域とする。しかし、求めた直線とデジタルカメラ１００との間に被写体が存在すると判定した場合、２つの高輝度領域の間は光線を付加する対象領域ではないものとして光線を付加する処理を行わない。
【００４９】
さらに、光線付加領域設定部５０３および光線付加部２０４は、さらに実施形態１に示したＳ３０５〜Ｓ３０７に示した処理を行って光線付加処理に係る一連の動作を終了する。
【００５０】
なお、本実施形態では、Ｓ３０４において光線付加領域設定部５０３が実施形態１と同様に２つの高輝度領域間と光源位置とが直線上に並ぶか否かを２次元空間上で判定しているが、距離情報を用いて３次元空間において直線上に並ぶか否かを判定しても良い。
【００５１】
以上説明したように本実施形態では、取得した画像に対応する距離情報を取得して当該距離情報を用いて高輝度領域間に付加する光線を遮る被写体の存在を判定し、光線を遮る被写体が存在する場合には光線を付加しないようにした。このようにすることで、光線を付加する領域より手前に被写体が存在する場合に、当該被写体上に光線を付加するような不自然な光線の付加を防ぎ、より自然な光線の付加を実現することができる。
【００５２】
（実施形態３）
さらに実施形態３について説明する。実施形態１および実施形態２では、光線を付加する始点領域と終点領域が取得した画像の画角内に含まれている場合の処理について説明した。これに対して、本実施形態では、取得した画像の画角内に光線を付加する始点領域のみ存在する場合に光線を付加する処理について説明する。本実施形態の光線付加処理は、上述した実施形態と光線を付加する領域の設定方法が異なるが、その他の処理およびデジタルカメラ１００の構成は実施形態２と同一である。このため、同一の構成およびステップについては同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。
【００５３】
本実施形態に係る光線付加処理の一連の動作について、図７を参照して説明する。
【００５４】
まず、画像処理部５０１を構成する光源位置推定部２０１、距離情報取得部５０２、高輝度領域検出部２０２は、実施形態２において説明したＳ３０１〜Ｓ３０３の各処理を行う。但し、本実施形態におけるＳ３０２の処理では、検出する高輝度領域は１つ以上でよい。
【００５５】
次に、Ｓ７０１において光線付加領域設定部５０３は、各高輝度領域が光線を付加する始点領域であるか否かを判定する。具体的には、光線付加領域設定部５０３はＳ６０１で取得した距離情報に基づいて、Ｓ３０２で算出した各高輝度領域が光線を付加する始点領域であるか否かを判定する。光線付加領域設定部５０３は、まず、撮影した画角内に光線を付加する始点領域のみ存在する状況を抽出するために、Ｓ３０３で算出した高輝度領域の重心座標と推定した光源位置とを結んだ直線を算出する。そして、当該直線上に他の高輝度領域の重心座標が存在しないような高輝度領域を選択する。次に、光線付加領域設定部５０３は、算出した直線上の延長上にあり、かつ、高輝度領域の重心座標から、光源位置と反対方向に画像の端まで伸びる直線を算出する。さらに、光線付加領域設定部５０３は、Ｓ６０１で取得した距離情報に基づいて、算出した直線とデジタルカメラ１００との間に被写体が存在するか否かを判定する。光線付加領域設定部５０３は、被写体が存在しないと判定した場合、判定の対象である高輝度領域を光線を付加する始点領域として決定する。一方、被写体が存在すると判定した場合、当該高輝度領域を光線を付加する対象としない。
【００５６】
Ｓ７０２において光線付加領域設定部５０３は、Ｓ７０１で判定された始点領域から光源位置の方向とは反対の方向に光線を付加する領域を設定する。より具体的には、光線付加領域設定部５０３は、始点領域から光源位置とは反対方向の画像端までの間に光線を付加する領域を設定する。例えば、光源位置から始点領域に外接する２本の直線を算出し、求めた２本の直線・始点領域・画像の端で囲まれる領域を、光線を付加する領域として設定する。このとき、視点領域に外接する２本の直線の角度は光線の位置等に基づいて適宜設定してよい。光線を付加する領域は例示であり、始点領域の重心を通る直線上の一部を含む領域であって、始点領域から光源位置の方向と反対の方向の領域に光源を付加するものであればよい。
【００５７】
さらにＳ３０７において光線付加部２０４は、Ｓ７０２において設定された光線を付加する領域に対して、実施形態１と同様の方法により光線を付加する。
【００５８】
なお、本実施形態では、始点領域のみを有する高輝度領域に対する処理を説明したが、実施形態２において説明した組となる高輝度領域間の領域に光線を付加する処理と併用してもよい。このようにすれば組となる高輝度領域および始点領域のいずれをも用いて光線を付加することができる。
【００５９】
以上説明したように本実施形態では、光源と１つの高輝度領域のみが直線上に並ぶ場合に、当該高輝度領域を始点領域として始点領域から画像端まで差し込む光線を付加するようにした。このようにすることで、組となる高輝度領域（即ち終点領域）が画角内に含まれていない場合であっても光線を付加することができ、適切な光線を付加した画像を生成することが可能になる。
【００６０】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６１】
１０５…画像処理部、２０１…光源位置推定部、２０２…高輝度領域検出部、２０３…光線付加領域設定部、２０４…光線付加部
【図１】
2016091376.tif 000003
【図２】
2016091376.tif 000004
【図３】
2016091376.tif 000005
【図４】
2016091376.tif 000006
【図５】
2016091376.tif 000007
【図６】
2016091376.tif 000008
【図７】
2016091376.tif 000009