(57)【特許請求の範囲】
【請求項１】
両端開口の孔を有し、光源から出射された光が一端の開口から前記孔の内部に入射し、入射した光によって、前記孔の内壁における、前記一端の開口の周囲が照らされる光導入部と、
前記光導入部の他端の開口側に配置され、前記光導入部の前記一端の開口及び前記一端の開口に繋がる前記内壁を撮像する撮像装置と、
前記撮像装置が撮像した第１の画像に基づいて、前記第１の画像の中の前記内壁における所定の基準以上の明るさを有する明領域を特定し、特定した前記明領域に基づいて前記光源の方向を特定する光源方向特定部と、
を備え、
前記光源方向特定部は、前記明領域における、前記一端の開口の中心から最も離れた位置にある点を特定し、特定した前記点の位置に基づいて前記光源の方向を特定することを特徴とする光源方向特定装置。
【請求項２】
前記光源方向特定部は、前記第１の画像に基づいて、前記明領域内を照らす光の照度及び／又は色を特定する、
ことを特徴とする請求項１に記載の光源方向特定装置。 
【請求項３】
前記光源方向特定部は、前記第１の画像に基づいて、前記明領域外を照らす光の照度及び／又は色を特定する、
ことを特徴とする請求項１に記載の光源方向特定装置。 
【請求項４】
前記光源方向特定部は、
前記第１の画像に基づいて、前記明領域内を照らす光の照度を特定し、
前記第１の画像に基づいて、前記明領域外を照らす光の照度を特定し、
特定した前記明領域内外の光の照度に基づいて、直接光源と間接光源との照度の比を特定する、
ことを特徴とする請求項１に記載の光源方向特定装置。
【請求項５】
第２の画像を取得し、前記光源特定部によって特定された、少なくとも前記光源の方向に応じて陰影及び／又は光沢を、取得した前記第２の画像に付加する画像処理を行う光学処理部、
を更に備えること特徴とする請求項１乃至４のいずれか１項に記載の光源方向特定装置。
【請求項６】
両端開口の孔を有し、光源から出射された光が一端の開口から前記孔の内部に入射し、入射した光によって、前記孔の内壁における、前記一端の開口の周囲が照らされる光導入部と、
前記光導入部の他端の開口側に配置され、前記光導入部の前記一端の開口及び前記一端の開口に繋がる前記内壁を撮像する撮像装置と、を備える装置を制御するコンピュータに、
前記撮像装置が撮像した第１の画像に基づいて、前記第１の画像の中の前記内壁における所定の基準以上の明るさを有する明領域を特定し、特定した前記明領域に基づいて前記光源の方向を特定する光源方向特定ステップ、
を行なわせ、
前記光源方向特定ステップは、前記明領域における、前記一端の開口の中心から最も離れた位置にある点を特定し、特定した前記点の位置に基づいて前記光源の方向を特定することを特徴とする光源方向特定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光源の方向を特定する光源方向特定装置及び光源方向特定プログラムに関する。
【背景技術】
【０００２】
例えば、光源の位置に応じて画像に陰影等を付加するために、光源の位置を推定する技術が求められている。光源の位置を推定する技術として、例えば、特許文献１に、照明空間内に配置された光源の位置を推定する光源位置推定装置において、光源と、キャリブレーションパターン及び立体物から成る校正器具とにより構成された照明空間の画像を入力し、照明空間画像に含まれるカメラキャリブレーションパターン画像からカメラパラメータを算出するカメラパラメータ算出手段と、このカメラパラメータを用いて、立体物の影における２次元の画像座標から３次元の世界座標を算出する影座標算出手段と、立体物の世界座標及びその影の世界座標に基づいて、光源の世界座標を推定する光源位置推定手段とを備える光源位置推定装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１０７０８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示された光源位置推定装置においては、光源から出射される光が当たる位置に、複数の立体物から成る構成器具が配置されていなければならず、光源の方向を特定する装置としての構成に制約があった。
【０００５】
本発明は、かかる問題点に鑑みてなされたものであり、少ない構成部品で光源の方向を特定することを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明の第１の観点に係る光源方向特定装置は、
両端開口の孔を有し、光源から出射された光が一端の開口から前記孔の内部に入射し、入射した光によって、前記孔の内壁における、前記一端の開口の周囲が照らされる光導入部と、
前記光導入部の他端の開口側に配置され、前記光導入部の前記一端の開口及び前記一端の開口に繋がる前記内壁を撮像する撮像装置と、
前記撮像装置が撮像した第１の画像に基づいて、前記第１の画像の中の前記内壁における所定の基準以上の明るさを有する明領域を特定し、特定した前記明領域に基づいて前記光源の方向を特定する光源方向特定部と、
を備え、
前記光源方向特定部は、前記明領域における、前記一端の開口の中心から最も離れた位置にある点を特定し、特定した前記点の位置に基づいて前記光源の方向を特定する。
【０００７】
また、本発明の第２の観点に係る光源方向特定プログラムは、
両端開口の孔を有し、光源から出射された光が一端の開口から前記孔の内部に入射し、入射した光によって、前記孔の内壁における、前記一端の開口の周囲が照らされる光導入部と、
前記光導入部の他端の開口側に配置され、前記光導入部の前記一端の開口及び前記一端の開口に繋がる前記内壁を撮像する撮像装置と、を備える装置を制御するコンピュータに、
前記撮像装置が撮像した第１の画像に基づいて、前記第１の画像の中の前記内壁における所定の基準以上の明るさを有する明領域を特定し、特定した前記明領域に基づいて前記光源の方向を特定する光源方向特定ステップ、
を行なわせ、
前記光源方向特定ステップは、前記明領域における、前記一端の開口の中心から最も離れた位置にある点を特定し、特定した前記点の位置に基づいて前記光源の方向を特定する。
【発明の効果】
【０００８】
本発明によれば、少ない構成部品で光源の方向を特定することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態に係るデジタルフォトフレームを示す斜視図である。
【図２】図１のデジタルフォトフレームにおける、撮像装置とレンズフードとを説明するための概略断面図である。
【図３】デジタルフォトフレームの構成を説明するための図である。
【図４】デジタルフォトフレームのハードウェア構成を説明するための図である。
【図５】（Ａ）及び（Ｂ）は、図２における、撮像装置とレンズフードとを示す模式図である。
【図６】（Ａ）は、レンズフードの軸線に対して角度α１を成すように配置された光源の光出射状態を示す模式図である。（Ｂ）は、（Ａ）に示された状態時に、撮像装置によって撮像された画像を示す模式図である。（Ｃ）は、レンズフードの軸線に対して角度α２を成すように配置された光源の光出射状態を示す模式図である。（Ｄ）は、（Ｃ）に示された状態時に、撮像装置によって撮像された画像を示す模式図である。
【図７】（Ａ）は、図６（Ｂ）に示された画像を２値化した画像を示す図である。（Ｂ）は、図６（Ｄ）に示された画像を２値化した画像を示す図である。
【図８】光源が方位角β１の位置にある状態を説明するための模式図である。
【図９】（Ａ）は、方位角β２を成して配置された、光源と、撮像装置と、レンズフードとの関係を示す模式図である。（Ｂ）は、（Ａ）に示された状態時に、撮像装置によって撮像された画像を示す模式図である。（Ｃ）は、（Ｂ）に示された画像を２値化した画像を示す図である。
【図１０】撮像装置によって撮像された画像を示す模式図である。
【図１１】デジタルフォトフレームが行う光源方向特定処理を説明するためのフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の一実施形態について添付の図面を参照して具体的に説明する。
【００１１】
本実施形態に係るデジタルフォトフレーム（光源方向特定装置）１０は、デジタルフォトフレーム１０を照らす光源の方向等を特定し、特定した光源の方向等に応じて、モニタ２０に表示する絵画調画像に陰影等（例えば、陰影及び光沢。陰影だけでもよい。）を付加する機能を備えるものとして以下に説明する。
【００１２】
本実施形態に係るデジタルフォトフレーム１０は、図１及び図２に示すように、筐体１００と、筐体１００の表面１００ａ側に露出するように、筐体１００に組み込まれたモニタ（表示部）２０と、モニタ２０の上方の位置で筐体１００に組み込まれた撮像装置３０と、を備える。
【００１３】
撮像装置３０は、筐体１００のモニタ２０上方に形成された孔１００ｂ内に配置される。詳しくは後述するが、撮像装置３０は、光源の方向等を特定する基礎となる画像を撮像するものである。撮像装置３０の撮像方向は、筐体１００の表面１００ａ側に向いている（図２参照）。
【００１４】
また、筐体１００の孔１００ｂ内には、その内壁３２８が撮像装置３０から筐体１００の表面１００ａに延びる両端開口の孔を有するレンズフード３２（光導入部）が配置されている。本実施形態では、レンズフード３２は、合成樹脂製等の円筒体によって構成されている。円筒体の内壁が前記の孔の内壁３２８を構成する。このレンズフード３２の内壁３２８の色は、後述する処理において光源が発光する色を特定しやすくするために白色とすることが望ましい。レンズフード３２の一端側の開口３２４は筐体１００の表面１００ａに達し、他端側の開口３２６は撮像装置３０のレンズを囲む。レンズフード３２は、孔１００ｂ内に嵌め込まれることによって、筐体１００に配設される。
【００１５】
また、デジタルフォトフレーム１０は、図３のように、絵画調変換部５２と、光源方向特定部６２と、光学処理部６０と、を更に備える。なお、下記における説明で特に言及はしないが、各部が行う処理において、画像データのデータ形式は適宜変更（圧縮、伸長等）されるものとする。
【００１６】
光源方向特定部６２は、撮像装置３０を制御し、撮像装置３０に撮像を行わせ、撮像装置３０が撮像した撮像画像を表す撮像画像データ（例えば、ＹＵＶ（輝度色差）データ形式の画像データ）を取得する。光源方向特定部６２は、取得した撮像画像データに基づいて、光源の方向等のデータを生成する。このようにして、光源方向特定部６２は、撮像画像を取得し、取得した撮像画像に基づいて光源の方向等を特定する。
【００１７】
絵画調変換部５２は、後述の原画像を表す原画像データを取得し、取得した原画像データに対して、公知の画像変換処理を行い、前記原画像を絵画調（例えば、油絵風）に変換した絵画調変換画像を表す絵画調画像データを生成する。なお、ここでの絵画調画像データは、この画像の表面の凹凸形状（例えば、油絵の凹凸形状）等のデータである三次元データも含まれる（なお、この三次元データは、原画像データの原画像に対応させて、予め用意されたものであってもよい。）。このようにして、原画像が絵画調画像に変換される。
【００１８】
光学処理部６０は、光源方向特定部６２が生成した光源情報（光源の方向及び光源から出射される光の照度等についての情報）を取得するとともに、絵画調変換部５２が生成した絵画調変換画像データを取得する。そして、取得したこれらデータ（特に、三次元データ）に基づいて、所定の公知の処理を行って、前記絵画調画像に陰影等を付加した陰影付き絵画調画像を表す陰影付き絵画調画像データを生成する。このようにして、光学処理部６０は、光源方向特定部６２が特定した光源方向の位置等に基づいて、絵画調変換部が変換した絵画調画像に陰影等を付加する。
【００１９】
光学処理部６０は、前記で生成した陰影付き絵画調画像データをモニタ２０に供給する。モニタ２０は、光学処理部６０から供給された陰影付き絵画調画像データに基づいて、所定の動作をして、陰影付き絵画調画像データが表す陰影付き画像を表示する。このようにして、光学処理部６０は、陰影付き絵画調画像データに基づいて、モニタ２０に陰影付き画像を表示する。
【００２０】
デジタルフォトフレーム１０は、図４に示すように、そのハードウェア構成として、ＣＰＵ（Central Processing Unit）６４と、記憶部（格納部）６６と、撮像装置３０と、モニタ２０と、システムバス７０と、を備える。ＣＰＵ６４等は、適宜、システムバス７０に接続される。
【００２１】
記憶部６６は、ＣＰＵ６４が使用するデータ、プログラム等、及びＣＰＵ６４が生成したデータ等を記憶する。記憶部６６は、ＣＰＵ６４のメインメモリとして機能するＲＡＭ（Random Access Memory）や、補助記憶装置として機能するフラッシュメモリ、ハードディスク等の１以上の必要な組み合わせによって構成される。また、記憶部６６は、例えば、図示しない読取・書込装置（例えば、カードスロット）等を介してデジタルフォトフレーム１０に接続された外部記憶媒体（例えば、メモリーカード）を含んでもよい。つまり、記憶部６６は、その少なくとも一部がデジタルフォトフレーム１０の構成要素でなくてもよい。
【００２２】
ＣＰＵ６４は、記憶部６６に記録されたプログラム（例えば、ＲＡＭに読み出される。）に従って、また、記憶部６６に記録された各種のデータを用いて、デジタルフォトフレーム１０の各構成要素を制御するとともに、後述の光源方向特定処理を行う。本実施形態では、絵画調変換部５２と、光源方向特定部６２と、光学処理部６０と、は、それぞれ、前記プログラムに従って後述の光源方向特定処理を行うＣＰＵ６４によって構成される。絵画調変換部５２と光源方向特定部６２と光学処理部６０とは、それぞれ、その少なくとも一部が各種専用回路によって構成されてもよい。
【００２３】
撮像装置３０は、撮像によって得られる画像を表す撮像信号を出力する撮像素子（ＣＣＤ（Charge Coupled Device）イメージセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等と、撮像素子が出力した撮像信号に基づいて、所定の処理を行い前記の撮像画像データを生成し、生成した撮像画像データを光源方向特定部６２に供給する各種電子回路（ＡＦＥ（Analog Front End）、ＤＳＰ（Digital Signal Processor）等）と、から構成される。撮像装置３０は、光源方向特定部６２に制御され、撮像した撮像画像を表す撮像画像データを光源方向特定部６２に供給する。なお、前記のＤＳＰが行う処理等は光源方向特定部６２が適宜行っても良い。この場合、光源方向特定部６２には、ＡＦＥ等で生成されたデータが撮像装置３０から供給され、供給されたデータに対してＤＳＰと同様の処理を行って、前記の撮像画像データを生成することによって、このデータを取得する。
【００２４】
次に、光源方向特定部６２によって光源の方向等を特定するための考え方及び光源方向特定部６２が行う処理等について説明する。
【００２５】
例えば、現実の絵画（特に油絵）は、平面上に顔料等による凹凸を持つ３次元物体である。絵画に光が照射されることで、当然、凹凸に陰影等が発生する。つまり、デジタルフォトフレーム１０に対する光源の方向等を考慮して、デジタルフォトフレーム１０に表示する絵画調画像に陰影等を付加する（光学的整合性を備えさせる）ことによって、この絵画調画像をより現実の絵画のようにすることができる。
【００２６】
ここで、陰影等を付加するときには、現実の絵画の如く、デジタルフォトフレーム１０に対する全方向の光源を特定する必要はない。なぜなら、絵画（デジタルフォトフレーム１０）の裏面方向からの光源が絵画の表面の凹凸に形成される陰影等に与える影響は少なく、絵画の正面方向からの光源も、絵画の表面の凹凸に形成される陰影等に与える影響は少ないからである。
【００２７】
ここで、本実施形態によって特定される光源４０（図６参照、光を出射する光源のうち、レンズフード３２の内壁３２８を最も明るく照らす光を出射する光源）のデジタルフォトフレーム１０に対する方向は、仰俯角α及び方位角βによって表されるものとする。ここでいう仰俯角αとは、レンズフード３２の内壁３２８（断面円形）の軸線３２２（円形の中心を通る線）に対する光源４０の光の出射方向に沿った線の傾き角であり（図６等を参照）、ここでいう方位角βとは、レンズフード３２の一端側開口３２４から撮像装置３０を見た場合の、基準線（例えば、開口３２４中心から上方に延びる線）に対する、開口３２４の中心と光源４０とを結ぶ線分の傾き角である（図９等を参照）。
【００２８】
本実施形態においては、前記の影響を考慮して、仰俯角αが４５°より大きく、９０°よりも小さい範囲にある、光源４０の方向の特定を行うものとする。本実施形態では、光源４０の方向等を特定した後に、その特定された方向に応じて絵画調画像に、更に現実的な絵画のようにみせるために陰影等を付加する処理が行うが、現実の絵画における顔料の付着による凹凸の斜面角（絵画の面方向に対する傾斜角）は４５°を超えないものと想定する。このため、光源４０の特定対象範囲を前記角度範囲に限定したのは、仰俯角αが４５°よりも小さい範囲であると、絵画の表面には陰影等は生じず、また、仰俯角αが９０°以上の大きい範囲であると、絵画の表面に光は届かないので、陰影等を付加する必要がないためである。この範囲に位置する光源４０を特定できるように、撮像装置３０及びレンズフード３２は構成される。なお、想定する凹凸の斜面角等を異ならせる場合、又は、撮像装置３０及びレンズフード３２の構成等によっては、当然、上記の仰俯角αの角度以外の角度の方向にある光源４０を特定してもよい。そして、このような特定を行うために、適宜、撮像装置３０及びレンズフード３２の構成（形状等）を変更できる。
【００２９】
撮像装置３０は、画角σ１（特に、仰俯角の画角）を有する。図５（Ａ）に示すように、レンズフード３２の内径をφとしたときに、レンズフード３２の内壁３２８において、レンズフード３２の一端側の開口３２４（筐体１００の表面１００ａ）から撮像装置３０に向かう方向の長さが前記φとなる位置が、画角σ１を構成する直線上に位置するように、撮像装置３０及びレンズフード３２は構成されている。また、図５（Ｂ）に示すように、撮像装置３０がレンズフード３２に遮られずに、レンズフード３２の一端側の開口３２４を介して、外界を写すことができる最大の角度を外界視野角σ２とする。
【００３０】
レンズフード３２の一端側の開口３２４から撮像装置３０に向かう方向の長さが前記φとなる位置が、画角σ１を構成する直線上に位置することで、仰俯角αが、例えば、４５°以上の光源からの光は、内壁３２８における、画角σ１内の領域内に収まることになり、光源によって照らされる全領域が、撮像装置３０によって撮像される。後述のように撮像画像が撮像した光源によって照らされる領域に基づいて、光源の方向は特定されるので、撮像画像に前記の全領域が写り込むことによって、光源の方向を特定出来ることになる。仰俯角αが、例えば、４５°であるときが、撮像画像上で光源の方向を特定できる限界とすることが出来るので、上記の構成によって、撮像装置３０と開口３２４とをぎりぎりまで近づけることができ、これによって、撮像画像における光源によって照らされる領域を大きくすることができ、光源の方向を特定する処理（例えば、後述の点Ｂの検出）を的確に行える。
【００３１】
次に、仰俯角α１，α２の方向（説明の便宜上、方位角β＝０であるものとする。）に光源４０が配置されている状態を図６（Ａ）及び図６（Ｃ）に示す。これらの状態のときに、撮像装置３０によって撮像された画像（第１の画像）９０（９０ａ，９０ｂ）を図６（Ｂ）及び図６（Ｄ）に示す。また、図６（Ｂ），図６（Ｄ）の中央に示された円内の画像は、外界視野角σ２の範囲内である外界画像５０（撮像装置３０から、レンズフード３２の一端側の開口３２４を介して撮影された、レンズフード３２の外の画像）である。外界画像５０の外側に示されているのは、レンズフード３２の内壁３２８が写り込んだフード画像領域３２０である。フード画像領域３２０において、光源４０から出射された光が届かない部分は黒く写り、光源４０から出射された光が届く部分（被照射部）は白く写っている。なお、図６（Ｂ），図６（Ｄ）に示された撮像画像９０ａ，９０ｂにおいては、理解を容易にするために、後述する間接光源が無いものとしている。
【００３２】
図６（Ａ），図６（Ｃ）に示すように、レンズフード３２の内壁３２８における直接光源４０に照らされた部分において、レンズフード３２の一端から、レンズフード３２の軸線方向と平行な方向に沿って、直接光源４０に照らされた部分の縁までの最大の長さをＬ（Ｌ１，Ｌ２）とすると、言うまでも無く仰俯角α（α１，α２）はtan-1（φ/L）となる。つまり、光源方向特定部６２は、最大長さＬを求め、定数φ（既知の値）とともにこの数式に代入して、仰俯角αを特定する。詳細については後述するが、長さＬの端点は、図６（Ｂ）及び図６（Ｄ）に示す撮像画像９０ａ，９０ｂにおいて、領域Ｒ０１の縁のうち最も開口３２４の中心から最も離れた位置にある点に対応する。
【００３３】
次に、長さＬを実際に特定する方法について説明する。この長さＬは、撮像装置３０が撮像した撮像画像９０に基づいて、光源方向特定部６２が処理を行うことによって特定される。まず、光源方向特定部６２は、撮像装置３０から撮像画像９０を取得し、撮像画像９０について、図６（Ｂ）及び図６（Ｄ）に示された撮像画像９０ａ，９０ｂから外界画像５０を除外し、画像処理対象をフード画像領域３２０に限定する。撮像画像９０における外界画像５０の範囲はレンズフード３２の内径φ等に応じて予め特定されるため、光源方向特定部６２は、撮像画像９０を表す画像データ上で、該当部分の数値データを削除することで、撮影画像９０から外界画像５０を容易に削除できる。
【００３４】
次に、光源方向特定部６２は、図７（Ａ）及び図７（Ｂ）に示すように、撮像画像９０ａ，９０ｂを２値化する。このとき、光源方向特定部６２は、撮像画像における各画素の輝度値（なお、以下において、画素データから検出される明るさの度合いについては輝度と記載し、物体を照らす明るさの度合いについては照度と記載する）等の明るさの値（明るさ情報）についてのしきい値を用いて、具体的には、光源方向特定部６２は、各画素について、輝度値等がしきい値以上の画素については白とし、輝度値等がしきい値未満の画素については黒として、撮像画像９０ａ，９０ｂを２値化する。この２値化処理によって生成された２値化画像（モノクロ画像）９２ａ，９２ｂでは、明領域Ｒ（Ｒ１，Ｒ２）が明確に他の領域と分けられる。ここで、明領域Ｒは、撮像画像９０における領域Ｒ０１，Ｒ０２に相当する領域である。
【００３５】
この明領域Ｒは、輝度値がしきい値以上の画素の集合であり、実空間のレンズフード３２の内壁３２８において、所定以上の明るさ（照度）をもつ部分を撮影した画像領域である。本実施形態では、前記の所定以上の明るさをもつ部分を直接光源４０からの光で直接照らされた部分であるものとして扱い、この部分を撮像した画像領域である、明領域Ｒを直接光源４０からの光で直接照らされた部分を撮像した画像領域であるものとして扱う。上記しきい値は、明領域Ｒをこのような領域として扱える数値として予め設定されるものとする。
【００３６】
次に、光源方向特定部６２は、中心点Ｐから明領域Ｒの縁までの距離を所定の角度毎に求める。ここで、中心点Ｐは、開口３２４の中心であった位置と同一の位置にある。光源方向特定部６２は、求められた距離のうち、最も長い距離である明領域Ｒの縁の点を点Ｂ（点Ｂ１，点Ｂ２，点Ｂ３）とし、画像上で、点Ｐを基準とした点Ｂの相対座標を検出する。ここで、光源４０は、点Ｂと中心点Ｐとを通る直線上であり、中心点Ｐに対して点Ｂ側とは反対側に位置することとなる。
【００３７】
次に、光源方向特定部６２は、検出された点Ｂから長さＬを特定する。光源方向特定部６２は、上記位置関係をもとにして、三角関数等を使用した式で、前記長さＬを演算して長さＬを特定してもよいが、撮像装置３０のレンズの歪等による精度への影響を考慮し、予め作成され、記憶部６６に記録されている、上記位置関係と長さＬとが対応付けられているテーブルを参照してもよい。光源方向特定部６２は、前記で検出した位置関係をもとにして、前記のテーブルを参照し、検出した位置関係に対応する長さＬを取得することによって、長さＬを特定する。このテーブルとしては、例えば、相対座標と長さＬとの対応関係がマッピングされているＬＵＴ（ルックアップテーブル）がある。例えば、光源方向特定部６２は、図７（Ａ）に示された２値化画像９２ａにおける点Ｂ１の座標（０，Ｙ１）をもとにして、ＬＵＴに参照することで、図６（Ａ）に示された長さＬ１を特定する。また、図７（Ｂ）に示された２値化画像９２ｂにおける点Ｂ２の座標（０，Ｙ２）をもとにして、ＬＵＴを参照することで、図６（Ｃ）に示された長さＬ２を特定する。因みに、点Ｂ１と点Ｂ２とのＹ座標の大小関係は、図７に示すように、｜Ｙ１｜＜｜Ｙ２｜であり、このときに求められる長さＬの関係は、長さＬ１＜長さＬ２となる。光源方向特定部６２は、求められた長さＬを、上記の式に代入することにより仰俯角αを特定する。また、光源方向特定部６２は、上記位置関係又は長さＬと仰俯角αとが対応付けられたテーブルを参照して、仰俯角αを特定するようにしてもよい。
【００３８】
次に、図８及び図９を参照して、光源４０の方位角βの特定方法を説明する。ここで、方位角βは、便宜上、図８及び図９（Ａ）に示すように、撮像方向の逆側から撮像装置３０を見た状態において、中心点Ｐから鉛直に延びる直線から時計回りに値が大きくなる角度とする。図６及び図７に示されている状態における光源４０の方位角β１は、図８に示すように０°である。図９（Ａ）〜（Ｃ）に、方位角β２の方向に配置された光源４０、そのときの撮影画像（第１の画像）９０ｃ及び２値化画像９２ｃを示す。図９（Ｂ）に示すように、撮像装置３０による撮像画像９０ｃは、右上に被照射部が延びている。光源方向特定部６２は、この撮像画像９０ｃを２値化した２値化画像９２ｃから、図９（Ｃ）に示すように、相対座標（Ｘ３，Ｙ３）の点Ｂ３を特定する。
【００３９】
光源方向特定部６２は、相対座標（Ｘ３，Ｙ３）が特定されることにより、次の（１）〜（６）のいずれかの式で方位角βを特定する。
（１）点Ｂの座標が（０＜Ｘ，０≦Ｙ）のとき（即ち、図９（ｃ）の２値化画像９２ｃにおいて、中心点Ｐに対し点Ｂが第１象限にあるとき）、方位角β=｜tan-1（Ｙ/Ｘ）｜＋π/2
（２）点Ｂの座標が（Ｘ＝０，０＜Ｙ）のとき（即ち、図９（ｃ）の２値化画像９２ｃにおいて、点ＢがＹ軸上の正の位置にあるとき）、方位角β=π
（３）点Ｂの座標が（Ｘ＜０，０＜Ｙ）のとき（即ち、図９（ｃ）の２値化画像９２ｃにおいて、中心点Ｐに対し点Ｂが第２象限にあるとき）、方位角β=｜tan-1（Ｙ/Ｘ）｜＋π
（４）点Ｂの座標が（Ｘ＝０，Ｙ＜０）のとき（即ち、図９（ｃ）の２値化画像９２ｃにおいて、点ＢがＹ軸上の負の位置にあるとき）、方位角β=０
（５）点Ｂの座標が（Ｘ＜０，Ｙ≦０）のとき（即ち、図９（ｃ）の２値化画像９２ｃにおいて、中心点Ｐに対し点Ｂが第３象限にあるとき）、方位角β=｜tan-1（Ｙ/Ｘ）｜＋3/2π
（６）点Ｂの座標が（０＜Ｘ，Ｙ＜０）のとき（即ち、図９（ｃ）の２値化画像９２ｃにおいて、中心点Ｐに対し点Ｂが第４象限にあるとき）、方位角β=｜tan-1（Ｙ/Ｘ）｜
また、光源方向特定部６２は、中心点Ｐに対する点Ｂの相対座標と方位角βとが対応付けられ、予め作成されたＬＵＴを参照して、方位角βを特定するようにしてもよい。
【００４０】
以上のように、光源方向特定部６２は、光源４０の仰俯角α及び方位角βを特定することで、光源４０の方向を特定することができる。なお、光源方向特定部６２は、仰俯角α及び方位角βに基づいて、所定の計算を行い、光源４０の方向を別の方法で表す値（球座標系における値等）を算出等して、これによって、光源４０の方向を特定してもよい。
【００４１】
上記のようにして光源４０の方向を特定したが、絵画調画像に、所定の濃淡を有する、陰影等を付加するには、光源方向特定部６２によって、実環境における光源４０の光による照度及び間接光源（最も明るい光を発する光源４０以外の全ての光源）の環境光による照度を特定する必要があり、これらの相対照度を特定したうえで、この特定された相対照度に対応する濃度の陰影等を、光学処理部６０によって絵画調画像に付加する必要がある。次に、図１０を参照して、光源４０の光及び間接光源（最も明るい光を発する光源４０以外の全ての光源）の環境光によって照らされているフード画像領域３２０の相対照度を特定する方法について説明する。なお、図１０は、図６（Ｂ）の撮像画像９０ａに環境光に照らされた部分が加えられた図である。
【００４２】
先ず、図１０に示された撮像画像９０ｄについて説明する。撮像画像９０ｄにおいて、環境光に照らされている領域を灰色で示し領域Ｒ０３とする。
【００４３】
次に、２箇所の輝度の検出対象位置について説明する。まず、光源４０の光によって照らされる部分における輝度の検出対象位置は、光源４０によって照らされた領域Ｒ０１のうち、開口３２４の中心から最も遠方に延びる被照射部の縁と開口３２４の中心とを結ぶ線分上の、開口３２４の外側近傍（所定の距離内）とする（図６（Ｂ）、図６（Ｄ）及び図１０において点Ａ１）。このように検出対象位置を設定した理由としては、開口３２４から入射する光は他の部分よりも開口３２４の外側近傍を広く照射し、且つ、この検出対象位置は、仰俯角αが４５°より大きく、９０°より小さい範囲のうちどの角度の光源４０によっても、常に照らされる位置であるためである。
【００４４】
次に、図１０に示す撮像画像９０ｄにおいて、間接光源の環境光によって照らされる部分における輝度の検出対象位置について説明する。間接光源の環境光によって照らされる位置にある点として、点Ａ１の輝度と比較するための輝度検出対象である点Ｃ１の輝度は、光源４０によって照らされた位置にある点Ａ１の輝度との比較対象であるため、光源４０からの光による影響が少ない点である必要がある。このため、点Ｃ１は、点Ａ１の位置に対して、開口３２４を中心として逆側に設定される。このようにすることで、方位角αが４５°より大きく、９０°よりも小さい範囲にある（つまり、レンズフードの内壁３２８における開口３２４の周囲を満遍なく照らす光を出射しない）光源４０の影響は少ない。更に、点Ｃ１の位置は、間接光源によって照らされた領域Ｒ０３のうち、開口３２４の中心から最も遠方に延びる被照射部の縁と開口３２４の中心とを結ぶ線分上の、開口３２４の外側近傍（所定の距離内）とする。このように検出対象位置を設定した理由としては、開口３２４から入射する光は他の部分よりも開口３２４の外側近傍を広く照射し、且つ、この検出対象位置は、仰俯角αが０°から９０°より小さい範囲のうちどの角度の間接光源によっても、常に照らされる位置であるためである。
【００４５】
次に、具体的な照度の特定方法について説明する。光源方向特定部６２は、２値化画像９２から算出した点Ｂの位置に、撮像画像９０ａにおいて対応する位置にある点Ａ１０を特定する。（ここで、２値化画像９２に施された２値化処理のしきい値は、間接光源の環境光の輝度値よりも大きく、光源４０の光の輝度値よりも小さい値とする。つまり、２値化画像９２において、間接光源の環境光によって照らされている部位は、黒く写り、光源４０の光によって照らされた部位は、白く写っている。このため、好適に点Ｂが特定される。）更に、点Ａ１０と開口３２４の中心とを結ぶ線分上にあり、開口５０の中心に対し、点１０と点対称の位置にある点Ｃ１０を特定する。次に、光源方向特定部６２は、点Ａ１０と開口３２４の中心とを結ぶ線分上にあり、開口３２４の外側近傍（所定の距離内）とする点Ａ１とし、点Ｃ１０と開口３２４の中心とを結ぶ線分上にあり、開口３２４の外側近傍（所定の距離内）とする点Ｃ１とする。光源方向特定部６２は、撮像画像９０において、光源４０によって照らされた点Ａ１における画素の輝度、及び間接光源により照らされた点Ｃ１における画素の輝度を検出し、これらの輝度を比較し、相対照度を特定する。光源方向特定部６２は、特定された相対照度に応じて、光学処理部６０によって絵画調画像に付加される陰影等の濃度を決定する。
【００４６】
即ち、本実施形態では、上記処理によって、光源方向特定部６２は、撮像画像９０に基づいて、例えば、撮像画像９０の明るさ情報（輝度値）から、明領域（Ｒ０１、Ｒ０２）内を照らす光の照度を特定し、撮像画像９０に基づいて、内壁３２８において、直接光源４０によって照らされている明領域外（例えば領域Ｒ０３）を照らす光の照度を特定し、特定した明領域内外の光の照度に基づいて、直接光源４０と間接光源との照度の比を特定する。
【００４７】
なお、上記において、輝度の検出対象位置を、直接光源４０の光に照らされる点Ａ１及び環境光に照らされる点Ｃ１としたが、これに限定しない。例えば、直接光源４０から出射される光に照らされる部分の、撮像画像９０における輝度を検出するには明領域Ｒ０１内であればよく、例えば、点Ａ１０と開口３２４の中心とを結ぶ線分上にあり、点１０よりも開口３２４の中心側であればよい。更に、間接光源から出射される光に照らされる部分の、撮像画像９０における輝度を検出するには領域Ｒ０３内であればよく、例えば、点Ａ１０と開口３２４の中心とを結ぶ線分上にあり、開口５０の中心に対し、点１０と点対称の位置にある点Ｃ１０を輝度を検出する対象としてもよい。
【００４８】
また、例えば、点Ａ１、点Ｃ１の近傍にある画素における輝度値に、大きなムラがあることがあり得るため、夫々所定の範囲における複数の点を検出対象とするようにして、得られた値を平均化した輝度に基づいて照度を特定するようにするとより好ましい。
【００４９】
次に、光源方向特定処理の詳細な一例を、図１１を参照して説明する。この処理は、画像に陰影を付加することを目的として、ユーザによってなされるデジタルフォトフレーム１０の図示しない操作部への操作等を契機として開始される。
【００５０】
まず、光源方向特定部６２の制御によって、撮像装置３０がレンズフード３２の内壁３２８を撮像する（ステップＳ１０１）。次に、光源方向特定部６２は、撮像画像９０を２値化する（ステップＳ１０２）。光源方向特定部６２は、２値化画像９２から点Ｂを検出する（ステップＳ１０３）。次に、光源方向特定部６２は、点Ｂの座標を元にＬＵＴより長さＬを特定する（ステップＳ１０４）。次に、光源方向特定部６２は、特定された長さＬと内径φから仰俯角αを特定する（ステップＳ１０５）。光源方向特定部６２は、点Ｂの中心点Ｐに対する相対座標から方位角βを特定する（ステップＳ１０６）。光源方向特定部６２は、仰俯角α及び方位角βから光源４０の方向を特定する（ステップＳ１０７）。次に、光源方向特定部６２は、光源４０によって照らされた被照射部のうち、２値化画像９２における点Ｂに対応する位置にある撮像画像９０における点Ａ１０と開口３２４の中心とを結ぶ線分上にあり、開口３２４の外側近傍に、点Ａ１を設定し（ステップＳ１０８）、設定された点Ａ１の輝度を検出する（ステップＳ１０９）。次に、光源方向特定部６２は、開口５０の中心に対し、点１０と点対称の位置にある点Ｃ１０と開口３２４の中心とを結ぶ線分上にあり、開口３２４の外側近傍に、点Ｃ１を設定し（ステップＳ１１０）、設定された点Ｃ１の輝度を検出する（ステップＳ１１１）。次に、光源方向特定部６２は、点Ｃ１の輝度に対する点Ａ１の相対的な輝度を算出する（ステップＳ１１２）。絵画調変換部５２は、記憶部６６に格納されている原画像に絵画調の処理を施し、３次元形状データを有する絵画調画像を作成する。光学処理部６０は、点Ｃ１の輝度に対する点Ａ１の輝度から相対照度を算出し、特定された光源４０の方向及び絵画調画像の３次元データ等に基づき、所定の長さ、角度及び濃度の陰影等を絵画調画像に付加する（ステップＳ１１３）。
【００５１】
また、上記の光学処理部６０に相当する、陰影等の付加に用いられるソフトウェアとして、レイトレーシングソフトのShade（登録商標）がある。この場合、光源方向特定部６２が、ソフトウェアが要求するデータを、適宜、輝度の比、光源の方向等に基づいて生成（変換）することにより、ソフトウェアによって絵画調画像に陰影が付加される。
【００５２】
上記のように、本実施形態に係るデジタルフォトフレーム１０は、撮像装置３０、レンズフード３２からなる少ない部品構成から成り、簡単な処理で実環境の光源４０の方向を特定できる。更に、特定された光源４０の方向及び照度に応じた陰影等を絵画調画像に反映（付加）させることができる。
【００５３】
また、光源４０の光と間接光源の環境光との相対照度に応じた濃度の陰影等を絵画調画像に付加することにより、光源４０の光の照度に応じた濃度の陰影等を絵画調画像に付加するよりも、より実環境における明暗状態を反映した画像を生成することができる。
【００５４】
なお、本実施形態光学計算は、ＯｐｅｎＧＬ（登録商標）等のプログラミングインターフェースを使って演算してもよい。また、絵画調画像に、陰影の代わりに、光沢のみを付加させてもよい。
【００５５】
また、撮像装置に光源からの光を導入するものとして、レンズフードを備える構成について本実施形態において説明したが、本発明はこの構成に限定されない。つまり、光導入部は、撮像装置によって撮像される部分に光を導入できればよく、両端開口の孔を有し、光源から出射された光が一端の開口から前記孔の内部に入射し、入射した光によって、前記孔の内壁における、前記一端の開口の周囲が照らされる構成部品であればよい。例えば、光導入部は、レンズフード３２が取り付けられていない筐体１００であるとしてもよい。この場合、孔１００ｂが前記の孔に該当する。
【００５６】
上記実施形態に係るフォトフレームにおいては、光源方向を特定し、絵画調画像に陰影等を付加するものとして説明したが、３次元形状データを有する画像であれば、絵画調画像ではなくとも陰影等を付加することができ、本願発明は、３Ｄ−ＣＡＤ画像、実写真を表す画像等にも適用可能である。
【００５７】
なお、３次元形状データを画像から検出又は画像に設定可能な装置を備えるようにすることにより、撮像装置によって撮像された撮像画像のうちフード画像領域を除いた外界画像を、陰影等を付加する対象である原画像（又は絵画調画像の変換前の画像）として用いてもよい。
【００５８】
更には、光源が移動するものである場合、連続的に画像を撮像し、撮像された画像を基に光源方向を特定することで、瞬時の光源方向に応じた陰影等を絵画調画像に付加することができる。つまり、移動する光源の方向に応じた陰影等をリアルタイムに絵画調画像に付加することができる。
【００５９】
更に、本実施形態に係るデジタルフォトフレームにおいては、撮像装置及びレンズフードをモニタ２０の上部に１箇所のみ備える構成を説明したが、その位置は任意であり、また、例えば、上下左右に複数備えるようにしてもよい。このようにすることで、複数の角度から撮像した複数の画像を基に３Ｄデータを取得することができる。更に、光源方向の特定精度を向上させることができる。
【００６０】
また、本実施形態に係るデジタルフォトフレームにおいては、絵画調の画像に陰影等を付加するために、光源方向を特定するとしたため、絵画の表面方向のみの光源方向を特定するものとしたが、本発明はこの構成に限定されない。例えば、特定された光源情報を絵画調画像以外のものに利用する場合等には、表裏面、両面の光源方向を特定するようにしてもよい。この場合、逆方向に向けられた撮像装置を２個設けるようにし、同様の処理を行うことで両面方向の光源方向を特定することができる。また、本実施形態においては、絵画の顔料の付着による凹凸の斜面角は４５°を超えないものと想定し、絵画調の画像をよりリアルにするために、陰影等を付加することを前提としていた。このため、仰俯角αが４５°より大きく、９０°よりも小さい範囲にある、光源４０の方向の特定を行うものとして説明したが、光源位置の推定のみに用いる場合等には、その範囲を制限しない。
【００６１】
また、本実施形態においては、光源方向特定部が、光源から照射される光の輝度値等を取得し、取得した輝度値等に基づき光源の方向及び照度を特定する、として説明したが、更に、光の色データを検出するようにしてもよい。この場合、光源によって出射される光の色データは、本実施形態におけるレンズフード３２の内壁３２８が白色であるため、この光の内壁３２８における照射部位を撮像画像から、検出可能である。例えば、光源方向特定部が、点Ａ１の輝度及び点Ｃ１の輝度ともに色データを検出するようにしてもよい。この色データに基づき、光学処理部は、処理対象の画像において各光が当たると推定される部分の色素を調整することができる。更に、環境光の色と直接光源の光の色とが異なる場合であっても、より実環境に沿うように、処理対象の画像の色素を調整することができる。
【００６２】
更に、本実施形態に係るデジタルフォトフレームにおいては、特定された光源（光源の方向・照度）を、画像の陰影等を付加するために用いるものとして説明したが、どのように用いるかは任意である。例えば、特定された光源の方向の情報を、太陽電池の受光面の方向制御に用いるようにしてもよい。
【００６３】
また、本実施形態においては、デジタルフォトフレームを例として説明したが、デジタルカメラ、パソコン、ノートパソコン又はＰＤＡ（パーソナル・デジタル・アシスタント）等に用いるようにしてもよい。
【００６４】
上記プログラムは、ＯＳ（Operation System）と協働してＣＰＵに光源方向特定処理を行わせるものであってもよい。この場合、ＯＳも記憶部に記録される。また、上記プログラムは、持ち運び可能な記憶媒体（例えば、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory））に記録され、光源方向特定装置に供給（インストール）されてもよい。また、上記プログラムは、ネットワークを介して光源方向特定装置に供給されてもよい。これらの場合には、記憶部は、フラッシュメモリ等によって構成され、このフラッシュメモリに上記プログラムが記録される。
【００６５】
プログラムが記録された、フラッシュメモリ、又は、持ち運び可能な記憶媒体等は、コンピュータが読み取り可能なプログラム製品（プログラムを記憶したコンピュータが読み取り可能な記憶媒体）になる。プログラムは、機能の少なくとも一部が専用回路によって実現され光源方向特定装置を動作させるものであってもよい。つまり、光源方向特定装置は、全体として、光源方向特定処理を行うものであればよく、上記プログラムは、そのような光源方向特定装置を動作させるものであればよい。
【符号の説明】
【００６６】
１０・・・デジタルフォトフレーム（光源方向特定装置）、２０・・・モニタ（表示部）、３０・・・撮像装置（撮像装置）、３２・・・レンズフード（光導入部）、３２０・・・フード画像領域、３２２・・・軸線、３２４，３２６・・・開口、４０・・・光源、５０・・・外界画像、５２・・・絵画調変換部、６０・・・光学処理部、６２・・・光源方向特定部、６４・・・ＣＰＵ、６６・・・記憶部（格納部）、９０（９０ａ，９０ｂ，９０ｃ，９０ｄ）・・・撮像画像（第１の画像）、Ａ１・・・点、Ｂ（Ｂ１，Ｂ２，Ｂ３）・・・点、Ｃ１・・・点、Ｌ（Ｌ１，Ｌ２，Ｌ３）・・・最大長さ、Ｐ・・・中心点、Ｒ（Ｒ１，Ｒ２，Ｒ３）・・・明領域、α（α１，α２）・・・仰俯角、β（β１，β２）・・・方位角
【図１】
0005510175.tif 000002
【図２】
0005510175.tif 000003
【図３】
0005510175.tif 000004
【図４】
0005510175.tif 000005
【図５】
0005510175.tif 000006
【図６】
0005510175.tif 000007
【図７】
0005510175.tif 000008
【図８】
0005510175.tif 000009
【図９】
0005510175.tif 000010
【図１０】
0005510175.tif 000011
【図１１】
0005510175.tif 000012