(57)【要約】撮像装置状況判断部（１０１）は撮像装置（１００１）の状況が光源情報の取得に適しているか否かを判断する。適していると判断されたとき、光源画像取得部（１０２）は撮像装置（１００１）によって光源画像を取得する。第１の撮像装置情報取得部（１０３）は光源画像取得時における撮像装置（１００１）の状況を表す第１の撮像装置情報を取得する。第２の撮像装置情報取得部（１０４）は実際の撮像時における撮像装置（１００１）の状況を表す第２の撮像装置情報を取得する。光源情報推定部（１０５）は光源画像並びに第１および第２の撮像装置情報を用いて、撮像時における光源情報を推定する。
2007139070.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置の状況が、光源情報の取得に適しているか否かを判断する撮像装置状況判断部と、
前記撮像装置状況判断部によって適していると判断されたとき、前記撮像装置によって撮像を行い、この撮像画像を光源画像として取得する光源画像取得部と、
前記光源画像取得部によって光源画像が取得されたときにおける、前記撮像装置の状況を表す第１の撮像装置情報を、取得する第１の撮像装置情報取得部と、
撮像者の操作によって前記撮像装置による撮像が行われた撮像時における、前記撮像装置の状況を表す第２の撮像装置情報を、取得する第２の撮像装置情報取得部と、
前記光源画像、並びに前記第１および第２の撮像装置情報を用いて、前記撮像時における、光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定する光源情報推定部とを備えた
ことを特徴とする光源推定装置。
【請求項２】
請求項１において、
前記撮像装置状況判断部は、
前記撮像装置の光軸の方向を検出し、光軸が上方向を向いているとき、適していると判断するものである
ことを特徴とする光源推定装置。
【請求項３】
請求項１において、
前記光源画像取得部は、
撮像者の操作による前記撮像装置による撮像が行われないことを確認した後に、光源画像の取得を行うものである
ことを特徴とする光源推定装置。
【請求項４】
請求項１において、
前記光源情報推定部は、光源の方向および位置のうち少なくともいずれか一方に加えて、光源の輝度、色、およびスペクトル情報のうち少なくともいずれか１つを推定するものである
ことを特徴とする光源推定装置。
【請求項５】
請求項１において、
前記光源画像取得部は、前記光源画像を、複数枚、取得するものであり、
前記第１の撮像装置情報取得部は、前記光源画像取得部によって各光源画像が取得されたとき、それぞれ、前記第１の撮像装置情報を取得するものであり、
前記光源推定装置は、
前記光源画像取得部によって取得された複数の光源画像から、前記第１の撮像装置情報取得部によって取得された複数の第１の撮像装置情報を用いて、パノラマ光源画像を合成する光源画像合成部を備え、
前記光源情報推定部は、前記パノラマ光源画像および前記第２の撮像装置情報を用いて、光源情報の推定を行う
ことを特徴とする光源推定装置。
【請求項６】
請求項１において、
前記撮像装置の光軸方向を変動させる光軸方向変動手段を備え、
前記光軸方向変動手段によって前記撮像装置の光軸方向が変動している状態で、前記光源画像取得部が複数枚の光源画像の取得を行うように、構成されている
ことを特徴とする光源推定装置。
【請求項７】
請求項６において、
前記光源推定装置は、折り畳み式携帯電話に搭載されており、
前記光軸方向変動手段は、前記折り畳み式携帯電話を開閉させる開閉機構である
ことを特徴とする光源推定装置。
【請求項８】
請求項６において、
前記光軸方向変動手段は、バイブレーション機構である
ことを特徴とする光源推定装置。
【請求項９】
撮像装置によって撮像を行い、この撮像画像を光源画像として取得する光源画像取得部と、
前記光源画像取得部によって光源画像が取得されたときにおける、前記撮像装置の状況を表す第１の撮像装置情報を、取得する第１の撮像装置情報取得部と、
撮像者の操作によって前記撮像装置による撮像が行われた撮像時における、前記撮像装置の状況を表す第２の撮像装置情報を、取得する第２の撮像装置情報取得部と、
前記光源画像、並びに前記第１および第２の撮像装置情報を用いて、前記撮像時における、光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定する光源情報推定部と、
前記撮像装置の光軸方向を変動させる光軸方向変動手段とを備え、
前記光軸方向変動手段によって前記撮像装置の光軸方向が変動している状態で、前記光源画像取得部が複数枚の光源画像の取得を行うように、構成されている
ことを特徴とする光源推定装置。
【請求項１０】
光源情報を推定する光源推定システムであって、
請求項１記載の撮像装置状況判断部、光源画像取得部、第１の撮像装置情報取得部、および第２の撮像装置情報取得部を有し、前記光源画像取得部によって取得された光源画像、前記第１の撮像装置情報取得部によって取得された第１の撮像装置情報、および、前記第２の撮像装置情報取得部によって取得された第２の撮像装置情報を送信する通信端末と、
請求項１記載の光源情報推定部を有し、前記通信端末から送信された前記光源画像、並びに前記第１および第２の撮像装置情報を受信し、前記光源情報推定部に与えるサーバとを備えた
ことを特徴とする光源推定システム。
【請求項１１】
撮像装置の状況が、光源情報の取得に適しているか否かを判断する第１のステップと、
前記第１のステップにおいて適していると判断したとき、前記撮像装置によって撮像を行い、この撮像画像を光源画像として取得する第２のステップと、
前記第２のステップにおいて光源画像を取得したときにおける、前記撮像装置の状況を表す第１の撮像装置情報を、取得する第３のステップと、
撮像者の操作によって前記撮像装置による撮像が行われた撮像時における、前記撮像装置の状況を表す第２の撮像装置情報を、取得する第４のステップと、
前記光源画像、並びに前記第１および第２の撮像装置情報を用いて、前記撮像時における、光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定する第５のステップとを備えた
ことを特徴とする光源推定方法。
【請求項１２】
撮像装置によって撮像を行い、この撮像画像を光源画像として取得する第１のステップと、
前記第１のステップにおいて光源画像を取得したときにおける、前記撮像装置の状況を表す第１の撮像装置情報を、取得する第２のステップと、
撮像者の操作によって前記撮像装置による撮像が行われた撮像時における、前記撮像装置の状況を表す第２の撮像装置情報を、取得する第３のステップと、
前記光源画像、並びに前記第１および第２の撮像装置情報を用いて、前記撮像時における、光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定する第４のステップとを備え、
前記第１のステップにおいて、光軸方向変動手段によって前記撮像装置の光軸方向を変動させ、前記撮像装置の光軸方向が変動している状態で、複数枚の光源画像の取得を行う
ことを特徴とする光源推定方法。
【請求項１３】
撮像装置によって撮像を行う画像撮像部と、
請求項１１または１２の光源推定方法によって、被写体に照射する光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定する光源情報推定部と、
前記被写体の、表面の法線情報または３次元位置情報を、形状情報として取得する形状情報取得部と、
前記光源情報および形状情報を用いて、前記画像撮像部によって撮像された画像を高解像度化する画像高解像度化部とを備えた
ことを特徴とする画像高解像度化装置。
【請求項１４】
請求項１３において、
前記画像高解像度化部は、前記画像撮像部によって撮像された画像を、拡散反射成分と鏡面反射成分とに分離し、分離した拡散反射成分と鏡面反射成分とを、個別に、高解像化するものである
ことを特徴とする画像高解像度化装置。
【請求項１５】
請求項１３において、
前記画像高解像度化部は、前記画像撮像部によって撮像された画像を、パラメータに分解し、分解したパラメータを、個別に、高解像化するものである
ことを特徴とする画像高解像度化装置。
【請求項１６】
撮像装置によって撮像を行う第１のステップと、
請求項１１または１２の光源推定方法によって、被写体に照射する光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定する第２のステップと、
前記被写体の、表面の法線情報または３次元位置情報を、形状情報として取得する第３のステップと、
前記光源情報および形状情報を用いて、前記第１のステップにおいて撮像した画像を高解像度化する第４のステップとを備えた
ことを特徴とする画像高解像度化方法。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、一般環境での画像撮像、画像処理および画像合成などの際に重要となる、画像撮像時の光源の位置、方向、輝度、スペクトル、色などの光源情報を推定する技術、および、光源情報を用いて画像の高解像度化を行う技術に関するものである。
【背景技術】
【０００２】  カメラ付き携帯電話やデジタルカメラの普及に伴い、画像処理への重要度が高まってきている。このような画像処理として、例えばデジタルズームとして知られている画像の高解像度化、人の顔などを認識してフォーカスをあわせるなどの認識処理、さらには現実の画像に仮想物体であるＣｏｍｐｕｔｅｒ−Ｇｒａｐｈｉｃｓで作成された画像を重畳表示する拡張現実などさまざまである。【０００３】  これらの画像処理は、画像撮像により撮像素子に記録された被写体の「見え」を基に処理が行なわれている。この物体の見えは、光源からの光が被写体表面で反射され、その反射光を撮像素子が受光することで得られる。【０００４】  そのため、光源情報は画像処理において非常に重要である。つまり、光源情報を取得して、画像撮像や画像処理に利用することは非常に効果的である。例えば、特許文献１では、仮想物体を実世界に重畳表示させる際、実世界の光源環境を計測することで、仮想物体上に映り込む照射光による反射光や仮想物体により生成される影を付与する。【０００５】  また、光源情報は、画像処理だけでなく、撮像行為を行なう主体者である撮像者が撮像装置で画像を取得する際にも有益である。例えば、特許文献２では、光源位置を検出し、その情報を利用して、順光状態や逆光状態を撮像者に表示することによって、一般の人が特に専門的な知識をもっていない場合でも、光や影を生かした逆光（半逆光）のポートレート写真等を容易に撮像することを可能にしている。
【特許文献１】特開平１１−１７５７６２号公報
【特許文献２】特開平８−１６０５０７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】  このような光源情報を取得するためには、光源を撮像した画像、すなわち光源画像が必要である。光源画像は、
（１）被写体とは別方向を撮像し、かつ
（２）全天周に近い、広範囲な画像である
ことが望ましい。これは、以下の理由による。【０００７】  （１）一般的な被写体、例えば人に対して、照明である街灯や室内照明は上方から照射されることが多い。また、被写体と同じ方向に光源がある場合、逆光状態となり、被写体が暗くなる可能性がある。そのため、撮像者は被写体と光源が同じ画像に入ることを避けたがる。
（２）光源は、撮像者にとって、どこに何個あるか未知。【０００８】  このため、上述の特許文献１および特許文献２では、光源情報を取得するために、天頂方向に光軸を向け、魚眼レンズを搭載した撮像装置を利用している。【０００９】  しかし、このように魚眼レンズを被写体とは別方向に向けて撮像するためには、被写体を撮像する撮像装置とは別に、第２の撮像装置が必要になる。これは、コストの面で大きな負担となってしまう。また、特にカメラ付き携帯電話では、小型化の要望が大きいため、撮像装置を現在よりも増やすことは、大きさの面でも大きな問題となる。【００１０】  さらに、被写体を撮像する撮像装置と光源を撮像する撮像装置が異なるため、２つの撮像装置間での位置合わせ（キャリブレーション）が必要になってしまう。これは、光源情報を推定する上で、被写体と光源との位置関係が特に重要であることに起因する。すなわち、被写体と光源を別個の撮像装置で撮像した場合、これらの対応付けが必要になるが、この操作は非常に煩雑である。【００１１】  前記の問題に鑑み、本発明は、例えばカメラ付き携帯電話などの装置において、付加的な撮像装置を搭載することなく、光源が撮像された光源画像を取得し、光源情報を推定可能にすることを課題とする。
【課題を解決するための手段】
【００１２】  本発明は、光源推定装置および方法として、撮像装置の状況が光源情報の取得に適しているか否かを判断し、適していると判断されたとき、前記撮像装置によって撮像を行い、この撮像画像を光源画像として取得し、光源画像が取得されたときにおける前記撮像装置の状況を表す第１の撮像装置情報を取得し、撮像者の操作によって前記撮像装置による撮像が行われた撮像時における前記撮像装置の状況を表す第２の撮像装置情報を取得し、前記光源画像、並びに前記第１および第２の撮像装置情報を用いて、前記撮像時における光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定するものである。【００１３】  本発明によると、撮像装置の状況が光源情報の取得に適しているか否かが判断され、適していると判断されたとき、この撮像装置によって光源画像が取得される。このとき、撮像装置の状況を表す第１の撮像装置情報も取得される。そして、撮像者の操作によって前記撮像装置による撮像が行われた撮像時に、撮像装置の状況を表す第２の撮像装置情報が取得され、光源画像と第１および第２の撮像装置情報を用いて、光源情報が推定される。すなわち、光源画像の取得は、撮像時に用いられる撮像装置を利用して、この撮像装置の状況が光源情報の取得に適していると判断されたときに、行われる。したがって、付加的な撮像装置を搭載することなく、光源画像を取得し、光源情報を推定することが可能になる。【００１４】  また、本発明は、光源推定装置および方法として、撮像装置によって撮像を行い、この撮像画像を光源画像として取得し、光源画像が取得されたときにおける前記撮像装置の状況を表す第１の撮像装置情報を取得し、撮像者の操作によって前記撮像装置による撮像が行われた撮像時における前記撮像装置の状況を表す第２の撮像装置情報を取得し、前記光源画像並びに前記第１および第２の撮像装置情報を用いて、前記撮像時における光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定するものであり、かつ、光軸方向変動手段によって前記撮像装置の光軸方向が変動している状態で、複数枚の光源画像の取得を行うものである。【００１５】  本発明によると、光軸方向変動手段によって撮像装置の光軸方向が変動している状態で、この撮像装置によって複数枚の光源画像が取得される。このとき、撮像装置の状況を表す第１の撮像装置情報も取得される。そして、撮像者の操作によって前記撮像装置による撮像が行われた撮像時に、撮像装置の状況を表す第２の撮像装置情報が取得され、光源画像と第１および第２の撮像装置情報を用いて、光源情報が推定される。すなわち、光源画像の取得は、撮像時に用いられる撮像装置を利用して、この撮像装置の光軸方向が変動している状態で、行われる。したがって、付加的な撮像装置を搭載することなく、広い範囲にわたって光源画像を取得し、光源情報を推定することが可能になる。【００１６】  また、本発明は、画像高解像度化装置および方法として、撮像装置によって撮像を行い、本発明に係る光源推定方法によって、被写体に照射する光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定する光源情報推定し、被写体の表面の法線情報または３次��位置情報を形状情報として取得し、前記光源情報および形状情報を用いて、撮像された画像を高解像度化するものである。
【発明の効果】
【００１７】  本発明によると、カメラ付き携帯電話のような撮像装置搭載機器において、被写体撮像用以外の付加的な撮像装置を搭載することなく、被写体周囲の光源画像を取得し、光源情報を推定することが可能になる。また、推定された光源情報を用いて、画像の高解像度化を実現することができる。
【図面の簡単な説明】
【００１８】
【図１】図１は、本発明の第１の実施形態に係る光源推定装置の構成を示すブロック図である。
【図２】図２は、本発明の光源推定装置が搭載された携帯電話の構成を示す模式図である。
【図３】図３は、カメラ付き携帯電話が折り畳まれた状態を示す図である。
【図４】図４は、撮像装置状況判断部および光源画像取得部の処理の流れを示したフローチャートである。
【図４Ａ】図４Ａは、撮像装置状況判断部および光源画像取得部の処理の流れを示したフローチャートである。
【図５】図５は、メモリに保持された情報の一部を示した模式図である。
【図６】図６は、ロール・ピッチ・ヨー角表現を説明するための模式図である。
【図７】図７は、光源画素の抽出処理を説明するための模式図である。
【図８】図８は、カメラ座標系と画像座標系との関係を説明するための模式図である。
【図９】図９は、撮像装置が移動することを利用して、光源の３次元位置を推定する処理を説明するための模式図である。
【図１０】図１０は、錘とタッチセンサを利用して光軸方向を検出する方法を説明するための模式図である。
【図１１】図１１は、錘とタッチセンサが搭載されたカメラ付き折り畳み式携帯電話を示す模式図である。
【図１２】図１２は、図１１のカメラ付き折り畳み式携帯電話が置かれた状態を示す模式図である。
【図１３】図１３は、光軸方向とタッチセンサのＯＮ／ＯＦＦとの関係を示す図である。
【図１４】図１４は、錘とタッチセンサが搭載されたデジタルスチルカメラが置かれた状態を示す模式図である。
【図１５】図１５は、本発明の第２の実施形態に係る光源推定装置の構成を示すブロック図である。
【図１６】図１６は、パノラマ光源画像の合成方法を説明するための模式図である。
【図１７】図１７は、複数枚の光源画像を合成することにより、みかけの視野範囲を広げる処理を示す模式図である。
【図１８】図１８は、投影面として直方体を利用した場合のパノラマ光源画像の合成方法を説明するための模式図である。
【図１９】図１９は、本発明の第３の実施形態に係る光源推定装置の構成を示すブロック図である。
【図２０】図２０は、本発明の第３の実施形態に係る光源推定装置が実装されたカメラ付き折り畳み式携帯電話の外観図である。
【図２１】図２１は、開閉スイッチを押されたときの、図２０のカメラ付き折畳式携帯電話の動きを示す模式図である。
【図２２】図２２は、本発明の第３の実施形態に係る光源推定装置の他の構成を示すブロック図である。
【図２３】図２３は、バイブレーション機構による振動角を説明するための模式図である。
【図２４】図２４は、本発明の第３の実施形態に係る光源推定装置の他の構成を示すブロック図である。
【図２５】図２５は、本発明の第４の実施形態に係る光源推定システムの構成を示すブロック図である。
【図２６】図２６は、画像を拡散反射画像と鏡面反射画像とに分離した例を示す図である。
【図２７】図２７は、本発明の一実施形態に係る画像高解像度化装置の構成を示すブロック図である。
【図２８】図２８は、本発明の一実施形態に係る画像高解像度化装置が搭載されたカメラ付き携帯電話を示す図である。
【図２９】図２９は、直線偏光光を照射した際、偏光フィルタを回転させたときの反射光強度の変化を示すグラフである。
【図３０】図３０は、偏光フィルタを利用した、鏡面反射画像と拡散反射画像との分離処理の流れを示すフローチャートである。
【図３１】図３１は、画素ごとに偏光方向が異なる撮像装置を説明するための模式図である。
【図３２】図３２は、照度差ステレオ法を利用して、被写体の距離や３次元位置を求める処理を説明するための模式図である。
【図３３】図３３は、反射光の偏光特性を利用した形状情報の取得処理を説明するための模式図である。
【図３４】図３４は、自然光を照射した際、偏光フィルタを回転させたときの反射光強度の変化を示すグラフである。
【図３５】図３５は、テキストンに基づく高解像度化処理の概念を示す模式図である。
【図３６】図３６は、線形マトリクス変換を利用したテキストンに基づく高解像度化処理を説明するための概念図である。
【図３７】図３７は、テキストンに基づく高解像度化処理における学習処理の流れを示すＰＡＤ図である。
【図３８】図３８は、テキストンに基づく高解像度化処理における学習処理を説明するための模式図である。
【図３９】図３９は、２次元離散定常ウェーブレット変換の処理を示す図である。
【図４０】図４０は、２次元離散定常ウェーブレット変換をテスト画像に実施した場合の画像結果例である。
【図４１】図４１は、テキストンに基づく高解像度化処理における実行時の処理の流れを示すＰＡＤ図である。
【図４２】図４２は、テキストンに基づく高解像度化処理における実行時の処理を説明するための模式図である。
【図４３】図４３は、２次元離散定常逆ウェーブレット変換の処理を示す図である。
【図４４】図４４は、拡散反射成分と鏡面反射成分の輝度値の違いを表現するための定数Ｓｒを説明するための模式図である。
【図４５】図４５は、本発明の一実施形態に係る画像高解像度化処理における鏡面反射画像のパラメータ推定処理の流れを示す図である。
【図４６】図４６は、入射照度を表す式の各パラメータを説明するための概念図である。
【図４７】図４７は、シンプレックス法によるパラメータ推定処理の流れを示すフローチャートである。
【図４８】図４８は、シンプレックス法におけるパラメータ更新処理の流れを示したフローチャートである。
【図４９】図４９は、極座標表現を説明するための模式図。
【図５０】図５０は、本発明の一実施形態に係る画像高解像度化処理における拡散反射画像のパラメータ推定処理の流れを示す図である。
【図５１】図５１は、擬似アルベドを利用した場合にメモリに保持されるデータを示す図である。
【符号の説明】
【００１９】１０１  撮像装置状況判断部
１０２  光源画像取得部
１０３  第１の撮像装置情報取得部
１０４  第２の撮像装置情報取得部
１０５  光源情報推定部
１０６  光源画像合成部
２０１  画像撮像部
２０３  光源情報推定部
２０４  形状情報取得部
２１７  画像高解像度化部
１００１  撮像装置
１０２６  バイブレーション機構（光軸方向変動手段）
１０３１  開閉機構（光軸方向変動手段）
１１００  通信端末
１１０１  サーバ
【発明を実施するための最良の形態】
【００２０】  本発明の第１態様では、撮像装置の状況が、光源情報の取得に適しているか否かを判断する撮像装置状況判断部と、前記撮像装置状況判断部によって適していると判断されたとき、前記撮像装置によって撮像を行い、この撮像画像を光源画像として取得する光源画像取得部と、前記光源画像取得部によって光源画像が取得されたときにおける、前記撮像装置の状況を表す第１の撮像装置情報を、取得する第１の撮像装置情報取得部と、撮像者の操作によって前記撮像装置による撮像が行われた撮像時における、前記撮像装置の状況を表す第２の撮像装置情報を、取得する第２の撮像装置情報取得部と、前記光源画像、並びに前記第１および第２の撮像装置情報を用いて、前記撮像時における、光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定する光源情報推定部とを備えた光源推定装置を提供する。【００２１】  本発明の第２態様では、前記撮像装置状況判断部は、前記撮像装置の光軸の方向を検出し、光軸が上方向を向いているとき、適していると判断する前記第１態様の光源推定装置を提供する。【００２２】  本発明の第３態様では、前記光源画像取得部は、撮像者の操作による前記撮像装置による撮像が行われないことを確認した後に、光源画像の取得を行う前記第１態様の光源推定装置を提供する。【００２３】  本発明の第４態様では、前記光源情報推定部は、光源の方向および位置のうち少なくともいずれか一方に加えて、光源の輝度、色、およびスペクトル情報のうち少なくともいずれか１つを推定する前記第１態様の光源推定装置を提供する。【００２４】  本発明の第５態様では、前記光源画像取得部は、前記光源画像を複数枚取得するものであり、前記第１の撮像装置情報取得部は、前記光源画像取得部によって各光源画像が取得されたとき、それぞれ、前記第１の撮像装置情報を取得するものであり、前記光源推定装置は、前記光源画像取得部によって取得された複数の光源画像から、前記第１の撮像装置情報取得部によって取得された複数の第１の撮像装置情報を用いて、パノラマ光源画像を合成する光源画像合成部を備え、前記光源情報推定部は、前記パノラマ光源画像および前記第２の撮像装置情報を用いて、光源情報の推定を行う前記第１態様の光源推定装置を提供する。【００２５】  本発明の第６態様では、前記撮像装置の光軸方向を変動させる光軸方向変動手段を備え、前記光軸方向変動手段によって前記撮像装置の光軸方向が変動している状態で、前記光源画像取得部が複数枚の光源画像の取得を行うように、構成されている前記第１態様の光源推定装置を提供する。【００２６】  本発明の第７態様では、前記光源推定装置は、折り畳み式携帯電話に搭載されており、前記光軸方向変動手段は、前記折り畳み式携帯電話を開閉させる開閉機構である前記第６態様の光源推定装置を提供する。【００２７】  本発明の第８態様では、前記光軸方向変動手段は、バイブレーション機構である前記第６態様の光源推定装置を提供する。【００２８】  本発明の第９態様では、撮像装置によって撮像を行い、この撮像画像を光源画像として取得する光源画像取得部と、前記光源画像取得部によって光源画像が取得されたときにおける、前記撮像装置の状況を表す第１の撮像装置情報を、取得する第１の撮像装置情報取得部と、撮像者の操作によって前記撮像装置による撮像が行われた撮像時における、前記撮像装置の状況を表す第２の撮像装置情報を、取得する第２の撮像装置情報取得部と、前記光源画像、並びに前記第１および第２の撮像装置情報を用いて、前記撮像時における、光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定する光源情報推定部と、前記撮像装置の光軸方向を変動させる光軸方向変動手段とを備え、前記光軸方向変動手段によって前記撮像装置の光軸方向が変動している状態で、前記光源画像取得部が複数枚の光源画像の取得を行うように、構成されている光源推定装置を提供する。【００２９】  本発明の第１０態様では、光源情報を推定する光源推定システムとして、前記第１態様の撮像装置状況判断部、光源画像取得部、第１の撮像装置情報取得部、および第２の撮像装置情報取得部を有し、前記光源画像取得部によって取得された光源画像、前記第１の撮像装置情報取得部によって取得された第１の撮像装置情報、および、前記第２の撮像装置情報取得部によって取得された第２の撮像装置情報を送信する通信端末と、前記第１態様の光源情報推定部を有し、前記通信端末から送信された前記光源画像、並びに前記第１および第２の撮像装置情報を受信し、前記光源情報推定部に与えるサーバとを備えたものを提供する。【００３０】  本発明の第１１態様では、撮像装置の状況が、光源情報の取得に適しているか否かを判断する第１のステップと、前記第１のステップにおいて適していると判断したとき、前記撮像装置によって撮像を行い、この撮像画像を光源画像として取得する第２のステップと、前記第２のステップにおいて光源画像を取得したときにおける、前記撮像装置の状況を表す第１の撮像装置情報を、取得する第３のステップと、撮像者の操作によって前記撮像装置による撮像が行われた撮像時における、前記撮像装置の状況を表す第２の撮像装置情報を、取得する第４のステップと、前記光源画像、並びに前記第１および第２の撮像装置情報を用いて、前記撮像時における、光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定する第５のステップとを備えた光源推定方法を提供する。【００３１】  本発明の第１２態様では、撮像装置によって撮像を行い、この撮像画像を光源画像として取得する第１のステップと、前記第１のステップにおいて光源画像を取得したときにおける、前記撮像装置の状況を表す第１の撮像装置情報を、取得する第２のステップと、撮像者の操作によって前記撮像装置による撮像が行われた撮像時における、前記撮像装置の状況を表す第２の撮像装置情報を、取得する第３のステップと、前記光源画像、並びに前記第１および第２の撮像装置情報を用いて、前記撮像時における、光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定する第４のステップとを備え、前記第１のステップにおいて、光軸方向変動手段によって前記撮像装置の光軸方向を変動させ、前記撮像装置の光軸方向が変動している状態で、複数枚の光源画像の取得を行う光源推定方法を提供する。【００３２】  本発明の第１３態様では、撮像装置によって撮像を行う画���撮像部と、前記第１１または１２態様の光源推定方法によって、被写体に照射する光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定する光源情報推定部と、前記被写体の、表面の法線情報または３次元位置情報を、形状情報として取得する形状情報取得部と、前記光源情報および形状情報を用いて、前記画像撮像部によって撮像された画像を高解像度化する画像高解像度化部とを備えた画像高解像度化装置を提供する。【００３３】  本発明の第１４態様では、前記画像高解像度化部は、前記画像撮像部によって撮像された画像を、拡散反射成分と鏡面反射成分とに分離し、分離した拡散反射成分と鏡面反射成分とを、個別に、高解像化するものである前記第１３態様の画像高解像度化装置を提供する。【００３４】  本発明の第１５態様では、前記画像高解像度化部は、前記画像撮像部によって撮像された画像を、パラメータに分解し、分解したパラメータを、個別に、高解像化するものである前記第１３態様の画像高解像度化装置を提供する。【００３５】  本発明の第１６態様では、撮像装置によって撮像を行う第１のステップと、前記第１１または１２態様の光源推定方法によって、被写体に照射する光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定する第２のステップと、前記被写体の、表面の法線情報または３次元位置情報を、形状情報として取得する第３のステップと、前記光源情報および形状情報を用いて、前記第１のステップにおいて撮像した画像を高解像度化する第４のステップとを備えた画像高解像度化方法を提供する。【００３６】  以下、本発明の実施の形態について、図面を参照しながら説明する。【００３７】  （第１の実施形態）
図１は本発明の第１の実施形態に係る光源推定装置の構成を示すブロック図である。図１において、１００１はＣＣＤやＣＭＯＳ等によって構成された撮像装置、１００２は撮像行為を行う主体者である撮像者が撮像装置１００１に撮像を指示するための撮像スイッチである。撮像装置１００１には３軸の角度センサ１０２５が搭載されている。【００３８】  また、１０１は撮像装置１００１の状況が、光源情報の取得に適しているか否かを判断する撮像装置状況判断部、１０２は撮像装置状況判断部１０１によって適していると判断されたとき、撮像装置１００１によって撮像を行い、この撮像画像を光源画像として取得する光源画像取得部、１０３は光源画像取得部１０２によって光源画像が取得されたとき、撮像装置１００１の状況を表す第１の撮像装置情報を取得する第１の撮像装置情報取得部、１０４は撮像者の操作によって撮像装置１００１による撮像が行われた撮像時に、撮像装置の状況を表す第２の撮像装置情報を取得する第２の撮像装置情報取得部、そして１０５は光源画像取得部１０２によって取得された光源画像、並びに第１の撮像装置情報取得部１０３によって取得された第１の撮像装置情報、および第２の撮像装置情報取得部１０４によって取得された第２の撮像装置情報を基にして、撮像時における光源の方向および位置のうち少なくともいずれか一方を推定する光源情報推定部である。【００３９】  なお、ここでは、撮像装置状況判断部１０１、光源画像取得部１０２、第１の撮像装置情報取得部１０３、第２の撮像装置情報取得部１０４および光源情報推定部１０５は、ＣＰＵ１０２９によってプログラムを実行することによって、実現されるものとする。ただし、これらの機能の全部または一部を、ハードウェアによって実現するようにしてもかまわない。また、メモリ１０２８は、光源画像取得部１０２によって取得された光源画像と、第１の撮像装置情報取得部１０３によって取得された第１の撮像装置情報を格納する。【００４０】  図２は本実施形態に係る光源推定装置が搭載されたカメラ付き折り畳み式携帯電話１０００の構成例を示す。図２において、図１と共通の構成要素には図１と同一の符号を付している。なお、図２のカメラ付き折り畳み式携帯電話１０００では、撮像装置１００１に偏光フィルタ１０１６が設けられており、この偏光フィルタ１０１６を回転させるためのモータ１０２６ａと、その回転角を検出するためのエンコーダ１０２７ａとが設けられている。また、折り畳み機構を駆動するためのモータ１０２６ｂと、その回転角を検出するためのエンコーダ１０２７ｂとが設けられている。また、マナーモードスイッチ１０３４が設けられている。【００４１】  図３は図２のカメラ付き折り畳み式携帯電話１０００が折り畳まれた状態を示す図である。図３において、１００５は撮像装置１００１の光軸方向を示し、１００６は撮像装置１００１の視野範囲を示している。【００４２】  以下、本実施形態に係る光源推定装置の各構成要素の動作について、説明する。【００４３】  撮像装置状況判断部１０１は、撮像装置１００１の状況が、光源情報を取得するために適しているか否かを判断する。最も一般的な光源として、家庭内では照明、屋外では街灯や太陽が考えられる。そのため、撮像装置１００１の撮像方向、つまり光軸の方向が上向きになっている場合、撮像装置１００１が光源情報を取得するために適した状況にある、と判断することができる。そこで、撮像装置状況判断部１０１は、撮像装置１００１に搭載された角度センサ１０２５の出力を用いて、撮像装置１０１の光軸の方向を検出し、光軸が上方向を向いているとき、光源情報を取得するために適していると判断する。このとき、撮像装置状況判断部１０１は、光源画像取得部１０２に撮像を促す信号を送信する。【００４４】  光源画像取得部１０２は、撮像装置状況判断部１０１から撮像を促す信号を受けたとき、すなわち、撮像装置１００１の状況が光源情報を取得するために適していると撮像装置状況判断部１０１によって判断されたとき、撮像装置１００１によって撮像を行い、この撮像画像を光源画像として取得する。取得された光源画像は、メモリ１０２８に格納される。【００４５】  このとき、光源画像取得部１０２は、撮像者の操作による撮像が行われないことを確認した後に、光源画像の取得を行うのが好ましい。例えば、撮像スイッチ１００２が押されていないことを確認した上で、光源画像の撮像を行えばよい。【００４６】  光源画像取得部１０２は、撮像者の撮像意図を考慮して、撮像が行われていない期間を利用して光源画像を撮像するものである。本実施形態に係る光源推定装置では、被写体を撮像するための撮像装置１００１を利用して、光源画像の撮像を行う。このため、もし撮像者が被写体をまさに撮像しようとしているその直前に光源画像の撮像が行われてしまうと、撮像者が撮像しようとした瞬間に被写体を撮像することができず、撮像者の撮像意図を無視することになってしまう。【００４７】  このため、本実施形態では、撮像者の撮像意思を考慮するために、撮像者が撮像を行わないと想定される間、例えば、机などにおかれている間に光源画像の撮像を行う。例えば、図３のカメラ付き折畳式携帯電話１０００が机などにおかれている場合、光軸方向１００５は上向きになると考えられる。この状態であれば、最適な光源画像を撮像することが可能である。【００４８】  図４は撮像装置状況判断部１０１および光源画像取得部１０２の処理の一例を示すフローである。まず、撮像装置状況判断部１０１は、撮像装置１００１の光軸方向の検出を行い、その光軸方向が上向きであるか否かを判断する（ステップＳ１２１）。光軸方向が上向きでない場合（ステップＳ１２１でＮｏ）、光軸方向が上向きになるまで繰り返し光軸方向のチェックを行う。一方、光軸方向が上向きである場合（ステップＳ１２２でＹｅｓ）、光源画像取得部１０２は撮像スイッチ１００２のチェックを行う（ステップＳ１２２）。もし、オートフォーカス（ＡＦ）などの処理を行うために、撮像スイッチ１００２が押されている場合（ステップＳ１２２でＮｏ）、撮像が行われる可能性が高いため、光源画像の撮像は行わない。一方、撮像スイッチ１００２が押されていない場合（ステップＳ１２２でＹｅｓ）、光源画像取得部１０２は撮像装置１００１によって撮像を行い、光源画像を取得する（ステップＳ１２３）。【００４９】  なお、ここでは、撮像スイッチのチェックによって、撮像者の操作による撮像が行われるか否かを判断するものとしたが、撮像者が撮像する意思を持っているか否かを確認する方法は、これに限られるものではない。例えば、「撮像中ですか？」という撮像を確認する表示をディスプレイに表示し、撮像者が「Ｎｏ」という意思を表示するか、なんの反応もない場合に、撮像者が撮像する意思を持っていないと判断してもかまわない。【００５０】  また、加速度センサなどを利用し、撮像装置１００１が静止しているとき、光源画像の取得を行うようにしてもかまわない。すなわち、撮像装置１００１が静止している場合、撮像装置１００１は撮像者が保持しておらず、机などにおかれていると判断できる。そのため、この場合、撮像者は撮像を行っていない可能性が高い。一方、撮像者が撮像を行うために撮像装置１００１を構えている場合、手ぶれの影響を加速度センサが感知する。このときは、光源画像取得部１０２は撮像を行わないようにすればよい。【００５１】  また、マナーモードを利用して撮像者が撮像する意思を持っているか否かを確認するようにしても構わない。この処理を詳述する。【００５２】  図４Ａはマナーモードを利用して撮像者が撮像する意思を持っているか否かを確認する場合の、撮像装置状況判断部１０１および光源画像取得部１０２の処理の一例を示すフローチャートである。まず、撮像装置状況判断部１０１は、撮像装置１００１の光軸方向の検出を行い、その光軸方向が上向きであるか否かを判断する（ステップＳ１２１）。光軸方向が上向きでない場合（ステップＳ１２１でＮｏ）、光軸方向が上向きになるまで一定時間間隔で光軸方向のチェックを行う。一方、光軸方向が上向きである場合（ステップＳ１２１でＹｅｓ）、光源画像取得部１０２はマナーモードのチェックを行う（ステップＳ１２４）。もし、マナーモードスイッチ１０３４がＯＦＦに設定されている場合（ステップＳ１２４でＮｏ）、撮像が行われる可能性が高いため、光源画像の撮像は行わない。一方、マナーモードスイッチ１０３４がＯＮに設定されている場合（ステップＳ１２４でＹｅｓ）、光源画像取得部１０２は撮像装置１００１によって撮像を行い、光源画像を取得する（ステップＳ１２３）。【００５３】  このとき、マナーモードとしてドライブモードが設定されている場合、撮像者は移動中であると考えられるため、光源画像の撮像は行わないようにしても構わない。つまり、サイレントモードでは光源画像を撮影するが、ドライブモードでは撮影を行わない。【００５４】  第１の撮像装置情報取得部１０３は、光源画像取得部１０２によって光源画像が取得されたとき、撮像装置１００１の状況を表す第１の撮像装置情報を取得する。具体的には例えば、角度センサ１０２５の出力と撮像装置１００１の焦点距離情報とを、第１の撮像装置情報として取得する。取得された第１の撮像装置情報はメモリ１０２８に格納される。図５はメモリ１０２８に保持された情報の一部を示す模式図である。ある光源画像に対して、角度センサ出力と焦点距離が、第１の撮像装置情報として格納されている。【００５５】  撮像装置１００１の姿勢情報は、角度センサ１０２５の出力を使用して、以下の３ｘ３行列Ｒｌｉｇｈｔで表現される。
【数１】
2007139070.tif 000003
【００５６】  撮像装置１００１の姿勢情報を表す、この３ｘ３行列Ｒｌｉｇｈｔのことをカメラ姿勢行列と呼ぶ。ここで、（α，β，γ）はカメラに取り付けられたセンサ出力のロール・ピッチ・ヨー角表現での値であり、ある基準点からの動き量で表現される。ロール・ピッチ・ヨー角表現とは、図６に示したように、任意の回転を、ｚ軸周りの回転であるロー、次に、新しいｙ軸周りの回転であるピッチ、最後に、新しいｘ軸まわりの回転であるヨーの３段階の回転によって表すものである。【００５７】  また、Ｒｘ（α）、Ｒｙ（β）、Ｒｚ（γ）はロール・ピッチ・ヨー角からｘ軸回転、ｙ軸回転、ｚ軸回転へ変換する行列であり、次式で表される。
【数２】
2007139070.tif 000004
【００５８】  また、撮像装置１００１がズーム可能である場合、そのズーム情報も焦点距離情報として取得される。また、撮像装置１００１が固定焦点の場合、その焦点距離情報も取得される。焦点距離情報は、画像処理の分野で広く使われているカメラキャリブレーションを行なうことにより、取得できる。【００５９】  このような、カメラに取り付けられた角度センサや角速度センサからカメラの姿勢情報を取得する方法は、既存の手法を利用すればよい（例えば、「岡谷貴之，“メカニカルセンサとイメージセンサの融合による３次元形状復元”，情報処理学会研究報告会，２００５−ＣＶＩＭ−１４７，ｐｐ．１２３−１３０，２００５」）。【００６０】  第２の撮像装置情報取得部１０４は、撮像者の操作によって撮像装置１００１による撮像が行われた撮像時に、撮像装置１００１の状況を表す第２の撮像装置情報を取得する。ここでも、上述した第１の撮像装置情報取得部１０３と同様に、角度センサ１０２５の出力と撮像装置１００１の焦点距離情報とを、第２の撮像装置情報として取得するものとする。このとき、角度センサ１０２５の出力（α，β，γ）から求められる姿勢行列Ｒｎｏｗを、現在の姿勢行列と呼ぶ。【００６１】  光源情報推定部１０５は、メモリ１０２８に格納された光源画像および第１の撮像装置情報と、第２の撮像装置情報取得部１０４によって取得された第２の撮像装置情報を用いて、撮像者の操作による撮像時における、光源情報を推定する。ここでは、光源の方向を推定するものとする。【００６２】  まず、光源画像において、十分に輝度値の高い画素を、光源を撮像している画素すなわち光源画素として抽出する。図７はこの処理を説明するための模式図である。図７では、視野範囲１００６を持った撮像装置１００１が光源１００７を撮像している。このとき、撮像画像１００８において、光源が撮像されている領域１００９の輝度値は非常に高くなる。そこで、閾値処理を利用し、所定の閾値よりも輝度値が高い画素を光源画素として抽出する。【００６３】  こうして求まった光源画素から、光源方向を推定する。この処理には、撮像装置の画素位置（ｕ，ｖ）と画像座標系とよばれる撮像素子上での実寸位置（ｘｆ，ｙｆ）との関係式が必要である。レンズの歪みなどの影響を考慮すると、画素位置（ｕ，ｖ）と実寸位置（ｘｆ，ｙｆ）との関係は、次式で求められる。
【数３】
2007139070.tif 000005
ただし、（Ｃｘ，Ｃｙ）は画素中心位置、ｓはスケールファクタ、（ｄｘ，ｄｙ）は撮像素子１画素のサイズ［ｍｍ］、Ｎｃｘはｘ方向の撮像素子数、Ｎｆｘはｘ方向の有効画素数、κ１、κ２はレンズの歪みを示す歪みパラメータである。【００６４】  また、図８に示した、撮像装置の焦点位置を原点、その光軸方向をＺ軸にとったカメラ座標系（ｘ，ｙ，ｚ）と画像座標系（ｘｆ，ｙｆ）との関係は、次式で求められる。
【数４】
2007139070.tif 000006
ここで、ｆは撮像装置の焦点距離を表している。つまり、カメラパラメータ（Ｃｘ，Ｃｙ），ｓ，（ｄｘ，ｄｙ）、Ｎｃｘ、Ｎｆｘ、ｆ、κ１、κ２が既知であれば、（式２）（式３）により、画素位置（ｕ，ｖ）とカメラ座標系（ｘ，ｙ，ｚ）の変換が可能である。【００６５】  通常、Ｎｃｘ、Ｎｆｘは撮像素子が特定できれば既知であり、また、（Ｃｘ，Ｃｙ），ｓ，（ｄｘ，ｄｙ）、κ１、κ２、ｆはいわゆるカメラキャリブレーションを行うことで既知となる（例えば、Ｒｏｇｅｒ  Ｙ．Ｔｓａｉ，“Ａｎ  Ｅｆｆｉｃｉｅｎｔ  ａｎｄ  Ａｃｃｕｒａｔｅ  Ｃａｍｅｒａ  Ｃａｌｉｂｒａｔｉｏｎ  Ｔｅｃｈｎｉｑｕｅ  ｆｏｒ  ３Ｄ  Ｍａｃｈｉｎｅ  Ｖｉｓｉｏｎ”，Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，Ｍｉａｍｉ  Ｂｅａｃｈ，ＦＬ，１９８６，ｐｐ．３６４−３７４）。これらのパラメータは、撮像装置の位置や姿勢が変化しても変化しない。このようなパラメータをカメラ内部パラメータとよぶ。【００６６】  そこで、撮像を行う前にカメラキャリブレーションを行い、カメラ内部パラメータ（Ｃｘ，Ｃｙ）、ｓ、（ｄｘ，ｄｙ）、Ｎｃｘ、Ｎｆｘ、ｆ、κ１、κ２を特定する。これらの値は、撮像装置購入時に付属されているものを利用しても構わない。また、カメラが固定焦点ではなく、ズーム可能である場合、各ズーム時の焦点距離ｆを個別に求めておき、必要なときに選択できるようにしておけばよい。そして、焦点距離ｆを撮像した画像とともに保持しておけばよい。【００６７】  以上の情報を利用して、光源画素から光源方向を推定する。光源画素の画素位置を（ｕｌｉｇｈｔ，ｖｌｉｇｈｔ）とすると、光源方向Ｌｌｉｇｈｔは以下の式で表現できる。
【数５】
2007139070.tif 000007
【数６】
2007139070.tif 000008
ところで、Ｌｌｉｇｈｔは光源画像を撮像したカメラ座標系で表現されているため、現在のカメラ座標系Ｌｎｏｗで表現しなおす。これは、以下の式で表現できる。
【数７】
2007139070.tif 000009
以上の処理を行うことにより、光源方向ベクトルＬｎｏｗを推定する。このようにして、光源の方向が推定される。【００６８】  さらに、撮像装置１００１が移動することを利用して、光源の方向だけでなく、３次元位置まで求めるようにしても構わない。【００６９】  図９はこの処理を説明するための模式図である。図９において、１００１Ａ、１０１０Ａは時刻ｔ＝ｔ１における撮像装置と推定された光源方向ベクトル、また、１００１Ｂ、１０１０Ｂは時刻ｔ＝ｔ２における撮像装置と推定された光源方向ベクトルを示している。ここで、時刻ｔ１とｔ２における撮像装置の相対的な位置関係と姿勢がわかっていれば、光源ベクトル１０１０Ａ，１０１０Ｂを延長した交点に光源は存在するはずである。つまり、光源の３次元位置は以下のように求まる。【００７０】  時刻ｔ１における、撮像装置の姿勢行列、撮像装置の相対的な３次元位置、および推定された光源方向ベクトルをそれぞれ、Ｒ１、Ｐ１、Ｌ１とし、時刻ｔ２における、撮像装置の姿勢行列と推定された光源方向ベクトルをそれぞれ、Ｒ２、Ｌ２とする。ただし、時刻ｔ２において、撮像装置の位置は原点Ｏ（０，０，０）であるとする。このとき、光源位置Ｐｌｉｇｈｔは次式を満たす。
【数８】
2007139070.tif 000010
【数９】
2007139070.tif 000011
ただし、ｓ，ｍは任意の定数である。もし、すべての推定値が正しく、ノイズが存在していなければ、（式５）と（式６）をｓとｍに関する連立方程式として解くことによって、光源位置Ｐｌｉｇｈｔは求まる。しかし、通常はノイズの影響があるため、最小自乗法を利用して、光源位置を求める。【００７１】  まず、以下の関数ｆ（ｍ，ｓ）を考える。
【数１０】
2007139070.tif 000012
ここで、ｍ，ｓは以下の関係式を満たす。
【数１１】
2007139070.tif 000013
【数１２】
2007139070.tif 000014
つまり、【００７２】
【数１３】
2007139070.tif 000015
【数１４】
2007139070.tif 000016
よって、（式７）、（式８）をｍとｓに関する連立方程式として解き、求まったｓとｍを（式５）または（式６）へ代入することにより、光源位置Ｐｌｉｇｈｔが求まる。このようにして、光源の位置が推定される。【００７３】  なお、時刻ｔ１における撮像装置の相対的な３次元位置Ｐ１（時刻ｔ１とｔ２における撮像装置の相対的な位置関係）は、オプティカルフローを用いることによって求められる。オプティカルフローは、被写体上のある１点に対応する、時間的に連続した２つの画像上の点、すなわち対応点を結ぶベクトルであり、対応点とカメラ動きの間には、幾何学的な拘束式が成り立つ。このため、対応点が一定の条件を満たす場合にカメラの動きを算出することができる。【００７４】  異なる時刻における撮像装置の相対的な位置関係をオプティカルフローから求める手法としては、例えば８点法と呼ばれる手法が知られている（Ｈ．Ｃ．Ｌｏｎｇｕｅｔ−Ｈｉｇｇｉｎｓ，“Ａ  ｃｏｍｐｕｔｅｒ  ａｌｇｏｒｉｔｈｍ  ｆｏｒ  ｒｅｃｏｎｓｔｒｕｃｔｉｎｇ  ａ  ｓｃｅｎｅ  ｆｒｏｍ  ｔｗｏ  ｐｒｏｊｅｃｔｉｏｎｓ”，Ｎａｔｕｒｅ，ｖｏｌ．２９３，ｐｐ．１３３−１３５，１９８１）。この手法は、２画像間の静止した８点以上の対応点の組からカメラ動きを算出するものである。また、このような２画像間の対応点を求める手法は、一般に広く知られた方法であるので、詳細な説明を省略する（例えば、Ｃａｒｌｏ  Ｔｏｍａｓｉ  ａｎｄ  Ｔａｋｅｏ  Ｋａｎａｄｅ，“Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｔｒａｃｋｉｎｇ  ｏｆ  Ｐｏｉｎｔ  Ｆｅａｔｕｒｅｓ”，Ｃａｒｎｅｇｉｅ  Ｍｅｌｌｏｎ  Ｕｎｉｖｅｒｓｉｔｙ  Ｔｅｃｈｎｉｃａｌ  Ｒｅｐｏｒｔ，ＣＭＵ−ＣＳ−９１−１３２，Ａｐｒｉｌ  １９９１）。【００７５】  さらに、光源画素の輝度値やＲＧＢ値を求めることによって、光源の輝度や色も求めることができる。また、画像をマルチスペクトルカメラで取得することによって、光源のスペクトルを検出するようにしても構わない。このように光源のスペクトルを取得することによって，後述する画像の高解像度化や拡張現実において、色再現性の高い画像が合成できることが知られている（例えば、「内山俊郎，土田  勝，山口雅浩，羽石秀昭，大山永昭，“マルチスペクトル撮影による光源環境計測とスペクトルに基づく画像生成”，電子情報通信学会技術研究報告ＰＲＭＵ２００５−１３８，ｐｐ．７−１２，２００６」）。【００７６】  また、光源情報推定部１０５は、光源情報として、光源の照度情報を取得するようにしても構わない。これは撮像装置１００１と光軸方向が一致した照度計を利用すればよい。照度計としては、光電池にマイクロアンペア計を接続し、入射光によって生じる光電流を読む光電池照度計などを用いればよい。【００７７】  以上のように本実施形態の光源推定装置によると、撮像装置の状況が光源情報の取得に適していると判断されたとき、この撮像装置によって光源画像を取得し、光源画像の取得時における第１の撮像装置情報と、撮像者による撮像時における第２の撮像装置情報とを用いて、撮像時における光源情報を推定する。したがって、カメラ付き携帯電話などにおいて、付加的な撮像装置を搭載することなく、被写体周囲の光源��報を推定することができる。【００７８】  なお、上述の実施形態では、撮像装置状況判断部１０１が撮像装置１００１の光軸方向を検出するために、角度センサ１０２５の出力を用いるものとしたが、これ以外にも例えば、錘とタッチセンサを利用した方法（特開平４−４８８７９号公報参照）や、加速度センサを利用した方法（特開昭６３−２１９２８１号公報参照）など、既存の方法を利用してもよい。【００７９】  ここでは、錘とタッチセンサを利用する方法について説明する。図１０は錘とタッチセンサの構成を示す図である。図１０（ａ）において、１００３は常に垂直方向を保持するよう基端部を回動可能に支持して吊下された錘、１００４Ａ、１００４Ｂはタッチセンサである。また、１００５は撮像装置の光軸方向を示している。図１０（ｂ）に示すように、撮像装置の光軸方向１００５と水平面との角度をθとすると、タッチセンサ１００４Ａ，１００４Ｂは、光軸方向１００５が水平方向から所定角度θ１、θ２だけ傾いたとき、錘１００３に当接するように設置されている。【００８０】  図１１は図１０の錘とタッチセンサがカメラ付き折り畳み式携帯電話に搭載された場合の構成例である。図１１のカメラ付き折り畳み式携帯電話が、撮像装置１００１を下にして置かれた場合、錘１００３がタッチセンサ１００４Ａに当接し、タッチセンサ１００４ＡがＯＮになる（図１２（ａ））。一方、撮像装置１００１を上にして置かれた場合、錘１００３がタッチセンサ１００４Ｂに当接し、タッチセンサ１００４ＢがＯＮになる（図１２（ｂ））。【００８１】  図１３は光軸方向とタッチセンサのＯＮ／ＯＦＦとの関係を示す図である。すなわち、タッチセンサ１００４ＡがＯＮになり、タッチセンサ１００４ＢはＯＦＦのとき、光軸は水平方向から＋θ１以上傾いた下向きであると推定できる。また、タッチセンサ１００４ＢがＯＮになり、タッチセンサ１００４ＡはＯＦＦのとき、光軸は水平方向から−θ２以上傾いた上向きであると推定できる。一方、タッチセンサ１００４Ａ、１００４Ｂ両方ともＯＦＦの場合は、−θ２＜θ＜θ１であり、光軸方向はほぼ水平と推定できる。【００８２】  このように、錘とタッチセンサを利用して、撮像装置１００１の光軸方向を検出することが可能となる。【００８３】  なお、ここでは、カメラ付き折畳式携帯電話を例にとって説明したが、もちろんデジタルスチルカメラやデジタルビデオカメラであっても、錘とタッチセンサを利用して、撮像装置の光軸方向を検出することは可能である。図１４はデジタルスチルカメラに錘とタッチセンサを搭載した場合の構成例である。図１４（ａ）に示すように、撮像装置１００１の光軸が下向きのときは錘１００３がタッチセンサ１００４Ａに当接しており、一方、図１４（ｂ）に示すように、撮像装置１００１の光軸が上向きのときは錘１００３がタッチセンサ１００４Ｂに当接している。【００８４】  また、上述の実施形態では、撮像装置状況判断部１０１は、撮像装置１００１の光軸の方向を検出して、撮像装置１００１の状況が光源情報の取得に適しているか否かを判断するものとしたが、光軸の方向を検出する代わりに、例えば、撮像された画像の輝度値を検出するようにしても構わない。【００８５】  撮像画像に光源が映っている場合、光源が撮像されている画素の輝度値は非常に高くなる。そこで、撮像装置１００１により画像を撮像し、撮像された画像に閾値以上の輝度値が存在する場合、光源が撮像されており、光源情報の取得に適した状況であると判断することができる。このとき、光源の輝度値は非常に高いと考えられるため、撮像装置１００１は露光時間をできる限り短くして撮像することが望ましい。【００８６】  あるいは、撮像装置１００１の状況が光源情報の取得に適しているか否かを判断するために、カメラの視野範囲に遮蔽物が存在するか否かを検出するようにしても構わない。これは、遮蔽物が存在する場合、光源が遮蔽されてしまい、光源を撮影できない可能性が高くなるためである。【００８７】  遮蔽物の存在を検出するためには、距離情報を利用する方法と、画像情報を利用する方法とがある。前者は、例えばカメラのオートフォーカスなどに利用されている測距センサの出力を利用し、例えば、１ｍ以内に被写体が存在する場合はその被写体は遮蔽物であると判断するようにすればよい。また、後者の画像情報を利用する方法は、例えば、撮像装置１００１で画像を撮影し、その画像中から画像処理により人物を検出する。もし、人物が撮像されていた場合、その人物は遮蔽物であると判断する。これは、カメラの近傍で光源を遮蔽する最も一般的な被写体は人物だと考えられるためである。画像からの人物の検出は、例えば、色情報を利用して、肌色領域を検出するなど、広く知られている画像認識技術を利用すればよい。【００８８】  また、光源画像取得部１０２が光源画像の取得を行う際には、フラッシュを照射せずに撮像を行うことが望ましい。これは、鏡のような鏡面反射を起こす被写体が撮像装置１００１の視野内に存在している場合、フラッシュが反射され、誤って光源画素として推定されてしまうためである。そのため、冷却ＣＣＤカメラや多重露光撮像など、広いダイナミックレンジを撮像できる撮像装置を利用することが望ましい。また、光源画像取得部１０２が光源画像の取得を行う際に、露光量が足りない場合は、露光時間を長くすればよい。これは、上述のように、加速度センサなどを利用し、撮像装置１００１が静止しているときのみ、光源画像の取得を行う場合に特に有効である。【００８９】  （第２の実施形態）
図１５は本発明の第２の実施形態に係る光源推定装置の構成を示すブロック図である。図１５において、図１と共通の構成要素には図１と同一の符号を付しており、ここではその詳細な説明は省略する。【００９０】  図１５の構成では、図１の構成に加えて、光源画像合成部１０６が設けられている。光源画像合成部１０６は、光源画像取得部１０２によって取得された複数の光源画像から、第１の撮像装置情報取得部１０３によって取得された複数の第１の撮像装置情報を用いて、パノラマ光源画像を合成する。パノラマ光源画像とは、広範囲なシーンが撮像された光源画像のことである。パノラマ光源画像を利用することによって、広範囲なシーンにおける光源情報を一度に取得することができる。【００９１】  本実施形態では、撮像装置状況判断部１０１、光源画像取得部１０２および第１の撮像装置情報取得部１０３が、処理を繰り返し実行し、複数枚の光源画像を取得するとともに、各光源画像にそれぞれ対応する複数の第１の撮像装置情報を取得する。これら複数組の光源画像および第１の撮像装置情報は、メモリ１０２８に格納される。【００９２】  この際、例えば、第１の撮像装置情報取得部１０３は、光源画像取得部１０２によって新たな光源画像が取得されたとき、この新たな光源画像をすでに撮像されている光源画像と比較し、その差が大きい場合のみ、第１の撮像装置情報を取得するようにすればよい。一方、その差が小さい場合は、新たな光源画像を廃棄するようにすればよい。あるいは、加速度センサや角度センサを利用して、撮像装置１００１が動いたときに、光源画像と第１の撮像装置情報を取得して格納するようにしてもかまわない。【００９３】  光源画像合成部１０６は、メモリ１０２８に格納された複数組の光源画像と第１の撮像装置情報から、一枚の広域なパノラマ光源画像を合成する。【００９４】  図１６はパノラマ光源画像の合成方法を説明するための模式図である。図１６において、１００１は撮像装置、１００６は視野範囲、１０１１は画像を投影するための投影面、１０１２は撮像した光源画像を投影した投影画像を示している。まず、メモリ１０２８に格納された光源画像を、これに対応する第１の撮像装置情報を用いて、投影面１０１１に投影する。ここで、投影面は半球状であるものとする。撮像装置１００１に搭載された角度センサ１０２５の出力（α，β，γ）が、
【数１５】
2007139070.tif 000017
であるときのカメラ座標系（ｘ、ｙ、ｚ）を（Ｘｗ，Ｙｗ，Ｚｗ）とすると、投影面は以下の式で表される。
【数１６】
2007139070.tif 000018
ここで、ｒｐｒｊは投影面１０１１である半球の半径である。例えば、屋外では街灯を想定し、１０ｍとし、また屋内では天井に敷設された照明を想定し、２．５ｍ程度とすればよい。このような屋外・屋内の切り替えは、例えば、屋内撮像モードと屋外撮像モードとを撮像者が切り替えるようにすればよい。【００９５】  （式４）、（式１０）より、全ての画素は次式によって投影面１０１１に投影できる。
【数１７】
2007139070.tif 000019
ただし、Ｒ０は（式１）と（式９）から求まる姿勢行列である。【００９６】  （式１１）を利用して、撮像された全ての光源画像を投影面１０１１に投影し、投影画像１０１２を作製する。この際、２つ以上の光源画像が投影面上の同一領域に投影される場合があるが、この場合は例えば、新たに撮像された光源画像を優先し、以前に撮像された光源画像による投影画像１０１２は廃棄するようにすればよい。【００９７】  このように、複数枚の光源画像を統合して投影画像を合成することにより、みかけの視野範囲を広げることが可能である。図１７はこの様子を示した模式図である。図１７において、１００１は撮像装置、１００５、１００６はそれぞれ撮像装置１００１の姿勢を変更した際の光軸方向と視野範囲、１０１３は姿勢を変更して撮像した画像を統合したことによって得られた、みかけの視野範囲を示している。このように、光軸方向を変化させて撮像した画像を統合してパノラマ画像化することにより、視野範囲を広げることができる。【００９８】  また、投影面１０１１は半球である必要はなく、例えば屋内であれば、図１８に示したように、直方体であっても構わない。この場合、カメラ座標系（ｘ、ｙ、ｚ）を（Ｘｗ，Ｙｗ，Ｚｗ）とすると、投影面である直方体の各面は以下の式で表される。
【数１８】
2007139070.tif 000020
【００９９】  ここで、ａ、ｂ、ｃは定数であり、図１８の直方体上の投影面を示している。よって、（式１１）と同様に、（式４）と（式５９）の交点を求めることにより、すべての画素は次式によって投影面１０１１に投影できる。
【数１９】
2007139070.tif 000021
ただし、Ｒ０は（式１）と（式９）から求まる、姿勢行列である。【０１００】  なお、屋外・屋内の切り替えは、光源画素の色を利用して行ってもかまわない。すなわち、撮像された光源画素のＲＧＢ成分から求まる色を利用し、それが太陽光か、あるいは蛍光灯または電球かを判別し、太陽光の場合は屋外、蛍光灯や電球の場合は屋内と判別すればよい。この場合、撮像装置のＲＧＢそれぞれの波長特性と、画像の明るさの変化に対する電圧換算値の変化の比であるガンマ値とを保持しておけばよい。【０１０１】  光源情報推定部１０５は、光源画像合成部１０６が合成したパノラマ光源画像を利用して、光源情報を推定する。ここでは、光源情報として、光源位置を推定する方法を説明する。【０１０２】  まず、第１の実施形態で述べた方法によって、パノラマ光源画像から光源画素を抽出する。こうして抽出された光源画素の位置は、撮像装置１００１の姿勢が（式９）である場合におけるものである。そこで、第２の撮像装置情報取得部１０４によって取得された第２の撮像装置情報を用いて、次式により、撮像者による撮像時におけるカメラ座標での光源位置（Ｘｌ＿ｎｏｗ，Ｙｌ＿ｎｏｗ，Ｚｌ＿ｎｏｗ）を推定する。
【数２０】
2007139070.tif 000022
【０１０３】  以上のように本実施形態の光源推定装置によると、パノラマ光源画像から、光源情報が推定されるので、広範囲なシーンにおける光源情報を一度に取得することができる。【０１０４】  （第３の実施形態）
図１９は本発明の第３の実施形態に係る光源推定装置の構成を示すブロック図である。図１９において、図１と共通の構成要素には図１と同一の符号を付しており、ここではその詳細な説明を省略する。【０１０５】  図１９の構成は、折り畳み式携帯電話に搭載されていることを前提としている。そして、折り畳み式携帯電話を開閉させる開閉機構１０３１と、開閉機構１０３１に開閉動作を実行させるための開閉スイッチ１０１４とを備えている。開閉スイッチ１０１４が押されて開閉機構１０３１が開閉動作を実行すると、折り畳み式携帯電話に搭載された撮像装置１００１の光軸方向が、この開閉動作に伴い変化する。すなわち、開閉機構１０３１は、撮像装置１００１の光軸方向を変動させる光軸方向変動手段として、機能する。【０１０６】  光源画像取得指示部１１０は、開閉スイッチ１０１４が押されたとき、まず、光源画像取得部１０２に光源画像の取得を行うよう指示する。このとき、撮像装置１００１は連写や動画撮影をすることが望ましい。撮像装置１００１の撮像開始後、光源画像取得指示部１１０は開閉機構１０３１によって開閉動作を実行する。これによって、開閉機構１０３１が開閉動作を実行する間に、言い換えると、光軸方向変動手段によって撮像装置１００１の光軸方向が変動している状態で、光源画像取得部１０２によって光源画像の取得が行われる。これによって、図１７に示したように、広域な視野範囲において、複数枚の光源画像を撮像することができる。【０１０７】  図２０は本実施形態に係る光源推定装置が実装されたカメラ付き折り畳み式携帯電話１０００の外観図である。図２０において、１００１Ａと１００１Ｂは撮像装置、１００２は撮像スイッチ、１０１４は折り畳み式携帯電話の開閉スイッチである。また、撮像装置１００１Ａ，１００１Ｂに付された矢印は光軸方向を示している。折り畳み式携帯電話は、通話や撮像を行わない際は、通常、液晶ディスプレイの保護や携帯性の向上のために、図２０（ｂ）のように折り畳まれている。【０１０８】  図２０（ｂ）の状態で、開閉スイッチ１０１４を押すと、折り畳み式携帯電話１０００は、図２１（ａ）→（ｂ）→（ｃ）→（ｄ）→（ｅ）のように、自動で開く。図２１において、１００６Ａ、１００６Ｂは折り畳み式携帯電話１０００に搭載された２つの撮像装置（図２０における１００１Ａ，１００１Ｂ）で撮像される視野範囲を示している。図２１から、カメラ付き折り畳み式携帯電話１０００の開閉スイッチ１０１４を利用することによって、撮像装置１００１Ａ，１００１Ｂの光軸方向を変動させることができることが分かる。【０１０９】  開閉機構１０３１は例えば、バネやロック機構を設けることによって実現できる（例えば、特開平７−１３１８５０号公報参照）。また、折り畳み式携帯電話のヒンジ部に、モータを設置しておいてもよい。このとき、撮像装置１００１の姿勢情報は、モータに併せて設置したロータリーエンコーダを、角度センサ１０２５として用いて取得すればよい。【０１１０】  図１９の構成の動作について説明する。まず、開閉スイッチ１０１４が押されると、光源画像取得指示部１１０は、これを検出し、光源画像取得部１０２に光源画像の取得を指示する。また、光源方向変動手段としての開閉機構１０３１は、開閉スイッチ１０１４が押されたとき、折り畳み式携帯電話の自動開閉動作を実行する。開閉機構１０３１が作動している間に、光源画像取得指示部１１０から指示された光源画像取得部１０２は、撮像装置１００１を利用して、光源画像を複数枚、撮像する。以降の動作は、第１の実施形態と同様である。【０１１１】  また、本実施形態では、撮像装置１００１を移動させながら光源画像を撮像するため、露光時間はできるだけ短くすることが望ましい。また、手ぶれ補正処理を導入することによって、撮像装置１００１が移動していても光源画像をブレなしに撮像するようにしてもかまわない。【０１１２】  ここで、手ぶれ補正処理を導入しない場合の露光時間ＴＥとすると、露光時間ＴＥは次式で表現される。
【数２１】
2007139070.tif 000023
ここで、Ｍは開閉スイッチ１０１４を押すことによって回転する光軸の回転速度［ｄｅｇ／ｓｅｃ］、θｓは撮像装置１００１の縦方向の視野角［ｄｅｇ］、Ｌｘは撮像装置１００１の縦方向の画素数である。例えば、Ｍ＝１８０［ｄｅｇ／ｓｅｃ］、θｓ＝８０［ｄｅｇ］、Ｌｘ＝１０００とすると、
【数２２】
2007139070.tif 000024
となり、露光時間を１／４０００秒程度にすればよい。【０１１３】  また、（式６０）より、光軸の回転速度Ｍを決定するようにしても構わない。例えば、θｓ＝４０［ｄｅｇ］、Ｌｘ＝１０００、ＴＥ＝０．０００５［ｓｅｃ］であれば、
Ｍ＜４０［ｄｅｇ／ｓｅｃ］
となり、通常の開閉動作に比べ、ゆっくりと開閉機構１０３１を動作させればよい。【０１１４】  また、光源環境は時間とともに変化していくため、光源画像の取得は、実際に被写体を撮像する時間にできるだけ近いタイミングで実行することが望ましい。通常、開閉スイッチ１０１４は撮像を行う直前に押されることが多いため、本実施形態によると、撮像直前の光源画像を取得できる可能性が高くなるので、非常に有効である。【０１１５】  また、光源画像として、わざとボケた画像を撮影するようにしても構わない。ボケた画像を撮影することによって、撮影シーンにおける人物のプライバシーを保持しながら光源画像を撮像することができる。これは、例えば、露光時間を長くすることで実現できる。【０１１６】  前述のように、（式６０）を満たさない場合、開閉機構１０３１による光軸の移動に伴い動きブレが生じ、ボケた画像が撮影される。そこで、例えば以下の式を満たす露光時間や回転速度を決定すればよい。
【数９５】
2007139070.tif 000025
ここで、ＴＢはボケ量を決定する定数である。例えば、ＴＢ＝８、θｓ＝４０［ｄｅｇ］、Ｌｘ＝１０００、Ｍ＝４０［ｄｅｇ／ｓｅｃ］の場合、露光時間ＴＥ＝０．００８［ｓｅｃ］とすればよい。【０１１７】  また、複数枚の光源画像から、投票処理を利用して光源方向を推定してもよい。これにより、光源方向の推定精度を上げることができる。例えば、ある光源画像から光源位置を求めた結果、他の光源画像における光源位置と大きなズレがある場合、あるいは、他の光源画像には対応する光源が存在しないような場合、その光源位置の推定は失敗していると判断して、光源推定結果から廃棄するようにすればよい。【０１１８】  また、光源画像がきちんと撮像されていない場合、撮像を再度行うように促しても構わない。例えば、推定した光源情報から推定される画像と実際に撮像された光源画像とを比較し、その差が大きい場合は、光源画像において光源が撮像されておらず、光源推定に失敗していると判断すればよい。撮像を促す方法としては、例えば、音声で「再度、光源を撮像してください」と伝えたり、ディスプレイに「再度、光源を撮像してください」と表示させたりすればよい。【０１１９】  図２２は本実施形態に係る光源推定装置の他の構成を示すブロック図である。図２２において、図１および図１９と共通の構成要素には、図１および図１９と同一の符号を付しており、ここではその詳細な説明を省略する。【０１２０】  図２２の構成は、第１の実施形態で示した撮像装置状況判断部１０１を備えている。また、例えば携帯電話のバイブレーション機能を実現するために用いられる、バイブレーション機構１０２６を備えている。バイブレーション機能とは、携帯電話がマナーモード時などに振動で着信を知らせる機能のことである。バイブレーション機能がＯＮの状態で、バイブレーション機構１０２６が振動動作を実行すると、携帯電話に搭載された撮像装置１００１の光軸方向が、この振動動作に従って変化する。すなわち、バイブレーション機構１０２６は、撮像装置１００１の光軸方向を変動させる光軸方向変動手段として、機能する。【０１２１】  撮像装置状況判断部１０１は、第１の実施形態で説明したように、撮像装置１００１の状況が光源情報を取得するのに適しているか否かを判断する。光源画像取得指示部１１０は、撮像装置状況判断部１０１によって適していると判断されたとき、バイブレーション機構１０２６に振動動作を実行させるとともに、光源画像取得部１０２に光源画像の取得を行うよう指示する。これによって、バイブレーション機構１０２６が振動動作を実行している間に、言い換えると、光軸方向変動手段によって撮像装置１００１の光軸方向が変動している状態で、光源画像取得部１０２によって光源画像の取得が行われる。これによって、図１７に示したように、広域な視野範囲において、複数枚の光源画像を撮像することができる。この場合、撮像装置１００１は静止していないため、露光時間は短くすることが望ましい。【０１２２】  このとき、撮像装置１００１の視野角をθｓ、バイブレーション機構１０２６による携帯電話の振動する角度をθｖ（図２３の振動角）とすると、拡大された視野角θｔは次式で表現される。
【数２３】
2007139070.tif 000026
この式から、撮像装置１００１の視野角θｓと光源推定に必要な視野角θｔが決まれば、必要な振動量を計算することができる。例えば、撮像装置１００１の視野角θｓが８０度であり、光源推定に９０度の視野角が必要だとすると、振動角は５度程度となる。これは、１１ｃｍの高さのある携帯電話を９ｍｍ程度振動させることによって実現できる値である。【０１２３】  なお、光源画像の取得のためにバイブレーション機構１０２６を動作させる際に、例えば、着信時やメール受信時とは異なる音をスピーカから流すようにしてもよい。これにより、光源画像の取得時を、着信時やメール受信時と区別することができる。また、光源画像を取得している際に、ＬＥＤやインターフェイス用の液晶ディスプレイを光らせて、利用者に告知するようにしてもかまわない。【０１２４】  もちろん、音やＬＥＤ、ディスプレイによって告知した後に、バイブレーション機構１０２６を動作させて光源画像を取得するようにしてもかまわない。【０１２５】  図２４は本実施形態に係る光源推定装置の他の構成例を示すブロック図である。図２４において、図１および図２２と共通の構成要素には、図１および図２２と同一の符号を付しており、ここではその詳細な説明を省略する。【０１２６】  図２４の構成では、図２２と対比すると、メール受信検出部１０３２が設けられており、撮像装置状況判断部１０１が省かれている。メール受信検出部１０３２がメール受信を検出したとき、バイブレーションモードに設定されているものとすると、バイブレーション機構１０２６が振動動作を行う。またこのとき、光源画像取得指示部１１０は、メール受信検出部１０３２からの信号を受けて、光源画像取得部１０２に光源画像の取得を指示する。このような動作によって、バイブレーション機構１０２６が振動動作を実行している間に、言い換えると、光軸方向変動手段によって撮像装置１００１の光軸方向が変動している状態で、光源画像取得部１０２によって光源画像の取得が行われる。【０１２７】  この構成によると、メールの受信によって作動するバイブレーション機能を利用して、撮像装置の光軸方向が変動した状態で複数の光源画像を取得することができるため、余計なバイブレーションを行う必要がなくなるというメリットがある。【０１２８】  以上のように本実施形態によると、光軸方向変動手段によって撮像装置の光軸方向が変動している状態で、光源画像の取得が行われるため、被写体周囲の広い範囲にわたって光源画像を取得することができるので、精度良く、光源情報を推定することができる。【０１２９】  なお、上述した各構成において、第２の実施形態で示した光源画像合成部１０６を設けて、複数の光源画像からパノラマ光源画像を生成するようにしてもかまわない。【０１３０】  なお、本実施形態では、光軸方向変動手段を、折り畳み式携帯電話の開閉機構やバイブレーション機構によって実現するものとしたが、本発明はこれに限られるものではなく、撮像装置の光軸方向を変動させる構成であれば、どのようなもので実現してもかまわない。例えば、撮像装置自体に専用の駆動機構を設けてもよい。【０１３１】  （第４の実施形態）
図２５は本発明の第４の実施形態に係る光源推定システムの構成を示すブロック図である。図２５では、図１と共通の構成要素については図１と同一の符号を付しており、ここではその詳細な説明を省略する。【０１３２】  図２５では、例えばカメラ付き携帯電話によって構成される通信端末１１００に、図１に示した各構成要素のうち光源情報推定部１０５以外のものが設けられている。そして、光源情報推定部１０５は、通信端末１１００から離れてネットワークを介して接続された外部の装置であるサーバ１１０１に設けられている。すなわち、本実施形態では、通信端末１０００側では、全ての処理を行うのではなく、光源画像と撮像装置情報の取得のみを行い、光源情報推定処理はサーバ１１０１側で実行する。【０１３３】  通信端末１１００では、第１の実施形態で述べたように、光源画像取得部１０２によって光源画像が取得され、第１の撮像装置情報取得部１０３によって光源画像取得時における第１の撮像装置情報が取得され、第２の撮像装置取得部１０４によって実際の撮像時における第２の撮像装置情報が取得される。これら光源画像並びに第１および第２の撮像装置情報は、情報送信部１０８によって送信される。また、このとき、光源情報推定の内容についても指示するようにしてもよい。【０１３４】  サーバ１１０１では、情報受信部１０９が、通信端末１１００からネットワークを介して送信される情報、すなわち光源画像並びに第１および第２の撮像装置情報を受信する。受信された光源画像並びに第１および第２の撮像装置情報は、光源情報推定部１０５に与えられる。光源情報推定部１０５は、第１の実施形態で述べたように、光源情報の推定を行う。光源情報推定の内容について指示されたときは、その指示に従って、光源情報の推定を行う。【０１３５】  このように、光源情報推定部１０５をサーバ１１０１に設けて、光源情報推定処理を実行させることによって、通信端末１１００側の計算負荷を軽くすることが可能になる。【０１３６】  （光源情報を利用した画像の高解像度化）
本発明の光源推定装置は、デジタルズームとして知られている画像の高解像度化に特に有効である。画像の高解像度化は、撮像した画像を任意に拡大処理することができるため、画像撮像後の編集処理において重要である。本来、このような画像の高解像度化は補間処理などによって行なわれてきたが、２ｘ２倍以上の拡大画像を合成する場合、合成される画像がボケてしまい、画質が劣化するという問題があった。本発明の光源推定方法を利用することで、画質劣化の少ない、画像の高解像度化を実現することができる。この手法を説明する。【０１３７】  まず、この処理の概念を説明する。本発明の高解像度化処理は、以下の４つの入力情報を利用する。【０１３８】  ○被写体の拡散反射画像
○被写体の鏡面反射画像
○被写体の３次元形状情報
○光源位置・色・照度【０１３９】  ここで、拡散反射画像とは、入力画像のうち、マットな反射成分である拡散反射成分のみを画像化したものであり、同様に、鏡面反射画像は、入力画像のうち、てかりである鏡面反射成分のみを画像化したものである。ここで、拡散反射成分とは、光沢の無い物体表面で起こる反射で、すべての方向に一様に散乱する成分である。一方、鏡面反射成分とは、鏡の面での反射のように、法線に対して入射光の反対方向に強く反射する成分である。２色性反射モデルを仮定すると、物体の輝度は、拡散反射成分と鏡面反射成分との和として表現される。後述するように、鏡面反射画像と拡散反射画像は、例えば偏光フィルタを回転させながら被写体を撮像することで取得することができる。【０１４０】  図２６（ａ）は、光源で照射された被写体（タンブラー）を撮像装置で撮像した画像を示している。図の上部にてかりである鏡面反射が現れているのがわかる。一方、図２６（ｂ）（ｃ）は、図２６（ａ）の画像を後述する方法で拡散反射画像と鏡面反射画像とに分離した結果である。拡散反射画像はてかりが取り除かれ、表面のテクスチャ情報が鮮明になっているが、立体感が失われている。一方、鏡面反射画像は細かな形状情報が鮮明に現れているが、逆にテクスチャ情報が失われている。つまり、入力画像はこれら全く異なる情報を含んだ二つの画像が重畳されたものであった。画像を拡散反射画像と鏡面反射画像とに分離し、別々に処理することにより、より精細な高解像度化処理が可能である。【０１４１】  高解像度化処理には、学習ベースの手法を用いる。学習ベースとは、事前に低解像度と高解像度の画像組を用意し、その対応を学習する。この際、用意された画像以外の画像においても高解像度化処理を働かせるために、画像そのものを学習するのではなく、画像から抽出した特徴量を学習する。【０１４２】  図２７は本発明の一実施形態に係る画像高解像度化装置の構成を示すブロック図である。図２７の画像高解像度化装置は、撮像装置を利用し、撮像を行う画像撮像部２０１と、上述した光源推定方法によって、被写体に照射する光源の方向や位置、輝度、色、スペクトル情報などの光源情報を推定する光源情報推定部２０３と、被写体の表面の法線情報または３次元位置情報を形状情報として取得する形状情報取得部２０４と、光源推定部２０３によって推定された光源情報と、形状情報取得部２０３によって取得された形状情報を用いて、画像撮像部２０１によって撮像された画像を高解像度化する画像高解像度化部２１７とを備えている。さらに、画像高解像度化部２１７は、画像撮像部２０１によって撮像された画像を、拡散反射・鏡面反射分離部２０２によって拡散反射成分と鏡面反射成分とに分離し、分離した拡散反射成分と鏡面反射成分とを個別に高解像化する。以下、それぞれの処理について説明する。【０１４３】  画像撮像部２０１はＣＣＤやＣＭＯＳなどの撮像装置を利用して、被写体を撮像する。こうして撮像された画像は、輝度が非常に高くなる鏡面反射成分と拡散反射成分とが同時に、飽和することなく記録されることが望ましい。このため、冷却ＣＣＤカメラや多重露光撮像など、広いダイナミックレンジを撮像できる撮像装置を利用す��ことが望ましい。【０１４４】  拡散反射・鏡面反射分離部２０２は、画像撮像部２０１によって撮像された画像を、拡散反射成分と鏡面反射成分とに分離する。【０１４５】  まず、物体の反射特性について説明する。２色性反射モデルを仮定すると、物体の輝度は、拡散反射成分と鏡面反射成分との和として以下の式で表現される。
【数２４】
2007139070.tif 000027
ここで、Ｉは撮像装置が撮像した被写体の輝度値、Ｉａは環境光成分、Ｉｄは拡散反射成分、Ｉｓは鏡面反射成分である。ここで、環境光成分とは、光源の光が物体などによって散乱された間接光のことである。これは空間の至る所に散乱され、直接光がとどかない影の部分にもわずかに明るさを与える。そのため、通常はノイズとして取り扱われることが多い。【０１４６】  環境光成分は十分に小さく、ノイズとして無視できると考えると、画像は拡散反射成分と鏡面反射成分とに分離できる。上述のように、拡散反射成分がテクスチャ情報に依存するのに対し、鏡面反射画像は細かな形状情報に依存するといったように、これらの成分は非常に異なった特質を示す。そのため、画像を高解像度化するために、入力画像を拡散反射画像と鏡面反射画像とに分離し、それぞれの画像を別々の方法で高解像度化することによって、非常に高精細な高解像度化画像を取得することができる。このため、まずは拡散反射画像と鏡面反射画像とを分離する必要性がある。【０１４７】  この分離方法は、従来からさまざまなものが提案されている。例えば、
・鏡面反射と拡散反射の偏光度の違いを利用し、偏光フィルタを用いた方法（例えば、特許第３４５９９８１号公報）
・対象物を回転させ、マルチスペクトルカメラを利用することで鏡面反射領域を分離する方法（例えば、特開２００３−８５５３１号公報）。
・様々な方向から光源を当てた対象物の画像を利用し、鏡面反射が生じない理想状態での画像である線形化画像を合成し、その線形化画像を利用して鏡面反射や影領域を分離する方法（例えば、「石井育規，福井孝太郎，向川康博，尺長健，“光学現象の分類に基づく画像の線形化“，情報処理学会論文誌，ｖｏｌ．４４，ｎｏ．ＳＩＧ５（ＣＶＩＭ６），ｐｐ．１１−２１，２００３」）。
などがある。【０１４８】  ここでは、偏光フィルタを利用する方法を用いる。図２８は本実施形態に係る画像高解像度化装置が搭載されたカメラ付き携帯電話１０００を示している。図２８に示すように、撮像装置１００１には回転機構（図示せず）をもった直線偏光フィルタ１０１６Ａが設けられている。また、直線偏光フィルタ１０１６Ｂが取り付けられた照明装置１００７が設けられている。また、１０１７は使用者のインターフェイス用の液晶ディスプレイである。【０１４９】  ここで、直線偏光フィルタ１０１６Ｂが取り付けられた照明装置１００７に照らされた被写体について、撮像装置１００１が、直線偏光フィルタ１０１６Ａを回転機構により回転させながら、複数枚の画像を撮像する。ここで、照明が直線偏光されていることに着目すると、反射光強度は偏光フィルタ１０１６Ａの回転角ψに対して、図２９のように変化する。ここで、反射光の拡散成分をＩｄ、鏡面反射成分をＩｓとすると、反射光輝度の最大値Ｉｍａｘと最小値Ｉｍｉｎは以下の式で表現される。
【数２５】
2007139070.tif 000028
【数２６】
2007139070.tif 000029
つまり、反射光の拡散成分Ｉｄ、鏡面反射成分Ｉｓは、以下の式から求まる。
【数２７】
2007139070.tif 000030
【数２８】
2007139070.tif 000031
【０１５０】  図３０はこの処理の流れを示したものである。まず、回転機構により偏光フィルタ１０１６Ａを回転させ（ステップＳ３０１）、画像を撮像し、メモリに保持する（ステップＳ３０２）。次に、メモリに保持された画像が、所定の枚数撮像されているかを確認する（ステップＳ３０３）。このとき、反射光輝度の最小値と最大値を検出するのに十分な枚数がまだ撮像されていない場合（ステップＳ３０３でＮｏ）、偏光フィルタを再度回転させ（ステップＳ３０１）、撮像を繰り返す。一方、十分な枚数の撮像ができている場合（ステップＳ３０３でＹｅｓ）、撮像された画像データを利用して、反射光輝度の最小値と最大値を検出し（ステップＳ３０４）、（式１３）と（式１４）を利用することにより、拡散反射成分と鏡面反射成分とを分離する（ステップＳ３０５）。この処理は、複数枚の画像から画素ごとに最小値と最大値を求めても構わないが、ここでは、ｓｉｎ関数のフィッテングを利用する。この処理を説明する。【０１５１】  図２９に示した偏光フィルタ角ψに対する反射光輝度Ｉは、以下のように、ｓｉｎ関数で近似できる。
【数２９】
2007139070.tif 000032
ここで、Ａ、Ｂ、Ｃは定数であり、（式１３）、（式１４）より
【数３０】
2007139070.tif 000033
【数３１】
2007139070.tif 000034
つまり、撮像された画像から、（式１５）のＡ，Ｂ，Ｃを求めることにより、拡散反射成分と鏡面反射成分とを分離することができる。【０１５２】  ところで、（式１５）は以下のように展開できる。
【数３２】
2007139070.tif 000035
ただし、
【数３３】
2007139070.tif 000036
【０１５３】つまり、以下の評価式を最小にするＡ，Ｂ，Ｃを求めることで、拡散反射成分と鏡面反射成分とを分離することができる。
【数３４】
2007139070.tif 000037
ただし、Ｉｉは、偏光フィルタ角ψｉ時の反射光強度を示している。ここで、最小自乗法を用いると、各パラメータは以下のように推定される。
【数３５】
2007139070.tif 000038
【数３６】
2007139070.tif 000039
【数３７】
2007139070.tif 000040
【数３８】
2007139070.tif 000041
【数３９】
2007139070.tif 000042
以上より、（式１６）〜（式２３）を利用することで、拡散反射成分と鏡面反射成分とを分離する。この場合、未知パラメータが３個であるため、偏光フィルタの回転角を変更した画像を最低３枚撮像すればよい。【０１５４】  このため、直線偏光フィルタ１０１６Ａの回転機構を設ける代わりに、画素ごとに偏光方向の異なる撮像装置を利用しても構わない。図３１はこのような撮像装置の画素を模式的に示したものである。ここで、１０２２は各画素を示し、各画素内の直線は偏光方向を示している。すなわち、この撮像装置は０°、４５°、９０°、１３５°の４種類の偏光方向を有する画素を持つ。そして、図３１の太線１０２３のように、４種類の画素をベイヤ配列のように１画素として取り扱うことによって、偏光方向が４種類異なった画像を同時に撮像することができる。このような撮像装置は、例えば、フォトニック結晶デバイスなどを利用すればよい。【０１５５】  また、照明装置１００７として、偏光された照明例えば液晶ディスプレイを利用してもかまわない。例えば、携帯電話１０００に搭載されている液晶ディスプレイ１０１７を利用すればよい。この場合、液晶ディスプレイ１０１７の輝度値を、利用者のインターフェイス用として利用しているときに比べ、高くすることが望ましい。【０１５６】  もちろん、撮像装置１００１の偏光フィルタ１０１６Ａを回転させる代わりに、照明装置１００７の偏光フィルタ１０１６Ｂを回転させてもかまわない。また、撮像装置１００１と照明装置１００７の両方に偏光フィルタを設置する代わりに、撮像装置側など片側のみに設置し、独立成分分析を利用して拡散反射成分と鏡面反射成分とを分離させてもかまわない（例えば、特許３４５９９８１号公報参照）。【０１５７】  光源情報推定部２０３は、上述したような光源推定方法を利用して、光源の位置と色、および照度情報を取得する。【０１５８】  形状情報取得部２０４は、被写体の形状情報である表面の法線情報または、被写体の３次元位置情報を取得する。被写体の形状情報を取得する手段としては、例えば、スリット光投影法、パターン光投影法、レーザレーダ法などの既存の手法を用いればよい。【０１５９】  もちろん、形状情報の取得はこれらの手法に限られるものでない。例えば、複数のカメラを利用するステレオ視、カメラの動きを利用するモーションステレオ法、光源の位置を変化させながら撮像した画像を利用する照度差ステレオ法、ミリ波や超音波を利用して被写体との距離を測定する方法、さらには反射光の偏光特性を利用した方法（例えば、米国特許第５，０２８，１３８号や「宮崎大輔，池内克史，″偏光レイトレーシング法による透明物体の表面形状の推定手法″，電子情報通信学会論文誌，ｖｏｌ．Ｊ８８−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ．１４３２−１４３９，２００５」）を用いてもかまわない。ここでは、照度差ステレオ法と偏光特性を利用した方法について説明する。【０１６０】  照度差ステレオ法は、光源方向が異なる３枚以上の画像を利用して、被写体の法線方向と反射率を推定する手法である。例えば、「Ｈ．Ｈａｙａｋａｗａ，”Ｐｈｏｔｏｍｅｔｒｉｃ  Ｓｔｅｒｅｏ  ｕｎｄｅｒ  ａ  ｌｉｇｈｔ  ｓｏｕｒｃｅ  ｗｉｔｈ  ａｒｂｉｔｒａｒｙ  ｍ���ｔｉｏｎ”，Ｊｏｕｒｎａｌ  ｏｆ  ｔｈｅ  Ｏｐｔｉｃａｌ  Ｓｏｃｉｅｔｙ  ｏｆ  Ａｍｅｒｉｃａ  Ａ，ｖｏｌ．１１，ｐｐ．３０７９−８９，１９９４」は、画像上で６点以上の反射率が等しい点を既知情報として取得し、拘束条件として利用することによって、光源の位置情報も未知としながらも、以下のパラメータを推定する手法である。
・被写体情報：画像上の各点の法線方向と反射率
・光源情報：被写体の観察点における光源方向と照度【０１６１】  ここでは、前述の拡散反射・鏡面反射分離手法によって分離された拡散反射画像のみを利用した照度差ステレオ法を行う。本来、この手法は被写体が完全拡散反射をしていることを仮定しているため、鏡面反射が存在する被写体では大きな誤差が生じてしまう。しかし、分離した拡散反射画像のみを利用することで、鏡面反射の存在による推定誤差を無くすことができる。もちろん、後述するように、影除去部２０５で影領域を除去した拡散反射画像で処理を行なっても構わない。【０１６２】  光源方向が異なる拡散反射画像を以下のように輝度行列Ｉｄで表現する。
【数４０】
2007139070.tif 000043
ただし、ｉｄｆ（ｐ）は光源方向ｆの拡散反射画像の画素ｐにおける輝度値を示している。また、画像の画素数はＰ画素、異なった光源方向で撮像した画像枚数はＦ枚である。ところで、ランバーシャンモデルより、拡散反射画像の輝度値は以下のように表現できる。
【数４１】
2007139070.tif 000044
ただし、ρｐは画素ｐの反射率（アルベド）、ｎｐは画素ｐの法線方向ベクトル、ｔｆは光源ｆの入射照度、Ｌｆは光源ｆの方向ベクトルを示している。【０１６３】  （式２４）、（式２５）より以下の式が導かれる。
【数４２】
2007139070.tif 000045
ただし、
【数４３】
2007139070.tif 000046
【数４４】
2007139070.tif 000047
【数４５】
2007139070.tif 000048
【数４６】
2007139070.tif 000049
【数４７】
2007139070.tif 000050
【数４８】
2007139070.tif 000051
ここで、Ｒは表面反射行列、Ｎは表面法線行列、Ｌは光源方向行列、Ｔは光源強度行列、Ｓは表面行列、Ｍは光源行列と呼ぶ。【０１６４】  ここで、特異値分解を利用すると、（式２６）は以下のように展開できる。
【数４９】
2007139070.tif 000052
【数５０】
2007139070.tif 000053
ただし、
【数５１】
2007139070.tif 000054
であり、Ｅは単位行列を示している。また、Ｕ’はＰ×３行列、Ｕ”はＰ×（Ｆ−３）行列、Σ’は３×３行列、Σ”は（Ｆ−３）×（Ｆ−３）行列、Ｖ’は３×Ｆ行列、Ｖ”は（Ｆ−３）×Ｆ行列である。ここで、Ｕ”、Ｖ”は信号成分であるＵ’、Ｖ’の直交基底、すなわち、ノイズ成分であると考えられる。ここで、特異値分解を利用すると、（式２８）は以下のように変形できる。
【数５２】
2007139070.tif 000055
【数５３】
2007139070.tif 000056
【０１６５】  すなわち、（式２９）を解くことにより、形状情報と光源情報を同時に取得することができるが、以下の３×３行列Ａの不定性が残る。
【数５４】
2007139070.tif 000057
【数５５】
2007139070.tif 000058
ここで、Ａは任意の３×３行列である。形状情報と光源情報を取得するためには、この行列Ａを求める必要がある。これは、例えば、画面上の６点以上で反射率が等しいことが既知であればよい。例えば、任意の６点ｋ１〜ｋ６の反射率が等しいとすると、
【数５６】
2007139070.tif 000059
（式２７）、（式３０）と（式３２）より、
【数５７】
2007139070.tif 000060
さらに、
【数５８】
2007139070.tif 000061
とおくと、（式３３）は以下のようになる。
【数５９】
2007139070.tif 000062
ここで、（式３４）より行列Ｂは対称行列であるため、行列Ｂの未知数は６である。すなわち、画面上の６点以上で反射率が等しいことが既知であれば、（式３５）は解くことができる。【０１６６】  また、行列Ｂが既知となれば、（式３４）に特異値分解を利用することにより、行列Ａは解くことができる。【０１６７】  さらに、（式３０）、（式３１）より、形状情報と光源情報を取得する。【０１６８】  以上のことより、反射率が等しい６点以上の画素が既知な被写体において、光源方向を変更しながら３枚以上の画像を撮像することにより、以下の情報を得ることができる。
・被写体情報：画像上の各点の法線方向ベクトルと反射率
・光源情報：被写体の観察点における光源方向ベクトルと放射輝度【０１６９】  ただし、上記の処理で求まる被写体の反射率と光源の放射輝度は相対的なものであり、絶対値を求めるためには、画面上の６点以上で反射率が既知であるなど、上記とは異なる既知情報が必要となる。【０１７０】  また、光源と撮像装置との位置関係が既知の場合、撮像装置と被写体の距離や３次元位置を求めるようにしても構わない。これを図を用いて説明する。【０１７１】  図３２はこの処理を説明するための模式図である。図３２において、１００１は撮像装置、１００７Ａおよび１００７Ｂは光源、１０１５は被写体の観察点Ｏ、１０１０Ａおよび１０１０Ｂは被写体の観察点Ｏにおける各光源の光源方向、１０２１は被写体の観察点Ｏにおける撮像装置の視線方向を示している。【０１７２】  まず、光源と撮像装置との位置関係が既知であるため、撮像装置１００１と光源１００７Ａ、１００７Ｂの３次元位置関係Ｌａ、Ｌｂは既知である。また、撮像装置１００１はキャリブレーションされているとすると、撮像装置１００１の視線方向１０２１も既知である。このことから、被写体の観察点Ｏ１０１５はこの視線方向１０２１上に存在する。また、上述の照度差ステレオ法により、被写体の観察点Ｏにおける各光源の光源方向１０１０Ａ、１０１０Ｂは既知である。撮像装置１００１と観察点Ｏ１０１５の距離Ｌｖが正（Ｌｖ＞０）であるとすると、このような位置関係を満たす観察点Ｏは、１点しか存在しない。そのため、観察点Ｏ１０１５の位置がわかり、撮像装置１００１と観察点Ｏ１０１５の距離Ｌｖが求まる。【０１７３】  また、例えばデジタルカメラのフラッシュのように撮像装置に光源が設置されている場合、光源と撮像装置との位置関係は設計情報から求めることができる。【０１７４】  また、形状情報取得部２０４は反射光の偏光特性を利用して、被写体の表面法線方向を取得しても構わない。この処理について、図３３を用いて説明する。【０１７５】  図３３において、１００１は撮像装置、１００７は光源、１０１５は観察点Ｏ、１０１６はモータなどの回転機構（図示せず）をもった直線偏光フィルタ、１０１９は法線方向を示している。光源として自然光が照射されている状態において、回転機構によって偏光フィルタ１０１６を回転しながら撮像を行った場合、その反射光強度は、図３４に示したように、周期πのｓｉｎ関数となる。【０１７６】  ここで、この反射光強度の最大値Ｉｍａｘと最小値Ｉｍｉｎを計測する偏光フィルタの角度ψｍａｘ、ψｍｉｎを考える。撮像装置１００１と光源１００７、観察点Ｏ１０１５を含む平面を入射面とし、被写体は鏡面反射成分が支配的であるとすると、ψｍａｘは偏光フィルタ１０１６の偏光方向が入射面に対して垂直な方向、また、ψｍｉｎは偏光フィルタ１０１６の偏光方向が入射面に対して平行な方向になることが知られている。【０１７７】  また、上述したように、光源が偏光光源の場合、反射光成分において、偏光特性を有するものは観察点Ｏの表面で反射した鏡面反射成分、非偏光の成分は拡散反射成分である。このことから、反射光強度の最大値Ｉｍａｘと最小値Ｉｍｉｎの強度差が生じる観察点Ｏは鏡面反射成分が強い観察点、すな��ち、光が正反射している（観察点Ｏの法線方向１０１９が観察点Ｏからの光源方向と観察点Ｏからの撮像装置方向の二等分線方向である）ことがわかる。そのため、法線方向１０１９も入射面内に存在する。そのため、ψｍａｘまたはψｍｉｎを推定することにより、法線方向１０１９は以下の平面内に存在すると推定することができる。【０１７８】  ○撮像装置１００１を通り、偏光フィルタ１０１６の偏光方向ψｍｉｎ（またはψｍａｘの垂直方向）を含む平面。【０１７９】  ここで、ψｍａｘまたはψｍｉｎは、前述のｓｉｎ関数のフィッテング処理を行うことで推定する。【０１８０】  また、撮像装置１００１の位置を変更させて、同様な処理を行うことによって、法線方向１０１９を含む、異なった２つの平面を推定することができる。推定した２つの平面の交線を求めることによって、法線方向１０１９を推定する。この際、撮像装置１００１の移動量を推定する必要があるが、これは、前述の８点法などを利用すればよい。【０１８１】  もちろん、拡散反射・鏡面反射分離部２０２と同様に、画素ごとに偏光方向の異なる撮像装置を利用しても構わない。【０１８２】  また、もちろん、撮像装置１００１の位置を変更させるのではなく、複数台の撮像装置を設置して法線方向１０１９を求めるようにしても構わない。【０１８３】  以上のように、照度差ステレオ法と偏光特性を利用した方法では、表面の法線情報を取得する。一方、スリット光投影法やステレオ視などの手法では、被写体の３次元位置情報を取得する。被写体表面の法線情報とは、被写体の３次元位置情報の微小空間での傾き情報であり、どちらも被写体の形状情報である。【０１８４】  以上の処理により、形状情報取得部２０４は被写体の形状情報である表面の法線情報または、被写体の３次元位置情報を取得する。【０１８５】  以上の処理により、以下の情報を取得する。
○被写体の拡散反射画像
○被写体の鏡面反射画像
○被写体の３次元形状情報
○光源位置・照度【０１８６】  影除去部２０５は、画像中の影領域を推定し、影除去処理を行う。このような、影除去および影領域推定処理はさまざまな方法が提案されているが、例えば、影領域は輝度値が低いことを利用し、輝度値が閾値以下の画素を影領域と推定すればよい。【０１８７】  また、形状情報取得部２０４によって３次元形状情報が取得されている場合、Ｃｏｍｐｕｔｅｒ−Ｇｒａｐｈｉｃｓの分野で広く利用されているレンダリング手法である、レイトレーシングを利用してもかまわない。レンダリングは物体の座標データや光源や視点の位置などの環境に関するデータを計算して行うが、レイトレーシングは、視点に届く光線を逆にたどることによって描画する。このため、レイトレーシングを利用してどの場所にどの程度の影が生成されているかを計算することができる。【０１８８】  次に、拡散反射・鏡面反射分離部２０２によって分離された拡散反射画像と鏡面反射画像を、それぞれ、別々の方法で高解像度化する。まず、拡散反射画像の処理について説明する。【０１８９】  アルベド推定部２０６は、拡散反射・鏡面反射分離部２０２によって分離された拡散反射画像を利用し、被写体のアルベドを推定する。アルベドは光源情報に影響を受けないため、アルベド画像を利用して処理を行うことによって、光源変動にロバストな処理が実現できる。【０１９０】  この処理を説明する。（式２５）より、拡散反射成分では、以下の関係が成り立つ。
【数６０】
2007139070.tif 000063
ただし、θｉは被写体の法線方向ベクトルと光源方向ベクトルのなす角度を示す。ここで、光源情報取得部２０３および形状情報取得部２０４により、角度θｉは既知である。また、後述するように、光源の入射照度ｔｆも推定可能なため、被写体のアルベドｒｐを（式３６）から求める。【０１９１】  この際、ｃｏｓθｉが０以下の値を持つ場合、すなわち、ａｔｔａｃｈｅｄ  ｓｈａｄｏｗである場合、（式３６）はアルベドがマイナスになる、あるいは、０で除算を行うことになり、意味を持たない。しかし、上述の影除去部２０５によってこのような画素を除去しているため、問題は生じない。【０１９２】  もちろん、被写体のアルベドを求めるのではなく、次式によりアルベドを鏡面反射画像の最大輝度値で正規化した擬似アルベドｒｐ’を求め、これを利用しても構わない。
【数６１】
2007139070.tif 000064
【０１９３】  ここで、ｉｓｆ＿ｍａｘは鏡面反射画像の最大輝度値を示している。このような擬似アルベドは、光源情報推定部２０３により、光源の放射輝度（照度）が取得できない場合に有効である。擬似アルベド画像を利用した場合、正規化に利用した鏡面反射画像の最大輝度値ｉｓｆ＿ｍａｘをメモリに保持しておく。図５１はアルベド推定部２０６が擬似アルベドを利用した場合、メモリに保持されるデータを示した図である。作成された擬似アルベド画像と、正規化に利用した鏡面反射画像の最大輝度値ｉｓｆ＿ｍａｘが保持されている。【０１９４】  鏡面反射パラメータが被写体の広い領域で一様であり、被写体表面にさまざまな方向の法線が存在しているとすると、カメラに対して被写体を照らす位置に光源が存在している限り、正反射が生じる正反射画素が存在する。そのため、鏡面反射画像の最大輝度値ｉｓｆ＿ｍａｘはこの正反射画素の輝度値となる。【０１９５】  反射特性が一様であり、視線方向１０２１がほぼ一様である場合、ある光源位置での正反射画素の輝度値と別の光源位置での正反射画素の輝度値の比は、各光源での光源の放射輝度比とほぼ等しくなる。そのため、拡散反射画像の輝度値ｉｄｆ（ｐ）をθｉにより除算しただけでは光源の放射輝度の影響が残ってしまうが、さらに正反射画素の輝度値である鏡面反射画像の最大輝度値ｉｓｆ＿ｍａｘで正規化を行った擬似アルベド画像を利用することにより、光源の放射輝度が取得できない場合においても光源に影響されない拡散成分画像を作成できる。【０１９６】  また、鏡面反射画像の最大輝度値ｉｓｆ＿ｍａｘによって正規化を行うのではなく、拡散反射画像の最大輝度値や入力画像の最大輝度値を利用して正規化を行い、擬似アルベドを作成しても構わない。【０１９７】  次に、こうして求めたアルベド画像の高解像度化について説明する。【０１９８】  アルベド高解像度化部２０７は、アルベド推定部２０６が推定したアルベド画像を高解像度化する。この処理について詳述する。【０１９９】  前述のように、アルベド画像は、光の鏡面反射や陰影など光学現象によらない被写体固有の反射率特性を表現した画像である。本実施形態における高解像度化は、被写体情報が不可欠なため、被写体の事前学習に基づく。ここではテキストン（画像のテクスチャ特徴量）に基づく高解像度化を用いる。【０２００】  図３５はテキストンに基づく高解像度化の概念を示す図である。実行時に入力された低解像度画像ＬＲ（画素数Ｎ×Ｎ）は、画素数を目標画素数に合致させるため、Ｍ×Ｍ倍に補間拡大される。この画素数ＭＮ×ＭＮ画像をｅｘＬＲ画像と称する。ｅｘＬＲ画像では画像の高周波成分が失われて、ぼけた画像になる。このぼけ画像を先鋭化することが高解像度化に他ならない。【０２０１】  次に、多重解像度変換ＷＴによって、ｅｘＬＲ画像の輝度値を画素ごとに、多重解像度に基づくＴ次元テキストンに変換する。この変換にはウェーブレット変換やピラミッド構造分解などの処理が用いられる。この結果、ｅｘＬＲ画像の各画素ごとに、合計ＭＮ×ＭＮ本のＴ次元テキストンベクトルが生成される。次に、汎用性の向上のため、テクストンベクトルにクラスタリングが実施されて、Ｌ本の入力代表テキストンベクト��が選択生成される。これらＬ本のテキストンベクトルに対して、予め学習したデータベースの情報から変換が施されて、Ｔ次元の高解像度化テキストンベクトルが生成される。この変換には、テーブル読み出しや、Ｔ次元の多次元特徴ベクトル空間内における線形および非線形変換が用いられる。高解像度化テキストンベクトルは、逆ウェーブレット変換やピラミッド構造再構成などの逆変換ＩＷＴによって、画像輝度値に戻されて、高解像度画像ＨＲが完成する。【０２０２】  この処理では、ＭＮ×ＭＮ本のＴ次元テクストンベクトルのクラスタリング処理における探索とテーブル読み出しの処理に多大な時間を要し、動画など高速化対応が困難であった。そこで、１）クラスタリング処理をＬＲ画像にて実施する。２）テーブル読み出しを線形マトリクス変換に変更する。という改良を加えた。この処理では、ＬＲ画像の１画素はＨＲ画像のＭ×Ｍ画素のセルに対応する事実を使って、Ｔ次元からＴ次元への線形マトリクス変換をセル毎に実施して、セル内部での空間的な連続性を維持することができる。また利用する線形マトリクスはクラスタリングの結果から最適に選択する。セル境界の不連続性が問題になる場合にはマトリクス処理単位のブロックを一部重ねるなどの処理を追加してもよい。【０２０３】  図３６は上の改良点を模式的に描いた図である。ＬＲ画像をＷＴ変換して、Ｔ次元の特徴量空間の中のＬ（ここではＬ＝３）本の代表特徴ベクトルとしている。そして、各特徴ベクトルに異なる線形マトリクスが付随している。この状態を保存したものが高解像度化データベースに他ならない。【０２０４】  以下、Ｎ＝３２、Ｍ＝４、すなわち３２×３２画素の低解像画像に４×４倍の高解像度化を施す例をとって、画像処理手法の詳細を述べる。アルベド画像は（ＲＧＢ）カラー画像とするが、カラー画像は（ＲＧＢ）から輝度色差（ＹＣｒＣＢ）に変換して独立した色成分画像として取り扱うものとする。通常、２×２倍率程度では、輝度Ｙ成分だけの高解像度でカラー成分は低解像度の色差信号のまま付加しても違和感はないが、４×４以上では、色信号も高解像度化が必須になるので各成分とも同様な取り扱いとする。以下、カラー画像の１つの成分画像のみの処理を説明することとする。【０２０５】  （学習時）
図３７は学習処理の流れを説明するＰＡＤ図であり、図３８は学習処理において処理される画像の処理対象画素と処理対象セルとの関係を説明する図である。以下、図３７および図３８を交互に用いて説明を行なう。【０２０６】  まず、Ｓ３１１〜Ｓ３１３において、低解像度画像ＬＲ画像、高解像度画像ＨＲ画像、および低解像度画像の拡大画像ｅｘＬＲ画像を入力する。これら画像は、ＨＲから全て生成されており、撮像における画素ずれがない状態としておく。また、ＬＲ画像からｅｘＬＲ画像の生成にはバイキュービック補間を用いている。図３８において、高解像度画像ＨＲ（画素数１２８×１２８）と、低解像度ＬＲ画像（画素数３２×３２）とＬＲを画素数だけＨＲと合致させたｅｘＬＲ画像（画素数１２８×１２８）の３種類の画像を用意する。【０２０７】  Ｓ３１４において、ＬＲ画像をテキストン化する。具体的にはＨａａｒ基底を用いた２次元離散定常ウェーブレット変換（Ｄｉｓｃｒｅｔｅ  ｓｔａｔｉｏｎａｒｙ  ｗａｖｅｌｅｔ  ｔｒａｎｓｆｏｒｍ：ＳＷＴ変換）する。ＳＷＴ変換の階層は２階層（２−ｓｔｅｐ）とすると、６次元のＬＲＷ画像（画素数３２×３２＝１０２４）が生成される。本来、２階層ステップの２次元離散定常ウェーブレット変換では７次元の特徴ベクトルとなるが、最低周波数のＬＬ成分画像は画像の平均輝度情報に近くなり、これを保存するため残りの６成分のみを利用する。【０２０８】  Ｓ３１５において、テキストン化されたＬＲＷ画像の合計１０２４本の６次元ベクトルをＣｍａｘ個にまでクラスタリングする。ここではＫ−ｍｅａｎｓ法を用いて、例えばＣｍａｘ＝５１２本にクラスタリングする。この５１２本の結果のテキストンベクトルの集合をクラスタＣと称する。クラスタリングをせず１０２４本のテキストンを全て利用しても問題ない。【０２０９】  Ｓ３１６において、クラスタＣの同一クラスタに判別されたＬＲ画素を判定する。具体的には、ＬＲ画像の画素値がクラスタＣの各テキストン番号に置き換えられる。【０２１０】  Ｓ３１７において、クラスタＣの全テキストンに対して繰り返し処理をしながら、該当テキストンに対応するｅｘＬＲの画素セルとＨＲ画像の画素セルを探索して、該当セル番号を格納する。この探索がＬＲ画像の画素数分だけで済むため、高倍率の場合に大きな探索時間の削減となる。【０２１１】  ここでＬＲ画像の画素とｅｘＬＲ画像、ＨＲ画像の画素セルとの対応につき、図３８で説明する。図３８では、ＬＲ画像上で、２００１と２００２という２画素がＣの同一クラスタ（クラスタ番号：Ｃｉ＝０）に判別されたとする。すると、そのままの位置関係を保って拡大されたｅｘＬＲ画像上では２００３，２００４、ＨＲ画像上では２００５、２００６という画素セルが対応していると考えられ、これらの２箇所のセル位置の番号が、該当するテキストンを有するものとして格納される。画素セル内に含まれる画素数は拡大率４×４＝１６に等しい。【０２１２】  次にＳ３１８において、これらの画素セル群についてｅｘＬＲ画像とＨＲ画像の対でテキストン化を行う。具体的には、２次元離散定常ウェーブレット変換（Ｄｉｓｃｒｅｔｅ  ｓｔａｔｉｏｎａｒｙ  ｗａｖｅｌｅｔ  ｔｒａｎｓｆｏｒｍ）が実施されて、ｅｘＬＲＷ画像とＨＲＷ画像が生成される。【０２１３】  Ｓ３１９とＳ３２０において、上記ＨＲＷ画像とｅｘＬＲＷ画像から得られたテキストンの対が行列の形として集積される。形式はいずれも、６×Ｄａｔａ＿ｎｕｍの行列となる。ここでＤａｔａ＿ｎｕｍは、（１セルの画素数）×（探索されたセルの数）となり、上のＣｉ＝０の例では、２個のセルが探索されたので１６×２＝３２となる。【０２１４】  Ｓ３２１において、集積された両者に所属する合計２×４×４＝１２８個の特徴ベクトルから最小二乗法にて６×６マトリクスＭを算出し、それをＳ３２２において、クラスタ番号Ｋ＝０とともにデータベースＣＭａｔ（Ｋ）に格納蓄積する。Ｓ３２２における最小二乗法は、まずＳ３１９とＳ３２０において集積されたｅｘＬＲとＨＲのテキストンの行列を各々ＬｆとＨｆ（サイズ：６×Ｄａｔａ＿ｎｕｍ）とし、求めるマトリクスをＭ（６×６）とすると以下のように実行できる。
【数６２】
2007139070.tif 000065
【０２１５】  次に、クラスタ番号Ｋ＝１について同様処理を繰り返して、Ｋ＝５１１まで行う。すなわち、ＣＭａｔはクラスタ番号ごとに規定される６×６変換行列の群である。【０２１６】  最後に、Ｓ３２３とＳ３２４において、使用したクラスタＣと学習された変換行列ＣＭａｔとを出力する。こうして求めたクラスタＣと学習された変換行列ＣＭａｔを、アルベドＤＢ２０８に蓄積する。【０２１７】  図３９は２次元離散定常ウェーブレット変換（Ｄｉｓｃｒｅｔｅ  ｓｔａｔｉｏｎａｒｙ  ｗａｖｅｌｅｔ  ｔｒａｎｓｆｏｒｍ）の処理を示す図である。通常のウェーブレット変換では、フィルタバンク構成は同一のまま分解の階層が進む毎に画像が縮小していくが、２次元離散定常ウェーブレット変換では、分解の階層が進んでも変換画像サイズは不変であり、スケーリング関数Ｆとウェーブレット関数Ｇの２種類のフィルタがアップサンプリング（↑）されて２のべき乗で長くなっていくことにより多重解像度解析を行う。Ｈａａｒ基底では、ＦとＧの具体的な数値とアップサンプリングの様子は表１のようになる。【０２１８】
【表１】
2007139070.tif 000066
【０２１９】  ＬＬ成分であるｃＡ画像を１階層進めてウェーブレット分解する場合、ＦとＧのフィルタを交互に１次元的にコンボリューションすることにより、図３９のように４種類の画像が生成される。１）行方向にＦ・列方向にＦ：ｃＡ画像（ＬＬ成分）２）行方向にＦ・列方向にＧ：ｃＤｈ画像（ＬＨ成分）３）行方向にＧ・列方向にＦ：ｃＤｖ画像（ＨＬ成分）４）行方向にＧ・列方向にＧ：ｃＤｄ画像（ＨＨ成分）。【０２２０】  図４０は２次元離散定常ウェーブレット変換をテスト画像に実施した場合の画像結果例である。テキストンベクトルとは、これらウェーブレットの１−ＳＴＥＰと２−ＳＴＥＰの変換画像の１画素ごとに対応する値を連ねたもので、
【数６３】
2007139070.tif 000067
の７次元ベクトルのことである。ただし２−ＳＴＥＰのＬＬ成分であるｃＡ２を除いて、６次元ベクトル部分のみを使って高解像度変換し、ｃＡ２成分は保存している。【０２２１】  なお、ウェーブレット変換のステップ数をここではＳ３１４とＳ３１８のいずれも２−ＳＴＥＰとしている。このステップ数が大きくなるほど、画像の大まかな特徴までテキストンで表現することができる。本発明においてステップ数は可変であるが、ＬＲ画像のクラスタリングのためのＳ３１４の場合、１−ＳＴＥＰでは周辺の画素状況として十分な情報とならない場合があるため、２−ＳＴＥＰとしている。一方、ｅｘＬＲ画像を高解像度化するためのテキストンを生成するＳ３１８の場合、たとえば８×８の倍率においては２−ＳＴＥＰよりも３−ＳＴＥＰの方が良好な画像が得られることが、実験的に確認されている。このため、倍率との関係でステップ数を決定することが望ましい。【０２２２】  （高解像度化処理の実行時）
図４１は実行時の処理の流れを示すＰＡＤ図であり、図４２は実行時の処理の画素セルとの関係を示す図である。【０２２３】  まず、Ｓ３３１とＳ３３２において、ＬＲ画像とこれを拡大したｅｘＬＲ画像とを入力する。学習時と同様に、ＬＲ画像の画素数＝３２×３２、ｅｘＬＲ画像の画素数＝１２８×１２８とする。ここでｅｘＬＲ画像の生成方法は、図３７のＳ３１３において学習画像のｅｘＬＲ画像を生成した方法と同様にバイキュービック法による。【０２２４】  次に、Ｓ３３３とＳ３３４において、学習時に得られたクラスタＣと変換行列ＣＭａｔをアルベドＤＢ２０８から読み出し、入力する。【０２２５】  Ｓ３３５において、ＬＲ画像をテキストン化する。具体的には図４２で示すように、Ｈａａｒ基底を用いた２次元離散定常ウェーブレット変換（Ｄｉｓｃｒｅｔｅ  ｓｔａｔｉｏｎａｒｙ  ｗａｖｅｌｅｔ  ｔｒａｎｓｆｏｒｍ：ＳＷＴ変換）を行う。ＳＷＴ変換の階層は２階層（２−ｓｔｅｐ）とすると、６次元のＬＲＷ画像（画素数３２×３２＝１０２４）が生成される。本来は２階層ステップの２次元離散定常ウェーブレット変換では７次元の特徴ベクトルとなるが、最低周波数のＬＬ成分画像は画像の平均輝度情報に近くなり、これを保存するため残りの６成分のみを利用する。【０２２６】  次にＳ３３６において、各テキストンにつき、クラスタＣ（Ｃｍａｘ個のテキストン）内の最短距離のテキストンベクトルを探索してテキストン番号（Ｃｉ）を得る。これは図４２において、ＬＲ画像の１ライン上の各画素２０１１，２０１２，…，２０１３について、各々Ｃ０，Ｃ１，…，Ｃｎというテキストン番号が付与されることに相当する。【０２２７】  次にＳ３３７に進むが、これ以降はＨＲ画像の各セルを走査線順に処理していく繰り返し処理となる。具体的には、図４２において、ｅｘＬＲ画像のセル２０１４，２０１５，…，２０１６を処理していくと、対応するＨＲ画像のセル２０２３，２０２４，…，２０２５が順次高解像度化されていく。【０２２８】  Ｓ３３７において、ｅｘＬＲ画像の該当セル領域がテキストン化される。具体的には、２次元離散定常ウェーブレット変換（Ｄｉｓｃｒｅｔｅ  ｓｔａｔｉｏｎａｒｙ  ｗａｖｅｌｅｔ  ｔｒａｎｓｆｏｒｍ）が実施されて、ｅｘＬＲＷ画像が生成される。セル２０１７，２０１８，…，２０１９などが生成される。【０２２９】  Ｓ３３８において、テキストン番号から変換行列ＣＭａｔを引いて該当セルにおける変換行列Ｍを確定する。この処理は図４２のように行われる。ＬＲＷ画像には、すでに画素２０１１＝Ｃ０、画素２０１２＝Ｃ１、…、画素２０１３＝Ｃｎとテキストン番号が振られている。これを位置関係を保存したｅｘＬＲＷ画像のセル２０１７、２０１８、…２０１９に適用して、各々のセルで、Ｃ０，Ｃ１，・・Ｃｎをテキストン番号としてＭａｔから別々の６×６変換行列Ｍを選択することができる。【０２３０】  Ｓ３３９において、各セルに変換行列Ｍを作用させる。これはセル内のテキストンＬＴｉ（ｉ＝１〜１６）全部について、
【数６４】
2007139070.tif 000068
を実施すればよい。これらを繰り返して、ｅｘＬＲＷ画像のセル２０１７，２０１８，…，２０１９からＨＲＷ画像のセル２０２０，２０２１，…，２０２２が、それぞれ生成される。【０２３１】  次に、これら高解像度化されたセル内の６次元テキストンに、ｅｘＬＲＷ画像の２−ＳＴＥＰのＬＬ成分を付加して７次元テキストンを生成する。【０２３２】  Ｓ３４０において、この各セル内７次元のテキストンを逆ＳＷＴ変換することにより画像に変換する。以上をｅｘＬＲ画像の全セルについて繰り返す。【０２３３】  逆ＳＷＴ（ＩＳＷＴ）変換は、図４３で示す信号フローで実現できる。図３９とほとんど同じ表現である。通常のウェーブレット逆変換ではフィルタバンクの構成は同一のまま、分解の階層が進む毎に画像が拡大していく。これに対して、本逆変換においては、分解の階層が進んでも変換画像サイズは不変であり、スケーリング関数Ｆとウェーブレット関数Ｇ１の２種類のフィルタがダウンサンプリング（↓）されて２のべき乗で短くなっていくことにより、多重解像度解析を行う。Ｈａａｒ基底では、ＦとＧ１の具体的な数値とダウンサンプリングの様子は表２のようになる。【０２３４】
【表２】
2007139070.tif 000069
【０２３５】  以上のようにしてアルベド画像の１成分が高解像度化される。この処理を、アルベド画像全てに行うことにより、高解像度なアルベド画像を合成する。【０２３６】  このとき、アルベド画像に含まれる被写体の大きさや姿勢、向きなどが変化しても処理が可能なように、画像の正規化を行うようにしてもかまわない。テキストンを利用した高解像度化処理は、学習データに対してアルベド画像の大きさや姿勢が異なっている場合、高解像度化の精度が十分に発揮されないことが考えられる。そこで、アルベド画像を複数組用意し、この問題を解決する。すなわち、アルベド画像を３０度ずつ回転させた画像を合成し、そのすべての画像で高解像度化を行い、姿勢や向きの変化に対応させる。この場合、前述の「高解像度化処理の実行時」のＰＡＤ図である図４１のステップＳ３３６において、最短距離のテキストンを探索する際、回転処理を行った各画像から求めた複数のＬＲ画像のテキストン、それぞれにおいて最短距離のテキストンを探索し、最も距離の近いものを探索してテキストン番号（Ｃｉ）を得るようにすればよい。【０２３７】  また、大きさの変化に対応するために、画像の大きさを変更したアルベド画像を合成するようにしてもかまわない。【０２３８】  また、実際の大きさを基準に、例えば、５ｃｍ×５ｃｍの画像が必ず８ｘ８画素になるように拡大縮小処理を行い、その画像に対してテキストンを作製するようにしてもかまわない。被写体の大きさは、形状情報取得部２０４により既知であるため、「学習時」および「高解像度化処理の実行時」ともに同じ大きさの画像でテキストンを作製することで、大きさの変動に対応するようにしてもかまわない。【０２３９】  また、「高解像度化処理の実行時」のアルベド画像を回転させるのではなく、「学習時」のアルベド画像を回転させ、複数組のテキストンを作製し、クラスタＣと学習された変換行列ＣＭａｔをアルベドＤＢ２０８に蓄積するようにしても構わない。【０２４０】  さらに、入力された被写体が何であるかを推定し、推定された被写体がどのように回転しているかを姿勢推定するようにしてもかまわない。このような処理は、広く使われている画像認識技術を利用すればよい。これは、例えば、被写体にＲＦＩＤのようなタグを設置しておき、そのタグ情報を認識することで被写体が何であるかを認識し、さらにタグ情報から被写体の形状情報を推定し、画像や被写体の形状情報から姿勢推定を行うようにすればよい（例えば、特開２００５−３４６３４８号公報参照）。【０２４１】  拡散画像高解像度化部２０９は、アルベド高解像度化部２０７が合成した高解像度アルベド画像から高解像度な拡散画像を合成する。この処理を説明する。【０２４２】  前述のように、アルベド画像は、拡散成分画像を光源ベクトルと被写体の法線方向ベクトルの内積で除算したものである。そのため、アルベド画像に、光源情報推定部２０３によって推定された光源方向ベクトルと、後述するパラメータ高解像度化部によって求めた被写体の高密度法線方向ベクトルとの内積を乗算することによって、高解像度の拡散画像を合成する。光源情報推定部２０３により、複数の光源が推定された場合、それぞれの光源に対して高解像度な拡散画像をおのおの合成し、その画像を足し合わせることで、一枚の高解像度拡散画像を合成する。【０２４３】  また、アルベド画像ではなく擬似アルベド画像を利用している場合、擬似アルベド画像に、光源情報推定部２０３によって推定された光源方向ベクトルと、形状情報高密度化部２１１によって求められた被写体の高密度法線方向ベクトルとの内積を乗算し、さらに正規化を行うために利用した鏡面反射画像の最大輝度値ｉｓｆ＿ｍａｘを乗算することによって、高解像度拡散反射画像を合成する。正規化で利用した鏡面反射画像の最大輝度値ｉｓｆ＿ｍａｘは、アルベド推定部２０６によってメモリに蓄積されているため、この情報を読み出せばよい。もちろん、拡散反射画像の最大輝度値や入力画像の最大輝度値を利用して正規化を行っている場合、鏡面反射画像の最大輝度値ｉｓｆ＿ｍａｘを乗算するのではなく、正規化に利用した拡散反射画像の最大輝度値や入力画像の最大輝度値を乗算する。【０２４４】  以上の処理により、高解像度化された拡散画像を合成することができる。ここで、高解像度化処理はアルベド画像を利用して行ったが、アルベド画像ではなく、拡散画像を直接、高解像度化するようにしても構わない。この場合、学習処理は拡散画像を用いて行えばよい。【０２４５】  次に、鏡面反射画像の高解像度化処理について説明する。ここでは、画像をパラメータに分解し、パラメータごとに高密度化する。この処理を順に説明する。【０２４６】  パラメータ推定部２１０は、形状情報取得部２０４によって取得された被写体の法線情報、拡散反射・鏡面反射分離部２０２によって分離された拡散反射画像と鏡面反射画像を利用して、その被写体を表現するパラメータを推定する。ここでは、Ｃｏｍｐｕｔｅｒ−Ｇｒａｐｈｉｃｓの分野で広く使われているＣｏｏｋ−Ｔｏｒｒａｎｃｅモデルを利用する方法を説明する。【０２４７】  Ｃｏｏｋ−Ｔｏｒｒａｎｃｅモデルでは、鏡面反射画像を次式のようにモデル化する。
【数６５】
2007139070.tif 000070
【数６６】
2007139070.tif 000071
【数６７】
2007139070.tif 000072
【数６８】
2007139070.tif 000073
【数６９】
2007139070.tif 000074
【数７０】
2007139070.tif 000075
【数７１】
2007139070.tif 000076
【数７２】
2007139070.tif 000077
【数７３】
2007139070.tif 000078
【０２４８】  ここで、Ｅｉは入射照度、ρｓ，λは波長λにおける鏡面反射成分の双方向反射率、ｎは被写体の法線方向ベクトル、Ｖは視線ベクトル、Ｌは光源方向ベクトル、Ｈは視線ベクトルと照明方向ベクトルの中間ベクトル、βは中間ベクトルＨと法線方向ベクトルｎの角度を表す。また、Ｆλはフレネル方程式から求められる誘電体表面からの反射光の比であるフレネル係数、Ｄはマイクロファセット分布関数、Ｇは物体表面の凸凹による遮光の影響を表す幾何減衰率である。さらに、ｎλは被写体の屈折率、ｍは被写体表面の粗さを示す係数、Ｉｊは入射光の放射輝度である。また、ｋｓは鏡面反射成分の係数である。【０２４９】  さらに、（式２５）のランバーシャンモデルを利用すると、（式１２）は以下のように展開される。
【数７４】
2007139070.tif 000079
ただし、
【数７５】
2007139070.tif 000080
【数７６】
2007139070.tif 000081
ここで、ρｄは拡散反射成分の反射率（アルベド）、ｄｐｘ、ｄｐｙは撮像装置の１画素のｘ方向、ｙ方向の長さ、ｒは撮像装置の観察点Ｏからの距離を示している。また、ｋｄは以下の関係式を満たす係数である。
【数７７】
2007139070.tif 000082
Ｓｒは拡散反射成分と鏡面反射成分の輝度値の違いを表現するための定数であり、拡散反射成分が被写体からすべての方向へエネルギーを反射することを示している。図４４はこの定数Ｓｒを説明するための模式図である。図４４において、観察点Ｏで反射された拡散反射成分エネルギーは、半球状に広がっていく。ここで、撮像装置１００１が観察点Ｏからｒだけ離れているので、撮像装置の１撮像素子に届くエネルギーと、観察点Ｏで反射した総エネルギーの比Ｓｒは、（式４８）で表される。【０２５０】  以上のことから、パラメータ推定部２１０は、（式３７）〜（式４５）（式４６）（式４７）、（式４８）からパラメータを推定する。【０２５１】  以上の関係式をまとめると、パラメータ推定を行なうための既知パラメータと、推定すべきパラメータは以下のようになる。
（既知パラメータ）
○環境光成分Ｉａ
○拡散反射成分Ｉｄ
○鏡面反射成分Ｉｓ
○被写体の法線方向ベクトルｎ
○光源方向ベクトルＬ
○視線ベクトルＶ
○中間ベクトルＨ
○中間ベクトルＨと法線方向ベクトルｎの角度β
○撮像装置１００１の１画素のｘ方向、ｙ方向の長さｄｐｘ，ｄｐｙ
○撮像装置１００１と観察点Ｏとの距離ｒ
（推定すべきパラメータ）
○入射照度Ｅｉ
○鏡面反射成分の係数ｋｓ
○被写体表面の粗さｍ
○被写体の屈折率ηλ
ここで、拡散反射成分の係数ｋｄ、および拡散反射成分の反射率（アルベド）ρｄも未知パラメータであるが、鏡面反射成分のパラメータのみを推定するため、ここでは推定処理を行なわない。【０２５２】  図４５はパラメータ推定部２１０の処理の流れを示す図である。処理は、以下の２段階からなる。【０２５３】  まず、光源情報を使用して、入射照度Ｅｉを求める（ステップＳ３５１）。ここでは、光源情報推定部２０３によって取得した光源の位置情報、形状情報取得部２０４で求めた撮像装置と被写体との距離情報、さらには光源情報取得部２０３で求めた光源照度を用いる。これは、次式から求まる。
【数７８】
2007139070.tif 000083
ここで、Ｉｉは撮像装置１００１に設置された照度計１０１８によって測定された光源１００７の入射照度、Ｒ１は撮像装置１００１と光源１００７との距離、Ｒ２は光源１００７と観察点Ｏとの距離、θ１は観察点Ｏにおける法線１０１９と光源方向１０１０Ｃとのなす角度、θ２は撮像装置１００１における光軸方向１００５と光源方向１０１０Ａとのなす角度を示している（図４６参照）。ここで、被写体の大きさが、光源１００７と観察点Ｏとの距離Ｒ２に比べ十分に大きいと考えられる場合、距離Ｒ２は被写体上の全ての観察点Ｏで等しくなる。そのため、（式５０）において、（Ｒ１／Ｒ２）は定数となり、実際に計測する必要はなくなる。【０２５４】  次に、シンプレックス法を利用して、未知パラメータｍ、ηλ、ｋｓを推定する（ステップＳ３５２）。シンプレックス法は、シンプレックスと呼ぶ図形の頂点に変数を割り付け、シンプレックスの大きさと形を変えて関数の最適化を行なう方法である（大田登，“色再現光学の基礎”，ｐｐ．９０−９２，コロナ社）。シンプレックスは、ｎ次元空間の（ｎ＋１）個の点の集合である。ただし、ｎは推定する未知数の数であり、ここでは「３」である。そのため、シンプレックスは四面体である。シンプレックスの頂点をベクトルｘｉで表し、新しいベクトルを次のように定める。
【数７９】
2007139070.tif 000084
【数８０】
2007139070.tif 000085
【数８１】
2007139070.tif 000086
【数８２】
2007139070.tif 000087
ただし、
【数８３】
2007139070.tif 000088
【数８４】
2007139070.tif 000089
はそれぞれ関数ｆ（ｘｉ）を最大、最小にするｘｉを示している。【０２５５】  さらに、この方法で用いる３種類の操作を以下のように定める。
１．鏡像：
【数８５】
2007139070.tif 000090
２．拡張：
【数８６】
2007139070.tif 000091
３．収縮：
【数８７】
2007139070.tif 000092
ここで、α（＞０）、β（＞１）、γ（１＞γ＞０）は係数である。【０２５６】  シンプレックス法は、シンプレックスの頂点の中で関数値の最も大きなものを選ぶことで、その鏡像における関数値は小さくなるという期待に基づいている。この期待が正しければ、同じプロセスの繰り返しで関数の最小値が求められる。つまり、初期値で与えたパラメータを３種類の操作で更新しながら、評価関数が示すターゲットとの誤差が閾値未満になるまでパラメータの更新を繰り返す。ここでは、パラメータとしてｍ、ηλ、ｋｓ、評価関数として（式５６）で表される、（式３７）から算出される鏡面反射成分画像と拡散反射・鏡面反射分離部２０２で求められた鏡面反射成分画像との差ΔＩｓを利用した。
【数８８】
2007139070.tif 000093
ただし、ｉｓ（ｉ，ｊ）’，ｉｓ（ｉ，ｊ）はそれぞれ、計算された鏡面反射画像の推定値Ｉｓ’と拡散反射・鏡面反射分離部２０２で求められた鏡面反射成分画像Ｉｓの画素（ｉ，ｊ）の輝度値、Ｍｓ（ｉ，ｊ）は、画素（ｉ，ｊ）が鏡面反射成分を持つ場合に１、そうでない場合０をとる関数である。【０２５７】  この処理について詳しく説明する。図４７はこの処理の流れを説明するためのフローチャートである。【０２５８】  まず、繰り返し演算の更新回数を記憶するカウンターｎとｋに０を代入し、初期化する（ステップＳ３６１）。ここで、カウンターｎは初期値を何回変更したかを記憶するカウンターであり、ｋはある初期値に対してシンプレックスによる候補パラメータの更新を何回行ったかを記憶するカウンターである。【０２５９】  次に、乱数を利用し、推定パラメータの候補パラメータｍ’、ηλ’、ｋｓ’の初期値を決定する（ステップＳ３６２）。このとき、各パラメータの物理的な拘束条件から、初期値の発生範囲は以下のように決定した。
【数８９】
2007139070.tif 000094
【０２６０】  次に、こうして求めた候補パラメータを（式３７）へ代入し、鏡面反射画像の推定値Ｉｓ’を求める（ステップＳ３６３）。さらに、計算された鏡面反射画像の推定値Ｉｓ’と拡散反射・鏡面反射分離部２０２で求められた鏡面反射成分画像との差ΔＩｓを（式５６）より求め、これをシンプレックス法の評価関数とする（ステップＳ３６４）。こうして求めたΔＩｓが十分小さい場合（ステップＳ３６５でＹｅｓ）、パラメータ推定は成功したとして、推定パラメータｍ、ηλ、ｋｓとして候補パラメータｍ’、ηλ’、ｋｓ’を選択し、処理を終了する。一方、ΔＩｓが大きい場合（ステップＳ３６５でＮｏ）、シンプレックス法により候補パラメータの更新を行う。【０２６１】  候補パラメータの更新を行う前に、更新回数の評価を行う。まず、更新回数を記憶しているカウンターｋに１を足し（ステップＳ３６６）、カウンターｋの大きさを判断する（ステップＳ３６７）。カウンターｋが十分に大きい場合（ステップＳ３６７でＮｏ）、繰り返し演算は十分に行なわれているが、ローカルミニマムに落ちているため、このまま更新を繰り返しても最適値には達しないと判断し、初期値を変更して、ローカルミニマムからの脱却を図る。そのため、カウンターｎに１を足し、カウンターｋに０を入れる（ステップＳ３７１）。ここで、カウンターｎの値が閾値より高いかどうかを判定し、処理をこのまま続けるか、処理不能として処理を終了させるかを決定する（ステップＳ３７２）。ここで、ｎが閾値より大きい場合（ステップＳ３７２でＮｏ）、この画像は推定不能として処理を終了する。一方、ｎが閾値より小さい場合（ステップＳ３７２でＹｅｓ）、再度、初期値を（式５７）の範囲内で乱数から選択しなおし（ステップＳ３６２）、処理を繰り返す。このようなｋに対する閾値は、例えば、１００などを選択すればよい。【０２６２】  一方、ステップＳ３６７において、カウンターｋが閾値以下の場合（ステップＳ３６７でＹｅｓ）、候補パラメータを（式５３）〜（式５５）を利用して変更する（ステップＳ３６８）。この処理については後述する。【０２６３】  次に、こうして変形された候補パラメータが、解として意味のあるものであるかを判定する（ステップＳ３６９）。すなわち、シンプレックス法を繰り返すことで、変形されたパラメータが物理的に意味のない値（例えば、粗さパラメータｍが負の値など）におちいる可能性があるため、これを除去する。これは、例えば、以下のような条件を与え、この条件を満たす場合には意味のあるパラメータ、満たさない場合には意味のないパラメータと判定すればよい。
【数９０】
2007139070.tif 000095
これらの値は、被写体より求めることができる。例えば、屈折率ηλであれば、被写体の材質によって決定される値である。例えば、プラスチックであれば１．５〜１．７、ガラスであれば１．５〜１．９であることが知られているため、これらの値を利用すればよい。つまり、被写体がプラスチックである場合、屈折率ηλは１．５〜１．７とすればよい。【０２６４】  変形したパラメータが（式５８）を満たす場合（ステップＳ３６９でＹｅｓ）、その候補パラメータは意味のある値であると考えられるため、新しい候補パラメータとして設定し（ステップＳ３７０）、更新処理を繰り返す（ステップＳ３６３）。一方、変形したパラメータが（式５８）を満たさない場合（ステップＳ３６９でＮｏ）、その初期値に対する更新処理を打ち切り、新しい初期値により更新を行う（ステップＳ３７１）。【０２６５】  ここで、ステップＳ３６８の変形処理について詳述する。図４８はこの処理の流れを示したフローチャートである。ここでは、候補パラメータｍ’、ηλ’、ｋｓ’をベクトル表現し、これをパラメータｘとする。すなわち、
【数９１】
2007139070.tif 000096
【０２６６】  まず、（式５１）（式５２）（式５３）を利用して、鏡像操作を行ったパラメータｘｒを計算し、（式５６）によってｘｒでの鏡面反射成分画像との差ΔＩｓ（ｘｒ）を計算する（ステップＳ３８１）。次に、こうして求められたΔＩｓ（ｘｒ）と、２番目に評価関数が悪かったΔＩｓ（ｘｓ）を比較する（ステップＳ３８２）。ここでΔＩｓ（ｘｒ）がΔＩｓ（ｘｓ）より小さかった場合（ステップＳ３８２でＹｅｓ）、鏡像操作を行った評価値ΔＩｓ（ｘｒ）と現在、最も評価値のよいΔＩｓ（ｘｌ）を比較する（ステップＳ３８３）。ここで、ΔＩｓ（ｘｒ）のほうが大きかった場合（ステップＳ３８３でＮｏ）、最も評価値の低かったｘｈをｘｒへ変更し（ステップＳ３８４）、処理を終了する。【０２６７】  一方、ΔＩｓ（ｘｒ）がΔＩｓ（ｘｌ）より小さかった場合（ステップＳ３８３でＹｅｓ）、（式５４）を利用して拡張処理を行ない、パラメータｘｅと、ｘｅでの鏡面反射成分画像との差ΔＩｓ（ｘｅ）を計算する（ステップＳ３８５）。次に、こうして求められたΔＩｓ（ｘｅ）と、鏡像操作によるΔＩｓ（ｘｒ）を比較する（ステップＳ３８６）。ここでΔＩｓ（ｘｅ）がΔＩｓ（ｘｒ）より小さかった場合（ステップＳ３８６でＹｅｓ）、最も評価値の悪かったｘｈをｘｅへ変更し（ステップＳ３８７）、処理を終了する。【０２６８】  一方、ΔＩｓ（ｘｅ）がΔＩｓ（ｘｒ）より大きかった場合（ステップＳ３８６でＮｏ）、最も評価値の悪かったｘｈをｘｒへ変更し（ステップＳ３８７）、処理を終了する。【０２６９】  また、ステップＳ３８２において、ΔＩｓ（ｘｒ）がΔＩｓ（ｘｓ）より大きかった場合（ステップＳ３８２でＮｏ）、鏡像操作を行った評価値ΔＩｓ（ｘｒ）と現在、最も評価値の悪いΔＩｓ（ｘｈ）を比較する（ステップＳ３８８）。ここでΔＩｓ（ｘｒ）がΔＩｓ（ｘｈ）より小さかった場合（ステップＳ３８８でＹｅｓ）、最も評価値の悪かったｘｈをｘｒへ変更し（ステップＳ３８９）、（式５５）を利用して、収縮操作を行ったパラメータｘｃと、ｘｃでの鏡面反射成分画像との差ΔＩｓ（ｘｃ）を計算する（ステップＳ３９０）。一方、ΔＩｓ（ｘｒ）がΔＩｓ（ｘｈ）より大きかった場合（ステップＳ３８８でＮｏ）、ｘｈを変更することなく、収縮操作を行ったパラメータｘｃと、ｘｃでの鏡面反射成分画像との差ΔＩｓ（ｘｃ）を計算する（ステップＳ３９０）。【０２７０】  次に、こうして求められたΔＩｓ（ｘｃ）と、最も評価値の悪いΔＩｓ（ｘｈ）を比較する（ステップＳ３９１）。ここでΔＩｓ（ｘｃ）がΔＩｓ（ｘｈ）より小さかった場合（ステップＳ３９１でＹｅｓ）、最も評価値の悪かったｘｈをｘｃへ変更し（ステップＳ３９２）、処理を終了する。【０２７１】  一方、ΔＩｓ（ｘｃ）がΔＩｓ（ｘｈ）より大きかった場合（ステップＳ３９１でＮｏ）、すべての候補パラメータｘｉ（ｉ＝１，２，３，４）を以下の式により変更し、処理を終了する。
【数９２】
2007139070.tif 000097
【０２７２】  以上の処理を繰り返すことにより、鏡面反射画像における未知パラメータであるｍ、ηλ、ｋｓを推定する。【０２７３】  以上の処理により、すべての未知パラメータを推定することができる。【０２７４】  なお、パラメータ推定に用いるモデルは、Ｃｏｏｋ−Ｔｏｒｒａｎｃｅモデルである必要はなく、例えば、Ｔｏｒｒａｎｃｅ−ＳｐａｒｒｏｗモデルやＰｈｏｎｇモデル、簡易Ｔｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗモデル（例えば、「Ｋ．Ｉｋｅｕｃｈｉ  ａｎｄ  Ｋ．Ｓａｔｏ，“Ｄｅｔｅｒｍｉｎｉｎｇ  ｒｅｆｌｅｃｔａｎｃｅ  ｐｒｏｐｅｒｔｉｅｓ  ｏｆ  ａｎ  ｏｂｊｅｃｔ  ｕｓｉｎｇ  ｒａｎｇｅ  ａｎｄ  ｂｒｉｇｈｔｎｅｓｓ  ｉｍａｇｅｓ”，ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，ｖｏｌ．１３，ｎｏ．１１，ｐｐ．１１３９−１１５３，１９９１」）であっても構わない。【０２７５】  また、パラメータ推定方法は、シンプレックス法である必要はなく、例えば、勾配法や最小自乗法などのような一般的なパラメータ推定手法を利用しても構わない。【０２７６】  また、以上の処理は、画素毎に行ってもかまわないし、領域分割を行い、領域ごとに等しいパラメータ組を推定するようにしてもかまわない。画素毎に処理を行う場合、光源や撮像装置、または被写体を動かすことにより、被写体の法線方向ベクトルｎや光源方向ベクトルＬ、または視線ベクトルＶといった既知パラメータが変動したサンプルを取得するようにすることが望ましい。また、処理を領域ごとに行う場合、領域ごとに求まったパラメータのばらつきが小さくなるように領域分割を変更することで、最適なパラメータ推定を行うようにすることが望ましい。【０２７７】  法線情報高密化部２１１は、形状情報取得部２０４で取得した表面の法線情報を高密度化する。これは、以下のように実現される。【０２７８】  まず、形状情報取得部２０４によって取得した表面の法線情報を、画像撮像部２０１によって取得された画像へ投影し、画像内の各画素に対応する法線方向を求める。このような処理は、従来のカメラキャリブレーション処理（例えば、「運天  弘樹，池内  克史，“実物体の仮想化のための３次元幾何モデルのテクスチャリング手法”，ＣＶＩＭ−１４９−３４，ｐｐ．３０１−３１６，２００５」）を行うことで実現できる。【０２７９】  この際、法線ベクトルｎｐは極座標で表現し、その値をθｐ、φｐとする（図４９参照）。以上の処理により、法線成分であるθ、φの画像を作製する。こうして求めたθ画像とφ画像を、上述のアルベド高解像度化部２０７と同様の手法によって高解像度化することによって、高密度の法線情報を推定する。この際、高密度度化処理を行う前に学習処理を行い、法線のθ、φ成分に対するクラスタＣと学習された変換行列ＣＭａｔを法線ＤＢ２１２に蓄積する。【０２８０】  また、以上の処理は、影除去部２０５において、影として除去されなかった領域のみに対して行うことが望ましい。これは、影の存在により、パラメータ推定処理に誤差が生じてしまうことを防止するためである。【０２８１】  また、パラメータ推定部２１０において、撮像装置近傍に設置��れた制御可能な光源を利用してもかまわない。この光源は、デジタルカメラのフラッシュであってもよい。この場合、フラッシュを照射して撮像したフラッシュ画像と、フラッシュを照射しないで撮像した非フラッシュ画像を時間的に連続的に撮像し、その差分画像を利用してパラメータ推定を行なえばよい。撮像装置と光源であるフラッシュの位置関係は既知であり、また、フラッシュの光源情報である３次元位置や色、強度も事前に測定しておくことが可能である。また、撮像装置とフラッシュは非常に近い場所に設置されているため、影が少ない画像を撮像することができる。そのため、画像内のほとんどの画素において、パラメータを推定することができる。【０２８２】  さらに、パラメータ高密度化部２１３は、パラメータ推定部２１０によって求めたパラメータを高密度化する。ここでは、単純な線形補間を行い、すべてのパラメータを高密度化する。もちろん、上述のアルベド高解像度化部２０７のような学習を利用した高密度化手法を利用してもかまわない。【０２８３】  また、パラメータごとに高密化方法を切り替えるようにしても構わない。例えば、推定パラメータである被写体の屈折率ηλは、高密度化しても値が変化しないと考えられる。そのため、被写体の屈折率ηλは単純補間により高密度化を行い、拡散反射成分の係数ｋｄ、鏡面反射成分の係数ｋｓ、さらには拡散反射成分の反射率（アルベド）ρｄに関しては学習を利用した高密度化処理を行うようにしてもかまわない。【０２８４】  鏡面反射画像高解像度化部２１４は、法線情報高密度化部２１１によって推定された高密度法線情報と、パラメータ高解像度化部２１４によって高密度化されたパラメータを利用し、高解像度な鏡面反射画像を合成する。高解像度な鏡面反射画像は、（式３７）〜（式４５）に高密度化したパラメータを代入することによって、合成する。【０２８５】  ここで、実際の鏡面反射画像よりも輝度値が高くなるように、例えば入射照度Ｅｉのみ推定された値に係数ｌ（例えば、ｌ＝２）を乗算するようにしてもかまわない。これは、鏡面反射画像の輝度値を上げることによって、被写体の質感を上げるためである。同じように、被写体表面の粗さｍを推定値よりも大きな値として、実際よりもてかりが強い鏡面反射画像を合成してもかまわない。【０２８６】  影生成部２１５は、拡散反射画像高解像度化部２０９と鏡面反射画像高解像度化部２１４によって生成された高解像度拡散反射画像と高解像度化鏡面反射画像に重畳する、影画像を合成する。これは、影除去部２０５において利用したレイトレーシングを利用すればよい。【０２８７】  ここで、画像高解像度化部２１７は、撮影対象となっている被写体の３次元形状に関する知識を有するものとする。影生成部２１５は、被写体の３次元形状データを取得し、撮影画像における被写体の見え（ａｐｐｅａｒａｎｃｅ）から、被写体の３次元姿勢及び３次元位置を推定する。被写体が人間の目の角膜である場合の、見えから３次元位置及び３次元姿勢を推定する例が、「Ｋ．Ｎｉｓｈｉｎｏ  ａｎｄ  Ｓ．Ｋ．Ｎａｙａｒ，″Ｔｈｅ  Ｗｏｒｌｄ  ｉｎ  ａｎ  Ｅｙｅ″，ｉｎ  Ｐｒｏｃ．ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃ���ｇｎｉｔｉｏｎ  ＣＶＰＲ’０４，ｖｏｌ．１，ｐｐ４４４−４５１，Ｊｕｌ．，２００４．」に開示されている。見えから３次元位置及び３次元姿勢を推定できる被写体は限られるが、そのような被写体であれば、上記文献の手法を適用することが可能である。【０２８８】  被写体の３次元姿勢及び３次元位置が推定されれば、被写体上の任意の位置において、被写体表面の法線情報が算出できる。以上の処理を、撮影画像において繰り返し、被写体表面の法線情報を算出する。さらに、法線情報高密度化部２１１で推定された高密度法線情報を利用して被写体の法線情報を高密度化することによって、被写体の３次元形状を高密化することが可能である。こうして求めた高密度３次元形状と、パラメータ高解像度化部２１３によって高密度化されたパラメータを利用してレイトレーシングを行うことにより、高解像度な影画像の推定を行なう。【０２８９】  レンダリング部２１６は、拡散反射画像高解像度化部２０９が合成した高解像度拡散反射画像、鏡面反射画像高解像度化部２１４が合成した高解像度鏡面反射画像、さらには、影生成部２１５が合成した影画像を合成し、高解像度の出力画像を合成する。【０２９０】  以上のように、上述した光源推定方法を利用して、高解像度なデジタルズーム処理を行う。すなわち、画像の高解像度化において、光源情報は、影除去部２０５、アルベド推定部２０６、拡散反射画像高解像度化部２０９、パラメータ推定部２１０、鏡面反射画像高解像度化部２１４、影生成部２１５に必要な情報であり、非常に重要である。このため、光源情報を正確に取得することができる本発明の光源推定方法は、画像の高解像度化において非常に重要な処理である。【０２９１】  また、上記説明では、鏡面反射画像のみパラメータ推定を利用して高解像度化を行ったが、拡散反射画像においてもパラメータ推定を行ない、高解像度化するようにしてもかまわない。【０２９２】  この処理を説明する。拡散反射画像の未知パラメータは、上述のとおり、以下の２つである。
○拡散反射成分の係数ｋｄ
○拡散反射成分の反射率（アルベド）ρｄ
そこで、これらのパラメータを推定する。図５０は拡散反射画像のパラメータ推定処理の流れを示した図である。処理は、図４５で示した鏡面反射画像のパラメータ推定部２１０の処理後、さらに以下の２段階の処理を行なう。【０２９３】  まず、（式４９）と鏡面反射画像のパラメータ推定で求まったｋｓを利用して、次式よりｋｄを推定する（ステップＳ３５３）。
【数９３】
2007139070.tif 000098
【０２９４】  さらに、（式４７）を利用して、拡散反射画像の反射率（アルベド）ρｄを次式より推定する（ステップＳ３５４）。
【数９４】
2007139070.tif 000099
【０２９５】  以上の処理により、すべての未知パラメータを推定することができる。こうして求まったパラメータをパラメータ高密度化部２１３と同様の手法により高密化することによって、拡散反射画像を高解像度化すればよい。【０２９６】  なお、本発明の光源推定方法は、画像処理だけではなく、例えば画像の撮像に関しても有効である。例えば、偏光フィルタを利用する場合に、これを最適な角度で設置することができる。この処理を説明する。【０２９７】  水面やウインドガラスなどの鏡面反射光を除去するために、ＰＬフィルタと呼ばれる偏光フィルタが利用されている。しかし、偏光フィルタによる効果は、偏光フィルタの偏光軸と入射面（被写体への入射光線と反射光線を含む平面）により大きく異なる。そのため、図２８のように、回転機構により偏光フィルタ１０１６Ａを回転させながら撮像する場合、その回転角により、撮像される画像が大きく異なる。例えば、最も効果が大きくなる場合は、偏光軸が入射面と平行になる場合である。本発明における光源推定方法を利用することによって、光源の位置が既知となるため、被写体の入射面を特定することができる。そのため、推定された入射面に対して偏光フィルタが平行になるように、回転機構を制御するようにすればよい。【０２９８】  以上のように、本発明の光源推定方法を利用することによって、高解像度なデジタルズーム処理などの画像処理や効果的な画像撮像を行うことができる。
【産業上の利用可能性】
【０２９９】  本発明によると、付加的な撮像装置を搭載することなく、光源画像を取得し、光源情報を推定することが可能になる。このため、例えば、カメラ付き携帯電話やデジタルカメラ、デジタルビデオカメラにおいて、画像の高解像度化などの画像処理を行うのに有用である。
【図１】
2007139070.tif 000100
【図２】
2007139070.tif 000101
【図３】
2007139070.tif 000102
【図４】
2007139070.tif 000103
【図４Ａ】
2007139070.tif 000104
【図５】
2007139070.tif 000105
【図６】
2007139070.tif 000106
【図７】
2007139070.tif 000107
【図８】
2007139070.tif 000108
【図９】
2007139070.tif 000109
【図１０】
2007139070.tif 000110
【図１１】
2007139070.tif 000111
【図１２】
2007139070.tif 000112
【図１３】
2007139070.tif 000113
【図１４】
2007139070.tif 000114
【図１５】
2007139070.tif 000115
【図１６】
2007139070.tif 000116
【図１７】
2007139070.tif 000117
【図１８】
2007139070.tif 000118
【図１９】
2007139070.tif 000119
【図２０】
2007139070.tif 000120
【図２１】
2007139070.tif 000121
【図２２】
2007139070.tif 000122
【図２３】
2007139070.tif 000123
【図２４】
2007139070.tif 000124
【図２５】
2007139070.tif 000125
【図２６】
2007139070.tif 000126
【図２７】
2007139070.tif 000127
【図２８】
2007139070.tif 000128
【図２９】
2007139070.tif 000129
【図３０】
2007139070.tif 000130
【図３１】
2007139070.tif 000131
【図３２】
2007139070.tif 000132
【図３３】
2007139070.tif 000133
【図３４】
2007139070.tif 000134
【図３５】
2007139070.tif 000135
【図３６】
2007139070.tif 000136
【図３７】
2007139070.tif 000137
【図３８】
2007139070.tif 000138
【図３９】
2007139070.tif 000139
【図４０】
2007139070.tif 000140
【図４１】
2007139070.tif 000141
【図４２】
2007139070.tif 000142
【図４３】
2007139070.tif 000143
【図４４】
2007139070.tif 000144
【図４５】
2007139070.tif 000145
【図４６】
2007139070.tif 000146
【図４７】
2007139070.tif 000147
【図４８】
2007139070.tif 000148
【図４９】
2007139070.tif 000149
【図５０】
2007139070.tif 000150
【図５１】
2007139070.tif 000151
【手続補正書】
【提出日】平成19年9月20日(2007.9.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像装置の状況が、光源情報の取得に適しているか否かを判断する撮像装置状況判断部と、
前記撮像装置状況判断部によって適していると判断されたとき、前記撮像装置によって撮像を行い、この撮像画像を光源画像として取得する光源画像取得部と、
前記光源画像取得部によって光源画像が取得されたときにおける、前記撮像装置の状況を表す第１の撮像装置情報を、取得する第１の撮像装置情報取得部と、
撮像者の操作によって前記撮像装置による撮像が行われた撮像時における、前記撮像装置の状況を表す第２の撮像装置情報を、取得する第２の撮像装置情報取得部と、
前記光源画像、並びに前記第１および第２の撮像装置情報を用いて、前記撮像時における、光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定する光源情報推定部とを備えた
ことを特徴とする光源推定装置。
【請求項２】
請求項１において、
前記撮像装置状況判断部は、
前記撮像装置の光軸の方向を検出し、光軸が上方向を向いているとき、適していると判断するものである
ことを特徴とする光源推定装置。
【請求項３】
請求項１において、
前記光源画像取得部は、
撮像者の操作による前記撮像装置による撮像が行われないことを確認した後に、光源画像の取得を行うものである
ことを特徴とする光源推定装置。
【請求項４】
請求項１において、
前記光源情報推定部は、光源の方向および位置のうち少なくともいずれか一方に加えて、光源の輝度、色、およびスペクトル情報のうち少なくともいずれか１つを推定するものである
ことを特徴とする光源推定装置。
【請求項５】
請求項１において、
前記光源画像取得部は、前記光源画像を、複数枚、取得するものであり、
前記第１の撮像装置情報取得部は、前記光源画像取得部によって各光源画像が取得されたとき、それぞれ、前記第１の撮像装置情報を取得するものであり、
前記光源推定装置は、
前記光源画像取得部によって取得された複数の光源画像から、前記第１の撮像装置情報取得部によって取得された複数の第１の撮像装置情報を用いて、パノラマ光源画像を合成する光源画像合成部を備え、
前記光源情報推定部は、前記パノラマ光源画像および前記第２の撮像装置情報を用いて、光源情報の推定を行う
ことを特徴とする光源推定装置。
【請求項６】
請求項１において、
前記撮像装置の光軸方向を変動させる光軸方向変動手段を備え、
前記光軸方向変動手段によって前記撮像装置の光軸方向が変動している状態で、前記光源画像取得部が複数枚の光源画像の取得を行うように、構成されている
ことを特徴とする光源推定装置。
【請求項７】
請求項６において、
前記光源推定装置は、折り畳み式携帯電話に搭載されており、
前記光軸方向変動手段は、前記折り畳み式携帯電話を開閉させる開閉機構である
ことを特徴とする光源推定装置。
【請求項８】
請求項６において、
前記光軸方向変動手段は、バイブレーション機構である
ことを特徴とする光源推定装置。
【請求項９】
撮像装置によって撮像を行い、この撮像画像を光源画像として取得する光源画像取得部と、
前記光源画像取得部によって光源画像が取得されたときにおける、前記撮像装置の状況を表す第１の撮像装置情報を、取得する第１の撮像装置情報取得部と、
撮像者の操作によって前記撮像装置による撮像が行われた撮像時における、前記撮像装置の状況を表す第２の撮像装置情報を、取得する第２の撮像装置情報取得部と、
前記光源画像、並びに前記第１および第２の撮像装置情報を用いて、前記撮像時における、光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定する光源情報推定部と、
前記撮像装置の光軸方向を変動させる光軸方向変動手段とを備え、
前記光軸方向変動手段によって前記撮像装置の光軸方向が変動している状態で、前記光源画像取得部が複数枚の光源画像の取得を行うように、構成されている
ことを特徴とする光源推定装置。
【請求項１０】
光源情報を推定する光源推定システムであって、
請求項１記載の撮像装置状況判断部、光源画像取得部、第１の撮像装置情報取得部、および第２の撮像装置情報取得部を有し、前記光源画像取得部によって取得された光源画像、前記第１の撮像装置情報取得部によって取得された第１の撮像装置情報、および、前記第２の撮像装置情報取得部によって取得された第２の撮像装置情報を送信する通信端末と、
請求項１記載の光源情報推定部を有し、前記通信端末から送信された前記光源画像、並びに前記第１および第２の撮像装置情報を受信し、前記光源情報推定部に与えるサーバとを備えた
ことを特徴とする光源推定システム。
【請求項１１】
撮像装置の状況が、光源情報の取得に適しているか否かを判断する第１のステップと、
前記第１のステップにおいて適していると判断したとき、前記撮像装置によって撮像を行い、この撮像画像を光源画像として取得する第２のステップと、
前記第２のステップにおいて光源画像を取得したときにおける、前記撮像装置の状況を表す第１の撮像装置情報を、取得する第３のステップと、
撮像者の操作によって前記撮像装置による撮像が行われた撮像時における、前記撮像装置の状況を表す第２の撮像装置情報を、取得する第４のステップと、
前記光源画像、並びに前記第１および第２の撮像装置情報を用いて、前記撮像時における、光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定する第５のステップとを備えた
ことを特徴とする光源推定方法。
【請求項１２】
撮像装置によって撮像を行い、この撮像画像を光源画像として取得する第１のステップと、
前記第１のステップにおいて光源画像を取得したときにおける、前記撮像装置の状況を表す第１の撮像装置情報を、取得する第２のステップと、
撮像者の操作によって前記撮像装置による撮像が行われた撮像時における、前記撮像装置の状況を表す第２の撮像装置情報を、取得する第３のステップと、
前記光源画像、並びに前記第１および第２の撮像装置情報を用いて、前記撮像時における、光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定する第４のステップとを備え、
前記第１のステップにおいて、光軸方向変動手段によって前記撮像装置の光軸方向を変動させ、前記撮像装置の光軸方向が変動している状態で、複数枚の光源画像の取得を行う
ことを特徴とする光源推定方法。
【請求項１３】
撮像装置によって撮像を行う画像撮像部と、
請求項１１または１２の光源推定方法によって、被写体に照射する光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定する光源情報推定部と、
前記被写体の、表面の法線情報または３次元位置情報を、形状情報として取得する形状情報取得部と、
前記光源情報および形状情報を用いて、前記画像撮像部によって撮像された画像を高解像度化する画像高解像度化部とを備えた
ことを特徴とする画像高解像度化装置。
【請求項１４】
請求項１３において、
前記画像高解像度化部は、前記画像撮像部によって撮像された画像を、拡散反射成分と鏡面反射成分とに分離し、分離した拡散反射成分と鏡面反射成分とを、個別に、高解像化するものである
ことを特徴とする画像高解像度化装置。
【請求項１５】
請求項１３において、
前記画像高解像度化部は、前記画像撮像部によって撮像された画像を、パラメータに分解し、分解したパラメータを、個別に、高解像化するものである
ことを特徴とする画像高解像度化装置。
【請求項１６】
撮像装置によって撮像を行う第１のステップと、
請求項１１または１２の光源推定方法によって、被写体に照射する光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定する第２のステップと、
前記被写体の、表面の法線情報または３次元位置情報を、形状情報として取得する第３のステップと、
前記光源情報および形状情報を用いて、前記第１のステップにおいて撮像した画像を高解像度化する第４のステップとを備えた
ことを特徴とする画像高解像度化方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般環境での画像撮像、画像処理および画像合成などの際に重要となる、画像撮像時の光源の位置、方向、輝度、スペクトル、色などの光源情報を推定する技術、および、光源情報を用いて画像の高解像度化を行う技術に関するものである。
【背景技術】
【０００２】
カメラ付き携帯電話やデジタルカメラの普及に伴い、画像処理への重要度が高まってきている。このような画像処理として、例えばデジタルズームとして知られている画像の高解像度化、人の顔などを認識してフォーカスをあわせるなどの認識処理、さらには現実の画像に仮想物体であるＣｏｍｐｕｔｅｒ−Ｇｒａｐｈｉｃｓで作成された画像を重畳表示する拡張現実などさまざまである。
【０００３】
これらの画像処理は、画像撮像により撮像素子に記録された被写体の「見え」を基に処理が行なわれている。この物体の見えは、光源からの光が被写体表面で反射され、その反射光を撮像素子が受光することで得られる。
【０００４】
そのため、光源情報は画像処理において非常に重要である。つまり、光源情報を取得して、画像撮像や画像処理に利用することは非常に効果的である。例えば、特許文献１では、仮想物体を実世界に重畳表示させる際、実世界の光源環境を計測することで、仮想物体上に映り込む照射光による反射光や仮想物体により生成される影を付与する。
【０００５】
また、光源情報は、画像処理だけでなく、撮像行為を行なう主体者である撮像者が撮像装置で画像を取得する際にも有益である。例えば、特許文献２では、光源位置を検出し、その情報を利用して、順光状態や逆光状態を撮像者に表示することによって、一般の人が特に専門的な知識をもっていない場合でも、光や影を生かした逆光（半逆光）のポートレート写真等を容易に撮像することを可能にしている。
【特許文献１】特開平１１−１７５７６２号公報
【特許文献２】特開平８−１６０５０７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
このような光源情報を取得するためには、光源を撮像した画像、すなわち光源画像が必要である。光源画像は、
(1)被写体とは別方向を撮像し、かつ
(2)全天周に近い、広範囲な画像である
ことが望ましい。これは、以下の理由による。
【０００７】
(1)一般的な被写体、例えば人に対して、照明である街灯や室内照明は上方から照射されることが多い。また、被写体と同じ方向に光源がある場合、逆光状態となり、被写体が暗くなる可能性がある。そのため、撮像者は被写体と光源が同じ画像に入ることを避けたがる。
【０００８】
(2)光源は、撮像者にとって、どこに何個あるか未知。
【０００９】
このため、上述の特許文献１および特許文献２では、光源情報を取得するために、天頂方向に光軸を向け、魚眼レンズを搭載した撮像装置を利用している。
【００１０】
しかし、このように魚眼レンズを被写体とは別方向に向けて撮像するためには、被写体を撮像する撮像装置とは別に、第２の撮像装置が必要になる。これは、コストの面で大きな負担となってしまう。また、特にカメラ付き携帯電話では、小型化の要望が大きいため、撮像装置を現在よりも増やすことは、大きさの面でも大きな問題となる。
【００１１】
さらに、被写体を撮像する撮像装置と光源を撮像する撮像装置が異なるため、２つの撮像装置間での位置合わせ（キャリブレーション）が必要になってしまう。これは、光源情報を推定する上で、被写体と光源との位置関係が特に重要であることに起因する。すなわち、被写体と光源を別個の撮像装置で撮像した場合、これらの対応付けが必要になるが、この操作は非常に煩雑である。
【００１２】
前記の問題に鑑み、本発明は、例えばカメラ付き携帯電話などの装置において、付加的な撮像装置を搭載することなく、光源が撮像された光源画像を取得し、光源情報を推定可能にすることを課題とする。
【課題を解決するための手段】
【００１３】
本発明は、光源推定装置および方法として、撮像装置の状況が光源情報の取得に適しているか否かを判断し、適していると判断されたとき、前記撮像装置によって撮像を行い、この撮像画像を光源画像として取得し、光源画像が取得されたときにおける前記撮像装置の状況を表す第１の撮像装置情報を取得し、撮像者の操作によって前記撮像装置による撮像が行われた撮像時における前記撮像装置の状況を表す第２の撮像装置情報を取得し、前記光源画像、並びに前記第１および第２の撮像装置情報を用いて、前記撮像時における光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定するものである。
【００１４】
本発明によると、撮像装置の状況が光源情報の取得に適しているか否かが判断され、適していると判断されたとき、この撮像装置によって光源画像が取得される。このとき、撮像装置の状況を表す第１の撮像装置情報も取得される。そして、撮像者の操作によって前記撮像装置による撮像が行われた撮像時に、撮像装置の状況を表す第２の撮像装置情報が取得され、光源画像と第１および第２の撮像装置情報を用いて、光源情報が推定される。すなわち、光源画像の取得は、撮像時に用いられる撮像装置を利用して、この撮像装置の状況が光源情報の取得に適していると判断されたときに、行われる。したがって、付加的な撮像装置を搭載することなく、光源画像を取得し、光源情報を推定することが可能になる。
【００１５】
また、本発明は、光源推定装置および方法として、撮像装置によって撮像を行い、この撮像画像を光源画像として取得し、光源画像が取得されたときにおける前記撮像装置の状況を表す第１の撮像装置情報を取得し、撮像者の操作によって前記撮像装置による撮像が行われた撮像時における前記撮像装置の状況を表す第２の撮像装置情報を取得し、前記光源画像並びに前記第１および第２の撮像装置情報を用いて、前記撮像時における光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定するものであり、かつ、光軸方向変動手段によって前記撮像装置の光軸方向が変動している状態で、複数枚の光源画像の取得を行うものである。
【００１６】
本発明によると、光軸方向変動手段によって撮像装置の光軸方向が変動している状態で、この撮像装置によって複数枚の光源画像が取得される。このとき、撮像装置の状況を表す第１の撮像装置情報も取得される。そして、撮像者の操作によって前記撮像装置による撮像が行われた撮像時に、撮像装置の状況を表す第２の撮像装置情報が取得され、光源画像と第１および第２の撮像装置情報を用いて、光源情報が推定される。すなわち、光源画像の取得は、撮像時に用いられる撮像装置を利用して、この撮像装置の光軸方向が変動している状態で、行われる。したがって、付加的な撮像装置を搭載することなく、広い範囲にわたって光源画像を取得し、光源情報を推定することが可能になる。
【００１７】
また、本発明は、画像高解像度化装置および方法として、撮像装置によって撮像を行い、本発明に係る光源推定方法によって、被写体に照射する光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定する光源情報推定し、被写体の表面の法線情報または３次元位置情報を形状情報として取得し、前記光源情報および形状情報を用いて、撮像された画像を高解像度化するものである。
【発明の効果】
【００１８】
本発明によると、カメラ付き携帯電話のような撮像装置搭載機器において、被写体撮像用以外の付加的な撮像装置を搭載することなく、被写体周囲の光源画像を取得し、光源情報を推定することが可能になる。また、推定された光源情報を用いて、画像の高解像度化を実現することができる。
【発明を実施するための最良の形態】
【００１９】
本発明の第１態様では、撮像装置の状況が、光源情報の取得に適しているか否かを判断する撮像装置状況判断部と、前記撮像装置状況判断部によって適していると判断されたとき、前記撮像装置によって撮像を行い、この撮像画像を光源画像として取得する光源画像取得部と、前記光源画像取得部によって光源画像が取得されたときにおける、前記撮像装置の状況を表す第１の撮像装置情報を、取得する第１の撮像装置情報取得部と、撮像者の操作によって前記撮像装置による撮像が行われた撮像時における、前記撮像装置の状況を表す第２の撮像装置情報を、取得する第２の撮像装置情報取得部と、前記光源画像、並びに前記第１および第２の撮像装置情報を用いて、前記撮像時における、光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定する光源情報推定部とを備えた光源推定装置を提供する。
【００２０】
本発明の第２態様では、前記撮像装置状況判断部は、前記撮像装置の光軸の方向を検出し、光軸が上方向を向いているとき、適していると判断する前記第１態様の光源推定装置を提供する。
【００２１】
本発明の第３態様では、前記光源画像取得部は、撮像者の操作による前記撮像装置による撮像が行われないことを確認した後に、光源画像の取得を行う前記第１態様の光源推定装置を提供する。
【００２２】
本発明の第４態様では、前記光源情報推定部は、光源の方向および位置のうち少なくともいずれか一方に加えて、光源の輝度、色、およびスペクトル情報のうち少なくともいずれか１つを推定する前記第１態様の光源推定装置を提供する。
【００２３】
本発明の第５態様では、前記光源画像取得部は、前記光源画像を複数枚取得するものであり、前記第１の撮像装置情報取得部は、前記光源画像取得部によって各光源画像が取得されたとき、それぞれ、前記第１の撮像装置情報を取得するものであり、前記光源推定装置は、前記光源画像取得部によって取得された複数の光源画像から、前記第１の撮像装置情報取得部によって取得された複数の第１の撮像装置情報を用いて、パノラマ光源画像を合成する光源画像合成部を備え、前記光源情報推定部は、前記パノラマ光源画像および前記第２の撮像装置情報を用いて、光源情報の推定を行う前記第１態様の光源推定装置を提供する。
【００２４】
本発明の第６態様では、前記撮像装置の光軸方向を変動させる光軸方向変動手段を備え、前記光軸方向変動手段によって前記撮像装置の光軸方向が変動している状態で、前記光源画像取得部が複数枚の光源画像の取得を行うように、構成されている前記第１態様の光源推定装置を提供する。
【００２５】
本発明の第７態様では、前記光源推定装置は、折り畳み式携帯電話に搭載されており、前記光軸方向変動手段は、前記折り畳み式携帯電話を開閉させる開閉機構である前記第６態様の光源推定装置を提供する。
【００２６】
本発明の第８態様では、前記光軸方向変動手段は、バイブレーション機構である前記第６態様の光源推定装置を提供する。
【００２７】
本発明の第９態様では、撮像装置によって撮像を行い、この撮像画像を光源画像として取得する光源画像取得部と、前記光源画像取得部によって光源画像が取得されたときにおける、前記撮像装置の状況を表す第１の撮像装置情報を、取得する第１の撮像装置情報取得部と、撮像者の操作によって前記撮像装置による撮像が行われた撮像時における、前記撮像装置の状況を表す第２の撮像装置情報を、取得する第２の撮像装置情報取得部と、前記光源画像、並びに前記第１および第２の撮像装置情報を用いて、前記撮像時における、光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定する光源情報推定部と、前記撮像装置の光軸方向を変動させる光軸方向変動手段とを備え、前記光軸方向変動手段によって前記撮像装置の光軸方向が変動している状態で、前記光源画像取得部が複数枚の光源画像の取得を行うように、構成されている光源推定装置を提供する。
【００２８】
本発明の第１０態様では、光源情報を推定する光源推定システムとして、前記第１態様の撮像装置状況判断部、光源画像取得部、第１の撮像装置情報取得部、および第２の撮像装置情報取得部を有し、前記光源画像取得部によって取得された光源画像、前記第１の撮像装置情報取得部によって取得された第１の撮像装置情報、および、前記第２の撮像装置情報取得部によって取得された第２の撮像装置情報を送信する通信端末と、前記第１態様の光源情報推定部を有し、前記通信端末から送信された前記光源画像、並びに前記第１および第２の撮像装置情報を受信し、前記光源情報推定部に与えるサーバとを備えたものを提供する。
【００２９】
本発明の第１１態様では、撮像装置の状況が、光源情報の取得に適しているか否かを判断する第１のステップと、前記第１のステップにおいて適していると判断したとき、前記撮像装置によって撮像を行い、この撮像画像を光源画像として取得する第２のステップと、前記第２のステップにおいて光源画像を取得したときにおける、前記撮像装置の状況を表す第１の撮像装置情報を、取得する第３のステップと、撮像者の操作によって前記撮像装置による撮像が行われた撮像時における、前記撮像装置の状況を表す第２の撮像装置情報を、取得する第４のステップと、前記光源画像、並びに前記第１および第２の撮像装置情報を用いて、前記撮像時における、光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定する第５のステップとを備えた光源推定方法を提供する。
【００３０】
本発明の第１２態様では、撮像装置によって撮像を行い、この撮像画像を光源画像として取得する第１のステップと、前記第１のステップにおいて光源画像を取得したときにおける、前記撮像装置の状況を表す第１の撮像装置情報を、取得する第２のステップと、撮像者の操作によって前記撮像装置による撮像が行われた撮像時における、前記撮像装置の状況を表す第２の撮像装置情報を、取得する第３のステップと、前記光源画像、並びに前記第１および第２の撮像装置情報を用いて、前記撮像時における、光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定する第４のステップとを備え、前記第１のステップにおいて、光軸方向変動手段によって前記撮像装置の光軸方向を変動させ、前記撮像装置の光軸方向が変動している状態で、複数枚の光源画像の取得を行う光源推定方法を提供する。
【００３１】
本発明の第１３態様では、撮像装置によって撮像を行う画像撮像部と、前記第１１または１２態様の光源推定方法によって、被写体に照射する光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定する光源情報推定部と、前記被写体の、表面の法線情報または３次元位置情報を、形状情報として取得する形状情報取得部と、前記光源情報および形状情報を用いて、前記画像撮像部によって撮像された画像を高解像度化する画像高解像度化部とを備えた画像高解像度化装置を提供する。
【００３２】
本発明の第１４態様では、前記画像高解像度化部は、前記画像撮像部によって撮像された画像を、拡散反射成分と鏡面反射成分とに分離し、分離した拡散反射成分と鏡面反射成分とを、個別に、高解像化するものである前記第１３態様の画像高解像度化装置を提供する。
【００３３】
本発明の第１５態様では、前記画像高解像度化部は、前記画像撮像部によって撮像された画像を、パラメータに分解し、分解したパラメータを、個別に、高解像化するものである前記第１３態様の画像高解像度化装置を提供する。
【００３４】
本発明の第１６態様では、撮像装置によって撮像を行う第１のステップと、前記第１１または１２態様の光源推定方法によって、被写体に照射する光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定する第２のステップと、前記被写体の、表面の法線情報または３次元位置情報を、形状情報として取得する第３のステップと、前記光源情報および形状情報を用いて、前記第１のステップにおいて撮像した画像を高解像度化する第４のステップとを備えた画像高解像度化方法を提供する。
【００３５】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００３６】
（第１の実施形態）
図１は本発明の第１の実施形態に係る光源推定装置の構成を示すブロック図である。図１において、１００１はＣＣＤやＣＭＯＳ等によって構成された撮像装置、１００２は撮像行為を行う主体者である撮像者が撮像装置１００１に撮像を指示するための撮像スイッチである。撮像装置１００１には３軸の角度センサ１０２５が搭載されている。
【００３７】
また、１０１は撮像装置１００１の状況が、光源情報の取得に適しているか否かを判断する撮像装置状況判断部、１０２は撮像装置状況判断部１０１によって適していると判断されたとき、撮像装置１００１によって撮像を行い、この撮像画像を光源画像として取得する光源画像取得部、１０３は光源画像取得部１０２によって光源画像が取得されたとき、撮像装置１００１の状況を表す第１の撮像装置情報を取得する第１の撮像装置情報取得部、１０４は撮像者の操作によって撮像装置１００１による撮像が行われた撮像時に、撮像装置の状況を表す第２の撮像装置情報を取得する第２の撮像装置情報取得部、そして１０５は光源画像取得部１０２によって取得された光源画像、並びに第１の撮像装置情報取得部１０３によって取得された第１の撮像装置情報、および第２の撮像装置情報取得部１０４によって取得された第２の撮像装置情報を基にして、撮像時における光源の方向および位置のうち少なくともいずれか一方を推定する光源情報推定部である。
【００３８】
なお、ここでは、撮像装置状況判断部１０１、光源画像取得部１０２、第１の撮像装置情報取得部１０３、第２の撮像装置情報取得部１０４および光源情報推定部１０５は、ＣＰＵ１０２９によってプログラムを実行することによって、実現されるものとする。ただし、これらの機能の全部または一部を、ハードウェアによって実現するようにしてもかまわない。また、メモリ１０２８は、光源画像取得部１０２によって取得された光源画像と、第１の撮像装置情報取得部１０３によって取得された第１の撮像装置情報を格納する。
【００３９】
図２は本実施形態に係る光源推定装置が搭載されたカメラ付き折り畳み式携帯電話１０００の構成例を示す。図２において、図１と共通の構成要素には図１と同一の符号を付している。なお、図２のカメラ付き折り畳み式携帯電話１０００では、撮像装置１００１に偏光フィルタ１０１６が設けられており、この偏光フィルタ１０１６を回転させるためのモータ１０２６ａと、その回転角を検出するためのエンコーダ１０２７ａとが設けられている。また、折り畳み機構を駆動するためのモータ１０２６ｂと、その回転角を検出するためのエンコーダ１０２７ｂとが設けられている。また、マナーモードスイッチ１０３４が設けられている。
【００４０】
図３は図２のカメラ付き折り畳み式携帯電話１０００が折り畳まれた状態を示す図である。図３において、１００５は撮像装置１００１の光軸方向を示し、１００６は撮像装置１００１の視野範囲を示している。
【００４１】
以下、本実施形態に係る光源推定装置の各構成要素の動作について、説明する。
【００４２】
撮像装置状況判断部１０１は、撮像装置１００１の状況が、光源情報を取得するために適しているか否かを判断する。最も一般的な光源として、家庭内では照明、屋外では街灯や太陽が考えられる。そのため、撮像装置１００１の撮像方向、つまり光軸の方向が上向きになっている場合、撮像装置１００１が光源情報を取得するために適した状況にある、と判断することができる。そこで、撮像装置状況判断部１０１は、撮像装置１００１に搭載された角度センサ１０２５の出力を用いて、撮像装置１０１の光軸の方向を検出し、光軸が上方向を向いているとき、光源情報を取得するために適していると判断する。このとき、撮像装置状況判断部１０１は、光源画像取得部１０２に撮像を促す信号を送信する。
【００４３】
光源画像取得部１０２は、撮像装置状況判断部１０１から撮像を促す信号を受けたとき、すなわち、撮像装置１００１の状況が光源情報を取得するために適していると撮像装置状況判断部１０１によって判断されたとき、撮像装置１００１によって撮像を行い、この撮像画像を光源画像として取得する。取得された光源画像は、メモリ１０２８に格納される。
【００４４】
このとき、光源画像取得部１０２は、撮像者の操作による撮像が行われないことを確認した後に、光源画像の取得を行うのが好ましい。例えば、撮像スイッチ１００２が押されていないことを確認した上で、光源画像の撮像を行えばよい。
【００４５】
光源画像取得部１０２は、撮像者の撮像意図を考慮して、撮像が行われていない期間を利用して光源画像を撮像するものである。本実施形態に係る光源推定装置では、被写体を撮像するための撮像装置１００１を利用して、光源画像の撮像を行う。このため、もし撮像者が被写体をまさに撮像しようとしているその直前に光源画像の撮像が行われてしまうと、撮像者が撮像しようとした瞬間に被写体を撮像することができず、撮像者の撮像意図を無視することになってしまう。
【００４６】
このため、本実施形態では、撮像者の撮像意思を考慮するために、撮像者が撮像を行わないと想定される間、例えば、机などにおかれている間に光源画像の撮像を行う。例えば、図３のカメラ付き折畳式携帯電話１０００が机などにおかれている場合、光軸方向１００５は上向きになると考えられる。この状態であれば、最適な光源画像を撮像することが可能である。
【００４７】
図４は撮像装置状況判断部１０１および光源画像取得部１０２の処理の一例を示すフローである。まず、撮像装置状況判断部１０１は、撮像装置１００１の光軸方向の検出を行い、その光軸方向が上向きであるか否かを判断する（ステップＳ１２１）。光軸方向が上向きでない場合（ステップＳ１２１でＮｏ）、光軸方向が上向きになるまで繰り返し光軸方向のチェックを行う。一方、光軸方向が上向きである場合（ステップＳ１２２でＹｅｓ）、光源画像取得部１０２は撮像スイッチ１００２のチェックを行う（ステップＳ１２２）。もし、オートフォーカス（ＡＦ）などの処理を行うために、撮像スイッチ１００２が押されている場合（ステップＳ１２２でＮｏ）、撮像が行われる可能性が高いため、光源画像の撮像は行わない。一方、撮像スイッチ１００２が押されていない場合（ステップＳ１２２でＹｅｓ）、光源画像取得部１０２は撮像装置１００１によって撮像を行い、光源画像を取得する（ステップＳ１２３）。
【００４８】
なお、ここでは、撮像スイッチのチェックによって、撮像者の操作による撮像が行われるか否かを判断するものとしたが、撮像者が撮像する意思を持っているか否かを確認する方法は、これに限られるものではない。例えば、「撮像中ですか？」という撮像を確認する表示をディスプレイに表示し、撮像者が「Ｎｏ」という意思を表示するか、なんの反応もない場合に、撮像者が撮像する意思を持っていないと判断してもかまわない。
【００４９】
また、加速度センサなどを利用し、撮像装置１００１が静止しているとき、光源画像の取得を行うようにしてもかまわない。すなわち、撮像装置１００１が静止している場合、撮像装置１００１は撮像者が保持しておらず、机などにおかれていると判断できる。そのため、この場合、撮像者は撮像を行っていない可能性が高い。一方、撮像者が撮像を行うために撮像装置１００１を構えている場合、手ぶれの影響を加速度センサが感知する。このときは、光源画像取得部１０２は撮像を行わないようにすればよい。
【００５０】
また、マナーモードを利用して撮像者が撮像する意思を持っているか否かを確認するようにしても構わない。この処理を詳述する。
【００５１】
図４Ａはマナーモードを利用して撮像者が撮像する意思を持っているか否かを確認する場合の、撮像装置状況判断部１０１および光源画像取得部１０２の処理の一例を示すフローチャートである。まず、撮像装置状況判断部１０１は、撮像装置１００１の光軸方向の検出を行い、その光軸方向が上向きであるか否かを判断する（ステップＳ１２１）。光軸方向が上向きでない場合（ステップＳ１２１でＮｏ）、光軸方向が上向きになるまで一定時間間隔で光軸方向のチェックを行う。一方、光軸方向が上向きである場合（ステップＳ１２１でＹｅｓ）、光源画像取得部１０２はマナーモードのチェックを行う（ステップＳ１２４）。もし、マナーモードスイッチ１０３４がＯＦＦに設定されている場合（ステップＳ１２４でＮｏ）、撮像が行われる可能性が高いため、光源画像の撮像は行わない。一方、マナーモードスイッチ１０３４がＯＮに設定されている場合（ステップＳ１２４でＹｅｓ）、光源画像取得部１０２は撮像装置１００１によって撮像を行い、光源画像を取得する（ステップＳ１２３）。
【００５２】
このとき、マナーモードとしてドライブモードが設定されている場合、撮像者は移動中であると考えられるため、光源画像の撮像は行わないようにしても構わない。つまり、サイレントモードでは光源画像を撮影するが、ドライブモードでは撮影を行わない。
【００５３】
第１の撮像装置情報取得部１０３は、光源画像取得部１０２によって光源画像が取得されたとき、撮像装置１００１の状況を表す第１の撮像装置情報を取得する。具体的には例えば、角度センサ１０２５の出力と撮像装置１００１の焦点距離情報とを、第１の撮像装置情報として取得する。取得された第１の撮像装置情報はメモリ１０２８に格納される。図５はメモリ１０２８に保持された情報の一部を示す模式図である。ある光源画像に対して、角度センサ出力と焦点距離が、第１の撮像装置情報として格納されている。
【００５４】
撮像装置１００１の姿勢情報は、角度センサ１０２５の出力を使用して、以下の３ｘ３行列Ｒlightで表現される。
【数１】
2007139070.tif 000152
【００５５】
撮像装置１００１の姿勢情報を表す、この３ｘ３行列Ｒlightのことをカメラ姿勢行列と呼ぶ。ここで、（α，β，γ）はカメラに取り付けられたセンサ出力のロール・ピッチ・ヨー角表現での値であり、ある基準点からの動き量で表現される。ロール・ピッチ・ヨー角表現とは、図６に示したように、任意の回転を、ｚ軸周りの回転であるロー、次に、新しいｙ軸周りの回転であるピッチ、最後に、新しいｘ軸まわりの回転であるヨーの３段階の回転によって表すものである。
【００５６】
また、Ｒx(α)、Ｒy(β)、Ｒz(γ)はロール・ピッチ・ヨー角からｘ軸回転、ｙ軸回転、ｚ軸回転へ変換する行列であり、次式で表される。
【数２】
2007139070.tif 000153
【００５７】
また、撮像装置１００１がズーム可能である場合、そのズーム情報も焦点距離情報として取得される。また、撮像装置１００１が固定焦点の場合、その焦点距離情報も取得される。焦点距離情報は、画像処理の分野で広く使われているカメラキャリブレーションを行なうことにより、取得できる。
【００５８】
このような、カメラに取り付けられた角度センサや角速度センサからカメラの姿勢情報を取得する方法は、既存の手法を利用すればよい（例えば、「岡谷貴之，“メカニカルセンサとイメージセンサの融合による３次元形状復元” ，情報処理学会研究報告会，２００５−ＣＶＩＭ−１４７，ｐｐ．１２３−１３０，２００５」）。
【００５９】
第２の撮像装置情報取得部１０４は、撮像者の操作によって撮像装置１００１による撮像が行われた撮像時に、撮像装置１００１の状況を表す第２の撮像装置情報を取得する。ここでも、上述した第１の撮像装置情報取得部１０３と同様に、角度センサ１０２５の出力と撮像装置１００１の焦点距離情報とを、第２の撮像装置情報として取得するものとする。このとき、角度センサ１０２５の出力（α，β，γ）から求められる姿勢行列Ｒnowを、現在の姿勢行列と呼ぶ。
【００６０】
光源情報推定部１０５は、メモリ１０２８に格納された光源画像および第１の撮像装置情報と、第２の撮像装置情報取得部１０４によって取得された第２の撮像装置情報を用いて、撮像者の操作による撮像時における、光源情報を推定する。ここでは、光源の方向を推定するものとする。
【００６１】
まず、光源画像において、十分に輝度値の高い画素を、光源を撮像している画素すなわち光源画素として抽出する。図７はこの処理を説明するための模式図である。図７では、視野範囲１００６を持った撮像装置１００１が光源１００７を撮像している。このとき、撮像画像１００８において、光源が撮像されている領域１００９の輝度値は非常に高くなる。そこで、閾値処理を利用し、所定の閾値よりも輝度値が高い画素を光源画素として抽出する。
【００６２】
こうして求まった光源画素から、光源方向を推定する。この処理には、撮像装置の画素位置（ｕ，ｖ）と画像座標系とよばれる撮像素子上での実寸位置（ｘf，ｙf）との関係式が必要である。レンズの歪みなどの影響を考慮すると、画素位置（ｕ，ｖ）と実寸位置（ｘf，ｙf）との関係は、次式で求められる。
【数３】
2007139070.tif 000154
ただし、（Ｃx，Ｃy）は画素中心位置、ｓはスケールファクタ、（dx，dy）は撮像素子１画素のサイズ[mm]、Ｎcxはｘ方向の撮像素子数、Ｎfxはｘ方向の有効画素数、κ1、κ2はレンズの歪みを示す歪みパラメータである。
【００６３】
また、図８に示した、撮像装置の焦点位置を原点、その光軸方向をＺ軸にとったカメラ座標系（ｘ，ｙ，ｚ）と画像座標系（ｘf，ｙf）との関係は、次式で求められる。
【数４】
2007139070.tif 000155
ここで、ｆは撮像装置の焦点距離を表している。つまり、カメラパラメータ（Ｃx，Ｃy），ｓ，（dx，dy）、Ｎcx、Ｎfx、ｆ、κ1、κ2が既知であれば、（式２）（式３）により、画素位置（ｕ，ｖ）とカメラ座標系（ｘ，ｙ，ｚ）の変換が可能である。
【００６４】
通常、Ｎcx、Ｎfxは撮像素子が特定できれば既知であり、また、（Ｃx，Ｃy），ｓ，（dx，dy）、κ1、κ2、ｆはいわゆるカメラキャリブレーションを行うことで既知となる（例えば、Roger Y.Tsai, “An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision”, Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Miami Beach, FL, 1986, pp. 364-374）。これらのパラメータは、撮像装置の位置や姿勢が変化しても変化しない。このようなパラメータをカメラ内部パラメータとよぶ。
【００６５】
そこで、撮像を行う前にカメラキャリブレーションを行い、カメラ内部パラメータ（Ｃx，Ｃｙ）、ｓ、（dx，dy）、Ｎcx、Ｎfx、ｆ、κ1、κ2を特定する。これらの値は、撮像装置購入時に付属されているものを利用しても構わない。また、カメラが固定焦点ではなく、ズーム可能である場合、各ズーム時の焦点距離ｆを個別に求めておき、必要なときに選択できるようにしておけばよい。そして、焦点距離ｆを撮像した画像とともに保持しておけばよい。
【００６６】
以上の情報を利用して、光源画素から光源方向を推定する。光源画素の画素位置を（ｕlight，ｖlight）とすると、光源方向Ｌlightは以下の式で表現できる。
【数５】
2007139070.tif 000156
【数６】
2007139070.tif 000157
ところで、Ｌlightは光源画像を撮像したカメラ座標系で表現されているため、現在のカメラ座標系Ｌnowで表現しなおす。これは、以下の式で表現できる。
【数７】
2007139070.tif 000158
以上の処理を行うことにより、光源方向ベクトルＬnowを推定する。このようにして、光源の方向が推定される。
【００６７】
さらに、撮像装置１００１が移動することを利用して、光源の方向だけでなく、３次元位置まで求めるようにしても構わない。
【００６８】
図９はこの処理を説明するための模式図である。図９において、１００１Ａ、１０１０Ａは時刻ｔ＝ｔ１における撮像装置と推定された光源方向ベクトル、また、１００１Ｂ、１０１０Ｂは時刻ｔ＝ｔ２における撮像装置と推定された光源方向ベクトルを示している。ここで、時刻ｔ１とｔ２における撮像装置の相対的な位置関係と姿勢がわかっていれば、光源ベクトル１０１０Ａ，１０１０Ｂを延長した交点に光源は存在するはずである。つまり、光源の３次元位置は以下のように求まる。
【００６９】
時刻ｔ１における、撮像装置の姿勢行列、撮像装置の相対的な３次元位置、および推定された光源方向ベクトルをそれぞれ、Ｒ1、Ｐ1、Ｌ1とし、時刻ｔ２における、撮像装置の姿勢行列と推定された光源方向ベクトルをそれぞれ、Ｒ2、Ｌ2とする。ただし、時刻ｔ２において、撮像装置の位置は原点Ｏ（０，０，０）であるとする。このとき、光源位置Ｐlightは次式を満たす。
【数８】
2007139070.tif 000159
【数９】
2007139070.tif 000160
ただし、ｓ，ｍは任意の定数である。もし、すべての推定値が正しく、ノイズが存在していなければ、（式５）と（式６）をｓとｍに関する連立方程式として解くことによって、光源位置Ｐlightは求まる。しかし、通常はノイズの影響があるため、最小自乗法を利用して、光源位置を求める。
【００７０】
まず、以下の関数ｆ（ｍ，ｓ）を考える。
【数１０】
2007139070.tif 000161
ここで、ｍ，ｓは以下の関係式を満たす。
【数１１】
2007139070.tif 000162
【数１２】
2007139070.tif 000163
つまり、
【数１３】
2007139070.tif 000164
【数１４】
2007139070.tif 000165
よって、（式７）、（式８）をｍとｓに関する連立方程式として解き、求まったｓとｍを（式５）または（式６）へ代入することにより、光源位置Ｐlightが求まる。このようにして、光源の位置が推定される。
【００７１】
なお、時刻ｔ１における撮像装置の相対的な３次元位置Ｐ1（時刻ｔ１とｔ２における撮像装置の相対的な位置関係）は、オプティカルフローを用いることによって求められる。オプティカルフローは、被写体上のある１点に対応する、時間的に連続した２つの画像上の点、すなわち対応点を結ぶベクトルであり、対応点とカメラ動きの間には、幾何学的な拘束式が成り立つ。このため、対応点が一定の条件を満たす場合にカメラの動きを算出することができる。
【００７２】
異なる時刻における撮像装置の相対的な位置関係をオプティカルフローから求める手法としては、例えば８点法と呼ばれる手法が知られている（H. C. Longuet-Higgins, “A computer algorithm for reconstructing a scene from two projections”, Nature, vol.293, pp.133-135, 1981）。この手法は、２画像間の静止した８点以上の対応点の組からカメラ動きを算出するものである。また、このような２画像間の対応点を求める手法は、一般に広く知られた方法であるので、詳細な説明を省略する（例えば、 Carlo Tomasi and Takeo Kanade, “Detection and Tracking of Point Features”, Carnegie Mellon University Technical Report, CMU-CS-91-132, April 1991）。
【００７３】
さらに、光源画素の輝度値やＲＧＢ値を求めることによって、光源の輝度や色も求めることができる。また、画像をマルチスペクトルカメラで取得することによって、光源のスペクトルを検出するようにしても構わない。このように光源のスペクトルを取得することによって，後述する画像の高解像度化や拡張現実において、色再現性の高い画像が合成できることが知られている（例えば、「内山俊郎, 土田  勝, 山口雅浩, 羽石秀昭, 大山永昭, “マルチスペクトル撮影による光源環境計測とスペクトルに基づく画像生成”, 電子情報通信学会技術研究報告PRMU2005-138, pp.7-12, 2006」）。
【００７４】
また、光源情報推定部１０５は、光源情報として、光源の照度情報を取得するようにしても構わない。これは撮像装置１００１と光軸方向が一致した照度計を利用すればよい。照度計としては、光電池にマイクロアンペア計を接続し、入射光によって生じる光電流を読む光電池照度計などを用いればよい。
【００７５】
以上のように本実施形態の光源推定装置によると、撮像装置の状況が光源情報の取得に適していると判断されたとき、この撮像装置によって光源画像を取得し、光源画像の取得時における第１の撮像装置情報と、撮像者による撮像時における第２の撮像装置情報とを用いて、撮像時における光源情報を推定する。したがって、カメラ付き携帯電話などにおいて、付加的な撮像装置を搭載することなく、被写体周囲の光源情報を推定することができる。
【００７６】
なお、上述の実施形態では、撮像装置状況判断部１０１が撮像装置１００１の光軸方向を検出するために、角度センサ１０２５の出力を用いるものとしたが、これ以外にも例えば、錘とタッチセンサを利用した方法（特開平４−４８８７９号公報参照）や、加速度センサを利用した方法（特開昭６３−２１９２８１号公報参照）など、既存の方法を利用してもよい。
【００７７】
ここでは、錘とタッチセンサを利用する方法について説明する。図１０は錘とタッチセンサの構成を示す図である。図１０（ａ）において、１００３は常に垂直方向を保持するよう基端部を回動可能に支持して吊下された錘、１００４Ａ、１００４Ｂはタッチセンサである。また、１００５は撮像装置の光軸方向を示している。図１０（ｂ）に示すように、撮像装置の光軸方向１００５と水平面との角度をθとすると、タッチセンサ１００４Ａ，１００４Ｂは、光軸方向１００５が水平方向から所定角度θ1、θ2だけ傾いたとき、錘１００３に当接するように設置されている。
【００７８】
図１１は図１０の錘とタッチセンサがカメラ付き折り畳み式携帯電話に搭載された場合の構成例である。図１１のカメラ付き折り畳み式携帯電話が、撮像装置１００１を下にして置かれた場合、錘１００３がタッチセンサ１００４Ａに当接し、タッチセンサ１００４ＡがＯＮになる（図１２（ａ））。一方、撮像装置１００１を上にして置かれた場合、錘１００３がタッチセンサ１００４Ｂに当接し、タッチセンサ１００４ＢがＯＮになる（図１２（ｂ））。
【００７９】
図１３は光軸方向とタッチセンサのＯＮ／ＯＦＦとの関係を示す図である。すなわち、タッチセンサ１００４ＡがＯＮになり、タッチセンサ１００４ＢはＯＦＦのとき、光軸は水平方向から＋θ1以上傾いた下向きであると推定できる。また、タッチセンサ１００４ＢがＯＮになり、タッチセンサ１００４ＡはＯＦＦのとき、光軸は水平方向から−θ2以上傾いた上向きであると推定できる。一方、タッチセンサ１００４Ａ、１００４Ｂ両方ともＯＦＦの場合は、-θ2＜θ＜θ1であり、光軸方向はほぼ水平と推定できる。
【００８０】
このように、錘とタッチセンサを利用して、撮像装置１００１の光軸方向を検出することが可能となる。
【００８１】
なお、ここでは、カメラ付き折畳式携帯電話を例にとって説明したが、もちろんデジタルスチルカメラやデジタルビデオカメラであっても、錘とタッチセンサを利用して、撮像装置の光軸方向を検出することは可能である。図１４はデジタルスチルカメラに錘とタッチセンサを搭載した場合の構成例である。図１４（ａ）に示すように、撮像装置１００１の光軸が下向きのときは錘１００３がタッチセンサ１００４Ａに当接しており、一方、図１４（ｂ）に示すように、撮像装置１００１の光軸が上向きのときは錘１００３がタッチセンサ１００４Ｂに当接している。
【００８２】
また、上述の実施形態では、撮像装置状況判断部１０１は、撮像装置１００１の光軸の方向を検出して、撮像装置１００１の状況が光源情報の取得に適しているか否かを判断するものとしたが、光軸の方向を検出する代わりに、例えば、撮像された画像の輝度値を検出するようにしても構わない。
【００８３】
撮像画像に光源が映っている場合、光源が撮像されている画素の輝度値は非常に高くなる。そこで、撮像装置１００１により画像を撮像し、撮像された画像に閾値以上の輝度値が存在する場合、光源が撮像されており、光源情報の取得に適した状況であると判断することができる。このとき、光源の輝度値は非常に高いと考えられるため、撮像装置１００１は露光時間をできる限り短くして撮像することが望ましい。
【００８４】
あるいは、撮像装置１００１の状況が光源情報の取得に適しているか否かを判断するために、カメラの視野範囲に遮蔽物が存在するか否かを検出するようにしても構わない。これは、遮蔽物が存在する場合、光源が遮蔽されてしまい、光源を撮影できない可能性が高くなるためである。
【００８５】
遮蔽物の存在を検出するためには、距離情報を利用する方法と、画像情報を利用する方法とがある。前者は、例えばカメラのオートフォーカスなどに利用されている測距センサの出力を利用し、例えば、１ｍ以内に被写体が存在する場合はその被写体は遮蔽物であると判断するようにすればよい。また、後者の画像情報を利用する方法は、例えば、撮像装置１００１で画像を撮影し、その画像中から画像処理により人物を検出する。もし、人物が撮像されていた場合、その人物は遮蔽物であると判断する。これは、カメラの近傍で光源を遮蔽する最も一般的な被写体は人物だと考えられるためである。画像からの人物の検出は、例えば、色情報を利用して、肌色領域を検出するなど、広く知られている画像認識技術を利用すればよい。
【００８６】
また、光源画像取得部１０２が光源画像の取得を行う際には、フラッシュを照射せずに撮像を行うことが望ましい。これは、鏡のような鏡面反射を起こす被写体が撮像装置１００１の視野内に存在している場合、フラッシュが反射され、誤って光源画素として推定されてしまうためである。そのため、冷却ＣＣＤカメラや多重露光撮像など、広いダイナミックレンジを撮像できる撮像装置を利用することが望ましい。また、光源画像取得部１０２が光源画像の取得を行う際に、露光量が足りない場合は、露光時間を長くすればよい。これは、上述のように、加速度センサなどを利用し、撮像装置１００１が静止しているときのみ、光源画像の取得を行う場合に特に有効である。
【００８７】
（第２の実施形態）
図１５は本発明の第２の実施形態に係る光源推定装置の構成を示すブロック図である。図１５において、図１と共通の構成要素には図１と同一の符号を付しており、ここではその詳細な説明は省略する。
【００８８】
図１５の構成では、図１の構成に加えて、光源画像合成部１０６が設けられている。光源画像合成部１０６は、光源画像取得部１０２によって取得された複数の光源画像から、第１の撮像装置情報取得部１０３によって取得された複数の第１の撮像装置情報を用いて、パノラマ光源画像を合成する。パノラマ光源画像とは、広範囲なシーンが撮像された光源画像のことである。パノラマ光源画像を利用することによって、広範囲なシーンにおける光源情報を一度に取得することができる。
【００８９】
本実施形態では、撮像装置状況判断部１０１、光源画像取得部１０２および第１の撮像装置情報取得部１０３が、処理を繰り返し実行し、複数枚の光源画像を取得するとともに、各光源画像にそれぞれ対応する複数の第１の撮像装置情報を取得する。これら複数組の光源画像および第１の撮像装置情報は、メモリ１０２８に格納される。
【００９０】
この際、例えば、第１の撮像装置情報取得部１０３は、光源画像取得部１０２によって新たな光源画像が取得されたとき、この新たな光源画像をすでに撮像されている光源画像と比較し、その差が大きい場合のみ、第１の撮像装置情報を取得するようにすればよい。一方、その差が小さい場合は、新たな光源画像を廃棄するようにすればよい。あるいは、加速度センサや角度センサを利用して、撮像装置１００１が動いたときに、光源画像と第１の撮像装置情報を取得して格納するようにしてもかまわない。
【００９１】
光源画像合成部１０６は、メモリ１０２８に格納された複数組の光源画像と第１の撮像装置情報から、一枚の広域なパノラマ光源画像を合成する。
【００９２】
図１６はパノラマ光源画像の合成方法を説明するための模式図である。図１６において、１００１は撮像装置、１００６は視野範囲、１０１１は画像を投影するための投影面、１０１２は撮像した光源画像を投影した投影画像を示している。まず、メモリ１０２８に格納された光源画像を、これに対応する第１の撮像装置情報を用いて、投影面１０１１に投影する。ここで、投影面は半球状であるものとする。撮像装置１００１に搭載された角度センサ１０２５の出力（α，β，γ）が、
【数１５】
2007139070.tif 000166
であるときのカメラ座標系（ｘ、ｙ、ｚ）を（Ｘw，Ｙw，Ｚw）とすると、投影面は以下の式で表される。
【数１６】
2007139070.tif 000167
ここで、ｒprjは投影面１０１１である半球の半径である。例えば、屋外では街灯を想定し、１０ｍとし、また屋内では天井に敷設された照明を想定し、２．５ｍ程度とすればよい。このような屋外・屋内の切り替えは、例えば、屋内撮像モードと屋外撮像モードとを撮像者が切り替えるようにすればよい。
【００９３】
（式４）、（式１０）より、全ての画素は次式によって投影面１０１１に投影できる。
【数１７】
2007139070.tif 000168
ただし、Ｒ0は（式１）と（式９）から求まる姿勢行列である。
【００９４】
（式１１）を利用して、撮像された全ての光源画像を投影面１０１１に投影し、投影画像１０１２を作製する。この際、２つ以上の光源画像が投影面上の同一領域に投影される場合があるが、この場合は例えば、新たに撮像された光源画像を優先し、以前に撮像された光源画像による投影画像１０１２は廃棄するようにすればよい。
【００９５】
このように、複数枚の光源画像を統合して投影画像を合成することにより、みかけの視野範囲を広げることが可能である。図１７はこの様子を示した模式図である。図１７において、１００１は撮像装置、１００５、１００６はそれぞれ撮像装置１００１の姿勢を変更した際の光軸方向と視野範囲、１０１３は姿勢を変更して撮像した画像を統合したことによって得られた、みかけの視野範囲を示している。このように、光軸方向を変化させて撮像した画像を統合してパノラマ画像化することにより、視野範囲を広げることができる。
【００９６】
また、投影面１０１１は半球である必要はなく、例えば屋内であれば、図１８に示したように、直方体であっても構わない。この場合、カメラ座標系（ｘ、ｙ、ｚ）を（Ｘw，Ｙw，Ｚw）とすると、投影面である直方体の各面は以下の式で表される。
【数１８】
2007139070.tif 000169
【００９７】
ここで、ａ、ｂ、ｃは定数であり、図１８の直方体上の投影面を示している。よって、（式１１）と同様に、（式４）と（式５９）の交点を求めることにより、すべての画素は次式によって投影面１０１１に投影できる。
【数１９】
2007139070.tif 000170
ただし、Ｒ0は（式１）と（式９）から求まる、姿勢行列である。
【００９８】
なお、屋外・屋内の切り替えは、光源画素の色を利用して行ってもかまわない。すなわち、撮像された光源画素のＲＧＢ成分から求まる色を利用し、それが太陽光か、あるいは蛍光灯または電球かを判別し、太陽光の場合は屋外、蛍光灯や電球の場合は屋内と判別すればよい。この場合、撮像装置のＲＧＢそれぞれの波長特性と、画像の明るさの変化に対する電圧換算値の変化の比であるガンマ値とを保持しておけばよい。
【００９９】
光源情報推定部１０５は、光源画像合成部１０６が合成したパノラマ光源画像を利用して、光源情報を推定する。ここでは、光源情報として、光源位置を推定する方法を説明する。
【０１００】
まず、第１の実施形態で述べた方法によって、パノラマ光源画像から光源画素を抽出する。こうして抽出された光源画素の位置は、撮像装置１００１の姿勢が（式９）である場合におけるものである。そこで、第２の撮像装置情報取得部１０４によって取得された第２の撮像装置情報を用いて、次式により、撮像者による撮像時におけるカメラ座標での光源位置（Ｘl_now，Ｙl_now，Ｚl_now）を推定する。
【数２０】
2007139070.tif 000171
【０１０１】
以上のように本実施形態の光源推定装置によると、パノラマ光源画像から、光源情報が推定されるので、広範囲なシーンにおける光源情報を一度に取得することができる。
【０１０２】
（第３の実施形態）
図１９は本発明の第３の実施形態に係る光源推定装置の構成を示すブロック図である。図１９において、図１と共通の構成要素には図１と同一の符号を付しており、ここではその詳細な説明を省略する。
【０１０３】
図１９の構成は、折り畳み式携帯電話に搭載されていることを前提としている。そして、折り畳み式携帯電話を開閉させる開閉機構１０３１と、開閉機構１０３１に開閉動作を実行させるための開閉スイッチ１０１４とを備えている。開閉スイッチ１０１４が押されて開閉機構１０３１が開閉動作を実行すると、折り畳み式携帯電話に搭載された撮像装置１００１の光軸方向が、この開閉動作に伴い変化する。すなわち、開閉機構１０３１は、撮像装置１００１の光軸方向を変動させる光軸方向変動手段として、機能する。
【０１０４】
光源画像取得指示部１１０は、開閉スイッチ１０１４が押されたとき、まず、光源画像取得部１０２に光源画像の取得を行うよう指示する。このとき、撮像装置１００１は連写や動画撮影をすることが望ましい。撮像装置１００１の撮像開始後、光源画像取得指示部１１０は開閉機構１０３１によって開閉動作を実行する。これによって、開閉機構１０３１が開閉動作を実行する間に、言い換えると、光軸方向変動手段によって撮像装置１００１の光軸方向が変動している状態で、光源画像取得部１０２によって光源画像の取得が行われる。これによって、図１７に示したように、広域な視野範囲において、複数枚の光源画像を撮像することができる。
【０１０５】
図２０は本実施形態に係る光源推定装置が実装されたカメラ付き折り畳み式携帯電話１０００の外観図である。図２０において、１００１Ａと１００１Ｂは撮像装置、１００２は撮像スイッチ、１０１４は折り畳み式携帯電話の開閉スイッチである。また、撮像装置１００１Ａ，１００１Ｂに付された矢印は光軸方向を示している。折り畳み式携帯電話は、通話や撮像を行わない際は、通常、液晶ディスプレイの保護や携帯性の向上のために、図２０（ｂ）のように折り畳まれている。
【０１０６】
図２０（ｂ）の状態で、開閉スイッチ１０１４を押すと、折り畳み式携帯電話１０００は、図２１（ａ）→（ｂ）→（ｃ）→（ｄ）→（ｅ）のように、自動で開く。図２１において、１００６Ａ、１００６Ｂは折り畳み式携帯電話１０００に搭載された２つの撮像装置（図２０における１００１Ａ，１００１Ｂ）で撮像される視野範囲を示している。図２１から、カメラ付き折り畳み式携帯電話１０００の開閉スイッチ１０１４を利用することによって、撮像装置１００１Ａ，１００１Ｂの光軸方向を変動させることができることが分かる。
【０１０７】
開閉機構１０３１は例えば、バネやロック機構を設けることによって実現できる（例えば、特開平７−１３１８５０号公報参照）。また、折り畳み式携帯電話のヒンジ部に、モータを設置しておいてもよい。このとき、撮像装置１００１の姿勢情報は、モータに併せて設置したロータリーエンコーダを、角度センサ１０２５として用いて取得すればよい。
【０１０８】
図１９の構成の動作について説明する。まず、開閉スイッチ１０１４が押されると、光源画像取得指示部１１０は、これを検出し、光源画像取得部１０２に光源画像の取得を指示する。また、光源方向変動手段としての開閉機構１０３１は、開閉スイッチ１０１４が押されたとき、折り畳み式携帯電話の自動開閉動作を実行する。開閉機構１０３１が作動している間に、光源画像取得指示部１１０から指示された光源画像取得部１０２は、撮像装置１００１を利用して、光源画像を複数枚、撮像する。以降の動作は、第１の実施形態と同様である。
【０１０９】
また、本実施形態では、撮像装置１００１を移動させながら光源画像を撮像するため、露光時間はできるだけ短くすることが望ましい。また、手ぶれ補正処理を導入することによって、撮像装置１００１が移動していても光源画像をブレなしに撮像するようにしてもかまわない。
【０１１０】
ここで、手ぶれ補正処理を導入しない場合の露光時間ＴＥとすると、露光時間ＴＥは次式で表現される。
【数２１】
2007139070.tif 000172
ここで、Ｍは開閉スイッチ１０１４を押すことによって回転する光軸の回転速度［deg/sec］、θsは撮像装置１００１の縦方向の視野角［deg］、Ｌxは撮像装置１００１の縦方向の画素数である。例えば、Ｍ＝１８０［deg/sec］、θs＝８０［deg］、Ｌx＝１０００とすると、
【数２２】
2007139070.tif 000173
となり、露光時間を１／４０００秒程度にすればよい。
【０１１１】
また、（式６０）より、光軸の回転速度Ｍを決定するようにしても構わない。例えば、θs＝４０［deg］、Ｌx＝１０００、ＴE＝０．０００５［sec］であれば、
Ｍ＜４０［deg/sec］
となり、通常の開閉動作に比べ、ゆっくりと開閉機構１０３１を動作させればよい。
【０１１２】
また、光源環境は時間とともに変化していくため、光源画像の取得は、実際に被写体を撮像する時間にできるだけ近いタイミングで実行することが望ましい。通常、開閉スイッチ１０１４は撮像を行う直前に押されることが多いため、本実施形態によると、撮像直前の光源画像を取得できる可能性が高くなるので、非常に有効である。
【０１１３】
また、光源画像として、わざとボケた画像を撮影するようにしても構わない。ボケた画像を撮影することによって、撮影シーンにおける人物のプライバシーを保持しながら光源画像を撮像することができる。これは、例えば、露光時間を長くすることで実現できる。
【０１１４】
前述のように、（式６０）を満たさない場合、開閉機構１０３１による光軸の移動に伴い動きブレが生じ、ボケた画像が撮影される。そこで、例えば以下の式を満たす露光時間や回転速度を決定すればよい。
【数９５】
2007139070.tif 000174
ここで、ＴBはボケ量を決定する定数である。例えば、ＴB＝８、θs＝４０［deg］、Ｌx＝１０００、Ｍ＝４０［deg/sec］の場合、露光時間ＴE＝０．００８［sec］とすればよい。
【０１１５】
また、複数枚の光源画像から、投票処理を利用して光源方向を推定してもよい。これにより、光源方向の推定精度を上げることができる。例えば、ある光源画像から光源位置を求めた結果、他の光源画像における光源位置と大きなズレがある場合、あるいは、他の光源画像には対応する光源が存在しないような場合、その光源位置の推定は失敗していると判断して、光源推定結果から廃棄するようにすればよい。
【０１１６】
また、光源画像がきちんと撮像されていない場合、撮像を再度行うように促しても構わない。例えば、推定した光源情報から推定される画像と実際に撮像された光源画像とを比較し、その差が大きい場合は、光源画像において光源が撮像されておらず、光源推定に失敗していると判断すればよい。撮像を促す方法としては、例えば、音声で「再度、光源を撮像してください」と伝えたり、ディスプレイに「再度、光源を撮像してください」と表示させたりすればよい。
【０１１７】
図２２は本実施形態に係る光源推定装置の他の構成を示すブロック図である。図２２において、図１および図１９と共通の構成要素には、図１および図１９と同一の符号を付しており、ここではその詳細な説明を省略する。
【０１１８】
図２２の構成は、第１の実施形態で示した撮像装置状況判断部１０１を備えている。また、例えば携帯電話のバイブレーション機能を実現するために用いられる、バイブレーション機構１０２６を備えている。バイブレーション機能とは、携帯電話がマナーモード時などに振動で着信を知らせる機能のことである。バイブレーション機能がＯＮの状態で、バイブレーション機構１０２６が振動動作を実行すると、携帯電話に搭載された撮像装置１００１の光軸方向が、この振動動作に従って変化する。すなわち、バイブレーション機構１０２６は、撮像装置１００１の光軸方向を変動させる光軸方向変動手段として、機能する。
【０１１９】
撮像装置状況判断部１０１は、第１の実施形態で説明したように、撮像装置１００１の状況が光源情報を取得するのに適しているか否かを判断する。光源画像取得指示部１１０は、撮像装置状況判断部１０１によって適していると判断されたとき、バイブレーション機構１０２６に振動動作を実行させるとともに、光源画像取得部１０２に光源画像の取得を行うよう指示する。これによって、バイブレーション機構１０２６が振動動作を実行している間に、言い換えると、光軸方向変動手段によって撮像装置１００１の光軸方向が変動している状態で、光源画像取得部１０２によって光源画像の取得が行われる。これによって、図１７に示したように、広域な視野範囲において、複数枚の光源画像を撮像することができる。この場合、撮像装置１００１は静止していないため、露光時間は短くすることが望ましい。
【０１２０】
このとき、撮像装置１００１の視野角をθｓ、バイブレーション機構１０２６による携帯電話の振動する角度をθｖ（図２３の振動角）とすると、拡大された視野角θｔは次式で表現される。
【数２３】
2007139070.tif 000175
この式から、撮像装置１００１の視野角θｓと光源推定に必要な視野角θｔが決まれば、必要な振動量を計算することができる。例えば、撮像装置１００１の視野角θｓが８０度であり、光源推定に９０度の視野角が必要だとすると、振動角は５度程度となる。これは、１１ｃｍの高さのある携帯電話を９ｍｍ程度振動させることによって実現できる値である。
【０１２１】
なお、光源画像の取得のためにバイブレーション機構１０２６を動作させる際に、例えば、着信時やメール受信時とは異なる音をスピーカから流すようにしてもよい。これにより、光源画像の取得時を、着信時やメール受信時と区別することができる。また、光源画像を取得している際に、ＬＥＤやインターフェイス用の液晶ディスプレイを光らせて、利用者に告知するようにしてもかまわない。
【０１２２】
もちろん、音やＬＥＤ、ディスプレイによって告知した後に、バイブレーション機構１０２６を動作させて光源画像を取得するようにしてもかまわない。
【０１２３】
図２４は本実施形態に係る光源推定装置の他の構成例を示すブロック図である。図２４において、図１および図２２と共通の構成要素には、図１および図２２と同一の符号を付しており、ここではその詳細な説明を省略する。
【０１２４】
図２４の構成では、図２２と対比すると、メール受信検出部１０３２が設けられており、撮像装置状況判断部１０１が省かれている。メール受信検出部１０３２がメール受信を検出したとき、バイブレーションモードに設定されているものとすると、バイブレーション機構１０２６が振動動作を行う。またこのとき、光源画像取得指示部１１０は、メール受信検出部１０３２からの信号を受けて、光源画像取得部１０２に光源画像の取得を指示する。このような動作によって、バイブレーション機構１０２６が振動動作を実行している間に、言い換えると、光軸方向変動手段によって撮像装置１００１の光軸方向が変動している状態で、光源画像取得部１０２によって光源画像の取得が行われる。
【０１２５】
この構成によると、メールの受信によって作動するバイブレーション機能を利用して、撮像装置の光軸方向が変動した状態で複数の光源画像を取得することができるため、余計なバイブレーションを行う必要がなくなるというメリットがある。
【０１２６】
以上のように本実施形態によると、光軸方向変動手段によって撮像装置の光軸方向が変動している状態で、光源画像の取得が行われるため、被写体周囲の広い範囲にわたって光源画像を取得することができるので、精度良く、光源情報を推定することができる。
【０１２７】
なお、上述した各構成において、第２の実施形態で示した光源画像合成部１０６を設けて、複数の光源画像からパノラマ光源画像を生成するようにしてもかまわない。
【０１２８】
なお、本実施形態では、光軸方向変動手段を、折り畳み式携帯電話の開閉機構やバイブレーション機構によって実現するものとしたが、本発明はこれに限られるものではなく、撮像装置の光軸方向を変動させる構成であれば、どのようなもので実現してもかまわない。例えば、撮像装置自体に専用の駆動機構を設けてもよい。
【０１２９】
（第４の実施形態）
図２５は本発明の第４の実施形態に係る光源推定システムの構成を示すブロック図である。図２５では、図１と共通の構成要素については図１と同一の符号を付しており、ここではその詳細な説明を省略する。
【０１３０】
図２５では、例えばカメラ付き携帯電話によって構成される通信端末１１００に、図１に示した各構成要素のうち光源情報推定部１０５以外のものが設けられている。そして、光源情報推定部１０５は、通信端末１１００から離れてネットワークを介して接続された外部の装置であるサーバ１１０１に設けられている。すなわち、本実施形態では、通信端末１０００側では、全ての処理を行うのではなく、光源画像と撮像装置情報の取得のみを行い、光源情報推定処理はサーバ１１０１側で実行する。
【０１３１】
通信端末１１００では、第１の実施形態で述べたように、光源画像取得部１０２によって光源画像が取得され、第１の撮像装置情報取得部１０３によって光源画像取得時における第１の撮像装置情報が取得され、第２の撮像装置取得部１０４によって実際の撮像時における第２の撮像装置情報が取得される。これら光源画像並びに第１および第２の撮像装置情報は、情報送信部１０８によって送信される。また、このとき、光源情報推定の内容についても指示するようにしてもよい。
【０１３２】
サーバ１１０１では、情報受信部１０９が、通信端末１１００からネットワークを介して送信される情報、すなわち光源画像並びに第１および第２の撮像装置情報を受信する。受信された光源画像並びに第１および第２の撮像装置情報は、光源情報推定部１０５に与えられる。光源情報推定部１０５は、第１の実施形態で述べたように、光源情報の推定を行う。光源情報推定の内容について指示されたときは、その指示に従って、光源情報の推定を行う。
【０１３３】
このように、光源情報推定部１０５をサーバ１１０１に設けて、光源情報推定処理を実行させることによって、通信端末１１００側の計算負荷を軽くすることが可能になる。
【０１３４】
（光源情報を利用した画像の高解像度化）
本発明の光源推定装置は、デジタルズームとして知られている画像の高解像度化に特に有効である。画像の高解像度化は、撮像した画像を任意に拡大処理することができるため、画像撮像後の編集処理において重要である。本来、このような画像の高解像度化は補間処理などによって行なわれてきたが、２ｘ２倍以上の拡大画像を合成する場合、合成される画像がボケてしまい、画質が劣化するという問題があった。本発明の光源推定方法を利用することで、画質劣化の少ない、画像の高解像度化を実現することができる。この手法を説明する。
【０１３５】
まず、この処理の概念を説明する。本発明の高解像度化処理は、以下の４つの入力情報を利用する。
○被写体の拡散反射画像
○被写体の鏡面反射画像
○被写体の３次元形状情報
○光源位置・色・照度
【０１３６】
ここで、拡散反射画像とは、入力画像のうち、マットな反射成分である拡散反射成分のみを画像化したものであり、同様に、鏡面反射画像は、入力画像のうち、てかりである鏡面反射成分のみを画像化したものである。ここで、拡散反射成分とは、光沢の無い物体表面で起こる反射で、すべての方向に一様に散乱する成分である。一方、鏡面反射成分とは、鏡の面での反射のように、法線に対して入射光の反対方向に強く反射する成分である。２色性反射モデルを仮定すると、物体の輝度は、拡散反射成分と鏡面反射成分との和として表現される。後述するように、鏡面反射画像と拡散反射画像は、例えば偏光フィルタを回転させながら被写体を撮像することで取得することができる。
【０１３７】
図２６（ａ）は、光源で照射された被写体（タンブラー）を撮像装置で撮像した画像を示している。図の上部にてかりである鏡面反射が現れているのがわかる。一方、図２６（ｂ）（ｃ）は、図２６（ａ）の画像を後述する方法で拡散反射画像と鏡面反射画像とに分離した結果である。拡散反射画像はてかりが取り除かれ、表面のテクスチャ情報が鮮明になっているが、立体感が失われている。一方、鏡面反射画像は細かな形状情報が鮮明に現れているが、逆にテクスチャ情報が失われている。つまり、入力画像はこれら全く異なる情報を含んだ二つの画像が重畳されたものであった。画像を拡散反射画像と鏡面反射画像とに分離し、別々に処理することにより、より精細な高解像度化処理が可能である。
【０１３８】
高解像度化処理には、学習ベースの手法を用いる。学習ベースとは、事前に低解像度と高解像度の画像組を用意し、その対応を学習する。この際、用意された画像以外の画像においても高解像度化処理を働かせるために、画像そのものを学習するのではなく、画像から抽出した特徴量を学習する。
【０１３９】
図２７は本発明の一実施形態に係る画像高解像度化装置の構成を示すブロック図である。図２７の画像高解像度化装置は、撮像装置を利用し、撮像を行う画像撮像部２０１と、上述した光源推定方法によって、被写体に照射する光源の方向や位置、輝度、色、スペクトル情報などの光源情報を推定する光源情報推定部２０３と、被写体の表面の法線情報または３次元位置情報を形状情報として取得する形状情報取得部２０４と、光源推定部２０３によって推定された光源情報と、形状情報取得部２０３によって取得された形状情報を用いて、画像撮像部２０１によって撮像された画像を高解像度化する画像高解像度化部２１７とを備えている。さらに、画像高解像度化部２１７は、画像撮像部２０１によって撮像された画像を、拡散反射・鏡面反射分離部２０２によって拡散反射成分と鏡面反射成分とに分離し、分離した拡散反射成分と鏡面反射成分とを個別に高解像化する。以下、それぞれの処理について説明する。
【０１４０】
画像撮像部２０１はＣＣＤやＣＭＯＳなどの撮像装置を利用して、被写体を撮像する。こうして撮像された画像は、輝度が非常に高くなる鏡面反射成分と拡散反射成分とが同時に、飽和することなく記録されることが望ましい。このため、冷却ＣＣＤカメラや多重露光撮像など、広いダイナミックレンジを撮像できる撮像装置を利用することが望ましい。
【０１４１】
拡散反射・鏡面反射分離部２０２は、画像撮像部２０１によって撮像された画像を、拡散反射成分と鏡面反射成分とに分離する。
【０１４２】
まず、物体の反射特性について説明する。２色性反射モデルを仮定すると、物体の輝度は、拡散反射成分と鏡面反射成分との和として以下の式で表現される。
【数２４】
2007139070.tif 000176
ここで、Ｉは撮像装置が撮像した被写体の輝度値、Ｉaは環境光成分、Ｉdは拡散反射成分、Ｉsは鏡面反射成分である。ここで、環境光成分とは、光源の光が物体などによって散乱された間接光のことである。これは空間の至る所に散乱され、直接光がとどかない影の部分にもわずかに明るさを与える。そのため、通常はノイズとして取り扱われることが多い。
【０１４３】
環境光成分は十分に小さく、ノイズとして無視できると考えると、画像は拡散反射成分と鏡面反射成分とに分離できる。上述のように、拡散反射成分がテクスチャ情報に依存するのに対し、鏡面反射画像は細かな形状情報に依存するといったように、これらの成分は非常に異なった特質を示す。そのため、画像を高解像度化するために、入力画像を拡散反射画像と鏡面反射画像とに分離し、それぞれの画像を別々の方法で高解像度化することによって、非常に高精細な高解像度化画像を取得することができる。このため、まずは拡散反射画像と鏡面反射画像とを分離する必要性がある。
【０１４４】
この分離方法は、従来からさまざまなものが提案されている。例えば、
・鏡面反射と拡散反射の偏光度の違いを利用し、偏光フィルタを用いた方法（例えば、特許第３４５９９８１号公報）
・対象物を回転させ、マルチスペクトルカメラを利用することで鏡面反射領域を分離する方法（例えば、特開２００３−８５５３１号公報）。
・様々な方向から光源を当てた対象物の画像を利用し、鏡面反射が生じない理想状態での画像である線形化画像を合成し、その線形化画像を利用して鏡面反射や影領域を分離する方法（例えば、「石井育規，福井孝太郎，向川康博，尺長健， “光学現象の分類に基づく画像の線形化“，情報処理学会論文誌，vol.44，no. SIG5 (CVIM6) ，pp.11-21，2003」）。
などがある。
【０１４５】
ここでは、偏光フィルタを利用する方法を用いる。図２８は本実施形態に係る画像高解像度化装置が搭載されたカメラ付き携帯電話１０００を示している。図２８に示すように、撮像装置１００１には回転機構（図示せず）をもった直線偏光フィルタ１０１６Ａが設けられている。また、直線偏光フィルタ１０１６Ｂが取り付けられた照明装置１００７が設けられている。また、１０１７は使用者のインターフェイス用の液晶ディスプレイである。
【０１４６】
ここで、直線偏光フィルタ１０１６Ｂが取り付けられた照明装置１００７に照らされた被写体について、撮像装置１００１が、直線偏光フィルタ１０１６Ａを回転機構により回転させながら、複数枚の画像を撮像する。ここで、照明が直線偏光されていることに着目すると、反射光強度は偏光フィルタ１０１６Ａの回転角ψに対して、図２９のように変化する。ここで、反射光の拡散成分をＩｄ、鏡面反射成分をＩsとすると、反射光輝度の最大値Ｉmaxと最小値Ｉminは以下の式で表現される。
【数２５】
2007139070.tif 000177
【数２６】
2007139070.tif 000178
つまり、反射光の拡散成分Ｉｄ、鏡面反射成分Ｉsは、以下の式から求まる。
【数２７】
2007139070.tif 000179
【数２８】
2007139070.tif 000180
【０１４７】
図３０はこの処理の流れを示したものである。まず、回転機構により偏光フィルタ１０１６Ａを回転させ（ステップＳ３０１）、画像を撮像し、メモリに保持する（ステップＳ３０２）。次に、メモリに保持された画像が、所定の枚数撮像されているかを確認する（ステップＳ３０３）。このとき、反射光輝度の最小値と最大値を検出するのに十分な枚数がまだ撮像されていない場合（ステップＳ３０３でＮｏ）、偏光フィルタを再度回転させ（ステップＳ３０１）、撮像を繰り返す。一方、十分な枚数の撮像ができている場合（ステップＳ３０３でＹｅｓ）、撮像された画像データを利用して、反射光輝度の最小値と最大値を検出し（ステップＳ３０４）、（式１３）と（式１４）を利用することにより、拡散反射成分と鏡面反射成分とを分離する（ステップＳ３０５）。この処理は、複数枚の画像から画素ごとに最小値と最大値を求めても構わないが、ここでは、sin関数のフィッテングを利用する。この処理を説明する。
【０１４８】
図２９に示した偏光フィルタ角ψに対する反射光輝度Ｉは、以下のように、sin関数で近似できる。
【数２９】
2007139070.tif 000181
ここで、Ａ、Ｂ、Ｃは定数であり、（式１３）、（式１４）より
【数３０】
2007139070.tif 000182
【数３１】
2007139070.tif 000183
つまり、撮像された画像から、（式１５）のＡ，Ｂ，Ｃを求めることにより、拡散反射成分と鏡面反射成分とを分離することができる。
【０１４９】
ところで、（式１５）は以下のように展開できる。
【数３２】
2007139070.tif 000184
ただし、
【数３３】
2007139070.tif 000185
つまり、以下の評価式を最小にするＡ，Ｂ，Ｃを求めることで、拡散反射成分と鏡面反射成分とを分離することができる。
【数３４】
2007139070.tif 000186
ただし、Ｉiは、偏光フィルタ角ψi時の反射光強度を示している。ここで、最小自乗法を用いると、各パラメータは以下のように推定される。
【数３５】
2007139070.tif 000187
【数３６】
2007139070.tif 000188
【数３７】
2007139070.tif 000189
【数３８】
2007139070.tif 000190
【数３９】
2007139070.tif 000191
以上より、（式１６）〜（式２３）を利用することで、拡散反射成分と鏡面反射成分とを分離する。この場合、未知パラメータが３個であるため、偏光フィルタの回転角を変更した画像を最低３枚撮像すればよい。
【０１５０】
このため、直線偏光フィルタ１０１６Ａの回転機構を設ける代わりに、画素ごとに偏光方向の異なる撮像装置を利用しても構わない。図３１はこのような撮像装置の画素を模式的に示したものである。ここで、１０２２は各画素を示し、各画素内の直線は偏光方向を示している。すなわち、この撮像装置は０°、４５°、９０°、１３５°の４種類の偏光方向を有する画素を持つ。そして、図３１の太線１０２３のように、４種類の画素をベイヤ配列のように１画素として取り扱うことによって、偏光方向が４種類異なった画像を同時に撮像することができる。このような撮像装置は、例えば、フォトニック結晶デバイスなどを利用すればよい。
【０１５１】
また、照明装置１００７として、偏光された照明例えば液晶ディスプレイを利用してもかまわない。例えば、携帯電話１０００に搭載されている液晶ディスプレイ１０１７を利用すればよい。この場合、液晶ディスプレイ１０１７の輝度値を、利用者のインターフェイス用として利用しているときに比べ、高くすることが望ましい。
【０１５２】
もちろん、撮像装置１００１の偏光フィルタ１０１６Ａを回転させる代わりに、照明装置１００７の偏光フィルタ１０１６Ｂを回転させてもかまわない。また、撮像装置１００１と照明装置１００７の両方に偏光フィルタを設置する代わりに、撮像装置側など片側のみに設置し、独立成分分析を利用して拡散反射成分と鏡面反射成分とを分離させてもかまわない（例えば、特許３４５９９８１号公報参照）。
【０１５３】
光源情報推定部２０３は、上述したような光源推定方法を利用して、光源の位置と色、および照度情報を取得する。
【０１５４】
形状情報取得部２０４は、被写体の形状情報である表面の法線情報または、被写体の３次元位置情報を取得する。被写体の形状情報を取得する手段としては、例えば、スリット光投影法、パターン光投影法、レーザレーダ法などの既存の手法を用いればよい。
【０１５５】
もちろん、形状情報の取得はこれらの手法に限られるものでない。例えば、複数のカメラを利用するステレオ視、カメラの動きを利用するモーションステレオ法、光源の位置を変化させながら撮像した画像を利用する照度差ステレオ法、ミリ波や超音波を利用して被写体との距離を測定する方法、さらには反射光の偏光特性を利用した方法（例えば、米国特許第５，０２８，１３８号や「宮崎大輔，池内克史，"偏光レイトレーシング法による透明物体の表面形状の推定手法"，電子情報通信学会論文誌，vol. J88-D-II， No.8，pp. 1432-1439，2005」）を用いてもかまわない。ここでは、照度差ステレオ法と偏光特性を利用した方法について説明する。
【０１５６】
照度差ステレオ法は、光源方向が異なる３枚以上の画像を利用して、被写体の法線方向と反射率を推定する手法である。例えば、「H. Hayakawa, ”Photometric Stereo under a light source with arbitrary motion”, Journal of the Optical Society of America A, vol.11, pp.3079-89, 1994」は、画像上で６点以上の反射率が等しい点を既知情報として取得し、拘束条件として利用することによって、光源の位置情報も未知としながらも、以下のパラメータを推定する手法である。
・被写体情報：画像上の各点の法線方向と反射率
・光源情報：被写体の観察点における光源方向と照度
【０１５７】
ここでは、前述の拡散反射・鏡面反射分離手法によって分離された拡散反射画像のみを利用した照度差ステレオ法を行う。本来、この手法は被写体が完全拡散反射をしていることを仮定しているため、鏡面反射が存在する被写体では大きな誤差が生じてしまう。しかし、分離した拡散反射画像のみを利用することで、鏡面反射の存在による推定誤差を無くすことができる。もちろん、後述するように、影除去部２０５で影領域を除去した拡散反射画像で処理を行なっても構わない。
【０１５８】
光源方向が異なる拡散反射画像を以下のように輝度行列Idで表現する。
【数４０】
2007139070.tif 000192
ただし、ｉｄｆ（ｐ）は光源方向ｆの拡散反射画像の画素ｐにおける輝度値を示している。また、画像の画素数はＰ画素、異なった光源方向で撮像した画像枚数はＦ枚である。ところで、ランバーシャンモデルより、拡散反射画像の輝度値は以下のように表現できる。
【数４１】
2007139070.tif 000193
ただし、ρpは画素ｐの反射率（アルベド）、npは画素ｐの法線方向ベクトル、tfは光源ｆの入射照度、Lfは光源ｆの方向ベクトルを示している。
【０１５９】
（式２４）、（式２５）より以下の式が導かれる。
【数４２】
2007139070.tif 000194
ただし、
【数４３】
2007139070.tif 000195
【数４４】
2007139070.tif 000196
【数４５】
2007139070.tif 000197
【数４６】
2007139070.tif 000198
【数４７】
2007139070.tif 000199
【数４８】
2007139070.tif 000200
ここで、Rは表面反射行列、Nは表面法線行列、Lは光源方向行列、Tは光源強度行列、Sは表面行列、Mは光源行列と呼ぶ。
【０１６０】
ここで、特異値分解を利用すると、（式２６）は以下のように展開できる。
【数４９】
2007139070.tif 000201
【数５０】
2007139070.tif 000202
ただし、
【数５１】
2007139070.tif 000203
であり、Ｅは単位行列を示している。また、Ｕ’はＰ×３行列、Ｕ”はＰ×（Ｆ−３）行列、Σ’は３×３行列、Σ”は(Ｆ−３)×(Ｆ−３)行列、Ｖ’は３×Ｆ行列、Ｖ”は（Ｆ−３）×Ｆ行列である。ここで、Ｕ”、 Ｖ”は信号成分であるＵ’、 Ｖ’の直交基底、すなわち、ノイズ成分であると考えられる。ここで、特異値分解を利用すると、（式２８）は以下のように変形できる。
【数５２】
2007139070.tif 000204
【数５３】
2007139070.tif 000205
【０１６１】
すなわち、（式２９）を解くことにより、形状情報と光源情報を同時に取得することができるが、以下の３×３行列Ａの不定性が残る。
【数５４】
2007139070.tif 000206
【数５５】
2007139070.tif 000207
ここで、Ａは任意の３×３行列である。形状情報と光源情報を取得するためには、この行列Ａを求める必要がある。これは、例えば、画面上の６点以上で反射率が等しいことが既知であればよい。例えば、任意の６点k1〜k6の反射率が等しいとすると、
【数５６】
2007139070.tif 000208
（式２７）、（式３０）と（式３２）より、
【数５７】
2007139070.tif 000209
さらに、
【数５８】
2007139070.tif 000210
とおくと、（式３３）は以下のようになる。
【数５９】
2007139070.tif 000211
ここで、（式３４）より行列Ｂは対称行列であるため、行列Ｂの未知数は６である。すなわち、画面上の６点以上で反射率が等しいことが既知であれば、（式３５）は解くことができる。
【０１６２】
また、行列Ｂが既知となれば、（式３４）に特異値分解を利用することにより、行列Ａは解くことができる。
【０１６３】
さらに、（式３０）、（式３１）より、形状情報と光源情報を取得する。
【０１６４】
以上のことより、反射率が等しい６点以上の画素が既知な被写体において、光源方向を変更しながら３枚以上の画像を撮像することにより、以下の情報を得ることができる。
・被写体情報：画像上の各点の法線方向ベクトルと反射率
・光源情報：被写体の観察点における光源方向ベクトルと放射輝度
【０１６５】
ただし、上記の処理で求まる被写体の反射率と光源の放射輝度は相対的なものであり、絶対値を求めるためには、画面上の６点以上で反射率が既知であるなど、上記とは異なる既知情報が必要となる。
【０１６６】
また、光源と撮像装置との位置関係が既知の場合、撮像装置と被写体の距離や３次元位置を求めるようにしても構わない。これを図を用いて説明する。
【０１６７】
図３２はこの処理を説明するための模式図である。図３２において、１００１は撮像装置、１００７Ａおよび１００７Ｂは光源、１０１５は被写体の観察点Ｏ、１０１０Ａおよび１０１０Ｂは被写体の観察点Ｏにおける各光源の光源方向、１０２１は被写体の観察点Ｏにおける撮像装置の視線方向を示している。
【０１６８】
まず、光源と撮像装置との位置関係が既知であるため、撮像装置１００１と光源１００７Ａ、１００７Ｂの３次元位置関係La、Lbは既知である。また、撮像装置１００１はキャリブレーションされているとすると、撮像装置１００１の視線方向１０２１も既知である。このことから、被写体の観察点Ｏ１０１５はこの視線方向１０２１上に存在する。また、上述の照度差ステレオ法により、被写体の観察点Ｏにおける各光源の光源方向１０１０Ａ、１０１０Ｂは既知である。撮像装置１００１と観察点Ｏ１０１５の距離Lvが正（Lv＞０）であるとすると、このような位置関係を満たす観察点Ｏは、１点しか存在しない。そのため、観察点Ｏ１０１５の位置がわかり、撮像装置１００１と観察点Ｏ１０１５の距離Lvが求まる。
【０１６９】
また、例えばデジタルカメラのフラッシュのように撮像装置に光源が設置されている場合、光源と撮像装置との位置関係は設計情報から求めることができる。
【０１７０】
また、形状情報取得部２０４は反射光の偏光特性を利用して、被写体の表面法線方向を取得しても構わない。この処理について、図３３を用いて説明する。
【０１７１】
図３３において、１００１は撮像装置、１００７は光源、１０１５は観察点Ｏ、１０１６はモータなどの回転機構（図示せず）をもった直線偏光フィルタ、１０１９は法線方向を示している。光源として自然光が照射されている状態において、回転機構によって偏光フィルタ１０１６を回転しながら撮像を行った場合、その反射光強度は、図３４に示したように、周期πのsin関数となる。
【０１７２】
ここで、この反射光強度の最大値Ｉmaxと最小値Ｉminを計測する偏光フィルタの角度ψmax、ψminを考える。撮像装置１００１と光源１００７、観察点Ｏ１０１５を含む平面を入射面とし、被写体は鏡面反射成分が支配的であるとすると、ψmaxは偏光フィルタ１０１６の偏光方向が入射面に対して垂直な方向、また、ψminは偏光フィルタ１０１６の偏光方向が入射面に対して平行な方向になることが知られている。
【０１７３】
また、上述したように、光源が偏光光源の場合、反射光成分において、偏光特性を有するものは観察点Ｏの表面で反射した鏡面反射成分、非偏光の成分は拡散反射成分である。このことから、反射光強度の最大値Imaxと最小値Iminの強度差が生じる観察点Ｏは鏡面反射成分が強い観察点、すなわち、光が正反射している（観察点Ｏの法線方向１０１９が観察点Ｏからの光源方向と観察点Ｏからの撮像装置方向の二等分線方向である）ことがわかる。そのため、法線方向１０１９も入射面内に存在する。そのため、ψmaxまたはψminを推定することにより、法線方向１０１９は以下の平面内に存在すると推定することができる。
○撮像装置１００１を通り、偏光フィルタ１０１６の偏光方向ψmin（またはψmaxの垂直方向）を含む平面。
【０１７４】
ここで、ψmaxまたはψminは、前述のsin関数のフィッテング処理を行うことで推定する。
【０１７５】
また、撮像装置１００１の位置を変更させて、同様な処理を行うことによって、法線方向１０１９を含む、異なった２つの平面を推定することができる。推定した２つの平面の交線を求めることによって、法線方向１０１９を推定する。この際、撮像装置１００１の移動量を推定する必要があるが、これは、前述の８点法などを利用すればよい。
【０１７６】
もちろん、拡散反射・鏡面反射分離部２０２と同様に、画素ごとに偏光方向の異なる撮像装置を利用しても構わない。
【０１７７】
また、もちろん、撮像装置１００１の位置を変更させるのではなく、複数台の撮像装置を設置して法線方向１０１９を求めるようにしても構わない。
【０１７８】
以上のように、照度差ステレオ法と偏光特性を利用した方法では、表面の法線情報を取得する。一方、スリット光投影法やステレオ視などの手法では、被写体の３次元位置情報を取得する。被写体表面の法線情報とは、被写体の３次元位置情報の微小空間での傾き情報であり、どちらも被写体の形状情報である。
【０１７９】
以上の処理により、形状情報取得部２０４は被写体の形状情報である表面の法線情報または、被写体の３次元位置情報を取得する。
【０１８０】
以上の処理により、以下の情報を取得する。
○被写体の拡散反射画像
○被写体の鏡面反射画像
○被写体の３次元形状情報
○光源位置・照度
【０１８１】
影除去部２０５は、画像中の影領域を推定し、影除去処理を行う。このような、影除去および影領域推定処理はさまざまな方法が提案されているが、例えば、影領域は輝度値が低いことを利用し、輝度値が閾値以下の画素を影領域と推定すればよい。
【０１８２】
また、形状情報取得部２０４によって３次元形状情報が取得されている場合、Ｃｏｍｐｕｔｅｒ−Ｇｒａｐｈｉｃｓの分野で広く利用されているレンダリング手法である、レイトレーシングを利用してもかまわない。レンダリングは物体の座標データや光源や視点の位置などの環境に関するデータを計算して行うが、レイトレーシングは、視点に届く光線を逆にたどることによって描画する。このため、レイトレーシングを利用してどの場所にどの程度の影が生成されているかを計算することができる。
【０１８３】
次に、拡散反射・鏡面反射分離部２０２によって分離された拡散反射画像と鏡面反射画像を、それぞれ、別々の方法で高解像度化する。まず、拡散反射画像の処理について説明する。
【０１８４】
アルベド推定部２０６は、拡散反射・鏡面反射分離部２０２によって分離された拡散反射画像を利用し、被写体のアルベドを推定する。アルベドは光源情報に影響を受けないため、アルベド画像を利用して処理を行うことによって、光源変動にロバストな処理が実現できる。
【０１８５】
この処理を説明する。（式２５）より、拡散反射成分では、以下の関係が成り立つ。
【数６０】
2007139070.tif 000212
ただし、θiは被写体の法線方向ベクトルと光源方向ベクトルのなす角度を示す。ここで、光源情報取得部２０３および形状情報取得部２０４により、角度θiは既知である。また、後述するように、光源の入射照度ｔfも推定可能なため、被写体のアルベドｒpを（式３６）から求める。
【０１８６】
この際、cosθiが０以下の値を持つ場合、すなわち、attached shadowである場合、（式３６）はアルベドがマイナスになる、あるいは、０で除算を行うことになり、意味を持たない。しかし、上述の影除去部２０５によってこのような画素を除去しているため、問題は生じない。
【０１８７】
もちろん、被写体のアルベドを求めるのではなく、次式によりアルベドを鏡面反射画像の最大輝度値で正規化した擬似アルベドｒｐ’を求め、これを利用しても構わない。
【数６１】
2007139070.tif 000213
【０１８８】
ここで、ｉｓｆ＿ｍａｘは鏡面反射画像の最大輝度値を示している。このような擬似アルベドは、光源情報推定部２０３により、光源の放射輝度（照度）が取得できない場合に有効である。擬似アルベド画像を利用した場合、正規化に利用した鏡面反射画像の最大輝度値ｉｓｆ＿ｍａｘをメモリに保持しておく。図５１はアルベド推定部２０６が擬似アルベドを利用した場合、メモリに保持されるデータを示した図である。作成された擬似アルベド画像と、正規化に利用した鏡面反射画像の最大輝度値ｉｓｆ＿ｍａｘが保持されている。
【０１８９】
鏡面反射パラメータが被写体の広い領域で一様であり、被写体表面にさまざまな方向の法線が存在しているとすると、カメラに対して被写体を照らす位置に光源が存在している限り、正反射が生じる正反射画素が存在する。そのため、鏡面反射画像の最大輝度値ｉｓｆ＿ｍａｘはこの正反射画素の輝度値となる。
【０１９０】
反射特性が一様であり、視線方向１０２１がほぼ一様である場合、ある光源位置での正反射画素の輝度値と別の光源位置での正反射画素の輝度値の比は、各光源での光源の放射輝度比とほぼ等しくなる。そのため、拡散反射画像の輝度値ｉｄｆ（ｐ）をθｉにより除算しただけでは光源の放射輝度の影響が残ってしまうが、さらに正反射画素の輝度値である鏡面反射画像の最大輝度値ｉｓｆ＿ｍａｘで正規化を行った擬似アルベド画像を利用することにより、光源の放射輝度が取得できない場合においても光源に影響されない拡散成分画像を作成できる。
【０１９１】
また、鏡面反射画像の最大輝度値ｉｓｆ＿ｍａｘによって正規化を行うのではなく、拡散反射画像の最大輝度値や入力画像の最大輝度値を利用して正規化を行い、擬似アルベドを作成しても構わない。
【０１９２】
次に、こうして求めたアルベド画像の高解像度化について説明する。
【０１９３】
アルベド高解像度化部２０７は、アルベド推定部２０６が推定したアルベド画像を高解像度化する。この処理について詳述する。
【０１９４】
前述のように、アルベド画像は、光の鏡面反射や陰影など光学現象によらない被写体固有の反射率特性を表現した画像である。本実施形態における高解像度化は、被写体情報が不可欠なため、被写体の事前学習に基づく。ここではテキストン（画像のテクスチャ特徴量）に基づく高解像度化を用いる。
【０１９５】
図３５はテキストンに基づく高解像度化の概念を示す図である。実行時に入力された低解像度画像ＬＲ（画素数Ｎ×Ｎ）は、画素数を目標画素数に合致させるため、Ｍ×Ｍ倍に補間拡大される。この画素数ＭＮ×ＭＮ画像をｅｘＬＲ画像と称する。ｅｘＬＲ画像では画像の高周波成分が失われて、ぼけた画像になる。このぼけ画像を先鋭化することが高解像度化に他ならない。
【０１９６】
次に、多重解像度変換ＷＴによって、ｅｘＬＲ画像の輝度値を画素ごとに、多重解像度に基づくＴ次元テキストンに変換する。この変換にはウェーブレット変換やピラミッド構造分解などの処理が用いられる。この結果、ｅｘＬＲ画像の各画素ごとに、合計ＭＮ×ＭＮ本のＴ次元テキストンベクトルが生成される。次に、汎用性の向上のため、テクストンベクトルにクラスタリングが実施されて、Ｌ本の入力代表テキストンベクトルが選択生成される。これらＬ本のテキストンベクトルに対して、予め学習したデータベースの情報から変換が施されて、Ｔ次元の高解像度化テキストンベクトルが生成される。この変換には、テーブル読み出しや、Ｔ次元の多次元特徴ベクトル空間内における線形および非線形変換が用いられる。高解像度化テキストンベクトルは、逆ウェーブレット変換やピラミッド構造再構成などの逆変換ＩＷＴによって、画像輝度値に戻されて、高解像度画像ＨＲが完成する。
【０１９７】
この処理では、ＭＮ×ＭＮ本のＴ次元テクストンベクトルのクラスタリング処理における探索とテーブル読み出しの処理に多大な時間を要し、動画など高速化対応が困難であった。そこで、１）クラスタリング処理をＬＲ画像にて実施する。２）テーブル読み出しを線形マトリクス変換に変更する。という改良を加えた。この処理では、ＬＲ画像の１画素はＨＲ画像のＭ×Ｍ画素のセルに対応する事実を使って、Ｔ次元からＴ次元への線形マトリクス変換をセル毎に実施して、セル内部での空間的な連続性を維持することができる。また利用する線形マトリクスはクラスタリングの結果から最適に選択する。セル境界の不連続性が問題になる場合にはマトリクス処理単位のブロックを一部重ねるなどの処理を追加してもよい。
【０１９８】
図３６は上の改良点を模式的に描いた図である。ＬＲ画像をＷＴ変換して、Ｔ次元の特徴量空間の中のＬ（ここではＬ＝３）本の代表特徴ベクトルとしている。そして、各特徴ベクトルに異なる線形マトリクスが付随している。この状態を保存したものが高解像度化データベースに他ならない。
【０１９９】
以下、Ｎ＝３２、Ｍ＝４、すなわち３２×３２画素の低解像画像に４×４倍の高解像度化を施す例をとって、画像処理手法の詳細を述べる。アルベド画像は（ＲＧＢ）カラー画像とするが、カラー画像は（ＲＧＢ）から輝度色差（ＹＣｒＣＢ）に変換して独立した色成分画像として取り扱うものとする。通常、２×２倍率程度では、輝度Ｙ成分だけの高解像度でカラー成分は低解像度の色差信号のまま付加しても違和感はないが、４×４以上では、色信号も高解像度化が必須になるので各成分とも同様な取り扱いとする。以下、カラー画像の１つの成分画像のみの処理を説明することとする。
【０２００】
（学習時）
図３７は学習処理の流れを説明するＰＡＤ図であり、図３８は学習処理において処理される画像の処理対象画素と処理対象セルとの関係を説明する図である。以下、図３７および図３８を交互に用いて説明を行なう。
【０２０１】
まず、Ｓ３１１〜Ｓ３１３において、低解像度画像ＬＲ画像、高解像度画像ＨＲ画像、および低解像度画像の拡大画像ｅｘＬＲ画像を入力する。これら画像は、ＨＲから全て生成されており、撮像における画素ずれがない状態としておく。また、ＬＲ画像からｅｘＬＲ画像の生成にはバイキュービック補間を用いている。図３８において、高解像度画像ＨＲ(画素数１２８×１２８)と、低解像度ＬＲ画像（画素数３２×３２）とＬＲを画素数だけＨＲと合致させたｅｘＬＲ画像（画素数１２８×１２８）の３種類の画像を用意する。
【０２０２】
Ｓ３１４において、ＬＲ画像をテキストン化する。具体的にはＨａａｒ基底を用いた２次元離散定常ウェーブレット変換（Discrete stationary wavelet transform：ＳＷＴ変換）する。ＳＷＴ変換の階層は２階層(2-step)とすると、６次元のＬＲＷ画像（画素数３２×３２＝１０２４）が生成される。本来、２階層ステップの２次元離散定常ウェーブレット変換では７次元の特徴ベクトルとなるが、最低周波数のＬＬ成分画像は画像の平均輝度情報に近くなり、これを保存するため残りの６成分のみを利用する。
【０２０３】
Ｓ３１５において、テキストン化されたＬＲＷ画像の合計１０２４本の６次元ベクトルをＣmax個にまでクラスタリングする。ここではK-means法を用いて、例えばCmax=５１２本にクラスタリングする。この５１２本の結果のテキストンベクトルの集合をクラスタＣと称する。クラスタリングをせず１０２４本のテキストンを全て利用しても問題ない。
【０２０４】
Ｓ３１６において、クラスタＣの同一クラスタに判別されたＬＲ画素を判定する。具体的には、ＬＲ画像の画素値がクラスタＣの各テキストン番号に置き換えられる。
【０２０５】
Ｓ３１７において、クラスタＣの全テキストンに対して繰り返し処理をしながら、該当テキストンに対応するexＬＲの画素セルとＨＲ画像の画素セルを探索して、該当セル番号を格納する。この探索がＬＲ画像の画素数分だけで済むため、高倍率の場合に大きな探索時間の削減となる。
【０２０６】
ここでＬＲ画像の画素とｅｘＬＲ画像、ＨＲ画像の画素セルとの対応につき、図３８で説明する。図３８では、ＬＲ画像上で、２００１と２００２という２画素がＣの同一クラスタ（クラスタ番号：Ｃi＝０）に判別されたとする。すると、そのままの位置関係を保って拡大されたｅｘＬＲ画像上では２００３，２００４、ＨＲ画像上では２００５、２００６という画素セルが対応していると考えられ、これらの２箇所のセル位置の番号が、該当するテキストンを有するものとして格納される。画素セル内に含まれる画素数は拡大率４×４＝１６に等しい。
【０２０７】
次にＳ３１８において、これらの画素セル群についてｅｘＬＲ画像とＨＲ画像の対でテキストン化を行う。具体的には、２次元離散定常ウェーブレット変換（Discrete stationary wavelet transform）が実施されて、ｅｘＬＲＷ画像とＨＲＷ画像が生成される。
【０２０８】
Ｓ３１９とＳ３２０において、上記ＨＲＷ画像とｅｘＬＲＷ画像から得られたテキストンの対が行列の形として集積される。形式はいずれも、６×Ｄａｔａ＿ｎｕｍの行列となる。ここでＤａｔａ＿ｎｕｍは、（１セルの画素数）×（探索されたセルの数）となり、上のＣｉ＝０の例では、２個のセルが探索されたので１６×２＝３２となる。
【０２０９】
Ｓ３２１において、集積された両者に所属する合計２×４×４＝１２８個の特徴ベクトルから最小二乗法にて６×６マトリクスＭを算出し、それをＳ３２２において、クラスタ番号Ｋ＝０とともにデータベースＣＭａｔ（Ｋ）に格納蓄積する。Ｓ３２２における最小二乗法は、まずＳ３１９とＳ３２０において集積されたｅｘＬＲとＨＲのテキストンの行列を各々ＬｆとＨｆ（サイズ：６×Ｄａｔａ＿ｎｕｍ）とし、求めるマトリクスをＭ（６×６）とすると以下のように実行できる。
【数６２】
2007139070.tif 000214
【０２１０】
次に、クラスタ番号Ｋ＝１について同様処理を繰り返して、Ｋ＝５１１まで行う。すなわち、ＣＭａｔはクラスタ番号ごとに規定される６×６変換行列の群である。
【０２１１】
最後に、Ｓ３２３とＳ３２４において、使用したクラスタＣと学習された変換行列ＣＭａｔとを出力する。こうして求めたクラスタＣと学習された変換行列ＣＭａｔを、アルベドＤＢ２０８に蓄積する。
【０２１２】
図３９は２次元離散定常ウェーブレット変換（Discrete stationary wavelet transform）の処理を示す図である。通常のウェーブレット変換では、フィルタバンク構成は同一のまま分解の階層が進む毎に画像が縮小していくが、２次元離散定常ウェーブレット変換では、分解の階層が進んでも変換画像サイズは不変であり、スケーリング関数Ｆとウェーブレット関数Ｇの２種類のフィルタがアップサンプリング（↑）されて２のべき乗で長くなっていくことにより多重解像度解析を行う。Ｈａａｒ基底では、ＦとＧの具体的な数値とアップサンプリングの様子は表１のようになる。
【０２１３】
【表１】
2007139070.tif 000215
【０２１４】
ＬＬ成分であるｃＡ画像を１階層進めてウェーブレット分解する場合、ＦとＧのフィルタを交互に１次元的にコンボリューションすることにより、図３９のように４種類の画像が生成される。１）行方向にＦ・列方向にＦ：ｃＡ画像(ＬＬ成分)  ２）行方向にＦ・列方向にＧ：ｃＤｈ画像(ＬＨ成分)  ３）行方向にＧ・列方向にＦ：ｃＤｖ画像(ＨＬ成分)  ４）行方向にＧ・列方向にＧ：ｃＤｄ画像(ＨＨ成分)。
【０２１５】
図４０は２次元離散定常ウェーブレット変換をテスト画像に実施した場合の画像結果例である。テキストンベクトルとは、これらウェーブレットの１−ＳＴＥＰと２−ＳＴＥＰの変換画像の１画素ごとに対応する値を連ねたもので、
【数６３】
2007139070.tif 000216
の７次元ベクトルのことである。ただし２−ＳＴＥＰのＬＬ成分であるｃＡ２を除いて、６次元ベクトル部分のみを使って高解像度変換し、ｃＡ２成分は保存している。
【０２１６】
なお、ウェーブレット変換のステップ数をここではＳ３１４とＳ３１８のいずれも２−ＳＴＥＰとしている。このステップ数が大きくなるほど、画像の大まかな特徴までテキストンで表現することができる。本発明においてステップ数は可変であるが、ＬＲ画像のクラスタリングのためのＳ３１４の場合、１−ＳＴＥＰでは周辺の画素状況として十分な情報とならない場合があるため、２−ＳＴＥＰとしている。一方、ｅｘＬＲ画像を高解像度化するためのテキストンを生成するＳ３１８の場合、たとえば８×８の倍率においては２−ＳＴＥＰよりも３−ＳＴＥＰの方が良好な画像が得られることが、実験的に確認されている。このため、倍率との関係でステップ数を決定することが望ましい。
【０２１７】
（高解像度化処理の実行時）
図４１は実行時の処理の流れを示すＰＡＤ図であり、図４２は実行時の処理の画素セルとの関係を示す図である。
【０２１８】
まず、Ｓ３３１とＳ３３２において、ＬＲ画像とこれを拡大したｅｘＬＲ画像とを入力する。学習時と同様に、ＬＲ画像の画素数＝３２×３２、ｅｘＬＲ画像の画素数＝１２８×１２８とする。ここでｅｘＬＲ画像の生成方法は、図３７のＳ３１３において学習画像のｅｘＬＲ画像を生成した方法と同様にバイキュービック法による。
【０２１９】
次に、Ｓ３３３とＳ３３４において、学習時に得られたクラスタＣと変換行列ＣＭａｔをアルベドＤＢ２０８から読み出し、入力する。
【０２２０】
Ｓ３３５において、ＬＲ画像をテキストン化する。具体的には図４２で示すように、Ｈａａｒ基底を用いた２次元離散定常ウェーブレット変換（Discrete stationary wavelet transform：ＳＷＴ変換）を行う。ＳＷＴ変換の階層は２階層(2-step)とすると、６次元のＬＲＷ画像（画素数３２×３２＝１０２４）が生成される。本来は２階層ステップの２次元離散定常ウェーブレット変換では７次元の特徴ベクトルとなるが、最低周波数のＬＬ成分画像は画像の平均輝度情報に近くなり、これを保存するため残りの６成分のみを利用する。
【０２２１】
次にＳ３３６において、各テキストンにつき、クラスタＣ（Ｃmax個のテキストン）内の最短距離のテキストンベクトルを探索してテキストン番号（Ci）を得る。これは図４２において、ＬＲ画像の１ライン上の各画素２０１１，２０１２，…，２０１３について、各々Ｃ０，Ｃ１，…，Ｃｎというテキストン番号が付与されることに相当する。
【０２２２】
次にＳ３３７に進むが、これ以降はＨＲ画像の各セルを走査線順に処理していく繰り返し処理となる。具体的には、図４２において、ｅｘＬＲ画像のセル２０１４，２０１５，…，２０１６を処理していくと、対応するＨＲ画像のセル２０２３，２０２４，…，２０２５が順次高解像度化されていく。
【０２２３】
Ｓ３３７において、ｅｘＬＲ画像の該当セル領域がテキストン化される。具体的には、２次元離散定常ウェーブレット変換（Discrete stationary wavelet transform）が実施されて、ｅｘＬＲＷ画像が生成される。セル２０１７，２０１８，…，２０１９などが生成される。
【０２２４】
Ｓ３３８において、テキストン番号から変換行列ＣＭａｔを引いて該当セルにおける変換行列Ｍを確定する。この処理は図４２のように行われる。ＬＲＷ画像には、すでに画素２０１１＝Ｃ０、画素２０１２＝Ｃ１、…、画素２０１３＝Ｃｎとテキストン番号が振られている。これを位置関係を保存したｅｘＬＲＷ画像のセル２０１７、２０１８、…２０１９に適用して、各々のセルで、Ｃ０，Ｃ１，・・Ｃｎをテキストン番号としてＭａｔから別々の６×６変換行列Ｍを選択することができる。
【０２２５】
Ｓ３３９において、各セルに変換行列Ｍを作用させる。これはセル内のテキストンＬＴｉ（ｉ＝１〜１６）全部について、
【数６４】
2007139070.tif 000217
を実施すればよい。これらを繰り返して、ｅｘＬＲＷ画像のセル２０１７，２０１８，…，２０１９からＨＲＷ画像のセル２０２０，２０２１，…，２０２２が、それぞれ生成される。
【０２２６】
次に、これら高解像度化されたセル内の６次元テキストンに、ｅｘＬＲＷ画像の２−ＳＴＥＰのＬＬ成分を付加して７次元テキストンを生成する。
【０２２７】
Ｓ３４０において、この各セル内７次元のテキストンを逆ＳＷＴ変換することにより画像に変換する。以上をｅｘＬＲ画像の全セルについて繰り返す。
【０２２８】
逆ＳＷＴ（ＩＳＷＴ）変換は、図４３で示す信号フローで実現できる。図３９とほとんど同じ表現である。通常のウェーブレット逆変換ではフィルタバンクの構成は同一のまま、分解の階層が進む毎に画像が拡大していく。これに対して、本逆変換においては、分解の階層が進んでも変換画像サイズは不変であり、スケーリング関数Ｆとウェーブレット関数Ｇ１の２種類のフィルタがダウンサンプリング（↓）されて２のべき乗で短くなっていくことにより、多重解像度解析を行う。Ｈａａｒ基底では、ＦとＧ１の具体的な数値とダウンサンプリングの様子は表２のようになる。
【０２２９】
【表２】
2007139070.tif 000218
【０２３０】
以上のようにしてアルベド画像の１成分が高解像度化される。この処理を、アルベド画像全てに行うことにより、高解像度なアルベド画像を合成する。
【０２３１】
このとき、アルベド画像に含まれる被写体の大きさや姿勢、向きなどが変化しても処理が可能なように、画像の正規化を行うようにしてもかまわない。テキストンを利用した高解像度化処理は、学習データに対してアルベド画像の大きさや姿勢が異なっている場合、高解像度化の精度が十分に発揮されないことが考えられる。そこで、アルベド画像を複数組用意し、この問題を解決する。すなわち、アルベド画像を３０度ずつ回転させた画像を合成し、そのすべての画像で高解像度化を行い、姿勢や向きの変化に対応させる。この場合、前述の「高解像度化処理の実行時」のＰＡＤ図である図４１のステップＳ３３６において、最短距離のテキストンを探索する際、回転処理を行った各画像から求めた複数のＬＲ画像のテキストン、それぞれにおいて最短距離のテキストンを探索し、最も距離の近いものを探索してテキストン番号（Ci）を得るようにすればよい。
【０２３２】
また、大きさの変化に対応するために、画像の大きさを変更したアルベド画像を合成するようにしてもかまわない。
【０２３３】
また、実際の大きさを基準に、例えば、５ｃｍ×５ｃｍの画像が必ず８ｘ８画素になるように拡大縮小処理を行い、その画像に対してテキストンを作製するようにしてもかまわない。被写体の大きさは、形状情報取得部２０４により既知であるため、「学習時」および「高解像度化処理の実行時」ともに同じ大きさの画像でテキストンを作製することで、大きさの変動に対応するようにしてもかまわない。
【０２３４】
また、「高解像度化処理の実行時」のアルベド画像を回転させるのではなく、「学習時」のアルベド画像を回転させ、複数組のテキストンを作製し、クラスタＣと学習された変換行列ＣＭａｔをアルベドＤＢ２０８に蓄積するようにしても構わない。
【０２３５】
さらに、入力された被写体が何であるかを推定し、推定された被写体がどのように回転しているかを姿勢推定するようにしてもかまわない。このような処理は、広く使われている画像認識技術を利用すればよい。これは、例えば、被写体にＲＦＩＤのようなタグを設置しておき、そのタグ情報を認識することで被写体が何であるかを認識し、さらにタグ情報から被写体の形状情報を推定し、画像や被写体の形状情報から姿勢推定を行うようにすればよい（例えば、特開２００５−３４６３４８号公報参照）。
【０２３６】
拡散画像高解像度化部２０９は、アルベド高解像度化部２０７が合成した高解像度アルベド画像から高解像度な拡散画像を合成する。この処理を説明する。
【０２３７】
前述のように、アルベド画像は、拡散成分画像を光源ベクトルと被写体の法線方向ベクトルの内積で除算したものである。そのため、アルベド画像に、光源情報推定部２０３によって推定された光源方向ベクトルと、後述するパラメータ高解像度化部によって求めた被写体の高密度法線方向ベクトルとの内積を乗算することによって、高解像度の拡散画像を合成する。光源情報推定部２０３により、複数の光源が推定された場合、それぞれの光源に対して高解像度な拡散画像をおのおの合成し、その画像を足し合わせることで、一枚の高解像度拡散画像を合成する。
【０２３８】
また、アルベド画像ではなく擬似アルベド画像を利用している場合、擬似アルベド画像に、光源情報推定部２０３によって推定された光源方向ベクトルと、形状情報高密度化部２１１によって求められた被写体の高密度法線方向ベクトルとの内積を乗算し、さらに正規化を行うために利用した鏡面反射画像の最大輝度値ｉｓｆ＿ｍａｘを乗算することによって、高解像度拡散反射画像を合成する。正規化で利用した鏡面反射画像の最大輝度値ｉｓｆ＿ｍａｘは、アルベド推定部２０６によってメモリに蓄積されているため、この情報を読み出せばよい。もちろん、拡散反射画像の最大輝度値や入力画像の最大輝度値を利用して正規化を行っている場合、鏡面反射画像の最大輝度値ｉｓｆ＿ｍａｘを乗算するのではなく、正規化に利用した拡散反射画像の最大輝度値や入力画像の最大輝度値を乗算する。
【０２３９】
以上の処理により、高解像度化された拡散画像を合成することができる。ここで、高解像度化処理はアルベド画像を利用して行ったが、アルベド画像ではなく、拡散画像を直接、高解像度化するようにしても構わない。この場合、学習処理は拡散画像を用いて行えばよい。
【０２４０】
次に、鏡面反射画像の高解像度化処理について説明する。ここでは、画像をパラメータに分解し、パラメータごとに高密度化する。この処理を順に説明する。
【０２４１】
パラメータ推定部２１０は、形状情報取得部２０４によって取得された被写体の法線情報、拡散反射・鏡面反射分離部２０２によって分離された拡散反射画像と鏡面反射画像を利用して、その被写体を表現するパラメータを推定する。ここでは、Ｃｏｍｐｕｔｅｒ−Ｇｒａｐｈｉｃｓの分野で広く使われているＣｏｏｋ−Ｔｏｒｒａｎｃｅモデルを利用する方法を説明する。
【０２４２】
Ｃｏｏｋ−Ｔｏｒｒａｎｃｅモデルでは、鏡面反射画像を次式のようにモデル化する。
【数６５】
2007139070.tif 000219
【数６６】
2007139070.tif 000220
【数６７】
2007139070.tif 000221
【数６８】
2007139070.tif 000222
【数６９】
2007139070.tif 000223
【数７０】
2007139070.tif 000224
【数７１】
2007139070.tif 000225
【数７２】
2007139070.tif 000226
【数７３】
2007139070.tif 000227
【０２４３】
ここで、Ｅiは入射照度、ρs,λは波長λにおける鏡面反射成分の双方向反射率、nは被写体の法線方向ベクトル、Vは視線ベクトル、Ｌは光源方向ベクトル、Ｈは視線ベクトルと照明方向ベクトルの中間ベクトル、βは中間ベクトルＨと法線方向ベクトルnの角度を表す。また、Ｆλはフレネル方程式から求められる誘電体表面からの反射光の比であるフレネル係数、Ｄはマイクロファセット分布関数、Ｇは物体表面の凸凹による遮光の影響を表す幾何減衰率である。さらに、ｎλは被写体の屈折率、ｍは被写体表面の粗さを示す係数、Ｉjは入射光の放射輝度である。また、ｋsは鏡面反射成分の係数である。
【０２４４】
さらに、（式２５）のランバーシャンモデルを利用すると、（式１２）は以下のように展開される。
【数７４】
2007139070.tif 000228
【０２４５】
ただし、
【数７５】
2007139070.tif 000229
【数７６】
2007139070.tif 000230
ここで、ρｄは拡散反射成分の反射率（アルベド）、dpx、dpyは撮像装置の１画素のｘ方向、ｙ方向の長さ、ｒは撮像装置の観察点Ｏからの距離を示している。また、ｋdは以下の関係式を満たす係数である。
【数７７】
2007139070.tif 000231
Ｓrは拡散反射成分と鏡面反射成分の輝度値の違いを表現するための定数であり、拡散反射成分が被写体からすべての方向へエネルギーを反射することを示している。図４４はこの定数Ｓrを説明するための模式図である。図４４において、観察点Ｏで反射された拡散反射成分エネルギーは、半球状に広がっていく。ここで、撮像装置１００１が観察点Ｏからｒだけ離れているので、撮像装置の１撮像素子に届くエネルギーと、観察点Ｏで反射した総エネルギーの比Ｓrは、（式４８）で表される。
【０２４６】
以上のことから、パラメータ推定部２１０は、（式３７）〜（式４５）（式４６）（式４７）、（式４８）からパラメータを推定する。
【０２４７】
以上の関係式をまとめると、パラメータ推定を行なうための既知パラメータと、推定すべきパラメータは以下のようになる。
（既知パラメータ）
○環境光成分Ia
○拡散反射成分Id
○鏡面反射成分Is
○被写体の法線方向ベクトルn
○光源方向ベクトルL
○視線ベクトルV
○中間ベクトルＨ
○中間ベクトルＨと法線方向ベクトルnの角度β
○撮像装置１００１の１画素のｘ方向、ｙ方向の長さdpx, dpy
○撮像装置１００１と観察点Ｏとの距離r
（推定すべきパラメータ）
○入射照度Ei
○鏡面反射成分の係数ks
○被写体表面の粗さm
○被写体の屈折率ηλ
ここで、拡散反射成分の係数kd、および拡散反射成分の反射率（アルベド）ρdも未知パラメータであるが、鏡面反射成分のパラメータのみを推定するため、ここでは推定処理を行なわない。
【０２４８】
図４５はパラメータ推定部２１０の処理の流れを示す図である。処理は、以下の２段階からなる。
【０２４９】
まず、光源情報を使用して、入射照度Ｅiを求める（ステップＳ３５１）。ここでは、光源情報推定部２０３によって取得した光源の位置情報、形状情報取得部２０４で求めた撮像装置と被写体との距離情報、さらには光源情報取得部２０３で求めた光源照度を用いる。これは、次式から求まる。
【数７８】
2007139070.tif 000232
ここで、Ｉiは撮像装置１００１に設置された照度計１０１８によって測定された光源１００７の入射照度、Ｒ1は撮像装置１００１と光源１００７との距離、Ｒ2は光源１００７と観察点Ｏとの距離、θ1は観察点Ｏにおける法線１０１９と光源方向１０１０Ｃとのなす角度、θ2は撮像装置１００１における光軸方向１００５と光源方向１０１０Ａとのなす角度を示している（図４６参照）。ここで、被写体の大きさが、光源１００７と観察点Ｏとの距離Ｒ２に比べ十分に大きいと考えられる場合、距離Ｒ２は被写体上の全ての観察点Ｏで等しくなる。そのため、（式５０）において、（Ｒ１／Ｒ２）は定数となり、実際に計測する必要はなくなる。
【０２５０】
次に、シンプレックス法を利用して、未知パラメータｍ、ηλ、ｋsを推定する（ステップＳ３５２）。シンプレックス法は、シンプレックスと呼ぶ図形の頂点に変数を割り付け、シンプレックスの大きさと形を変えて関数の最適化を行なう方法である（大田登，“色再現光学の基礎”，pp.90-92，コロナ社）。シンプレックスは、ｎ次元空間の（ｎ＋１）個の点の集合である。ただし、ｎは推定する未知数の数であり、ここでは「３」である。そのため、シンプレックスは四面体である。シンプレックスの頂点をベクトルxiで表し、新しいベクトルを次のように定める。
【数７９】
2007139070.tif 000233
【数８０】
2007139070.tif 000234
【数８１】
2007139070.tif 000235
【数８２】
2007139070.tif 000236
ただし、
【数８３】
2007139070.tif 000237
【数８４】
2007139070.tif 000238
はそれぞれ関数ｆ(xi)を最大、最小にするxiを示している。
【０２５１】
さらに、この方法で用いる３種類の操作を以下のように定める。
１．鏡像：
【数８５】
2007139070.tif 000239
２．拡張：
【数８６】
2007139070.tif 000240
３．収縮：
【数８７】
2007139070.tif 000241
ここで、α（＞０）、β（＞１）、γ（１＞γ＞０）は係数である。
【０２５２】
シンプレックス法は、シンプレックスの頂点の中で関数値の最も大きなものを選ぶことで、その鏡像における関数値は小さくなるという期待に基づいている。この期待が正しければ、同じプロセスの繰り返しで関数の最小値が求められる。つまり、初期値で与えたパラメータを３種類の操作で更新しながら、評価関数が示すターゲットとの誤差が閾値未満になるまでパラメータの更新を繰り返す。ここでは、パラメータとしてm、ηλ、ks、評価関数として（式５６）で表される、（式３７）から算出される鏡面反射成分画像と拡散反射・鏡面反射分離部２０２で求められた鏡面反射成分画像との差ΔIｓを利用した。
【数８８】
2007139070.tif 000242
ただし、is(i,j)’, is(i,j)はそれぞれ、計算された鏡面反射画像の推定値Is’と拡散反射・鏡面反射分離部２０２で求められた鏡面反射成分画像Isの画素(i,j)の輝度値、Ｍs(i,j)は、画素(i,j)が鏡面反射成分を持つ場合に１、そうでない場合０をとる関数である。
【０２５３】
この処理について詳しく説明する。図４７はこの処理の流れを説明するためのフローチャートである。
【０２５４】
まず、繰り返し演算の更新回数を記憶するカウンターｎとｋに０を代入し、初期化する（ステップＳ３６１）。ここで、カウンターｎは初期値を何回変更したかを記憶するカウンターであり、ｋはある初期値に対してシンプレックスによる候補パラメータの更新を何回行ったかを記憶するカウンターである。
【０２５５】
次に、乱数を利用し、推定パラメータの候補パラメータm’、ηλ’、ks’の初期値を決定する（ステップＳ３６２）。このとき、各パラメータの物理的な拘束条件から、初期値の発生範囲は以下のように決定した。
【数８９】
2007139070.tif 000243
【０２５６】
次に、こうして求めた候補パラメータを（式３７）へ代入し、鏡面反射画像の推定値Is’を求める（ステップＳ３６３）。さらに、計算された鏡面反射画像の推定値Is’と拡散反射・鏡面反射分離部２０２で求められた鏡面反射成分画像との差ΔIｓを（式５６）より求め、これをシンプレックス法の評価関数とする（ステップＳ３６４）。こうして求めたΔIｓが十分小さい場合（ステップＳ３６５でＹｅｓ）、パラメータ推定は成功したとして、推定パラメータm、ηλ、ksとして候補パラメータm’、ηλ’、ks’を選択し、処理を終了する。一方、ΔIｓが大きい場合（ステップＳ３６５でＮｏ）、シンプレックス法により候補パラメータの更新を行う。
【０２５７】
候補パラメータの更新を行う前に、更新回数の評価を行う。まず、更新回数を記憶しているカウンターｋに１を足し（ステップＳ３６６）、カウンターｋの大きさを判断する（ステップＳ３６７）。カウンターｋが十分に大きい場合（ステップＳ３６７でＮｏ）、繰り返し演算は十分に行なわれているが、ローカルミニマムに落ちているため、このまま更新を繰り返しても最適値には達しないと判断し、初期値を変更して、ローカルミニマムからの脱却を図る。そのため、カウンターｎに１を足し、カウンターｋに０を入れる（ステップＳ３７１）。ここで、カウンターｎの値が閾値より高いかどうかを判定し、処理をこのまま続けるか、処理不能として処理を終了させるかを決定する（ステップＳ３７２）。ここで、nが閾値より大きい場合（ステップＳ３７２でＮｏ）、この画像は推定不能として処理を終了する。一方、ｎが閾値より小さい場合（ステップＳ３７２でＹｅｓ）、再度、初期値を（式５７）の範囲内で乱数から選択しなおし（ステップＳ３６２）、処理を繰り返す。このようなｋに対する閾値は、例えば、１００などを選択すればよい。
【０２５８】
一方、ステップＳ３６７において、カウンターｋが閾値以下の場合（ステップＳ３６７でＹｅｓ）、候補パラメータを（式５３）〜（式５５）を利用して変更する（ステップＳ３６８）。この処理については後述する。
【０２５９】
次に、こうして変形された候補パラメータが、解として意味のあるものであるかを判定する（ステップＳ３６９）。すなわち、シンプレックス法を繰り返すことで、変形されたパラメータが物理的に意味のない値（例えば、粗さパラメータｍが負の値など）におちいる可能性があるため、これを除去する。これは、例えば、以下のような条件を与え、この条件を満たす場合には意味のあるパラメータ、満たさない場合には意味のないパラメータと判定すればよい。
【数９０】
2007139070.tif 000244
これらの値は、被写体より求めることができる。例えば、屈折率ηλであれば、被写体の材質によって決定される値である。例えば、プラスチックであれば１．５〜１．７、ガラスであれば１．５〜１．９であることが知られているため、これらの値を利用すればよい。つまり、被写体がプラスチックである場合、屈折率ηλは１．５〜１．７とすればよい。
【０２６０】
変形したパラメータが（式５８）を満たす場合（ステップＳ３６９でＹｅｓ）、その候補パラメータは意味のある値であると考えられるため、新しい候補パラメータとして設定し（ステップＳ３７０）、更新処理を繰り返す（ステップＳ３６３）。一方、変形したパラメータが（式５８）を満たさない場合（ステップＳ３６９でＮｏ）、その初期値に対する更新処理を打ち切り、新しい初期値により更新を行う（ステップＳ３７１）。
【０２６１】
ここで、ステップＳ３６８の変形処理について詳述する。図４８はこの処理の流れを示したフローチャートである。ここでは、候補パラメータm’、ηλ’、ks’をベクトル表現し、これをパラメータxとする。すなわち、
【数９１】
2007139070.tif 000245
【０２６２】
まず、（式５１）（式５２）（式５３）を利用して、鏡像操作を行ったパラメータxrを計算し、（式５６）によってxrでの鏡面反射成分画像との差ΔIｓ(xr)を計算する（ステップＳ３８１）。次に、こうして求められたΔIｓ(xr)と、２番目に評価関数が悪かったΔIｓ(xs)を比較する（ステップＳ３８２）。ここでΔIｓ(xr)がΔIｓ(xs)より小さかった場合（ステップＳ３８２でＹｅｓ）、鏡像操作を行った評価値ΔIｓ(xr)と現在、最も評価値のよいΔIｓ(xl)を比較する（ステップＳ３８３）。ここで、ΔIｓ(xr)のほうが大きかった場合（ステップＳ３８３でＮｏ）、最も評価値の低かったxhをxrへ変更し（ステップＳ３８４）、処理を終了する。
【０２６３】
一方、ΔIｓ(xr)がΔIｓ(xl)より小さかった場合（ステップＳ３８３でＹｅｓ）、（式５４）を利用して拡張処理を行ない、パラメータxeと、xeでの鏡面反射成分画像との差ΔIｓ(xe)を計算する（ステップＳ３８５）。次に、こうして求められたΔIｓ(xe)と、鏡像操作によるΔIｓ(xr)を比較する（ステップＳ３８６）。ここでΔIｓ(xe)がΔIｓ(xr)より小さかった場合（ステップＳ３８６でＹｅｓ）、最も評価値の悪かったxhをxeへ変更し（ステップＳ３８７）、処理を終了する。
【０２６４】
一方、ΔIｓ(xe)がΔIｓ(xr)より大きかった場合（ステップＳ３８６でＮｏ）、最も評価値の悪かったxhをxrへ変更し（ステップＳ３８７）、処理を終了する。
【０２６５】
また、ステップＳ３８２において、ΔIｓ(xr)がΔIｓ(xs)より大きかった場合（ステップＳ３８２でＮｏ）、鏡像操作を行った評価値ΔIｓ(xr)と現在、最も評価値の悪いΔIｓ(xh)を比較する（ステップＳ３８８）。ここでΔIｓ(xr)がΔIｓ(xh)より小さかった場合（ステップＳ３８８でＹｅｓ）、最も評価値の悪かったxhをxrへ変更し（ステップＳ３８９）、（式５５）を利用して、収縮操作を行ったパラメータxcと、xcでの鏡面反射成分画像との差ΔIｓ(xc)を計算する（ステップＳ３９０）。一方、ΔIｓ(xr)がΔIｓ(xh)より大きかった場合（ステップＳ３８８でＮｏ）、xhを変更することなく、収縮操作を行ったパラメータxcと、xcでの鏡面反射成分画像との差ΔIｓ(xc)を計算する（ステップＳ３９０）。
【０２６６】
次に、こうして求められたΔIｓ(xc)と、最も評価値の悪いΔIｓ(xh)を比較する（ステップＳ３９１）。ここでΔIｓ(xc)がΔIｓ(xh)より小さかった場合（ステップＳ３９１でＹｅｓ）、最も評価値の悪かったxhをxcへ変更し（ステップＳ３９２）、処理を終了する。
【０２６７】
一方、ΔIｓ(xc)がΔIｓ(xh)より大きかった場合（ステップＳ３９１でＮｏ）、すべての候補パラメータxi(i=1,2,3,4)を以下の式により変更し、処理を終了する。
【数９２】
2007139070.tif 000246
【０２６８】
以上の処理を繰り返すことにより、鏡面反射画像における未知パラメータであるm、ηλ、ksを推定する。
【０２６９】
以上の処理により、すべての未知パラメータを推定することができる。
【０２７０】
なお、パラメータ推定に用いるモデルは、Ｃｏｏｋ−Ｔｏｒｒａｎｃｅモデルである必要はなく、例えば、Ｔｏｒｒａｎｃｅ−ＳｐａｒｒｏｗモデルやＰｈｏｎｇモデル、簡易Torrance-Sparrowモデル（例えば、「K. Ikeuchi and K. Sato, “Determining reflectance properties of an object using range and brightness images”, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.13, no.11, pp.1139-1153, 1991」）であっても構わない。
【０２７１】
また、パラメータ推定方法は、シンプレックス法である必要はなく、例えば、勾配法や最小自乗法などのような一般的なパラメータ推定手法を利用しても構わない。
【０２７２】
また、以上の処理は、画素毎に行ってもかまわないし、領域分割を行い、領域ごとに等しいパラメータ組を推定するようにしてもかまわない。画素毎に処理を行う場合、光源や撮像装置、または被写体を動かすことにより、被写体の法線方向ベクトルnや光源方向ベクトルL、または視線ベクトルVといった既知パラメータが変動したサンプルを取得するようにすることが望ましい。また、処理を領域ごとに行う場合、領域ごとに求まったパラメータのばらつきが小さくなるように領域分割を変更することで、最適なパラメータ推定を行うようにすることが望ましい。
【０２７３】
法線情報高密化部２１１は、形状情報取得部２０４で取得した表面の法線情報を高密度化する。これは、以下のように実現される。
【０２７４】
まず、形状情報取得部２０４によって取得した表面の法線情報を、画像撮像部２０１によって取得された画像へ投影し、画像内の各画素に対応する法線方向を求める。このような処理は、従来のカメラキャリブレーション処理（例えば、「運天 弘樹, 池内 克史, “実物体の仮想化のための3次元幾何モデルのテクスチャリング手法”, CVIM-149-34, pp.301-316, 2005」）を行うことで実現できる。
【０２７５】
この際、法線ベクトルｎｐは極座標で表現し、その値をθｐ、φｐとする（図４９参照）。以上の処理により、法線成分であるθ、φの画像を作製する。こうして求めたθ画像とφ画像を、上述のアルベド高解像度化部２０７と同様の手法によって高解像度化することによって、高密度の法線情報を推定する。この際、高密度度化処理を行う前に学習処理を行い、法線のθ、φ成分に対するクラスタＣと学習された変換行列ＣＭａｔを法線ＤＢ２１２に蓄積する。
【０２７６】
また、以上の処理は、影除去部２０５において、影として除去されなかった領域のみに対して行うことが望ましい。これは、影の存在により、パラメータ推定処理に誤差が生じてしまうことを防止するためである。
【０２７７】
また、パラメータ推定部２１０において、撮像装置近傍に設置された制御可能な光源を利用してもかまわない。この光源は、デジタルカメラのフラッシュであってもよい。この場合、フラッシュを照射して撮像したフラッシュ画像と、フラッシュを照射しないで撮像した非フラッシュ画像を時間的に連続的に撮像し、その差分画像を利用してパラメータ推定を行なえばよい。撮像装置と光源であるフラッシュの位置関係は既知であり、また、フラッシュの光源情報である３次元位置や色、強度も事前に測定しておくことが可能である。また、撮像装置とフラッシュは非常に近い場所に設置されているため、影が少ない画像を撮像することができる。そのため、画像内のほとんどの画素において、パラメータを推定することができる。
【０２７８】
さらに、パラメータ高密度化部２１３は、パラメータ推定部２１０によって求めたパラメータを高密度化する。ここでは、単純な線形補間を行い、すべてのパラメータを高密度化する。もちろん、上述のアルベド高解像度化部２０７のような学習を利用した高密度化手法を利用してもかまわない。
【０２７９】
また、パラメータごとに高密化方法を切り替えるようにしても構わない。例えば、推定パラメータである被写体の屈折率ηλは、高密度化しても値が変化しないと考えられる。そのため、被写体の屈折率ηλは単純補間により高密度化を行い、拡散反射成分の係数kd、鏡面反射成分の係数ks、さらには拡散反射成分の反射率（アルベド）ρdに関しては学習を利用した高密度化処理を行うようにしてもかまわない。
【０２８０】
鏡面反射画像高解像度化部２１４は、法線情報高密度化部２１１によって推定された高密度法線情報と、パラメータ高解像度化部２１４によって高密度化されたパラメータを利用し、高解像度な鏡面反射画像を合成する。高解像度な鏡面反射画像は、（式３７）〜（式４５）に高密度化したパラメータを代入することによって、合成する。
【０２８１】
ここで、実際の鏡面反射画像よりも輝度値が高くなるように、例えば入射照度Ｅiのみ推定された値に係数ｌ（例えば、ｌ＝２）を乗算するようにしてもかまわない。これは、鏡面反射画像の輝度値を上げることによって、被写体の質感を上げるためである。同じように、被写体表面の粗さｍを推定値よりも大きな値として、実際よりもてかりが強い鏡面反射画像を合成してもかまわない。
【０２８２】
影生成部２１５は、拡散反射画像高解像度化部２０９と鏡面反射画像高解像度化部２１４によって生成された高解像度拡散反射画像と高解像度化鏡面反射画像に重畳する、影画像を合成する。これは、影除去部２０５において利用したレイトレーシングを利用すればよい。
【０２８３】
ここで、画像高解像度化部２１７は、撮影対象となっている被写体の３次元形状に関する知識を有するものとする。影生成部２１５は、被写体の３次元形状データを取得し、撮影画像における被写体の見え(appearance)から、被写体の３次元姿勢及び３次元位置を推定する。被写体が人間の目の角膜である場合の、見えから３次元位置及び３次元姿勢を推定する例が、「K.Nishino and S.K.Nayar, "The World in an Eye", in Proc. of Computer Vision and Pattern Recognition CVPR '04, vol.I, pp444-451, Jul., 2004.」に開示されている。見えから３次元位置及び３次元姿勢を推定できる被写体は限られるが、そのような被写体であれば、上記文献の手法を適用することが可能である。
【０２８４】
被写体の３次元姿勢及び３次元位置が推定されれば、被写体上の任意の位置において、被写体表面の法線情報が算出できる。以上の処理を、撮影画像において繰り返し、被写体表面の法線情報を算出する。さらに、法線情報高密度化部２１１で推定された高密度法線情報を利用して被写体の法線情報を高密度化することによって、被写体の３次元形状を高密化することが可能である。こうして求めた高密度３次元形状と、パラメータ高解像度化部２１３によって高密度化されたパラメータを利用してレイトレーシングを行うことにより、高解像度な影画像の推定を行なう。
【０２８５】
レンダリング部２１６は、拡散反射画像高解像度化部２０９が合成した高解像度拡散反射画像、鏡面反射画像高解像度化部２１４が合成した高解像度鏡面反射画像、さらには、影生成部２１５が合成した影画像を合成し、高解像度の出力画像を合成する。
【０２８６】
以上のように、上述した光源推定方法を利用して、高解像度なデジタルズーム処理を行う。すなわち、画像の高解像度化において、光源情報は、影除去部２０５、アルベド推定部２０６、拡散反射画像高解像度化部２０９、パラメータ推定部２１０、鏡面反射画像高解像度化部２１４、影生成部２１５に必要な情報であり、非常に重要である。このため、光源情報を正確に取得することができる本発明の光源推定方法は、画像の高解像度化において非常に重要な処理である。
【０２８７】
また、上記説明では、鏡面反射画像のみパラメータ推定を利用して高解像度化を行ったが、拡散反射画像においてもパラメータ推定を行ない、高解像度化するようにしてもかまわない。
【０２８８】
この処理を説明する。拡散反射画像の未知パラメータは、上述のとおり、以下の２つである。
○拡散反射成分の係数kd
○拡散反射成分の反射率（アルベド）ρd
そこで、これらのパラメータを推定する。図５０は拡散反射画像のパラメータ推定処理の流れを示した図である。処理は、図４５で示した鏡面反射画像のパラメータ推定部２１０の処理後、さらに以下の２段階の処理を行なう。
【０２８９】
まず、（式４９）と鏡面反射画像のパラメータ推定で求まったksを利用して、次式よりkdを推定する（ステップＳ３５３）。
【数９３】
2007139070.tif 000247
【０２９０】
さらに、（式４７）を利用して、拡散反射画像の反射率（アルベド）ρｄを次式より推定する（ステップＳ３５４）。
【数９４】
2007139070.tif 000248
【０２９１】
以上の処理により、すべての未知パラメータを推定することができる。こうして求まったパラメータをパラメータ高密度化部２１３と同様の手法により高密化することによって、拡散反射画像を高解像度化すればよい。
【０２９２】
なお、本発明の光源推定方法は、画像処理だけではなく、例えば画像の撮像に関しても有効である。例えば、偏光フィルタを利用する場合に、これを最適な角度で設置することができる。この処理を説明する。
【０２９３】
水面やウインドガラスなどの鏡面反射光を除去するために、ＰＬフィルタと呼ばれる偏光フィルタが利用されている。しかし、偏光フィルタによる効果は、偏光フィルタの偏光軸と入射面（被写体への入射光線と反射光線を含む平面）により大きく異なる。そのため、図２８のように、回転機構により偏光フィルタ１０１６Ａを回転させながら撮像する場合、その回転角により、撮像される画像が大きく異なる。例えば、最も効果が大きくなる場合は、偏光軸が入射面と平行になる場合である。本発明における光源推定方法を利用することによって、光源の位置が既知となるため、被写体の入射面を特定することができる。そのため、推定された入射面に対して偏光フィルタが平行になるように、回転機構を制御するようにすればよい。
【０２９４】
以上のように、本発明の光源推定方法を利用することによって、高解像度なデジタルズーム処理などの画像処理や効果的な画像撮像を行うことができる。
【産業上の利用可能性】
【０２９５】
本発明によると、付加的な撮像装置を搭載することなく、光源画像を取得し、光源情報を推定することが可能になる。このため、例えば、カメラ付き携帯電話やデジタルカメラ、デジタルビデオカメラにおいて、画像の高解像度化などの画像処理を行うのに有用である。
【図面の簡単な説明】
【０２９６】
【図１】本発明の第１の実施形態に係る光源推定装置の構成を示すブロック図である。
【図２】本発明の光源推定装置が搭載された携帯電話の構成を示す模式図である。
【図３】カメラ付き携帯電話が折り畳まれた状態を示す図である。
【図４】撮像装置状況判断部および光源画像取得部の処理の流れを示したフローチャートである。
【図４Ａ】撮像装置状況判断部および光源画像取得部の処理の流れを示したフローチャートである。
【図５】メモリに保持された情報の一部を示した模式図である。
【図６】ロール・ピッチ・ヨー角表現を説明するための模式図である。
【図７】光源画素の抽出処理を説明するための模式図である。
【図８】カメラ座標系と画像座標系との関係を説明するための模式図である。
【図９】撮像装置が移動することを利用して、光源の３次元位置を推定する処理を説明するための模式図である。
【図１０】錘とタッチセンサを利用して光軸方向を検出する方法を説明するための模式図である。
【図１１】錘とタッチセンサが搭載されたカメラ付き折り畳み式携帯電話を示す模式図である。
【図１２】図１１のカメラ付き折り畳み式携帯電話が置かれた状態を示す模式図である。
【図１３】光軸方向とタッチセンサのＯＮ／ＯＦＦとの関係を示す図である。
【図１４】錘とタッチセンサが搭載されたデジタルスチルカメラが置かれた状態を示す模式図である。
【図１５】本発明の第２の実施形態に係る光源推定装置の構成を示すブロック図である。
【図１６】パノラマ光源画像の合成方法を説明するための模式図である。
【図１７】複数枚の光源画像を合成することにより、みかけの視野範囲を広げる処理を示す模式図である。
【図１８】投影面として直方体を利用した場合のパノラマ光源画像の合成方法を説明するための模式図である。
【図１９】本発明の第３の実施形態に係る光源推定装置の構成を示すブロック図である。
【図２０】本発明の第３の実施形態に係る光源推定装置が実装されたカメラ付き折り畳み式携帯電話の外観図である。
【図２１】開閉スイッチを押されたときの、図２０のカメラ付き折畳式携帯電話の動きを示す模式図である。
【図２２】本発明の第３の実施形態に係る光源推定装置の他の構成を示すブロック図である。
【図２３】バイブレーション機構による振動角を説明するための模式図である。
【図２４】本発明の第３の実施形態に係る光源推定装置の他の構成を示すブロック図である。
【図２５】本発明の第４の実施形態に係る光源推定システムの構成を示すブロック図である。
【図２６】画像を拡散反射画像と鏡面反射画像とに分離した例を示す図である。
【図２７】本発明の一実施形態に係る画像高解像度化装置の構成を示すブロック図である。
【図２８】本発明の一実施形態に係る画像高解像度化装置が搭載されたカメラ付き携帯電話を示す図である。
【図２９】直線偏光光を照射した際、偏光フィルタを回転させたときの反射光強度の変化を示すグラフである。
【図３０】偏光フィルタを利用した、鏡面反射画像と拡散反射画像との分離処理の流れを示すフローチャートである。
【図３１】画素ごとに偏光方向が異なる撮像装置を説明するための模式図である。
【図３２】照度差ステレオ法を利用して、被写体の距離や３次元位置を求める処理を説明するための模式図である。
【図３３】反射光の偏光特性を利用した形状情報の取得処理を説明するための模式図である。
【図３４】自然光を照射した際、偏光フィルタを回転させたときの反射光強度の変化を示すグラフである。
【図３５】テキストンに基づく高解像度化処理の概念を示す模式図である。
【図３６】線形マトリクス変換を利用したテキストンに基づく高解像度化処理を説明するための概念図である。
【図３７】テキストンに基づく高解像度化処理における学習処理の流れを示すＰＡＤ図である。
【図３８】テキストンに基づく高解像度化処理における学習処理を説明するための模式図である。
【図３９】２次元離散定常ウェーブレット変換の処理を示す図である。
【図４０】２次元離散定常ウェーブレット変換をテスト画像に実施した場合の画像結果例である。
【図４１】テキストンに基づく高解像度化処理における実行時の処理の流れを示すＰＡＤ図である。
【図４２】テキストンに基づく高解像度化処理における実行時の処理を説明するための模式図である。
【図４３】２次元離散定常逆ウェーブレット変換の処理を示す図である。
【図４４】拡散反射成分と鏡面反射成分の輝度値の違いを表現するための定数Ｓrを説明するための模式図である。
【図４５】本発明の一実施形態に係る画像高解像度化処理における鏡面反射画像のパラメータ推定処理の流れを示す図である。
【図４６】入射照度を表す式の各パラメータを説明するための概念図である。
【図４７】シンプレックス法によるパラメータ推定処理の流れを示すフローチャートである。
【図４８】シンプレックス法におけるパラメータ更新処理の流れを示したフローチャートである。
【図４９】極座標表現を説明するための模式図。
【図５０】本発明の一実施形態に係る画像高解像度化処理における拡散反射画像のパラメータ推定処理の流れを示す図である。
【図５１】擬似アルベドを利用した場合にメモリに保持されるデータを示す図である。
【符号の説明】
【０２９７】
１０１  撮像装置状況判断部
１０２  光源画像取得部
１０３  第１の撮像装置情報取得部
１０４  第２の撮像装置情報取得部
１０５  光源情報推定部
１０６  光源画像合成部
２０１  画像撮像部
２０３  光源情報推定部
２０４  形状情報取得部
２１７  画像高解像度化部
１００１  撮像装置
１０２６  バイブレーション機構（光軸方向変動手段）
１０３１  開閉機構（光軸方向変動手段）
１１００  通信端末
１１０１  サーバ
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2007139070.tif 000249
【図２】
2007139070.tif 000250
【図３】
2007139070.tif 000251
【図４】
2007139070.tif 000252
【図４Ａ】
2007139070.tif 000253
【図５】
2007139070.tif 000254
【図６】
2007139070.tif 000255
【図７】
2007139070.tif 000256
【図８】
2007139070.tif 000257
【図９】
2007139070.tif 000258
【図１０】
2007139070.tif 000259
【図１１】
2007139070.tif 000260
【図１２】
2007139070.tif 000261
【図１３】
2007139070.tif 000262
【図１４】
2007139070.tif 000263
【図１５】
2007139070.tif 000264
【図１６】
2007139070.tif 000265
【図１７】
2007139070.tif 000266
【図１８】
2007139070.tif 000267
【図１９】
2007139070.tif 000268
【図２０】
2007139070.tif 000269
【図２１】
2007139070.tif 000270
【図２２】
2007139070.tif 000271
【図２３】
2007139070.tif 000272
【図２４】
2007139070.tif 000273
【図２５】
2007139070.tif 000274
【図２６】
2007139070.tif 000275
【図２７】
2007139070.tif 000276
【図２８】
2007139070.tif 000277
【図２９】
2007139070.tif 000278
【図３０】
2007139070.tif 000279
【図３１】
2007139070.tif 000280
【図３２】
2007139070.tif 000281
【図３３】
2007139070.tif 000282
【図３４】
2007139070.tif 000283
【図３５】
2007139070.tif 000284
【図３６】
2007139070.tif 000285
【図３７】
2007139070.tif 000286
【図３８】
2007139070.tif 000287
【図３９】
2007139070.tif 000288
【図４０】
2007139070.tif 000289
【図４１】
2007139070.tif 000290
【図４２】
2007139070.tif 000291
【図４３】
2007139070.tif 000292
【図４４】
2007139070.tif 000293
【図４５】
2007139070.tif 000294
【図４６】
2007139070.tif 000295
【図４７】
2007139070.tif 000296
【図４８】
2007139070.tif 000297
【図４９】
2007139070.tif 000298
【図５０】
2007139070.tif 000299
【図５１】
2007139070.tif 000300
【国際調査報告】
2007139070.tif 000301
2007139070.tif 000302
2007139070.tif 000303
2007139070.tif 000304