(57)【要約】アルベド推定部（２０６）は、光源情報推定部（２０３）によって推定された光源情報、および形状情報取得部（２０４）によって得られた被写体の形状情報を用いて、画像撮像部（２０１）によって撮像された原画像から、被写体のアルベド画像を作成する。アルベド高解像度化部（２０７）は、アルベドＤＢ（２０８）から取得した変換規則に従ってアルベド画像を高解像度化する。画像高解像度化部（２１７）は、高解像度化されたアルベド画像と、光源情報および形状情報を用いて、原画像を高解像度化した高解像度画像を作成する。
2007139067.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置によって被写体の撮像を行う画像撮像部と、
前記被写体に照射する光源の、照度と、方向および位置のうち少なくともいずれか一方とを含む光源情報を推定する光源情報推定部と、
前記被写体の、表面の法線情報または３次元位置情報を、形状情報として取得する形状情報取得部と、
前記光源情報および形状情報を用いて、前記画像撮像部によって撮像された原画像から、前記被写体のアルベド画像を作成するアルベド推定部と、
低解像度アルベド画像を高解像度アルベド画像に変換する変換規則を蓄積しているアルベドデータベースと、
前記アルベドデータベースから変換規則を取得し、この変換規則に従って、前記アルベド推定部によって作成されたアルベド画像を高解像度化するアルベド高解像度化部と、
前記アルベド高解像度化部によって得られた高解像度アルベド画像と、前記光源情報および形状情報を用いて、前記原画像を高解像度化した高解像度画像を作成する画像高解像度化部とを備えた
ことを特徴とする画像高解像度化装置。
【請求項２】
請求項１記載の画像高解像度化装置において、
前記原画像を、拡散反射画像と鏡面反射画像とに分離する拡散反射・鏡面反射分離部を備え、
前記アルベド推定部は、前記原画像に代えて、前記拡散反射・鏡面反射分離部によって分離された拡散反射画像から、アルベド画像を作成する
ことを特徴とする画像高解像度化装置。
【請求項３】
請求項１記載の画像高解像度化装置において、
前記原画像を、拡散反射画像と鏡面反射画像とに分離する拡散反射・鏡面反射分離部を備え、
前記画像撮像部は、前記被写体の偏光状態を取得するものであり、
前記拡散反射・鏡面反射分離部は、前記画像撮像部によって取得された偏光状態を用いて、前記分離を行う
ことを特徴とする画像高解像度化装置。
【請求項４】
請求項１記載の画像高解像度化装置において、
前記アルベドデータベースが蓄積している変換規則は、前記原画像と解像度が同一のアルベド画像と前記原画像よりも解像度が高いアルベド画像とを用いた学習処理によって、求められたものである
ことを特徴とする画像高解像度化装置。
【請求項５】
請求項１記載の画像高解像度化装置において、
前記アルベド推定部によって作成されたアルベド画像について、前記アルベドデータベースに蓄積された変換規則に従った高解像度化の信頼性を評価する画像高解像度化判断部を備え、
前記アルベド高解像度化部は、前記画像高解像度化判断部によって信頼性が低いと評価されたとき、前記アルベドデータベースに蓄積された変換規則を用いないで、前記アルベド画像の高解像度化を行う
ことを特徴とする画像高解像度化装置。
【請求項６】
撮像装置によって被写体の撮像を行う画像撮像部と、
前記被写体に照射する光源の、方向および位置のうち少なくともいずれか一方を含む光源情報を推定する光源情報推定部と、
前記被写体の、表面の法線情報または３次元位置情報を、形状情報として取得する形状情報取得部と、
前記光源情報および形状情報を用いて、前記画像撮像部によって撮像された原画像から、前記被写体の擬似アルベド画像を作成するアルベド推定部と、
低解像度擬似アルベド画像を高解像度擬似アルベド画像に変換する変換規則を蓄積しているアルベドデータベースと、
前記アルベドデータベースから変換規則を取得し、この変換規則に従って、前記アルベド推定部によって作成された擬似アルベド画像を高解像度化するアルベド高解像度化部と、
前記アルベド高解像度化部によって得られた高解像度擬似アルベド画像と、前記光源情報および形状情報を用いて、前記原画像を高解像度化した高解像度画像を作成する画像高解像度化部とを備えた
ことを特徴とする画像高解像度化装置。
【請求項７】
請求項６記載の画像高解像度化装置において、
前記原画像を、拡散反射画像と鏡面反射画像とに分離する拡散反射・鏡面反射分離部を備え、
前記アルベド推定部は、前記原画像に代えて、前記拡散反射・鏡面反射分離部によって分離された拡散反射画像から、擬似アルベド画像を作成する
ことを特徴とする画像高解像度化装置。
【請求項８】
請求項６記載の画像高解像度化装置において、
前記原画像を、拡散反射画像と鏡面反射画像とに分離する拡散反射・鏡面反射分離部を備え、
前記画像撮像部は、前記被写体の偏光状態を取得するものであり、
前記拡散反射・鏡面反射分離部は、前記画像撮像部によって取得された偏光状態を用いて、前記分離を行う
ことを特徴とする画像高解像度化装置。
【請求項９】
請求項６記載の画像高解像度化装置において、
前記アルベドデータベースが蓄積している変換規則は、前記原画像と解像度が同一の擬似アルベド画像と前記原画像よりも解像度が高い擬似アルベド画像とを用いた学習処理によって、求められたものである
ことを特徴とする画像高解像度化装置。
【請求項１０】
請求項６記載の画像高解像度化装置において、
前記アルベド推定部によって作成された擬似アルベド画像について、前記アルベドデータベースに蓄積された変換規則に従った高解像度化の信頼性を評価する画像高解像度化判断部を備え、
前記アルベド高解像度化部は、前記画像高解像度化判断部によって信頼性が低いと評価されたとき、前記アルベドデータベースに蓄積された変換規則を用いないで、前記擬似アルベド画像の高解像度化を行う
ことを特徴とする画像高解像度化装置。
【請求項１１】
請求項１または６記載の画像高解像度化装置において、
前記原画像を、拡散反射画像と鏡面反射画像とに分離する拡散反射・鏡面反射分離部を備え、
前記画像高解像度化部は、
前記拡散反射・鏡面反射分離部によって分離された鏡面反射画像を高解像度化し、
前記高解像度化された鏡面反射画像を用いて、前記高解像画像の作成を行う
ことを特徴とする画像高解像度化装置。
【請求項１２】
請求項１１記載の画像高解像度化装置において、
前記画像高解像化部は、
前記鏡面反射画像の高解像度化を、前記形状情報の高密化処理を利用して、行う
ことを特徴とする画像高解像度化装置。
【請求項１３】
被写体を撮像した原画像を取得する第１のステップと、
前記被写体に照射する光源の、照度と、方向および位置のうち少なくともいずれか一方とを含む光源情報を推定する第２のステップと、
前記被写体の、表面の法線情報または３次元位置情報を、形状情報として取得する第３のステップと、
前記光源情報および形状情報を用いて、前記原画像から、前記被写体のアルベド画像を作成する第４のステップと、
低解像度アルベド画像を高解像度アルベド画像に変換する変換規則を蓄積しているアルベドデータベースから変換規則を取得し、この変換規則に従って、前記アルベド画像を高解像度化する第５のステップと、
前記第５のステップにおいて得られた高解像度アルベド画像と、前記光源情報および形状情報を用いて、前記原画像を高解像度化した高解像度画像を作成する第６のステップとを備えた
ことを特徴とする画像高解像度化方法。
【請求項１４】
コンピュータに、
被写体を撮像した原画像から、前記被写体に照射する光源の、照度と、方向および位置のうち少なくともいずれか一方とを含む光源情報、および、前記被写体の、表面の法線情報または３次元位置情報である形状情報を用いて、前記被写体のアルベド画像を作成する第１のステップと、
低解像度アルベド画像を高解像度アルベド画像に変換する変換規則を蓄積しているアルベドデータベースから変換規則を取得し、この変換規則に従って、前記アルベド画像を高解像度化する第２のステップと、
前記第２のステップにおいて得られた高解像度アルベド画像と、前記光源情報および形状情報を用いて、前記原画像を高解像度化した高解像度画像を作成する第３のステップと
を実行させるための画像高解像度化プログラム。
【請求項１５】
通信端末とサーバとを有し、画像を高解像度化する画像高解像度化システムであって、
前記通信端末は、
撮像装置によって被写体の撮像を行う画像撮像部と、
前記被写体に照射する光源の、照度と、方向および位置のうち少なくともいずれか一方とを含む光源情報を推定する光源情報推定部と、
前記被写体の、表面の法線情報または３次元位置情報を、形状情報として取得する形状情報取得部とを有し、
前記画像撮像部によって撮像された原画像、前記光源情報推定部によって推定された光源情報、および、前記形状情報取得部によって取得された形状情報を送信するものであり、
前記サーバは、
前記通信端末から送信された前記原画像、光源情報および前記形状情報を受信し、かつ、
前記光源情報および形状情報を用いて、前記原画像から、前記被写体のアルベド画像を作成するアルベド推定部と、
低解像度アルベド画像を高解像度アルベド画像に変換する変換規則を蓄積しているアルベドデータベースと、
前記アルベドデータベースから変換規則を取得し、この変換規則に従って、前記アルベド推定部によって作成されたアルベド画像を高解像度化するアルベド高解像度化部と、
前記アルベド高解像度化部によって得られた高解像度アルベド画像と、前記光源情報および形状情報を用いて、前記原画像を高解像度化した高解像度画像を作成する画像高解像度化部とを備えている
ことを特徴とする画像高解像度化システム。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、画像処理技術に関するものであり、特に、画像の高解像度化を行う技術に関する。
【背景技術】
【０００２】  カメラ付き携帯電話やデジタルカメラの普及に伴い、画像処理の重要度が高まっている。このような画像処理の１つとして、デジタルズームとして知られている画像の高解像度化がある。画像の高解像度化は、撮像した画像を任意に拡大処理するために用いられ、画像撮像後の編集処理において重要である。【０００３】  画像の高解像度化を行うために、様々な方法が提案されている。例えば、一般的な手法として、バイリニア法（線形補間処理）やバイキュービック法などの内挿を用いる方法がある（非特許文献１）。ところが、内挿を用いた場合、サンプリングデータの中間的な値しか生成できないため、２ｘ２倍以上の拡大画像を合成する場合、エッジなどの先鋭度が劣化し、ぼけた画像になる傾向がある。そこで、初期拡大画像として内挿画像を用い、その後、エッジ部を抽出してエッジのみを強調する方法が提案されている（特許文献１、非特許文献２）。しかしこの方法の場合、エッジ部とノイズの切り分けが難しく、エッジ部の強調とともにノイズも強調されてしまい、画質劣化を招く傾向がある。【０００４】  そこで、画質劣化を抑えつつ画像拡大を行う方法として、データベースを利用する方式が提案されている。すなわち、まず高解像度画像を高精細カメラ等によって予め撮影し、また、撮影した高解像度画像と同じ被写体、同じ環境での低解像度画像を取得する。低解像度画像の取得は例えば、別カメラで撮影する、ズームレンズを利用して高解像度画像を撮影しそのズーム値を変更する、高精細画像をローパスフィルタを通してサブサンプリングする、などの手法によって行えばよい。そして、このような低解像度画像と高解像度画像との組を多数準備し、その関係を画像拡大方法としてデータベースに学習する。このデータベースを利用して、画像の高解像度化を実現する。【０００５】  このデータベースを利用する方式では、上述したような強調処理を必要としないため、比較的画質劣化の少ない画像拡大が実現できる。このような処理として例えば、画像をブロック化し、ブロック化された画像を学習する方法が知られている（例えば、特許文献２）。
【特許文献１】米国特許５，７１７，７８９号（図５）
【特許文献２】特許第３２７８８８１号公報
【非特許文献１】荒屋真二著，「明解  ３次元コンピュータグラフィックス」，共立出版，ｐｐ．１４４−１４６，２００３年９月２５日
【非特許文献２】中静真ら、「多重スケール輝度こう配平面における画像高解像度化」、電子情報通信学会論文誌Ｄ−ＩＩ  Ｖｏｌ．Ｊ８１−Ｄ−ＩＩ  Ｎｏ．１０  ｐｐ．２２４９−２２５８，１９９８年１０月
【発明の開示】
【発明が解決しようとする課題】
【０００６】  ところが、データベースを利用した画像の高解像度化では、次のような問題がある。すなわち、データベースを学習した時と、画像撮像時とで、光源環境が異なっている場合、高解像度化後の画像の画質が必ずしも保証されず、画質劣化を招く可能性がある。【０００７】  前記の問題に鑑み、本発明は、データベースを利用した画像の高解像度化において、データベース作成時とは異なる光源環境の画像が入力された場合であっても、画質の劣化を招くことなく、高解像度化を実現可能にすることを課題とする。
【課題を解決するための手段】
【０００８】  本発明では、アルベド画像または擬似アルベド画像を利用して、データベースを利用した画像の高解像度化を実現する。アルベドとは、反射率のことをいい、アルベド画像とは、光の鏡面反射や陰影などの光学現象によらない、被写体固有の反射率特性を表現した画像のことをいう。また、擬似アルベド画像とは、アルベド画像を、例えば鏡面反射画像の最大輝度値などの所定値によって正規化した画像のことをいう。【０００９】  被写体のアルベド画像または擬似アルベド画像は、撮像した原画像から、光源情報と被写体の形状情報とを用いて、作成することができる。また、アルベド画像または擬似アルベド画像について、高解像度化のための変換規則を蓄積しているデータベースを予め準備しておき、このデータベースを利用して、被写体のアルベド画像または擬似アルベド画像の高解像度化を行う。そして、高解像度化されたアルベド画像または擬似アルベド画像から、光源情報と被写体の形状情報とを用いて、原画像を高解像度化した高解像度画像を作成する。
【発明の効果】
【００１０】  本発明によると、データベースを利用した画像の高解像度化において、被写体のアルベド画像または擬似アルベド画像を利用して高解像度化を行う。アルベド画像または擬似アルベド画像は、被写体固有の反射率特性を表現するものであり、光源環境に関連する成分を含まないため、データベースの学習時と撮像時とで光源環境が異なっている場合でも、高解像度化において画質の劣化は生じない。したがって、本発明によると、データベース作成時には想定していないような光源環境下の画像が入力された場合であっても、画像の高解像度化を適切に実現することができる。
【図面の簡単な説明】
【００１１】
【図１】図１は本発明の第１の実施形態に係る画像高解像度化装置の構成を示すブロック図である。
【図２】図２は本発明の第１の実施形態に係る画像高解像度化装置の構成を示すブロック図である。
【図３】図３は本発明の第１の実施形態に係る画像高解像度化方法の処理の流れを示したフローチャートである。
【図４】図４は本発明の第１および第２の実施形態に係る画像高解像度化装置が搭載されたカメラの構成例である。
【図５】図５は画像を拡散反射画像と鏡面反射画像とに分離した例を示す図である。
【図６】図６は本発明の第１の実施形態に係る画像高解像度化装置が搭載されたカメラ付き携帯電話を示す図である。
【図７】図７は直線偏光光を照射した際、偏光フィルタを回転させたときの反射光強度の変化を示すグラフである。
【図８】図８は偏光フィルタを利用した、鏡面反射画像と拡散反射画像との分離処理の流れを示すフローチャートである。
【図９】図９は画素ごとに偏光方向が異なる撮像装置を説明するための模式図である。
【図１０】図１０はカメラと、偏光フィルタと回転装置とが搭載された交換レンズの構成例である。
【図１１】図１１はカメラと、偏光フィルタと回転装置とが搭載された交換レンズの模式図である。
【図１２】図１２は鏡面球を利用した光源推定方法を説明するための模式図である。
【図１３】図１３は照度差ステレオ法を利用して、被写体の距離や３次元位置を求める処理を説明するための模式図である。
【図１４】図１４は反射光の偏光特性を利用した形状情報の取得処理を説明するための模式図である。
【図１５】図１５は自然光を照射した際、偏光フィルタを回転させたときの反射光強度の変化を示すグラフである。
【図１６】図１６は擬似アルベドを利用した場合にメモリに保持されるデータを示す図である。
【図１７】図１７はテキストンに基づく高解像度化処理の概念を示す模式図である。
【図１８】図１８は線形マトリクス変換を利用したテキストンに基づく高解像度化処理を説明するための概念図である。
【図１９】図１９はテキストンに基づく高解像度化処理における学習処理の流れを示すＰＡＤ図である。
【図２０】図２０はテキストンに基づく高解像度化処理における学習処理を説明するための模式図である。
【図２１】図２１は２次元離散定常ウェーブレット変換の処理を示す図である。
【図２２】図２２は２次元離散定常ウェーブレット変換をテスト画像に実施した場合の画像結果例である。
【図２３】図２３はテキストンに基づく高解像度化処理における実行時の処理の流れを示すＰＡＤ図である。
【図２４】図２４はテキストンに基づく高解像度化処理における実行時の処理を説明するための模式図である。
【図２５】図２５は２次元離散定常逆ウェーブレット変換の処理を示す図である。
【図２６】図２６は拡散反射成分と鏡面反射成分の輝度値の違いを表現するための定数Ｓｒを説明するための模式図である。
【図２７】図２７は本発明の第１の実施形態における鏡面反射画像のパラメータ推定処理の流れを示す図である。
【図２８】図２８は入射照度を表す式の各パラメータを説明するための概念図である。
【図２９】図２９はシンプレックス法によるパラメータ推定処理の流れを示すフローチャートである。
【図３０】図３０はシンプレックス法におけるパラメータ更新処理の流れを示したフローチャートである。
【図３１】図３１は極座標表現を説明するための模式図である。
【図３２】図３２は学習処理を行った被写体の画像である。
【図３３】図３３は８ｘ８倍画像高解像度化を実施した図である。
【図３４】図３４は８ｘ８倍画像高解像度化を実施した図である。
【図３５】図３５は本発明の第１の実施形態における拡散反射画像のパラメータ推定処理の流れを示す図である。
【図３６】図３６は他の光源情報推定処理に係る光源推定装置の構成を示すブロック図である。
【図３７】図３７は他の光源情報推定処理に係る光源推定装置が搭載された携帯電話の構成を示す模式図である。
【図３８】図３８はカメラ付き携帯電話が折り畳まれた状態を示す図である。
【図３９】図３９は撮像装置状況判断部および光源画像取得部の処理の流れを示したフローチャートである。
【図４０】図４０はメモリに保持された情報の一部を示した模式図である。
【図４１】図４１はロール・ピッチ・ヨー角表現を説明するための模式図である。
【図４２】図４２は光源画素の抽出処理を説明するための模式図である。
【図４３】図４３はカメラ座標系と画像座標系との関係を説明するための模式図である。
【図４４】図４４は撮像装置が移動することを利用して、光源の３次元位置を推定する処理を説明するための模式図である。
【図４５】図４５は錘とタッチセンサを利用して光軸方向を検出する方法を説明するための模式図である。
【図４６】図４６は錘とタッチセンサが搭載されたカメラ付き折り畳み式携帯電話を示す模式図である。
【図４７】図４７は図４６のカメラ付き折り畳み式携帯電話が置かれた状態を示す模式図である。
【図４８】図４８は光軸方向とタッチセンサのＯＮ／ＯＦＦとの関係を示す図である。
【図４９】図４９は錘とタッチセンサが搭載されたデジタルスチルカメラが置かれた状態を示す模式図である。
【図５０】図５０は本発明の第２の実施形態に係る画像高解像度化装置の構成を示すブロック図である。
【図５１】図５１は本発明の第２の実施形態における画像高解像度化判別部およびアルベド高解像度化部の処理の流れを示したフローチャートである。
【図５２】図５２は本発明の第３の実施形態に係る画像高解像度化システムの構成を示すブロック図である。
【符号の説明】
【００１２】２０１  画像撮像部
２０２  拡散反射・鏡面反射分離部
２０３  光源情報推定部
２０４  形状情報取得部
２０６  アルベド推定部
２０７  アルベド高解像度化部
２０８  アルベドデータベース
２１７  画像高解像度化部
２２３  画像高解像度化判断部
５０１  通信端末
５０２  サーバ
【発明を実施するための最良の形態】
【００１３】  本発明の第１態様では、画像高解像度化装置として、撮像装置によって被写体の撮像を行う画像撮像部と、前記被写体に照射する光源の、照度と、方向および位置のうち少なくともいずれか一方とを含む光源情報を推定する光源情報推定部と、前記被写体の、表面の法線情報または３次元位置情報を、形状情報として取得する形状情報取得部と、前記光源情報および形状情報を用いて、前記画像撮像部によって撮像された原画像から、前記被写体のアルベド画像を作成するアルベド推定部と、低解像度アルベド画像を高解像度アルベド画像に変換する変換規則を蓄積しているアルベドデータベースと、前記アルベドデータベースから変換規則を取得し、この変換規則に従って、前記アルベド推定部によって作成されたアルベド画像を高解像度化するアルベド高解像度化部と、前記アルベド高解像度化部によって得られた高解像度アルベド画像と、前記光源情報および形状情報を用いて、前記原画像を高解像度化した高解像度画像を作成する画像高解像度化部とを備えたものを提供する。【００１４】  本発明の第２態様では、前記原画像を、拡散反射画像と鏡面反射画像とに分離する拡散反射・鏡面反射分離部を備え、前記アルベド推定部は、前記原画像に代えて、前記拡散反射・鏡面反射分離部によって分離された拡散反射画像から、アルベド画像を作成する前記第１態様の画像高解像度化装置を提供する。【００１５】  本発明の第３態様では、前記原画像を、拡散反射画像と鏡面反射画像とに分離する拡散反射・鏡面反射分離部を備え、前記画像撮像部は、前記被写体の偏光状態を取得するものであり、前記拡散反射・鏡面反射分離部は、前記画像撮像部によって取得された偏光状態を用いて、前記分離を行う前記第１態様の画像高解像度化装置を提供する。【００１６】  本発明の第４態様では、前記アルベドデータベースが蓄積している変換規則は、前記原画像と解像度が同一のアルベド画像と前記原画像よりも解像度が高いアルベド画像とを用いた学習処理によって、求められたものである前記第１態様の画像高解像度化装置を提供する。【００１７】  本発明の第５態様では、前記アルベド推定部によって作成されたアルベド画像について、前記アルベドデータベースに蓄積された変換規則に従った高解像度化の信頼性を評価する画像高解像度化判断部を備え、前記アルベド高解像度化部は、前記画像高解像度化判断部によって信頼性が低いと評価されたとき、前記アルベドデータベースに蓄積された変換規則を用いないで、前記アルベド画像の高解像度化を行う前記第１態様の画像高解像度化装置を提供する。【００１８】  本発明の第６態様では、画像高解像度化装置として、撮像装置によって被写体の撮像を行う画像撮像部と、前記被写体に照射する光源の、方向および位置のうち少なくともいずれか一方を含む光源情報を推定する光源情報推定部と、前記被写体の、表面の法線情報または３次元位置情報を、形状情報として取得する形状情報取得部と、前記光源情報および形状情報を用いて、前記画像撮像部によって撮像された原画像から、前記被写体の擬似アルベド画像を作成するアルベド推定部と、低解像度擬似アルベド画像を高解像度擬似アルベド画像に変換する変換規則を蓄積しているアルベドデータベースと、前記アルベドデータベースから変換規則を取得し、この変換規則に従って、前記アルベド推定部によって作成された擬似アルベド画像を高解像度化するアルベド高解像度化部と、前記アルベド高解像度化部によって得られた高解像度擬似アルベド画像と、前記光源情報および形状情報を用いて、前記原画像を高解像度化した高解像度画像を作成する画像高解像度化部とを備えたものを提供する。【００１９】  本発明の第７態様では、前記原画像を、拡散反射画像と鏡面反射画像とに分離する拡散反射・鏡面反射分離部を備え、前記アルベド推定部は、前記原画像に代えて、前記拡散反射・鏡面反射分離部によって分離された拡散反射画像から、擬似アルベド画像を作成する前記第６態様の画像高解像度化装置を提供する。【００２０】  本発明の第８態様では、前記原画像を、拡散反射画像と鏡面反射画像とに分離する拡散反射・鏡面反射分離部を備え、前記画像撮像部は、前記被写体の偏光状態を取得するものであり、前記拡散反射・鏡面反射分離部は、前記画像撮像部によって取得された偏光状態を用いて、前記分離を行う前記第６態様の画像高解像度化装置を提供する。【００２１】  本発明の第９態様では、前記アルベドデータベースが蓄積している変換規則は、前記原画像と解像度が同一の擬似アルベド画像と前記原画像よりも解像度が高い擬似アルベド画像とを用いた学習処理によって、求められたものである前記第６態様の画像高解像度化装置を提供する。【００２２】  本発明の第１０態様では、前記アルベド推定部によって作成された擬似アルベド画像について、前記アルベドデータベースに蓄積された変換規則に従った高解像度化の信頼性を評価する画像高解像度化判断部を備え、前記アルベド高解像度化部は、前記画像高解像度化判断部によって信頼性が低いと評価されたとき、前記アルベドデータベースに蓄積された変換規則を用いないで、前記擬似アルベド画像の高解像度化を行う前記第６態様の画像高解像度化装置を提供する。【００２３】  本発明の第１１態様では、前記原画像を、拡散反射画像と鏡面反射画像とに分離する拡散反射・鏡面反射分離部を備え、前記画像高解像度化部は、前記拡散反射・鏡面反射分離部によって分離された鏡面反射画像を高解像度化し、前記高解像度化された鏡面反射画像を用いて、前記高解像画像の作成を行う前記第１または第６態様の画像高解像度化装置を提供する。【００２４】  本発明の第１２態様では、前記画像高解像化部は、前記鏡面反射画像の高解像度化を、前記形状情報の高密化処理を利用して、行う前記第１１態様の画像高解像度化装置を提供する。【００２５】  本発明の第１３態様では、画像高解像度化方法として、被写体を撮像した原画像を取得する第１のステップと、前記被写体に照射する光源の、照度と、方向および位置のうち少なくともいずれか一方とを含む光源情報を推定する第２のステップと、前記被写体の、表面の法線情報または３次元位置情報を、形状情報として取得する第３のステップと、前記光源情報および形状情報を用いて、前記原画像から、前記被写体のアルベド画像を作成する第４のステップと、低解像度アルベド画像を高解像度アルベド画像に変換する変換規則を蓄積しているアルベドデータ���ースから変換規則を取得し、この変換規則に従って、前記アルベド画像を高解像度化する第５のステップと、前記第５のステップにおいて得られた高解像度アルベド画像と、前記光源情報および形状情報を用いて、前記原画像を高解像度化した高解像度画像を作成する第６のステップとを備えたものを提供する。【００２６】  本発明の第１４態様では、画像高解像度化プログラムとして、コンピュータに、被写体を撮像した原画像から、前記被写体に照射する光源の、照度と、方向および位置のうち少なくともいずれか一方とを含む光源情報、および、前記被写体の、表面の法線情報または３次元位置情報である形状情報を用いて、前記被写体のアルベド画像を作成する第１のステップと、低解像度アルベド画像を高解像度アルベド画像に変換する変換規則を蓄積しているアルベドデータベースから変換規則を取得し、この変換規則に従って、前記アルベド画像を高解像度化する第２のステップと、前記第２のステップにおいて得られた高解像度アルベド画像と、前記光源情報および形状情報を用いて、前記原画像を高解像度化した高解像度画像を作成する第３のステップとを実行させるものを提供する。【００２７】  本発明の第１５態様では、通信端末とサーバとを有し、画像を高解像度化する画像高解像度化システムとして、前記通信端末は、撮像装置によって被写体の撮像を行う画像撮像部と、前記被写体に照射する光源の、照度と、方向および位置のうち少なくともいずれか一方とを含む光源情報を推定する光源情報推定部と、前記被写体の、表面の法線情報または３次元位置情報を、形状情報として取得する形状情報取得部とを有し、前記画像撮像部によって撮像された原画像、前記光源情報推定部によって推定された光源情報、および、前記形状情報取得部によって取得された形状情報を送信するものであり、前記サーバは、前記通信端末から送信された前記原画像、光源情報および前記形状情報を受信し、かつ、前記光源情報および形状情報を用いて、前記原画像から、前記被写体のアルベド画像を作成するアルベド推定部と、低解像度アルベド画像を高解像度アルベド画像に変換する変換規則を蓄積しているアルベドデータベースと、前記アルベドデータベースから変換規則を取得し、この変換規則に従って、前記アルベド推定部によって作成されたアルベド画像を高解像度化するアルベド高解像度化部と、前記アルベド高解像度化部によって得られた高解像度アルベド画像と、前記光源情報および形状情報を用いて、前記原画像を高解像度化した高解像度画像を作成する画像高解像度化部とを備えているものを提供する。【００２８】  以下、本発明の実施の形態について、図面を参照しながら説明する。【００２９】  （第１の実施形態）
図１および図２は本実施形態に係る画像高解像度化装置の構成を示している。また、図３は本実施形態に係る画像高解像度化方法の処理の流れを示すフローチャートである。さらに、図４は本実施形態に係る画像高解像度化装置が搭載されたカメラの構成例を示している。【００３０】  図１に示す画像高解像度化装置は、撮像装置によって被写体の撮像を行う画像撮像部２０１と、被写体に照射する光源に関する光源情報を推定する光源情報推定部２０３と、被写体の形状情報を取得する形状情報取得部２０４と、光源情報および形状情報を用いて、前記画像撮像部２０１によって撮像された原画像から被写体のアルベド画像を作成するアルベド推定部２０６と、低解像度アルベド画像を高解像度アルベド画像に変換する変換規則を蓄積しているアルベドデータベース（ＤＢ）２０８と、アルベドＤＢ２０８から変換規則を取得し、この変換規則に従って、アルベド推定部２０６によって作成されたアルベド画像を高解像度化するアルベド高解像度化部２０７と、アルベド高解像度化部２０７によって得られた高解像度アルベド画像と、光源情報および形状情報を用いて、原画像を高解像度化した高解像度画像を作成する画像高解像度化部２１７を備えている。【００３１】  光源情報推定部２０３が推定する光源情報は、光源の、照度と、方向および位置のうち少なくともいずれか一方とを含む。被写体情報推定部２０４は、被写体の、表面の法線情報または３次元位置情報を、形状情報として取得する。【００３２】  図２に示す画像高解像度化装置は、図１の構成を基本にしたものであり、原画像を拡散反射画像と鏡面反射画像とに分離して、拡散反射画像についてはアルベド画像を利用した高解像度化を行い、鏡面反射画像についてはアルベド画像を利用しない高解像度化を行うものである。さらに、原画像から影領域を除去した後に高解像度化を行い、高解像度化後に影領域を付加するようにしている。【００３３】  すなわち、図１の構成に加えて、画像撮像部２０１によって撮影された原画像を、拡散反射画像と鏡面反射画像とに分離する拡散反射・鏡面反射分離部２０２と、分離後の画像から影領域の推定を行う影除去部２０５とをさらに備えている。アルベド推定部２２１は、画像撮像部２０１によって撮影された原画像に代えて、拡散反射・鏡面反射分離部２０２によって分離された拡散反射画像から、光源情報および形状情報を用いて、アルベド画像を作成する。【００３４】  また、画像高解像度化部２１７は、アルベド高解像度化部２０７によって得られた高解像度アルベド画像を用いて、高解像度拡散反射画像を作成する拡散反射画像高解像度化部２０９と、形状情報取得部２０４によって取得された形状情報と拡散反射・鏡面反射分離部２０２によって分離された拡散反射画像と鏡面反射画像を利用して、被写体を表現するパラメータを推定するパラメータ推定部２１０と、形状情報取得部２０４によって取得された形状情報を高密度化する形状情報高密度化部２１１と、低密度形状情報を高密度形状情報に変換する変換規則を蓄積している法線データベース（ＤＢ）２１２を利用して、パラメータ推定部２１０によって求められたパラメータを高密度化するパラメータ高密度化部２１３と、形状情報��密度化部２１１によって推定された高密度形状情報と、パラメータ高解像度化部２１３によって高密度化されたパラメータを利用し、高解像度鏡面反射画像を合成する鏡面反射画像高解像度化部２１４と、影領域を生成する影生成部２１５と、レンダリング部２１６とを備えている。【００３５】  以下、図２の構成に基づいて、各構成要素における処理について説明する。なお、図２の構成では、原画像から影領域を除去した後に高解像度化を行い、高解像度化後に影領域を付加するようにしているが、本発明において、影領域の除去および付加は必ずしも行う必要はない。また、図２の構成では、原画像を拡散反射画像と鏡面反射画像とに分離して、拡散反射画像についてはアルベド画像を利用した高解像度化を行い、鏡面反射画像についてはアルベド画像を利用しない高解像度化を行うようにしているが、本発明において、拡散反射画像と鏡面反射画像との分離は必ずしも行う必要はない。例えば、原画像がほぼ拡散反射成分のみからなると考えられる場合には、拡散反射画像と鏡面反射画像との分離は必要でなく、原画像についてアルベド画像を利用した高解像度化を行えばよい。この場合、装置の構成は図１のようになる。【００３６】  画像撮像部２０１はＣＣＤやＣＭＯＳなどの撮像装置を利用して、被写体を撮像する（ステップＳ４０１）。こうして撮像された画像は、輝度が非常に高くなる鏡面反射成分と拡散反射成分とを同時に、飽和することなく記録されることが望ましい。このため、冷却ＣＣＤカメラや多重露光撮像など、広いダイナミックレンジを撮像できる撮像装置を利用することが望ましい。また、画像撮像部２０１は後述するように、偏光フィルタを利用して撮像を行うことが望ましい。これにより、被写体の偏光状態を取得することができ、拡散反射・鏡面反射分離部２０２は、画像撮像部２０１によって取得された偏光状態を用いて、分離を行うことができる。【００３７】  拡散反射・鏡面反射分離部２０２は、画像撮像部２０１によって撮像された原画像を、拡散反射画像と鏡面反射画像とに分離する（ステップＳ４０２）。ここで、拡散反射画像とは、入力画像のうち、マットな反射成分である拡散反射成分のみを画像化したものであり、同様に、鏡面反射画像は、入力画像のうち、てかりである鏡面反射成分のみを画像化したものである。ここで、拡散反射成分とは、光沢の無い物体表面で起こる反射のように、すべての方向に一様に散乱する成分である。一方、鏡面反射成分とは、鏡の面での反射のように、法線に対して入射光の反対方向に強く反射する成分である。２色性反射モデルを仮定すると、物体の輝度は、拡散反射成分と鏡面反射成分との和として表現される。後述するように、鏡面反射画像と拡散反射画像は、例えば偏光フィルタを回転させながら被写体を撮像することによって取得することができる。【００３８】  図５（ａ）は、光源で照射された被写体（タンブラー）を撮像装置で撮像した画像を示している。図の上部にてかりである鏡面反射が現れているのがわかる。一方、図５（ｂ）（ｃ）は、図５（ａ）の画像を後述する方法で拡散反射画像と鏡面反射画像とに分離した結果である。拡散反射画像はてかりが取り除かれ、表面のテクスチャ情報が鮮明になっているが、立体感が失われている。一方、鏡面反射画像は細かな形状情報が鮮明に現れているが、逆にテクスチャ情報が失われている。つまり、入力画像はこれら全く異なる情報を含んだ二つの画像が重畳されたものであった。画像を拡散反射画像と鏡面反射画像とに分離し、別々に処理することにより、より精細な高解像度化処理が可能である。【００３９】  前述のように、２色性反射モデルを仮定すると、物体の輝度は、拡散反射成分と鏡面反射成分の和として以下の式で表現される。
【数１】
2007139067.tif 000003
【００４０】  ここで、Ｉは撮像装置が撮像した被写体の輝度値、Ｉａは環境光成分、Ｉｄは拡散反射成分、Ｉｓは鏡面反射成分である。ここで、環境光成分とは、光源の光が物体などによって散乱された間接光のことである。これは空間の至る所に散乱され、直接光がとどかない影の部分にもわずかに明るさを与える。そのため、通常はノイズとして取り扱われることが多い。【００４１】  環境光成分は十分に小さく、ノイズとして無視できると考えると、画像は拡散反射成分と鏡面反射成分とに分離できる。上述のように、拡散反射成分がテクスチャ情報に依存するのに対し、鏡面反射画像は細かな形状情報に依存するといったように、これらの成分は非常に異なった特質を示す。そのため、画像を高解像度化するために、入力画像を拡散反射画像と鏡面反射画像とに分離し、それぞれの画像を別々の方法で高解像度化することによって、非常に高精細な高解像度化画像を取得することができる。このため、まずは拡散反射画像と鏡面反射画像とを分離する必要性がある。【００４２】  この分離方法は、従来からさまざまなものが提案されている。例えば、
・鏡面反射と拡散反射の偏光度の違いを利用し、偏光フィルタを用いた方法（例えば、特許第３４５９９８１号公報）。
・対象物を回転させ、マルチスペクトルカメラを利用することで鏡面反射領域を分離する方法（例えば、特開２００３−８５５３１号公報）。
・様々な方向から光源を当てた対象物の画像を利用し、鏡面反射が生じない理想状態での画像である線形化画像を合成し、その線形化画像を利用して鏡面反射や影領域を分離する方法（例えば、「石井育規，福井孝太郎，向川康博，尺長健，“光学現象の分類に基づく画像の線形化“，情報処理学会論文誌，ｖｏｌ．４４，ｎｏ．ＳＩＧ５（ＣＶＩＭ６），ｐｐ．１１−２１，２００３」）。
などがある。【００４３】  ここでは、偏光フィルタを利用する方法を用いる。図６は本実施形態に係る画像高解像度化装置が搭載されたカメラ付き携帯電話１０００を示している。図６に示すように、撮像装置１００１には回転機構（図示せず）をもった直線偏光フィルタ１０１６Ａが設けられている。また、直線偏光フィルタ１０１６Ｂが取り付けられた照明装置１００７が設けられている。また、１０１７は使用者のインターフェイス用の液晶ディスプレイである。【００４４】  ここで、直線偏光フィルタ１０１６Ｂが取り付けられた照明装置１００７に照らされた被写体について、撮像装置１００１が、直線偏光フィルタ１０１６Ａを回転機構により回転させながら、複数枚の画像を撮像する。ここで、照明が直線偏光されていることに着目すると、反射光強度は偏光フィルタ１０１６の回転角ψに対して、図７のように変化する。ここで、反射光の拡散成分をＩｄ、鏡面反射成分をＩｓとすると、反射光輝度の最大値Ｉｍａｘと最小値Ｉｍｉｎは以下の式で表現される。
【数２】
2007139067.tif 000004
【数３】
2007139067.tif 000005
つまり、反射光の拡散成分Ｉｄ、鏡面反射成分Ｉｓは、以下の式から求まる。
【数４】
2007139067.tif 000006
【数５】
2007139067.tif 000007
【００４５】  図８はこの処理の流れを示したものである。まず、回転機構により偏光フィルタ１０１６Ａを回転させ（ステップＳ３０１）、画像を撮像し、メモリに保持する（ステップＳ３０２）。次に、メモリに保持された画像が、所定の枚数撮像されているかを確認する（ステップＳ３０３）。このとき、反射光輝度の最小値と最大値を検出するのに十分な枚数がまだ撮像されていない場合（ステップＳ３０３でＮｏ）、偏光フィルタを再度回転させ（ステップＳ３０１）、撮像を繰り返す。一方、十分な枚数の撮像ができている場合（ステップＳ３０３でＹｅｓ）、撮像された画像データを利用して、反射光輝度の最小値と最大値を検出し（ステップＳ３０４）、（式１３）と（式１４）を利用することにより、拡散反射成分と鏡面反射成分とを分離する（ステップＳ３０５）。この処理は、複数枚の画像から画素ごとに最小値と最大値を求めても構わないが、ここでは、ｓｉｎ関数のフィッテングを利用する。この処理を説明する。【００４６】  図７に示した、偏光フィルタ角ψに対する反射光輝度Ｉは、以下のように、ｓｉｎ関数で近似できる。
【数６】
2007139067.tif 000008
ここで、Ａ、Ｂ、Ｃは定数であり、（式１３）、（式１４）より
【数７】
2007139067.tif 000009
【数８】
2007139067.tif 000010
つまり、撮像された画像から、（式１５）のＡ，Ｂ，Ｃを求めることにより、拡散反射成分と鏡面反射成分とを分離することができる。【００４７】  ところで、（式１５）は以下のように展開できる。
【数９】
2007139067.tif 000011
ただし、
【数１０】
2007139067.tif 000012
つまり、以下の評価式を最小にするＡ，Ｂ，Ｃを求めることで、拡散反射成分と鏡面反射成分を分離することができる。
【数１１】
2007139067.tif 000013
ただし、Ｉｉは、偏光フィルタ角ψｉ時の反射光強度を示している。ここで、最小自乗法を用いると、各パラメータは以下のように推定される。
【数１２】
2007139067.tif 000014
【数１３】
2007139067.tif 000015
【００４８】
【数１４】
2007139067.tif 000016
【数１５】
2007139067.tif 000017
【数１６】
2007139067.tif 000018
【００４９】  以上より、（式１６）〜（式２３）を利用することで、拡散反射成分と鏡面反射成分とを分離する。この場合、未知パラメータが３個であるため、偏光フィルタの回転角を変更した画像を最低３枚撮像すればよい。【００５０】  このため、直線偏光フィルタ１０１６Ａの回転機構を設ける代わりに、画素ごとに偏光方向の異なる撮像装置を利用しても構わない。図９はこのような撮像装置の画素を模式的に示したものである。ここで、１０２２は各画素を示し、各画素内の直線は偏光方向を示している。すなわち、この撮像装置は０°、４５°、９０°、１３５°の４種類の偏光方向を有する画素を持つ。そして、図９の太線１０２３のように、４種類の画素をベイヤ配列のように１画素として取り扱うことによって、偏光方向が４種類異なった画像を同時に撮像することができる。このような撮像装置は、例えば、フォトニック結晶デバイスなどを利用すればよい。【００５１】  また、このような偏光フィルタと回転装置は、カメラ自体が持つのではなく、着脱可能な構成にしても構わない。例えば、一眼レフカメラの交換レンズに、偏光フィルタと回転装置を搭載する。図１０はこのような画像高解像度化装置が搭載されたカメラと交換レンズの構成例を示している。カメラ１１０１は、直線偏光フィルタ１０１６の回転を指示する信号を交換レンズ１１０２に送信するための信号送信装置１０４５を有する。交換レンズ１１０２は、直線偏光フィルタ１０１６と、信号送信装置１０４５から送信された信号を受信する信号受信装置１０４６と、直線偏光フィルタ１０１６の回転を指示する信号を信号受信装置１０４６が受信したとき、直線偏光フィルタ１０１６を回転させるモータ１０４４とを有する。【００５２】  図１１はこのような画像高解像度化装置が搭載されたカメラと交換レンズの模式図である。カメラ１１０１には電気信号を送信する接点１１０３が設けられており、交換レンズ１１０２には電気信号を受信する接点１１０４が設けられている。カメラ１１０１と交換レンズ１１０２とがマウント１１０５によって結合されたとき、両接点１１０３，１１０４が接触する。これにより、カメラ１１０１から交換レンズ１１０２に信号を送信することが可能になり、カメラ１１０１から直線偏光フィルタ１０１６の回転を指示する信号を送信して、モータ１０４４によって直線偏光フィルタ１０１６を回転させることができる。【００５３】  また、照明装置１００７として、偏光された照明例えば液晶ディスプレイを利用してもかまわない。例えば、携帯電話１０００に搭載されている液晶ディスプレイ１０１７を利用すればよい。この場合、液晶ディスプレイ１０１７の輝度値を、利用者のインターフェイス用として利用しているときに比べ、高くすることが望ましい。【００５４】  もちろん、撮像装置１００１の偏光フィルタ１０１６Ａを回転させる代わりに、照明装置１００７の偏光フィルタ１０１６Ｂを回転させてもかまわない。また、撮像装置１００１と照明装置１００７の両方に偏光フィルタを設置する代わりに、撮像装置側など片側のみに設置し、独立成分分析を利用して拡散反射成分と鏡面反射成分とを分離させてもかまわない（例えば、特許３４５９９８１号公報参照）。【０���５５】  光源情報推定部２０３は、光源情報として、光源の方向、さらには色情報や照度情報を取得する（ステップＳ４０３）。これは例えば、被写体近傍に光源情報を推定するための形状既知の鏡面などを配置し、画像撮像部２０１によって撮像したその鏡面の画像から推定すればよい（例えば、「神原誠之，横矢直和，″光源環境の実時間推定による光学的整合性を考慮したビジョンベース拡張現実感″，電子情報通信学会技術研究報告，パターン認識・メディア理解，ＰＲＭＵ２００２−１９０，ｐｐ．７−１２，２００３」）。この処理について詳述する。【００５６】  光源情報推定部２０３は、図１２に示した鏡面とみなせる球３００１を利用して行う。鏡面球３００１を被写体近傍に設置し、その位置や法線方向は既知とする。この鏡面球３００１を画像撮像部２０１によって撮像する。このとき、鏡面球３００１には、撮影環境が映り込んでいる。映り込みが生じる位置は、その鏡面球上の法線方向に対して、視線方向と映り込む対象への方向が正反射の関係となる位置である。そのため、鏡面球の位置とその法線方向が既知であれば、鏡面上の映り込んだ画像から映り込み対象の方向を検出できる。また、光源は輝度値が高いことを考慮すると、撮影された鏡面球の画像から、高輝度の画素を検出することにより、光源の方向を取得できる。さらに、鏡面の反射率が既知であれば、光源の色情報や放射輝度などの光源照度情報も取得できる。【００５７】  もちろん、光源情報として、光源の方向だけではなく、あるいは光源の方向に代えて、光源の位置情報を取得するようにしても構わない。これは、例えば前述の鏡面球を２つ利用し、画像処理分野で広く知られているステレオ処理を利用すればよい。また、光源までの距離が既知の場合には、前述の方法で光源方向を推定することによって、光源の位置を推定することができる。【００５８】  もちろん、このような鏡面球を常に撮影するのではなく、以前に撮影して求めた光源情報を使うようにしても構わない。これは、屋内の監視カメラのように光源環境が変わらない場合に有効である。このような場合、カメラを設置した際に鏡面球を撮影し、光源情報を取得するようにすればよい。【００５９】  形状情報取得部２０４は、被写体の形状情報として、被写体の表面の法線情報、または被写体の３次元位置情報を取得する（ステップＳ４０４）。被写体の形状情報を取得する手段としては、例えば、スリット光投影法、パターン光投影法、レーザレーダ法などの既存の手法を用いればよい。【００６０】  もちろん、形状情報の取得はこれらの手法に限られるものでない。例えば、複数のカメラを利用するステレオ視、カメラの動きを利用するモーションステレオ法、光源の位置を変化させながら撮像した画像を利用する照度差ステレオ法、ミリ波や超音波を利用して被写体との距離を測定する方法、さらには反射光の偏光特性を利用した方法（例えば、米国特許第５，０２８，１３８号や「宮崎大輔，池内克史，″偏光レイトレーシング法による透明物体の表面形状の推定手法″，電子情報通信学会論文誌，ｖｏｌ．Ｊ８８−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ．１４３２−１４３９，２００５」）を用いてもかまわない。ここでは、照度差ステレオ法と偏光特���を利用した方法について説明する。【００６１】  照度差ステレオ法は、光源方向が異なる３枚以上の画像を利用して、被写体の法線方向と反射率を推定する手法である。例えば、「Ｈ．Ｈａｙａｋａｗａ，”Ｐｈｏｔｏｍｅｔｒｉｃ  Ｓｔｅｒｅｏ  ｕｎｄｅｒ  ａ  ｌｉｇｈｔ  ｓｏｕｒｃｅ  ｗｉｔｈ  ａｒｂｉｔｒａｒｙ  ｍｏｔｉｏｎ”，Ｊｏｕｒｎａｌ  ｏｆ  ｔｈｅ  Ｏｐｔｉｃａｌ  Ｓｏｃｉｅｔｙ  ｏｆ  Ａｍｅｒｉｃａ  Ａ，ｖｏｌ．１１，ｐｐ．３０７９−８９，１９９４」は、画像上で６点以上の反射率が等しい点を既知情報として取得し、拘束条件として利用することによって、光源の位置情報も未知としながらも、以下のパラメータを推定する手法である。
・被写体情報：画像上の各点の法線方向と反射率
・光源情報：被写体の観察点における光源方向と照度【００６２】  ここでは、前述の拡散反射・鏡面反射分離手法によって分離された拡散反射画像のみを利用した照度差ステレオ法を行う。本来、この手法は被写体が完全拡散反射をしていることを仮定しているため、鏡面反射が存在する被写体では大きな誤差が生じてしまう。しかし、分離した拡散反射画像のみを利用することで、鏡面反射の存在による推定誤差を無くすことができる。もちろん、後述するように、影除去部２０５で影領域を除去した拡散反射画像で処理を行なっても構わない。【００６３】  光源方向が異なる拡散反射画像を以下のように輝度行列Ｉｄで表現する。
【数１７】
2007139067.tif 000019
ただし、ｉｄｆ（ｐ）は光源方向ｆの拡散反射画像の画素ｐにおける輝度値を示している。また、画像の画素数はＰ画素、異なった光源方向で撮像した画像枚数はＦ枚である。ところで、ランバーシャンモデルより、拡散反射画像の輝度値は以下のように表現できる。
【数１８】
2007139067.tif 000020
ただし、ρｐは画素ｐの反射率（アルベド）、ｎｐは画素ｐの法線方向ベクトル、ｔｆは光源ｆの入射照度、Ｌｆは光源ｆの方向ベクトルを示している。【００６４】  （式２４）、（式２５）より以下の式が導かれる。
【数１９】
2007139067.tif 000021
ただし、
【数２０】
2007139067.tif 000022
【数２１】
2007139067.tif 000023
【数２２】
2007139067.tif 000024
【数２３】
2007139067.tif 000025
【数２４】
2007139067.tif 000026
【数２５】
2007139067.tif 000027
ここで、Ｒは表面反射行列、Ｎは表面法線行列、Ｌは光源方向行列、Ｔは光源強度行列、Ｓは表面行列、Ｍは光源行列と呼ぶ。【００６５】  ここで、特異値分解を利用すると、（式２６）は以下のように展開できる。
【数２６】
2007139067.tif 000028
【数２７】
2007139067.tif 000029
ただし、
【数２８】
2007139067.tif 000030
であり、Ｅは単位行列を示している。また、Ｕ’はＰ×３行列、Ｕ”はＰ×（Ｆ−３）行列、Σ’は３×３行列、Σ”は（Ｆ−３）×（Ｆ−３）行列、Ｖ’は３×Ｆ行列、Ｖ”は（Ｆ−３）×Ｆ行列である。ここで、Ｕ”、Ｖ”は信号成分であるＵ’、Ｖ’の直交基底、すなわち、ノイズ成分であると考えられる。ここで、特異値分解を利用すると、（式２８）は以下のように変形できる。
【数２９】
2007139067.tif 000031
【数３０】
2007139067.tif 000032
【００６６】  すなわち、（式２９）を解くことにより、形状情報と光源情報を同時に取得することができるが、以下の３×３行列Ａの不定性が残る。
【数３１】
2007139067.tif 000033
【数３２】
2007139067.tif 000034
ここで、Ａは任意の３×３行列である。形状情報と光源情報を取得するためには、この行列Ａを求める必要がある。これは、例えば、画面上の６点以上で反射率が等しいことが既知であればよい。例えば、任意の６点ｋ１〜ｋ６の反射率が等しいとすると、
【数３３】
2007139067.tif 000035
【００６７】（式２７）、（式３０）と（式３２）より、
【数３４】
2007139067.tif 000036
さらに、
【数３５】
2007139067.tif 000037
とおくと、（式３３）は以下のようになる。
【数３６】
2007139067.tif 000038
ここで、（式３４）より行列Ｂは対称行列であるため、行列Ｂの未知数は６である。すなわち、画面上の６点以上で反射率が等しいことが既知であれば、（式３５）は解くことができる。【００６８】  また、行列Ｂが既知となれば、（式３４）に特異値分解を利用することにより、行列Ａは解くことができる。【００６９】  さらに、（式３０）、（式３１）より、形状情報と光源情報を取得する。【００７０】  以上のことより、反射率が等しい６点以上の画素が既知な被写体において、光源方向を変更しながら３枚以上の画像を撮像することにより、以下の情報を得ることができる。
・被写体情報：画像上の各点の法線方向ベクトルと反射率
・光源情報：被写体の観察点における光源方向ベクトルと放射輝度【００７１】  ただし、上記の処理で求まる被写体の反射率と光源の放射輝度は相対的なものであり、絶対値を求めるためには、画面上の６点以上で反射率が既知であるなど、上記とは異なる既知情報が必要となる。【００７２】  また、光源と撮像装置との位置関係が既知の場合、撮像装置と被写体の距離や３次元位置を求めるようにしても構わない。これを図を用いて説明する。【００７３】  図１３はこの処理を説明するための模式図である。図１３において、１００１は撮像装置、１００７Ａおよび１００７Ｂは光源、１０１５は被写体の観察点Ｏ、１０１０Ａおよび１０１０Ｂは被写体の観察点Ｏにおける各光源の光源方向、１０２１は被写体の観察点Ｏにおける撮像装置の視線方向を示している。【００７４】  まず、光源と撮像装置との位置関係が既知であるため、撮像装置１００１と光源１００７Ａ、１００７Ｂの３次元位置関係Ｌａ、Ｌｂは既知である。また、撮像装置１００１はキャリブレーションされているとすると、撮像装置１００１の視線方向１０２１も既知である。このことから、被写体の観察点Ｏ１０１５はこの視線方向１０２１上に存在する。また、上述の照度差ステレオ法により、被写体の観察点Ｏにおける各光源の光源方向１０１０Ａ、１０１０Ｂは既知である。撮像装置１００１と観察点Ｏ１０１５の距離Ｌｖが正（Ｌｖ＞０）であるとすると、このような位置関係を満たす観察点Ｏは、１点しか存在しない。そのため、観察点Ｏ１０１５の位置がわかり、撮像装置１００１と観察点Ｏ１０１５の距離Ｌｖが求まる。【００７５】  また、例えばデジタルカメラのフラッシュのように撮像装置に光源が設置されている場合、光源と撮像装置との位置関係は設計情報から求めることができる。【００７６】  また、形状情報取得部２０４は反射光の偏光特性を利用して、被写体の表面法線方向を取得しても構わない。この処理について、図１４を用いて説明する。【００７７】  図１４において、１００１は撮像装置、１００７は光源、１０１５は観察点Ｏ、１０１６はモータなどの回転機構（図示せず）をもった直線偏光フィルタ、１０１９は法線方向を示している。光源として自然光が照射されている状態において、回転機構によって偏光フィルタ１０１６を回転しながら撮像を行った場合、その反射光強度は、図１５に示したように、周期πのｓｉｎ関数となる。【００７８】  ここで、この反射光強度の最大値Ｉｍａｘと最小値Ｉｍｉｎを計測する偏光フィルタの角度ψｍａｘ、ψｍｉｎを考える。撮像装置１００１と光源１００７、観察点Ｏ１０１５を含む平面を入射面とし、被写体は鏡面反射成分が支配的であるとすると、ψｍａｘは偏光フィルタ１０１６の偏光方向が入射面に対して垂直な方向、また、ψｍｉｎは偏光フィルタ１０１６の偏光方向が入射面に対して平行な方向になることが知られている。【００７９】  また、上述したように、光源が偏光光源の場合、反射光成分において、偏光特性を有するものは観察点Ｏの表面で反射した鏡面反射成分、非偏光の成分は拡散反射成分である。このことから、反射光強度の最大値Ｉｍａｘと最小値Ｉｍｉｎの強度差が生じる観察点Ｏは鏡面反射成分が強い観察点、すな��ち、光が正反射している（観察点Ｏの法線方向１０１９が観察点Ｏからの光源方向と観察点Ｏからの撮像装置方向の二等分線方向である）ことがわかる。そのため、法線方向１０１９も入射面内に存在する。そのため、ψｍａｘまたはψｍｉｎを推定することにより、法線方向１０１９は以下の平面内に存在すると推定することができる。【００８０】  ○撮像装置１００１を通り、偏光フィルタ１０１６の偏光方向ψｍｉｎ（またはψｍａｘの垂直方向）を含む平面。【００８１】  ここで、ψｍａｘまたはψｍｉｎは、前述のｓｉｎ関数のフィッテング処理を行うことで推定する。【００８２】  また、撮像装置１００１の位置を変更させて、同様な処理を行うことによって、法線方向１０１９を含む、異なった２つの平面を推定することができる。推定した２つの平面の交線を求めることによって、法線方向１０１９を推定する。この際、撮像装置１００１の移動量を推定する必要があるが、これは、前述の８点法などを利用すればよい。【００８３】  もちろん、拡散反射・鏡面反射分離部２０２と同様に、画素ごとに偏光方向の異なる撮像装置を利用しても構わない。【００８４】  また、もちろん、撮像装置１００１の位置を変更させるのではなく、複数台の撮像装置を設置して法線方向１０１９を求めるようにしても構わない。【００８５】  以上のように、照度差ステレオ法と偏光特性を利用した方法では、被写体表面の法線情報を取得する。一方、スリット光投影法やステレオ視などの手法では、被写体の３次元位置情報を取得する。被写体表面の法線情報とは、被写体の３次元位置情報の微小空間での傾き情報であり、どちらも被写体の形状情報である。【００８６】  以上の処理により、形状情報取得部２０４は被写体の形状情報として、被写体表面の法線情報または被写体の３次元位置情報を取得する。【００８７】  影除去部２０５は、画像中の影領域を推定し、影除去処理を行う（ステップＳ４０５）。このような、影除去および影領域推定処理はさまざまな方法が提案されているが、例えば、影領域は輝度値が低いことを利用し、輝度値が閾値以下の画素を影領域と推定すればよい。【００８８】  また、形状情報取得部２０４によって３次元形状情報が取得されている場合、Ｃｏｍｐｕｔｅｒ−Ｇｒａｐｈｉｃｓの分野で広く利用されているレンダリング手法である、レイトレーシングを利用してもかまわない。レンダリングは物体の座標データや、光源や視点の位置などの環境に関するデータを計算して行うが、レイトレーシングは、視点に届く光線を逆にたどることによって描画する。このため、レイトレーシングを利用してどの場所にどの程度の影が生成されているかを計算することができる。【００８９】  次に、拡散反射・鏡面反射分離部２０２によって分離された拡散反射画像と鏡面反射画像を、それぞれ、別々の方法で高解像度化する。すなわち、拡散反射画像についてはアルベド画像を利用した高解像度化を行い、鏡面反射画像についてはアルベド画像を利用しない高解像度化を行う。まず、拡散反射画像の高解像度化について説明する。【００９０】  ＜拡散反射画像の高解像度化＞
アルベド推定部２０６は、拡散反射・鏡面反射分離部２０２によって分離された拡散反射画像を利用し、被写体のアルベドを推定し、被写体のアルベド画像を作成する（ステップＳ４０６）。アルベドは光源情報に影響を受けないため、アルベド画像を利用して処理を行うことによって、光源変動にロバストな処理が実現できる。【００９１】  この処理を説明する。（式２５）より、拡散反射成分では、以下の関係が成り立つ。
【数３７】
2007139067.tif 000039
【００９２】  ただし、θｉは被写体の法線方向ベクトルと光源方向ベクトルのなす角を示す。ここで、光源情報推定部２０３および形状情報取得部２０４により、角度θｉは既知である。また、後述するように、光源の入射照度ｔｆも推定可能なため、被写体のアルベドｒｐを（式３６）から求める。【００９３】  この際、ｃｏｓθｉが０以下の値を持つ場合、すなわちａｔｔａｃｈｅｄ  ｓｈａｄｏｗである場合、（式３６）から、アルベドｒｐがマイナスになる、あるいは０で除算を行うことにより意味を持たなくなる。しかし、上述の影除去部２０５によってこのような画素を除去しているため、問題は生じない。【００９４】  もちろん、被写体のアルベドを求めるのではなく、次式によりアルベドを鏡面反射画像の最大輝度値で正規化した擬似アルベドｒｐ’を求め、これを利用しても構わない。
【数３８】
2007139067.tif 000040
【００９５】  ここで、ｉｓｆ＿ｍａｘは鏡面反射画像の最大輝度値を示している。このような擬似アルベドは、光源情報推定部２０３により、光源の放射輝度（照度）が取得できない場合に有効である。擬似アルベド画像を利用した場合、正規化に利用した鏡面反射画像の最大輝度値ｉｓｆ＿ｍａｘをメモリに保持しておく。図１６はアルベド推定部２０６が擬似アルベドを利用した場合、メモリに保持されるデータを示した図である。作成された擬似アルベド画像と、正規化に利用した鏡面反射画像の最大輝度値ｉｓｆ＿ｍａｘが保持されている。【００９６】  鏡面反射パラメータが被写体の広い領域で一様であり、被写体表面にさまざまな方向の法線が存在しているとすると、カメラに対して被写体を照らす位置に光源が存在している限り、正反射が生じる正反射画素が存在する。そのため、鏡面反射画像の最大輝度値ｉｓｆ＿ｍａｘはこの正反射画素の輝度値となる。【００９７】  反射特性が一様であり、視線方向１０２１がほぼ一様である場合、ある光源位置での正反射画素の輝度値と別の光源位置での正反射画素の輝度値の比は、各光源での光源の放射輝度比とほぼ等しくなる。そのため、拡散反射画像の輝度値ｉｄｆ（ｐ）をθｉにより除算しただけでは光源の放射輝度の影響が残ってしまうが、さらに正反射画素の輝度値である鏡面反射画像の最大輝度値ｉｓｆ＿ｍａｘで正規化を行った擬似アルベド画像を利用することにより、光源の放射輝度が取得できない場合においても光源に影響されない拡散成分画像を作成できる。【００９８】  また、鏡面反射画像の最大輝度値ｉｓｆ＿ｍａｘによって正規化を行うのではなく、拡散反射画像の最大輝度値や入力画像の最大輝度値を利用して正規化を行い、擬似アルベドを作成しても構わない。【００９９】  次に、こうして求めたアルベド画像の高解像度化について説明する。【０１００】  アルベド高解像度化部２０７は、アルベド推定部２０６が作成したアルベド画像を、低解像度アルベド画像を高解像度アルベド画像に変換する変換規則を蓄積しているアルベドＤＢ２０８を利用して、高解像度化する（ステップＳ４０７）。この処理について詳述する。【０１０１】  前述のように、アルベド画像は、光の鏡面反射や陰影など光学現象によらない被写体固有の反射率特性を表現した画像である。ここでの高解像度化は、被写体情報が不可欠なため、被写体の事前学習に基づく。ここではテキストン（画像のテクスチャ特徴量）に基づく高解像度化を用いる。【０１０２】  図１７はテキストンに基づく高解像度化の概念を示す図である。実行時に入力された低解像度画像（ＬＲ画像、画素数Ｎ×Ｎ）は、画素数を目標画素数に合致させるため、Ｍ×Ｍ倍に補間拡大される。この画素数ＭＮ×ＭＮ画像をｅｘＬＲ画像と称する。ｅｘＬＲ画像では画像の高周波成分が失われて、ぼけた画像になる。このぼけ画像を先鋭化することが高解像度化に他ならない。【０１０３】  次に、多重解像度変換ＷＴによって、ｅｘＬＲ画像の輝度値を画素ごとに、多重解像度に基づくＴ次元テキストンに変換する。この変換にはウェーブレット変換やピラミッド構造分解などの処理が用いられる。この結果、ｅｘＬＲ画像の各画素ごとに、合計ＭＮ×ＭＮ本のＴ次元テキストンベク��ルが生成される。次に、汎用性の向上のため、テクストンベクトルにクラスタリングが実施されて、Ｌ本の入力代表テキストンベクトルが選択生成される。これらＬ本のテキストンベクトルに対して、予め学習したデータベースの情報から変換が施されて、Ｔ次元の高解像度化テキストンベクトルが生成される。この変換には、テーブル読み出しや、Ｔ次元の多次元特徴ベクトル空間内における線形および非線形変換が用いられる。高解像度化テキストンベクトルは、逆ウェーブレット変換やピラミッド構造再構成などの逆変換ＩＷＴによって、画像輝度値に戻されて、高解像度画像（ＨＲ画像）が完成する。【０１０４】  この処理では、ＭＮ×ＭＮ本のＴ次元テクストンベクトルのクラスタリング処理における探索とテーブル読み出しの処理に多大な時間を要し、動画など高速化対応が困難であった。そこで、１）クラスタリング処理をＬＲ画像にて実施する。２）テーブル読み出しを線形マトリクス変換に変更する。という改良を加えた。この処理では、ＬＲ画像の１画素はＨＲ画像のＭ×Ｍ画素のセルに対応する事実を使って、Ｔ次元からＴ次元への線形マトリクス変換をセル毎に実施して、セル内部での空間的な連続性を維持することができる。また利用する線形マトリクスはクラスタリングの結果から最適に選択する。セル境界の不連続性が問題になる場合にはマトリクス処理単位のブロックを一部重ねるなどの処理を追加してもよい。【０１０５】  図１８は上の改良点を模式的に描いた図である。ＬＲ画像をＷＴ変換して、Ｔ次元の特徴量空間の中のＬ（ここではＬ＝３）本の代表特徴ベクトルとしている。そして、各特徴ベクトルに異なる線形マトリクスが付随している。この状態を保存したものが高解像度化データベースに他ならない。【０１０６】  以下、Ｎ＝３２、Ｍ＝４、すなわち３２×３２画素の低解像度画像に４×４倍の高解像度化を施す例をとって、画像処理手法の詳細を述べる。アルベド画像はＲＧＢカラー画像とするが、カラー画像はＲＧＢから輝度色差（ＹＣｒＣＢ）に変換して、独立した色成分画像として取り扱うものとする。通常、２×２倍率程度では、輝度Ｙ成分だけの高解像度でよく、カラー成分は低解像度の色差信号のまま付加しても違和感はないが、４×４以上では、色信号も高解像度化が必須になるので、各成分とも同様な取り扱いとする。以下、カラー画像の１つの成分画像のみの処理を説明することとする。【０１０７】  （学習時）
図１９は学習処理の流れを説明するＰＡＤ図であり、図２０は学習処理において処理される画像の処理対象画素と処理対象セルとの関係を説明する図である。以下、図１９および図２０を交互に用いて説明を行なう。【０１０８】  まず、Ｓ３１１〜Ｓ３１３において、低解像度画像（ＬＲ画像）、高解像度画像（ＨＲ画像）、および低解像度画像の拡大画像（ｅｘＬＲ画像）を入力する。これらの画像は、ＨＲ画像から全て生成されており、撮像における画素ずれがない状態としておく。また、ＬＲ画像からｅｘＬＲ画像の生成にはバイキュービック補間を用いている。図２０において、ＨＲ画像（画素数１２８×１２８）と、ＬＲ画像（画素数３２×３２）と、ＬＲ画像から画素数だけＨＲ画像と合致させたｅｘＬＲ画像（画素数１２８×１２８）の３種類の画像を用意する。ＬＲ画像は、画像撮像部２０１によって撮像される原画像と解像度が同一のアルベド画像であり、ＨＲ画像は、画像撮像部２０１によって撮像される原画像よりも解像度が高いアルベド画像である。【０１０９】  Ｓ３１４において、ＬＲ画像をテキストン化する。具体的にはＨａａｒ基底を用いた２次元離散定常ウェーブレット変換（Ｄｉｓｃｒｅｔｅ  ｓｔａｔｉｏｎａｒｙ  ｗａｖｅｌｅｔ  ｔｒａｎｓｆｏｒｍ：ＳＷＴ変換）する。ＳＷＴ変換の階層は２階層（２−ｓｔｅｐ）とすると、６次元のＬＲＷ画像（画素数３２×３２＝１０２４）が生成される。本来、２階層ステップの２次元離散定常ウェーブレット変換では７次元の特徴ベクトルとなるが、最低周波数のＬＬ成分画像は画像の平均輝度情報に近くなり、これを保存するため残りの６成分のみを利用する。【０１１０】  Ｓ３１５において、テキストン化されたＬＲＷ画像の合計１０２４本の６次元ベクトルをＣｍａｘ個にまでクラスタリングする。ここではＫ−ｍｅａｎｓ法を用いて、例えばＣｍａｘ＝５１２本にクラスタリングする。この５１２本の結果のテキストンベクトルの集合をクラスタＣと称する。クラスタリングをせず１０２４本のテキストンを全て利用しても問題ない。【０１１１】  Ｓ３１６において、クラスタＣの同一クラスタに判別されたＬＲ画素を判定する。具体的には、ＬＲ画像の画素値がクラスタＣの各テキストン番号に置き換えられる。【０１１２】  Ｓ３１７において、クラスタＣの全テキストンに対して繰り返し処理をしながら、該当テキストンに対応するｅｘＬＲの画素セルとＨＲ画像の画素セルを探索して、該当セル番号を格納する。この探索がＬＲ画像の画素数分だけで済むため、高倍率の場合に大きな探索時間の削減となる。【０１１３】  ここでＬＲ画像の画素とｅｘＬＲ画像、ＨＲ画像の画素セルとの対応につき、図２０で説明する。図２０では、ＬＲ画像上で、２００１と２００２という２画素がＣの同一クラスタ（クラスタ番号：Ｃｉ＝０）に判別されたとする。すると、そのままの位置関係を保って拡大されたｅｘＬＲ画像上では２００３，２００４、ＨＲ画像上では２００５、２００６という画素セルが対応していると考えられ、これらの２箇所のセル位置の番号が、該当するテキストンを有するものとして格納される。画素セル内に含まれる画素数は拡大率４×４＝１６に等しい。【０１１４】  次にＳ３１８において、これらの画素セル群についてｅｘＬＲ画像とＨＲ画像の対でテキストン化を行う。具体的には、２次元離散定常ウェーブレット変換（Ｄｉｓｃｒｅｔｅ  ｓｔａｔｉｏｎａｒｙ  ｗａｖｅｌｅｔ  ｔｒａｎｓｆｏｒｍ）が実施されて、ｅｘＬＲＷ画像とＨＲＷ画像が生成される。【０１１５】  Ｓ３１９とＳ３２０において、上記ＨＲＷ画像とｅｘＬＲＷ画像から得られたテキストンの対が行列の形として集積される。形式はいずれも、６×Ｄａｔａ＿ｎｕｍの行列となる。ここでＤａｔａ＿ｎｕｍは、（１セルの画素数）×（探索されたセルの数）となり、上のＣｉ＝０の例では、２個のセルが探索されたので１６×２＝３２となる。【０１１６】  Ｓ３２１において、集積された両者に所属する合計２×４×４＝１２８個の特徴ベクトルから最小二乗法にて６×６マトリクスＭを算出し、それをＳ３２２において、クラスタ番号Ｋ＝０とともにデータベースＣＭａｔ（Ｋ）に格納蓄積する。Ｓ３２２における最小二乗法は、まずＳ３１９とＳ３２０において集積されたｅｘＬＲとＨＲのテキストンの行列を各々ＬｆとＨｆ（サイズ：６×Ｄａｔａ＿ｎｕｍ）とし、求めるマトリクスをＭ（６×６）とすると以下のように実行できる。
【数３９】
2007139067.tif 000041
【０１１７】  次に、クラスタ番号Ｋ＝１について同様処理を繰り返して、Ｋ＝５１１まで行う。すなわち、ＣＭａｔはクラスタ番号ごとに規定される６×６変換行列の群である。【０１１８】  最後に、Ｓ３２３とＳ３２４において、使用したクラスタＣと学習された変換行列ＣＭａｔとを出力する。こうして求めたクラスタＣと学習された変換行列ＣＭａｔを、低解像度アルベド画像を高解像度アルベド画像に変換する変換規則として、アルベドＤＢ２０８に蓄積する。【０１１９】  図２１は２次元離散定常ウェーブレット変換（Ｄｉｓｃｒｅｔｅ  ｓｔａｔｉｏｎａｒｙ  ｗａｖｅｌｅｔ  ｔｒａｎｓｆｏｒｍ）の処理を示す図である。通常のウェーブレット変換では、フィルタバンク構成は同一のまま分解の階層が進む毎に画像が縮小していくが、２次元離散定常ウェーブレット変換では、分解の階層が進んでも変換画像サイズは不変であり、スケーリング関数Ｆとウェーブレット関数Ｇの２種類のフィルタがアップサンプリング（↑）されて２のべき乗で長くなっていくことにより多重解像度解析を行う。Ｈａａｒ基底では、ＦとＧの具体的な数値とアップサンプリングの様子は表１のようになる。【０１２０】
【表１】
2007139067.tif 000042
【０１２１】  ＬＬ成分であるｃＡ画像を１階層進めてウェーブレット分解する場合、ＦとＧのフィルタを交互に１次元的にコンボリューションすることにより、図２１のように４種類の画像が生成される。１）行方向にＦ・列方向にＦ：ｃＡ画像（ＬＬ成分）２）行方向にＦ・列方向にＧ：ｃＤｈ画像（ＬＨ成分）３）行方向にＧ・列方向にＦ：ｃＤｖ画像（ＨＬ成分）４）行方向にＧ・列方向にＧ：ｃＤｄ画像（ＨＨ成分）。【０１２２】  図２２は２次元離散定常ウェーブレット変換をテスト画像に実施した場合の画像結果例である。テキストンベクトルとは、これらウェーブレットの１−ＳＴＥＰと２−ＳＴＥＰの変換画像の１画素ごとに対応する値を連ねたもので、
【数４０】
2007139067.tif 000043
の７次元ベクトルのことである。ただし２−ＳＴＥＰのＬＬ成分であるｃＡ２を除いて、６次元ベクトル部分のみを使って高解像度変換し、ｃＡ２成分は保存している。【０１２３】  なお、ウェーブレット変換のステップ数をここではＳ３１４とＳ３１８のいずれも２−ＳＴＥＰとしている。このステップ数が大きくなるほど、画像の大まかな特徴までテキストンで表現することができる。本発明においてステップ数は可変であるが、ＬＲ画像のクラスタリングのためのＳ３１４の場合、１−ＳＴＥＰでは周辺の画素状況として十分な情報とならない場合があるため、２−ＳＴＥＰとしている。一方、ｅｘＬＲ画像を高解像度化するためのテキストンを生成するＳ３１８の場合、たとえば８×８の倍率においては２−ＳＴＥＰよりも３−ＳＴＥＰの方が良好な画像が得られることが、実験的に確認されている。このため、倍率との関係でステップ数を決定することが望ましい。【０１２４】  もちろん、アルベド推定部２０６において、アルベド画像ではなく擬似アルベド画像を推定している場合、上述の学習処理は擬似アルベド画像を利用して行う。前述のように擬似アルベドは光源に影響されない拡散成分画像であるため、光源変動に影響されない変換規則を作成することが可能である。また、学習時において、擬似アルベド作成で正規化に利用した所定値、例えば鏡面反射画像の最大輝度値ｉｓｆ＿ｍａｘを保持する必要はない。【０１２５】  （高解像度化処理の実行時）
図２３は実行時の処理の流れを示すＰＡＤ図であり、図２４は実行時の処理の画素セルとの関係を示す図である。【０１２６】  まず、Ｓ３３１とＳ３３２において、ＬＲ画像とこれを拡大したｅｘＬＲ画像とを入力する。学習時と同様に、ＬＲ画像の画素数＝３２×３２、ｅｘＬＲ画像の画素数＝１２８×１２８とする。ここでｅｘＬＲ画像の生成方法は、図１９のＳ３１３において学習画像のｅｘＬＲ画像を生成した方法と同様にバイキュービック法による。【０１２７】  次に、Ｓ３３３とＳ３３４において、学習時に得られたクラスタＣと変換行列ＣＭａｔをアルベドＤＢ２０８から読み出し、入力する。【０１２８】  Ｓ３３５において、ＬＲ画像をテキストン化する。具体的には図２４で示すように、Ｈａａｒ基底を用いた２次元離散定常ウェーブレット変換（Ｄｉｓｃｒｅｔｅ  ｓｔａｔｉｏｎａｒｙ  ｗａｖｅｌｅｔ  ｔｒａｎｓｆｏｒｍ：ＳＷＴ変換）を行う。ＳＷＴ変換の階層は２階層（２−ｓｔｅｐ）とすると、６次元のＬＲＷ画像（画素数３２×３２＝１０２４）が生成される。本来は２階層ステップの２次元離散定常ウェーブレット変換では７次元の特徴ベクトルとなるが、最低周波数のＬＬ成分画像は画像の平均輝度情報に近くなり、これを保存するため残りの６成分のみを利用する。【０１２９】  次にＳ３３６において、各テキストンにつき、クラスタＣ（Ｃｍａｘ個のテキストン）内の最短距離のテキストンベクトルを探索してテキストン番号（Ｃｉ）を得る。これは図２４において、ＬＲ画像の１ライン上の各画素２０１１，２０１２，…，２０１３について、各々Ｃ０，Ｃ１，…，Ｃｎというテキストン番号が付与されることに相当する。【０１３０】  次にＳ３３７に進むが、これ以降はＨＲ画像の各セルを走査線順に処理していく繰り返し処理となる。具体的には、図２４において、ｅｘＬＲ画像のセル２０１４，２０１５，…，２０１６を処理していくと、対応するＨＲ画像のセル２０２３，２０２４，…，２０２５が順次高解像度化されていく。【０１３１】  Ｓ３３７において、ｅｘＬＲ画像の該当セル領域がテキストン化される。具体的には、２次元離散定常ウェーブレット変換（Ｄｉｓｃｒｅｔｅ  ｓｔａｔｉｏｎａｒｙ  ｗａｖｅｌｅｔ  ｔｒａｎｓｆｏｒｍ）が実施されて、ｅｘＬＲＷ画像が生成される。セル２０１７，２０１８，…，２０１９などが生成される。【０１３２】  Ｓ３３８において、テキストン番号から変換行列ＣＭａｔを引いて該当セルにおける変換行列Ｍを確定する。この処理は図２４のように行われる。ＬＲＷ画像には、すでに画素２０１１＝Ｃ０、画素２０１２＝Ｃ１、…、画素２０１３＝Ｃｎとテキストン番号が振られている。これを位置関係を保存したｅｘＬＲＷ画像のセル２０１７、２０１８、…２０１９に適用して、各々のセルで、Ｃ０，Ｃ１，・・Ｃｎをテキストン番号としてＭａｔから別々の６×６変換行列Ｍを選択することができる。【０１３３】  Ｓ３３９において、各セルに変換行列Ｍを作用させる。これはセル内のテキストンＬＴｉ（ｉ＝１〜１６）全部について、
【数４１】
2007139067.tif 000044
を実施すればよい。これらを繰り返して、ｅｘＬＲＷ画像のセル２０１７，２０１８，…，２０１９からＨＲＷ画像のセル２０２０，２０２１，…，２０２２が、それぞれ生成される。【０１３４】  次に、これら高解像度化されたセル内の６次元テキストンに、ｅｘＬＲＷ画像の２−ＳＴＥＰのＬＬ成分を付加して７次元テキストンを生成する。【０１３５】  Ｓ３４０において、この各セル内７次元のテキストンを逆ＳＷＴ変換することにより画像に変換する。以上をｅｘＬＲ画像の全セルについて繰り返す。【０１３６】  逆ＳＷＴ（ＩＳＷＴ）変換は、図２５で示す信号フローで実現できる。図２１とほとんど同じ表現である。通常のウェーブレット逆変換ではフィルタバンクの構成は同一のまま、分解の階層が進む毎に画像が拡大していく。これに対して、本逆変換においては、分解の階層が進んでも変換画像サイズは不変であり、スケーリング関数Ｆとウェーブレット関数Ｇ１の２種類のフィルタがダウンサンプリング（↓）されて２のべき乗で短くなっていくことにより、多重解像度解析を行う。Ｈａａｒ基底では、ＦとＧ１の具体的な数値とダウンサンプリングの様子は表２のようになる。【０１３７】
【表２】
2007139067.tif 000045
【０１３８】  以上のようにしてアルベド画像の１成分が高解像度化される。この処理を、アルベド画像全てに行うことにより、高解像度なアルベド画像を合成する。【０１３９】  このとき、アルベド画像に含まれる被写体の大きさや姿勢、向きなどが変化しても処理が可能なように、画像の正規化を行うようにしてもかまわない。テキストンを利用した高解像度化処理は、学習データに対してアルベド画像の大きさや姿勢が異なっている場合、高解像度化の精度が十分に発揮されないことが考えられる。そこで、アルベド画像を複数組用意し、この問題を解決する。すなわち、アルベド画像を３０度ずつ回転させた画像を合成し、そのすべての画像で高解像度化を行い、姿勢や向きの変化に対応させる。この場合、前述の「高解像度化処理の実行時」のＰＡＤ図である図２３のステップＳ３３６において、最短距離のテキストンを探索する際、回転処理を行った各画像から求めた複数のＬＲ画像のテキストン、それぞれにおいて最短距離のテキストンを探索し、最も距離の近いものを探索してテキストン番号（Ｃｉ）を得るようにすればよい。【０１４０】  また、大きさの変化に対応するために、画像の大きさを変更したアルベド画像を合成するようにしてもかまわない。【０１４１】  また、実際の大きさを基準に、例えば、５ｃｍ×５ｃｍの画像が必ず８ｘ８画素になるように拡大縮小処理を行い、その画像に対してテキストンを作製するようにしてもかまわない。被写体の大きさは、形状情報取得部２０４により既知であるため、「学習時」および「高解像度化処理の実行時」ともに同じ大きさの画像でテキストンを作製することで、大きさの変動に対応するようにしてもかまわない。【０１４２】  また、「高解像度化処理の実行時」のアルベド画像を回転させるのではなく、「学習時」のアルベド画像を回転させ、複数組のテキストンを作製し、クラスタＣと学習された変換行列ＣＭａｔをアルベドＤＢ２０８に蓄積するようにしても構わない。【０１４３】  さらに、入力された被写体が何であるかを推定し、推定された被写体がどのように回転しているかを姿勢推定するようにしてもかまわない。このような処理は、広く使われている画像認識技術を利用すればよい。これは、例えば、被写体にＲＦＩＤのようなタグを設置しておき、そのタグ情報を認識することで被写体が何であるかを認識し、さらにタグ情報から被写体の形状情報を推定し、画像や被写体の形状情報から姿勢推定を行うようにすればよい（例えば、特開２００５−３４６３４８号公報参照）。【０１４４】  ＜鏡面反射画像の高解像度化＞
次に、鏡面反射画像の高解像度化について説明する。ここでは、推定したパラメータの高密化処理と、形状情報の高密化処理とを利用する。【０１４５】  パラメータ推定部２１０は、形状情報収得部２０４によって取得された被写体の表面の法線情報、拡散反射・鏡面反射分離部２０２によって分離された拡散反射画像と鏡面反射画像を利用して、その被写体を表現するパラメータを推定する（Ｓ４０８）。ここでは、Ｃｏｍｐｕｔｅｒ−Ｇｒａｐｈｉｃｓの分野で広く使われているＣｏｏｋ−Ｔｏｒｒａｎｃｅモデルを利用する方法を説明する。【０１４６】  Ｃｏｏｋ−Ｔｏｒｒａｎｃｅモデルでは、鏡面反射画像を次式のようにモデル化する。
【数４２】
2007139067.tif 000046
【数４３】
2007139067.tif 000047
【数４４】
2007139067.tif 000048
【数４５】
2007139067.tif 000049
【数４６】
2007139067.tif 000050
【数４７】
2007139067.tif 000051
【数４８】
2007139067.tif 000052
【数４９】
2007139067.tif 000053
【数５０】
2007139067.tif 000054
【０１４７】  ここで、Ｅｉは入射照度、ρｓ，λは波長λにおける鏡面反射成分の双方向反射率、ｎは被写体の法線方向ベクトル、Ｖは視線ベクトル、Ｌは光源方向ベクトル、Ｈは視線ベクトルと照明方向ベクトルの中間ベクトル、βは中間ベクトルＨと法線方向ベクトルｎの角度を表す。また、Ｆλはフレネル方程式から求められる誘電体表面からの反射光の比であるフレネル係数、Ｄはマイクロファセット分布関数、Ｇは物体表面の凸凹による遮光の影響を表す幾何減衰率である。さらに、ｎλは被写体の屈折率、ｍは被写体表面の粗さを示す係数、Ｉｊは入射光の放射輝度である。また、ｋｓは鏡面反射成分の係数である。【０１４８】  さらに、（式２５）のランバーシャンモデルを利用すると、（式１２）は以下のように展開される。
【数５１】
2007139067.tif 000055
【０１４９】  ただし、
【数５２】
2007139067.tif 000056
【数５３】
2007139067.tif 000057
ここで、ρｄは拡散反射成分の反射率（アルベド）、ｄｐｘ、ｄｐｙは撮像装置の１画素のｘ方向、ｙ方向の長さ、ｒは撮像装置の観察点Ｏからの距離を示している。また、ｋｄは以下の関係式を満たす係数である。
【数５４】
2007139067.tif 000058
Ｓｒは拡散反射成分と鏡面反射成分の輝度値の違いを表現するための定数であり、拡散反射成分が被写体からすべての方向へエネルギーを反射することを示している。図２６はこの定数Ｓｒを説明するための模式図である。図２６において、観察点Ｏで反射された拡散反射成分エネルギーは、半球状に広がっていく。ここで、撮像装置１００１が観察点Ｏからｒだけ離れているので、撮像装置の１撮像素子に届くエネルギーと、観察点Ｏで反射した総エネルギーの比Ｓｒは、（式４８）で表される。【０１５０】  以上のことから、パラメータ推定部２１０は、（式３７）〜（式４５）（式４６）（式４７）、（式４８）からパラメータを推定する。【０１５１】  以上の関係式をまとめると、パラメータ推定を行なうための既知パラメータと、推定すべきパラメータは以下のようになる。
（既知パラメータ）
○環境光成分Ｉａ
○拡散反射成分Ｉｄ
○鏡面反射成分Ｉｓ
○被写体の法線方向ベクトルｎ
○光源方向ベクトルＬ
○視線ベクトルＶ
○中間ベクトルＨ
○中間ベクトルＨと法線方向ベクトルｎの角度β
○撮像装置１００１の１画素のｘ方向、ｙ方向の長さｄｐｘ，ｄｐｙ
○撮像装置１００１と観察点Ｏとの距離ｒ
（推定すべきパラメータ）
○入射照度Ｅｉ
○鏡面反射成分の係数ｋｓ
○被写体表面の粗さｍ
○被写体の屈折率ηλ
ここで、拡散反射成分の係数ｋｄ、および拡散反射成分の反射率（アルベド）ρｄも未知パラメータであるが、鏡面反射成分のパラメータのみを推定するため、ここでは推定処理を行なわない。【０１５２】  図２７はパラメータ推定部２１０の処理の流れを示す図である。処理は、以下の２段階からなる。【０１５３】  まず、光源情報を使用して、入射照度Ｅｉを求める（ステップＳ３５１）。ここでは、光源情報推定部２０３によって取得した光源の位置情報、形状情報取得部２０４で求めた撮像装置と被写体との距離情報、さらには光源情報取得部２０３で求めた光源照度を用いる。これは、次式から求まる。
【数５５】
2007139067.tif 000059
ここで、Ｉｉは撮像装置１００１に設置された照度計１０１８によって測定された光源１００７の入射照度、Ｒ１は撮像装置１００１と光源１００７との距離、Ｒ２は光源１００７と観察点Ｏとの距離、θ１は観察点Ｏにおける法線１０１９と光源方向１０１０Ｃとのなす角度、θ２は撮像装置１００１における光軸方向１００５と光源方向１０１０Ａとのなす角度を示している（図２８参照）。ここで、被写体の大きさが、光源１００７と観察点Ｏとの距離Ｒ２に比べ十分に大きいと考えられる場合、距離Ｒ２は被写体上の全ての観察点Ｏで等しくなる。そのため、（式５０）において、（Ｒ１／Ｒ２）は定数となり、実際に計測する必要はなくなる。【０１５４】  次に、シンプレックス法を利用して、未知パラメータｍ、ηλ、ｋｓを推定する（ステップＳ３５２）。シンプレックス法は、シンプレックスと呼ぶ図形の頂点に変数を割り付け、シンプレックスの大きさと形を変えて関数の最適化を行なう方法である（大田登，“色再現光学の基礎”，ｐｐ．９０−９２，コロナ社）。シンプレックスは、ｎ次元空間の（ｎ＋１）個の点の集合である。ただし、ｎは推定する未知数の数であり、ここでは「３」である。そのため、シンプレックスは四面体である。シンプレックスの頂点をベクトルｘｉで表し、新しいベクトルを次のように定める。
【数５６】
2007139067.tif 000060
【数５７】
2007139067.tif 000061
【数５８】
2007139067.tif 000062
【数５９】
2007139067.tif 000063
ただし、
【数６０】
2007139067.tif 000064
【数６１】
2007139067.tif 000065
はそれぞれ関数ｆ（ｘｉ）を最大、最小にするｘｉを示している。【０１５５】  さらに、この方法で用いる３種類の操作を以下のように定める。
１．鏡像：
【数６２】
2007139067.tif 000066
【０１５６】２．拡張：
【数６３】
2007139067.tif 000067
【０１５７】３．収縮：
【数６４】
2007139067.tif 000068
ここで、α（＞０）、β（＞１）、γ（１＞γ＞０）は係数である。【０１５８】  シンプレックス法は、シンプレックスの頂点の中で関数値の最も大きなものを選ぶことで、その鏡像における関数値は小さくなるという期待に基づいている。この期待が正しければ、同じプロセスの繰り返しで関数の最小値が求められる。つまり、初期値で与えたパラメータを３種類の操作で更新しながら、評価関数が示すターゲットとの誤差が閾値未満になるまでパラメータの更新を繰り返す。ここでは、パラメータとしてｍ、ηλ、ｋｓ、評価関数として（式５６）で表される、（式３７）から算出される鏡面反射成分画像と拡散反射・鏡面反射分離部２０２で求められた鏡面反射成分画像との差ΔＩｓを利用した。
【数６５】
2007139067.tif 000069
ただし、ｉｓ（ｉ，ｊ）’，ｉｓ（ｉ，ｊ）はそれぞれ、計算された鏡面反射画像の推定値Ｉｓ’と拡散反射・鏡面反射分離部２０２で求められた鏡面反射成分画像Ｉｓの画素（ｉ，ｊ）の輝度値、Ｍｓ（ｉ，ｊ）は、画素（ｉ，ｊ）が鏡面反射成分を持つ場合に１、そうでない場合０をとる関数である。【０１５９】  この処理について詳しく説明する。図２９はこの処理の流れを説明するためのフローチャートである。【０１６０】  まず、繰り返し演算の更新回数を記憶するカウンターｎとｋに０を代入し、初期化する（ステップＳ３６１）。ここで、カウンターｎは初期値を何回変更したかを記憶するカウンターであり、ｋはある初期値に対してシンプレックスによる候補パラメータの更新を何回行ったかを記憶するカウンターである。【０１６１】  次に、乱数を利用し、推定パラメータの候補パラメータｍ’、ηλ’、ｋｓ’の初期値を決定する（ステップＳ３６２）。このとき、各パラメータの物理的な拘束条件から、初期値の発生範囲は以下のように決定した。
【数６６】
2007139067.tif 000070
【０１６２】  次に、こうして求めた候補パラメータを（式３７）へ代入し、鏡面反射画像の推定値Ｉｓ’を求める（ステップＳ３６３）。さらに、計算された鏡面反射画像の推定値Ｉｓ’と拡散反射・鏡面反射分離部２０２で求められた鏡面反射成分画像との差ΔＩｓを（式５６）より求め、これをシンプレックス法の評価関数とする（ステップＳ３６４）。こうして求めたΔＩｓが十分小さい場合（ステップＳ３６５でＹｅｓ）、パラメータ推定は成功したとして、推定パラメータｍ、ηλ、ｋｓとして候補パラメータｍ’、ηλ’、ｋｓ’を選択し、処理を終了する。一方、ΔＩｓが大きい場合（ステップＳ３６５でＮｏ）、シンプレックス法により候補パラメータの更新を行う。【０１６３】  候補パラメータの更新を行う前に、更新回数の評価を行う。まず、更新回数を記憶しているカウンターｋに１を足し（ステップＳ３６６）、カウンターｋの大きさを判断する（ステップＳ３６７）。カウンターｋが十分に大きい場合（ステップＳ３６７でＮｏ）、繰り返し演算は十分に行なわれているが、ローカルミニマムに落ちているため、このまま更新を繰り返しても最適値には達しないと判断し、初期値を変更して、ローカルミニマムからの脱却を図る。そのため、カウンターｎに１を足し、カウンターｋに０を入れる（ステップＳ３７１）。ここで、カウンターｎの値が閾値より高いかどうかを判定し、処理をこのまま続けるか、処理不能として処理を終了させるかを決定する（ステップＳ３７２）。ここで、ｎが閾値より大きい場合（ステップＳ３７２でＮｏ）、この画像は推定不能として処理を終了する。一方、ｎが閾値より小さい場合（ステップＳ３７２でＹｅｓ）、再度、初期値を（式５７）の範囲内で乱数から選択しなおし（ステップＳ３６２）、処理を繰り返す。このようなｋに対する閾値は、例えば、１００などを選択すればよい。【０１６４】  一方、ステップＳ３６７において、カウンターｋが閾値以下の場合（ステップＳ３６７でＹｅｓ）、候補パラメータを（式５３）〜（式５５）を利用して変更する（ステップＳ３６８）。この処理については後述する。【０１６５】  次に、こうして変形された候補パラメータが、解として意味のあるものであるかを判定する（ステップＳ３６９）。すなわち、シンプレックス法を繰り返すことで、変形されたパラメータが物理的に意味のない値（例えば、粗さパラメータｍが負の値など）におちいる可能性があるため、これを除去する。これは、例えば、以下のような条件を与え、この条件を満たす場合には意味のあるパラメータ、満たさない場合には意味のないパラメータと判定すればよい。
【数６７】
2007139067.tif 000071
これらの値は、被写体より求めることができる。例えば、屈折率ηλであれば、被写体の材質によって決定される値である。例えば、プラスチックであれば１．５〜１．７、ガラスであれば１．５〜１．９であることが知られているため、これらの値を利用すればよい。つまり、被写体がプラスチックである場合、屈折率ηλは１．５〜１．７とすればよい。【０１６６】  変形したパラメータが（式５８）を満たす場合（ステップＳ３６９でＹｅｓ）、その候補パラメータは意味のある値であると考えられるため、新しい候補パラメータとして設定し（ステップＳ３７０）、更新処理を繰り返す（ステップＳ３６３）。一方、変形したパラメータが（式５８）を満たさない場合（ステップＳ３６９でＮｏ）、その初期値に対する更新処理を打ち切り、新しい初期値により更新を行う（ステップＳ３７１）。【０１６７】  ここで、ステップＳ３６８の変形処理について詳述する。図３０はこの処理の流れを示したフローチャートである。ここでは、候補パラメータｍ’、ηλ’、ｋｓ’をベクトル表現し、これをパラメータｘとする。すなわち、
【数６８】
2007139067.tif 000072
【０１６８】  まず、（式５１）（式５２）（式５３）を利用して、鏡像操作を行ったパラメータｘｒを計算し、（式５６）によってｘｒでの鏡面反射成分画像との差ΔＩｓ（ｘｒ）を計算する（ステップＳ３８１）。次に、こうして求められたΔＩｓ（ｘｒ）と、２番目に評価関数が悪かったΔＩｓ（ｘｓ）を比較する（ステップＳ３８２）。ここでΔＩｓ（ｘｒ）がΔＩｓ（ｘｓ）より小さかった場合（ステップＳ３８２でＹｅｓ）、鏡像操作を行った評価値ΔＩｓ（ｘｒ）と現在、最も評価値のよいΔＩｓ（ｘｌ）を比較する（ステップＳ３８３）。ここで、ΔＩｓ（ｘｒ）のほうが大きかった場合（ステップＳ３８３でＮｏ）、最も評価値の低かったｘｈをｘｒへ変更し（ステップＳ３８４）、処理を終了する。【０１６９】  一方、ΔＩｓ（ｘｒ）がΔＩｓ（ｘｌ）より小さかった場合（ステップＳ３８３でＹｅｓ）、（式５４）を利用して拡張処理を行ない、パラメータｘｅと、ｘｅでの鏡面反射成分画像との差ΔＩｓ（ｘｅ）を計算する（ステップＳ３８５）。次に、こうして求められたΔＩｓ（ｘｅ）と、鏡像操作によるΔＩｓ（ｘｒ）を比較する（ステップＳ３８６）。ここでΔＩｓ（ｘｅ）がΔＩｓ（ｘｒ）より小さかった場合（ステップＳ３８６でＹｅｓ）、最も評価値の悪かったｘｈをｘｅへ変更し（ステップＳ３８７）、処理を終了する。【０１７０】  一方、ΔＩｓ（ｘｅ）がΔＩｓ（ｘｒ）より大きかった場合（ステップＳ３８６でＮｏ）、最も評価値の悪かったｘｈをｘｒへ変更し（ステップＳ３８７）、処理を終了する。【０１７１】  また、ステップＳ３８２において、ΔＩｓ（ｘｒ）がΔＩｓ（ｘｓ）より大きかった場合（ステップＳ３８２でＮｏ）、鏡像操作を行った評価値ΔＩｓ（ｘｒ）と現在、最も評価値の悪いΔＩｓ（ｘｈ）を比較する（ステップＳ３８８）。ここでΔＩｓ（ｘｒ）がΔＩｓ（ｘｈ）より小さかった場合（ステップＳ３８８でＹｅｓ）、最も評価値の悪かったｘｈをｘｒへ変更し（ステップＳ３８９）、（式５５）を利用して、収縮操作を行ったパラメータｘｃと、ｘｃでの鏡面反射成分画像との差ΔＩｓ（ｘｃ）を計算する（ステップＳ３９０）。一方、ΔＩｓ（ｘｒ）がΔＩｓ（ｘｈ）より大きかった場合（ステップＳ３８８でＮｏ）、ｘｈを変更することなく、収縮操作を行ったパラメータｘｃと、ｘｃでの鏡面反射成分画像との差ΔＩｓ（ｘｃ）を計算する（ステップＳ３９０）。【０１７２】  次に、こうして求められたΔＩｓ（ｘｃ）と、最も評価値の悪いΔＩｓ（ｘｈ）を比較する（ステップＳ３９１）。ここでΔＩｓ（ｘｃ）がΔＩｓ（ｘｈ）より小さかった場合（ステップＳ３９１でＹｅｓ）、最も評価値の悪かったｘｈをｘｃへ変更し（ステップＳ３９２）、処理を終了する。【０１７３】  一方、ΔＩｓ（ｘｃ）がΔＩｓ（ｘｈ）より大きかった場合（ステップＳ３９１でＮｏ）、すべての候補パラメータｘｉ（ｉ＝１，２，３，４）を以下の式により変更し、処理を終了する。
【数６９】
2007139067.tif 000073
【０１７４】  以上の処理を繰り返すことにより、鏡面反射画像における未知パラメータであるｍ、ηλ、ｋｓを推定する。【０１７５】  以上の処理により、すべての未知パラメータを推定することができる。【０１７６】  なお、パラメータ推定に用いるモデルは、Ｃｏｏｋ−Ｔｏｒｒａｎｃｅモデルである必要はなく、例えば、Ｔｏｒｒａｎｃｅ−ＳｐａｒｒｏｗモデルやＰｈｏｎｇモデル、簡易Ｔｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗモデル（例えば、「Ｋ．Ｉｋｅｕｃｈｉ  ａｎｄ  Ｋ．Ｓａｔｏ，“Ｄｅｔｅｒｍｉｎｉｎｇ  ｒｅｆｌｅｃｔａｎｃｅ  ｐｒｏｐｅｒｔｉｅｓ  ｏｆ  ａｎｏｂｊｅｃｔ  ｕｓｉｎｇ  ｒａｎｇｅ  ａｎｄ  ｂｒｉｇｈｔｎｅｓｓ  ｉｍａｇｅｓ”，ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，ｖｏｌ．１３，ｎｏ．１１，ｐｐ．１１３９−１１５３，１９９１」）であっても構わない。【０１７７】  また、パラメータ推定方法は、シンプレックス法である必要はなく、例えば、勾配法や最小自乗法などのような一般的なパラメータ推定手法を利用しても構わない。【０１７８】  また、以上の処理は、画素毎に行ってもかまわないし、領域分割を行い、領域ごとに等しいパラメータ組を推定するようにしてもかまわない。画素毎に処理を行う場合、光源や撮像装置、または被写体を動かすことにより、被写体の法線方向ベクトルｎや光源方向ベクトルし、または視線ベクトルＶといった既知パラメータが変動したサンプルを取得するようにすることが望ましい。また、処理を領域ごとに行う場合、領域ごとに求まったパラメータのばらつきが小さくなるように領域分割を変更することで、最適なパラメータ推定を行うようにすることが望ましい。【０１７９】  形状情報高密化部２１１は、形状情報取得部２０４で取得した被写体の形状情報を高密度化する（ステップＳ４０９）。これは、以下のように実現される。【０１８０】  まず、形状情報取得部２０４によって取得した表面の形状情報を、画像撮像部２０１によって取得された画像へ投影し、画像内の各画素に対応する法線方向を求める。このような処理は、従来のカメラキャリブレーション処理（例えば、「運天弘樹，池内克史，“実物体の仮想化のための３次元幾何モデルのテクスチャリング手法”，ＣＶＩＭ−１４９−３４，ｐｐ．３０１−３１６，２００５」）を行うことで実現できる。【０１８１】  この際、法線ベクトルｎｐは極座標で表現し、その値をθｐ、φｐとする（図３１参照）。以上の処理により、法線成分であるθ、φの画像を作製する。こうして求めたθ画像とφ画像を、上述のアルベド高解像度化部２０７と同様の手法によって高解像度化することによって、高密度の形状情報を推定する。この際、高密度度化処理を行う前に学習処理を行い、法線のθ、φ成分に対するクラスタＣと学習された変換行列ＣＭａｔを法線ＤＢ２１２に蓄積する。【０１８２】  また、以上の処理は、影除去部２０５において、影として除去されなかった領域のみに対して行うことが望ましい。これは、影の存在により、パラメータ推定処理に誤差が生じてしまうことを防止するためである。【０１８３】  また、パラメータ推定部２１０において、��像装置近傍に設置された制御可能な光源を利用してもかまわない。この光源は、デジタルカメラのフラッシュであってもよい。この場合、フラッシュを照射して撮像したフラッシュ画像と、フラッシュを照射しないで撮像した非フラッシュ画像を時間的に連続的に撮像し、その差分画像を利用してパラメータ推定を行なえばよい。撮像装置と光源であるフラッシュの位置関係は既知であり、また、フラッシュの光源情報である３次元位置や色、強度も事前に測定しておくことが可能である。また、撮像装置とフラッシュは非常に近い場所に設置されているため、影が少ない画像を撮像することができる。そのため、画像内のほとんどの画素において、パラメータを推定することができる。【０１８４】  さらに、パラメータ高密度化部２１３は、パラメータ推定部２１０によって求めたパラメータを高密度化する（ステップＳ４１０）。ここでは、単純な線形補間を行い、すべてのパラメータを高密度化する。もちろん、上述のアルベド高解像度化部２０７のような学習を利用した高密度化手法を利用してもかまわない。【０１８５】  また、パラメータごとに高密化方法を切り替えるようにしても構わない。例えば、推定パラメータである被写体の屈折率ηλは、高密度化しても値が変化しないと考えられる。そのため、被写体の屈折率ηλは単純補間により高密度化を行い、拡散反射成分の係数ｋｄ、鏡面反射成分の係数ｋｓ、さらには拡散反射成分の反射率（アルベド）ρｄに関しては学習を利用した高密度化処理を行うようにしてもかまわない。【０１８６】  鏡面反射画像高解像度化部２１４は、形状情報高密度化部２１１によって推定された高密度形状情報と、パラメータ高解像度化部２１４によって高密度化されたパラメータとを利用し、高解像度鏡面反射画像を合成する（ステップＳ４１１）。高解像度鏡面反射画像は、（式３７）〜（式４５）に高密度化したパラメータを代入することによって、合成される。【０１８７】  ここで、実際の鏡面反射画像よりも輝度値が高くなるように、例えば入射照度Ｅｉのみ推定された値に係数１（例えば、１＝２）を乗算するようにしても構わない。これは、鏡面反射画像の輝度値を上げることによって、被写体の質感を上げるためである。同じように、被写体表面の粗さｍを推定値よりも大きな値として、実際よりもてかりが強い鏡面反射画像を合成してもかまわない。【０１８８】  拡散画像高解像度化部２０９は、アルベド高解像度化部２０７が合成した高解像度アルベド画像から高解像度拡散反射画像を合成する（ステップＳ４１２）。この処理を説明する。【０１８９】  前述のように、アルベド画像は、拡散成分画像を光源方向ベクトルと被写体の法線方向ベクトルの内積で除算したものである。このため、アルベド画像に、光源情報推定部２０３によって推定された光源方向ベクトルと、形状情報高密度化部２１１によって求められた被写体の高密度法線方向ベクトルとの内積を乗算することによって、高解像度拡散反射画像を合成する。光源情報推定部２０３によって複数の光源が推定された場合、それぞれの光源に対して高解像度拡散反射画像をそれぞれ合成し、その画像を足し合わせることによって、一枚の高解像度拡散画像を合成する。【０１９０】  また��アルベド画像ではなく擬似アルベド画像を利用している場合、擬似アルベド画像に、光源情報推定部２０３によって推定された光源方向ベクトルと、形状情報高密度化部２１１によって求められた被写体の高密度法線方向ベクトルとの内積を乗算し、さらに正規化を行うために利用した鏡面反射画像の最大輝度値ｉｓｆ＿ｍａｘを乗算することによって、高解像度拡散反射画像を合成する。正規化で利用した鏡面反射画像の最大輝度値ｉｓｆ＿ｍａｘは、アルベド推定部２０６によってメモリに蓄積されているため、この情報を読み出せばよい。もちろん、拡散反射画像の最大輝度値や入力画像の最大輝度値を利用して正規化を行っている場合、鏡面反射画像の最大輝度値ｉｓｆ＿ｍａｘを乗算するのではなく、正規化に利用した拡散反射画像の最大輝度値や入力画像の最大輝度値を乗算する。【０１９１】  以上の処理により、高解像度化された拡散反射画像を合成することができる。ここで、高解像度化処理はアルベド画像を利用して行ったが、アルベド画像ではなく、拡散画像を直接、高解像度化するようにしても構わない。この場合、学習処理は拡散画像を用いて行えばよい。【０１９２】  影生成部２１５は、拡散反射画像高解像度化部２０９と鏡面反射画像高解像度化部２１４によって生成された高解像度拡散反射画像と高解像度鏡面反射画像に重畳する、影画像を合成する（ステップＳ４１３）。これは、影除去部２０５において利用したレイトレーシングを利用すればよい。【０１９３】  ここで、画像高解像度化部２１７は、撮影対象となっている被写体の３次元形状に関する知識を有するものとする。影生成部２１５は、被写体の３次元形状データを取得し、撮影画像における被写体の見え（ａｐｐｅａｒａｎｃｅ）から、被写体の３次元姿勢及び３次元位置を推定する。被写体が人間の目の角膜である場合の、見えから３次元位置及び３次元姿勢を推定する例が、「Ｋ．Ｎｉｓｈｉｎｏ  ａｎｄ  Ｓ．Ｋ．Ｎａｙａｒ，″Ｔｈｅ  Ｗｏｒｌｄ  ｉｎ  ａｎ  Ｅｙｅ″，ｉｎ  Ｐｒｏｃ．ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  ＣＶＰＲ’０４，ｖｏｌ．Ｉ，ｐｐ４４４−４５１，Ｊｕｌ．，２００４．」に開示されている。見えから３次元位置及び３次元姿勢を推定できる被写体は限られるが、そのような被写体であれば、上記文献の手法を適用することが可能である。【０１９４】  被写体の３次元姿勢及び３次元位置が推定されれば、被写体上の任意の位置において、被写体表面の形状情報が算出できる。以上の処理を、撮影画像において繰り返し、被写体表面の形状情報を算出する。さらに、形状情報高密度化部２１１で推定された高密度形状情報を利用して被写体の形状情報を高密度化することによって、被写体の３次元形状を高密化することが可能である。こうして求めた高密度３次元形状と、パラメータ高解像度化部２１４によって高密度化されたパラメータを利用してレイトレーシングを行うことにより、高解像度な影画像の推定を行う。【０１９５】  レンダリング部２１６は、拡散反射画像高解像度化部２０９が合成した高解像度拡散反射画像、鏡面反射画像高解像度化部２１４が合成した高解像度鏡面反射画像、さらには、影生成部２１５が合��した影画像を合成し、原画像を高解像度化した高解像度画像を作成する（ステップＳ４１４）。【０１９６】  図３２〜３４は本実施例における擬似アルベドを利用した画像高解像度化方法によって、画像を８ｘ８倍に高解像度化した結果を示している。図３２は学習に用いた画像を示している。被写体としてお面を用いた。このような学習データを利用して、図３３（ａ）の画像の高解像度化を行った。この画像は、図３２の学習データと同じ被写体ではあるが、光源の位置が異なっている。【０１９７】  比較用に、アルベド高解像度化部２０７で利用したテキストンに基づく高解像度化を、アルベド画像ではなく、画像撮像部２０１が撮影した画像そのものに対して高解像度化処理を行った。その結果を図３３（ｂ）に示す。また、図３３（ｃ）は本実施例における擬似アルベドを利用した画像高解像度化の結果である。また、図３４（ａ）（ｂ）は、図３３（ｂ）（ｃ）の向かって右側上部に示した矩形領域内を拡大したものである。これらの結果より、本実施例の画像高解像度化方法は画質劣化を招くことなく画像を８ｘ８倍に高解像度化できることがわかる。【０１９８】  また、被写体の向かって右側上部の遮蔽エッジに着目すると、図３４（ａ）では、エッジがばたついていることが分かる。これは、学習時と高解像度化処理時との光源環境が異なるため、背景と学習した被写体との区別がつかず、画質が劣化していると考えられる。一方、本実施例の画像高解像度化方法では、形状情報を利用しているため、遮蔽エッジが自然に表現されている。すなわち、アルベド画像または擬似アルベド画像と被写体の形状情報とを利用することにより、適切な遮蔽エッジを表現することが可能となり、より適切な画像の高解像度化を実現することができる。【０１９９】  また、上記説明では、鏡面反射画像のみパラメータ推定を利用して高解像度化を行ったが、拡散反射画像においてもパラメータ推定を行ない、高解像度化するようにしてもかまわない。【０２００】  この処理を説明する。拡散反射画像の未知パラメータは、上述のとおり、以下の２つである。【０２０１】  ○拡散反射成分の係数ｋｄ
○拡散反射成分の反射率（アルベド）ρｄ
そこで、これらのパラメータを推定する。図３５は拡散反射画像のパラメータ推定処理の流れを示した図である。処理は、図２７で示した鏡面反射画像のパラメータ推定部２１０の処理後、さらに以下の２段階の処理を行なう。【０２０２】  まず、（式４９）と鏡面反射画像のパラメータ推定で求まったｋｓを利用して、次式よりｋｄを推定する（ステップＳ３５３）。
【数７０】
2007139067.tif 000074
【０２０３】  さらに、（式４７）を利用して、拡散反射画像の反射率（アルベド）ρｄを次式より推定する（ステップＳ３５４）。
【数７１】
2007139067.tif 000075
【０２０４】  以上の処理により、すべての未知パラメータを推定することができる。こうして求まったパラメータをパラメータ高密度化部２１３と同様の手法により高密化することによって、拡散反射画像を高解像度化すればよい。【０２０５】  また、上記説明では、光源情報推定部２０３は、鏡面球を利用して光源情報を求めたが、画像から直接推定するようにしても構わない。この処理を詳述する。【０２０６】  （光源情報推定処理）
図３６は本処理に係る光源推定装置の構成を示すブロック図である。図３６において、１００１はＣＣＤやＣＭＯＳ等によって構成された撮像装置、１００２は撮像行為を行う主体者である撮像者が撮像装置１００１に撮像を指示するための撮像スイッチである。撮像装置１００１には３軸の角度センサ１０２５が搭載されている。【０２０７】  また、１０１は撮像装置１００１の状況が、光源情報の取得に適しているか否かを判断する撮像装置状況判断部、１０２は撮像装置状況判断部１０１によって適していると判断されたとき、撮像装置１００１によって撮像を行い、この撮像画像を光源画像として取得する光源画像取得部、１０３は光源画像取得部１０２によって光源画像が取得されたとき、撮像装置１００１の状況を表す第１の撮像装置情報を取得する第１の撮像装置情報取得部、１０４は撮像者の操作によって撮像装置１００１による撮像が行われた撮像時に、撮像装置の状況を表す第２の撮像装置情報を取得する第２の撮像装置情報取得部、そして１０５は光源画像取得部１０２によって取得された光源画像、並びに第１の撮像装置情報取得部１０３によって取得された第１の撮像装置情報、および第２の撮像装置情報取得部１０４によって取得された第２の撮像装置情報を基にして、撮像時における光源の方向および位置のうち少なくともいずれか一方を推定する光源情報推定部である。【０２０８】  なお、ここでは、撮像装置状況判断部１０１、光源画像取得部１０２、第１の撮像装置情報取得部１０３、第２の撮像装置情報取得部１０４および光源情報推定部１０５は、ＣＰＵ１０２９によってプログラムを実行することによって、実現されるものとする。ただし、これらの機能の全部または一部を、ハードウェアによって実現するようにしてもかまわない。また、メモリ１０２８は、光源画像取得部１０２によって取得された光源画像と、第１の撮像装置情報取得部１０３によって取得された第１の撮像装置情報を格納する。【０２０９】  図３７は本処理に係る光源推定装置が搭載されたカメラ付き折り畳み式携帯電話１０００の構成例を示す。図３７において、図３６と共通の構成要素には図３６と同一の符号を付している。なお、図３７のカメラ付き折り畳み式携帯電話１０００では、撮像装置１００１に偏光フィルタ１０１６が設けられており、この偏光フィルタ１０１６を回転させるためのモータ１０２６ａと、その回転角を検出するためのエンコーダ１０２７ａとが設けられている。また、折り畳み機構を駆動するためのモータ１０２６ｂと、その回転角を検出するためのエンコーダ１０２７ｂとが設けられている。【０２１０】  図３８は図３７のカメラ付き折り畳み式携帯電話１０００が折り畳まれた状態を示す図である。図３８において、１００５は撮像装置１００１の光軸方向を示し、１００６は撮像装置１００１の視野範囲を示している。【０２１１】  以下、本処理に係る光源推定装置の各構成要素の動作について、説明する。【０２１２】  撮像装置状況判断部１０１は、撮像装置１００１の状況が、光源情報を取得するために適しているか否かを判断する。最も一般的な光源として、家庭内では照明、屋外では街灯や太陽が考えられる。そのため、撮像装置１００１の撮像方向、つまり光軸の方向が上向きになっている場合、撮像装置１００１が光源情報を取得するために適した状況にある、と判断することができる。そこで、撮像装置状況判断部１０１は、撮像装置１００１に搭載された角度センサ１０２５の出力を用いて、撮像装置１０１の光軸の方向を検出し、光軸が上方向を向いているとき、光源情報を取得するために適していると判断する。このとき、撮像装置状況判断部１０１は、光源画像取得部１０２に撮像を促す信号を送信する。【０２１３】  光源画像取得部１０２は、撮像装置状況判断部１０１から撮像を促す信号を受けたとき、すなわち、撮像装置１００１の状況が光源情報を取得するために適していると撮像装置状況判断部１０１によって判断されたとき、撮像装置１００１によって撮像を行い、この撮像画像を光源画像として取得する。取得された光源画像は、メモリ１０２８に格納される。【０２１４】  このとき、光源画像取得部１０２は、撮像者の操作による撮像が行われないことを確認した後に、光源画像の取得を行うのが好ましい。例えば、撮像スイッチ１００２が押されていないことを確認した上で、光源画像の撮像を行えばよい。【０２１５】  光源画像取得部１０２は、撮像者の撮像意図を考慮して、撮像が行われていない期間を利用して光源画像を撮像するものである。本処理に係る光源推定装置では、被写体を撮像するための撮像装置１００１を利用して、光源画像の撮像を行う。このため、もし撮像者が被写体をまさに撮像しようとしているその直前に光源画像の撮像が行われてしまうと、撮像者が撮像しようとした瞬間に被写体を撮像することができず、撮像者の撮像意図を無視することになってしまう。【０２１６】  このため、本処理では、撮像者の撮像意思を考慮するために、撮像者が撮像を行わないと想定される間、例えば、机などにおかれている間に光源画像の撮像を行う。例えば、図３８のカメラ付き折畳式携帯電話１０００が机などにおかれている場合、光軸方向１００５は上向きになると考えられる。この状態であれば、最適な光源画像を撮像することが可能である。【０２１７】  図３９は撮像装置状況判断部１０１および光源画像取得部１０２の処理の一例を示すフローである。まず、撮像装置状況判断部１０１は、撮像装置１００１の光軸方向の検出を行い、その光軸方向が上向きであるか否かを判断する（ステップＳ１２１）。光軸方向が上向きでない場合（ステップＳ１２１でＮｏ）、光軸方向が上向きになるまで繰り返し光軸方向のチェックを行う。一方、光軸方向が上向きである場合（ステップＳ１２２でＹｅｓ）、光源画像取得部１０２は撮像スイッチ１００２のチェックを行う（ステップＳ１２２）。もし、オートフォーカス（ＡＦ）などの処理を行うために、撮像スイッチ１００２が押されている場合（ステップＳ１２２でＮｏ）、撮像が行われる可能性が高いため、光源画像の撮像は行わない。一方、撮像スイッチ１００２が押されていない場合（ステップＳ１２２でＹｅｓ）、光源画像取得部１０２は撮像装置１００１によって撮像を行い、光源画像を取得する（ステップＳ１２３）。【０２１８】  なお、ここでは、撮像スイッチのチェックによって、撮像者の操作による撮像が行われるか否かを判断するものとしたが、撮像者が撮像する意思を持っているか否かを確認する方法は、これに限られるものではない。例えば、「撮像中ですか？」という撮像を確認する表示をディスプレイに表示し、撮像者が「Ｎｏ」という意思を表示するか、なんの反応もない場合に、撮像者が撮像する意思を持っていないと判断してもかまわない。【０２１９】  また、加速度センサなどを利用し、撮像装置１００１が静止しているとき、光源画像の取得を行うようにしてもかまわない。すなわち、撮像装置１００１が静止している場合、撮像装置１００１は撮像者が保持しておらず、机などにおかれていると判断できる。そのため、この場合、撮像者は撮像を行っていない可能性が高い。一方、撮像者が撮像を行うために撮像装置１００１を構えている場合、手ぶれの影響を加速度センサが感知する。このときは、光源画像取得部１０２は撮像を行わないようにすればよい。【０２２０】  第１の撮像装置情報取得部１０３は、光源画像取得部１０２によって光源画像が取得されたとき、撮像装置１００１の状況を表す第１の撮像装置情報を取得する。具体的には例えば、角度センサ１０２５の出力と撮像装置１００１の焦点距離情報とを、第１の撮像装置情報として取得する。取得された第１の撮像装置情報はメモリ１０２８に格納される。図４０はメモリ１０２８に保持された情報の一部を示す模式図である。ある光源画像に対して、角度センサ出力と焦点距離が、第１の撮像装置情報として格納されている。【０２２１】  撮像装置１００１の姿勢情報は、角度センサ１０２５の出力を使用して、以下の３ｘ３行列Ｒｌｉｇｈｔで表現される。
【数７２】
2007139067.tif 000076
【０２２２】  撮像装置１００１の姿勢情報を表す、この３ｘ３行列Ｒｌｉｇｈｔのことをカメラ姿勢行列と呼ぶ。ここで、（α，β，γ）はカメラに取り付けられたセンサ出力のロール・ピッチ・ヨー角表現での値であり、ある基準点からの動き量で表現される。ロール・ピッチ・ヨー角表現とは、図４１に示したように、任意の回転を、ｚ軸周りの回転であるロー、次に、新しいｙ軸周りの回転であるピッチ、最後に、新しいｘ軸まわりの回転であるヨーの３段階の回転によって表すものである。【０２２３】  また、Ｒｘ（α）、Ｒｙ（β）、Ｒｚ（γ）はロール・ピッチ・ヨー角からｘ軸回転、ｙ軸回転、ｚ軸回転へ変換する行列であり、次式で表される。
【数７３】
2007139067.tif 000077
【０２２４】  また、撮像装置１００１がズーム可能である場合、そのズーム情報も焦点距離情報として取得される。また、撮像装置１００１が固定焦点の場合、その焦点距離情報も取得される。焦点距離情報は、画像処理の分野で広く使われているカメラキャリブレーションを行なうことにより、取得できる。【０２２５】  このような、カメラに取り付けられた角度センサや角速度センサからカメラの姿勢情報を取得する方法は、既存の手法を利用すればよい（例えば、「岡谷貴之，“メカニカルセンサとイメージセンサの融合による３次元形状復元”，情報処理学会研究報告会，２００５−ＣＶＩＭ−１４７，ｐｐ．１２３−１３０，２００５」）。【０２２６】  第２の撮像装置情報取得部１０４は、撮像者の操作によって撮像装置１００１による撮像が行われた撮像時に、撮像装置１００１の状況を表す第２の撮像装置情報を取得する。ここでも、上述した第１の撮像装置情報取得部１０３と同様に、角度センサ１０２５の出力と撮像装置１００１の焦点距離情報とを、第２の撮像装置情報として取得するものとする。このとき、角度センサ１０２５の出力（α，β，γ）から求められる姿勢行列Ｒｎｏｗを、現在の姿勢行列と呼ぶ。【０２２７】  光源情報推定部１０５は、メモリ１０２８に格納された光源画像および第１の撮像装置情報と、第２の撮像装置情報取得部１０４によって取得された第２の撮像装置情報を用いて、撮像者の操作による撮像時における、光源情報を推定する。ここでは、光源の方向を推定するものとする。【０２２８】  まず、光源画像において、十分に輝度値の高い画素を、光源を撮像している画素すなわち光源画素として抽出する。図４２はこの処理を説明するための模式図である。図４２では、視野範囲１００６を持った撮像装置１００１が光源１００７を撮像している。このとき、撮像画像１００８において、光源が撮像されている領域１００９の輝度値は非常に高くなる。そこで、閾値処理を利用し、所定の閾値よりも輝度値が高い画素を光源画素として抽出する。【０２２９】  こうして求まった光源画素から、光源方向を推定する。この処理には、撮像装置の画素位置（ｕ，ｖ）と画像座標系とよばれる撮像素子上での実寸位置（ｘｆ，ｙｆ）との関係式が必要である。レンズの歪みなどの影響を考慮すると、画素位置（ｕ，ｖ）と実寸位置（ｘｆ，ｙｆ）との関係は、次式で求められる。
【数７４】
2007139067.tif 000078
【０２３０】ただし、（Ｃｘ，Ｃｙ）は画素中心位置、ｓはスケールファクタ、（ｄｘ，ｄｙ）は撮像素子１画素のサイズ［ｍｍ］、Ｎｃｘはｘ方向の撮像素子数、Ｎｆｘはｘ方向の有効画素数、κ１、κ２はレンズの歪みを示す歪みパラメータである。【０２３１】  また、図４３に示した、撮像装置の焦点位置を原点、その光軸方向をＺ軸にとったカメラ座標系（ｘ，ｙ，ｚ）と画像座標系（ｘｆ，ｙｆ）との関係は、次式で求められる。【０２３２】
【数７５】
2007139067.tif 000079
ここで、ｆは撮像装置の焦点距離を表している。つまり、カメラパラメータ（Ｃｘ，Ｃｙ），ｓ，（ｄｘ，ｄｙ）、Ｎｃｘ、Ｎｆｘ、ｆ、κ１、κ２が既知であれば、（式２）（式３）により、画素位置（ｕ，ｖ）とカメラ座標系（ｘ，ｙ，ｚ）の変換が可能である。【０２３３】  通常、Ｎｃｘ、Ｎｆｘは撮像素子が特定できれば既知であり、また、（Ｃｘ，Ｃｙ），ｓ，（ｄｘ，ｄｙ）、κ１、κ２、ｆはいわゆるカメラキャリブレーションを行うことで既知となる（例えば、Ｒｏｇｅｒ  Ｙ．Ｔｓａｉ，“Ａｎ  Ｅｆｆｉｃｉｅｎｔ  ａｎｄ  Ａｃｃｕｒａｔｅ  Ｃａｍｅｒａ  Ｃａｌｉｂｒａｔｉｏｎ  Ｔｅｃｈｎｉｑｕｅ  ｆｏｒ  ３Ｄ  Ｍａｃｈｉｎｅ  Ｖｉｓｉｏｎ”，Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，Ｍｉａｍｉ  Ｂｅａｃｈ，ＦＬ，１９８６，ｐｐ．３６４−３７４）。これらのパラメータは、撮像装置の位置や姿勢が変化しても変化しない。このようなパラメータをカメラ内部パラメータとよぶ。【０２３４】  そこで、撮像を行う前にカメラキャリブレーションを行い、カメラ内部パラメータ（Ｃｘ，Ｃｙ）、ｓ、（ｄｘ，ｄｙ）、Ｎｃｘ、Ｎｆｘ、ｆ、κ１、κ２を特定する。これらの値は、撮像装置購入時に付属されているものを利用しても構わない。また、カメラが固定焦点ではなく、ズーム可能である場合、各ズーム時の焦点距離ｆを個別に求めておき、必要なときに選択できるようにしておけばよい。そして、焦点距離ｆを撮像した画像とともに保持しておけばよい。【０２３５】  以上の情報を利用して、光源画素から光源方向を推定する。光源画素の画素位置を（ｕｌｉｇｈｔ，ｖｌｉｇｈｔ）とすると、光源方向Ｌｌｉｇｈｔは以下の式で表現できる。
【数７６】
2007139067.tif 000080
【数７７】
2007139067.tif 000081
ところで、Ｌｌｉｇｈｔは光源画像を撮像したカメラ座標系で表現されているため、現在のカメラ座標系Ｌｎｏｗで表現しなおす。これは、以下の式で表現できる。
【数７８】
2007139067.tif 000082
以上の処理を行うことにより、光源方向ベクトルＬｎｏｗを推定する。このようにして、光源の方向が推定される。【０２３６】  さらに、撮像装置１００１が移動することを利用して、光源の方向だけでなく、３次元位置まで求めるようにしても構わない。【０２３７】  図４４はこの処理を説明するための模式図である。図４４において、１００１Ａ、１０１０Ａは時刻ｔ＝ｔ１における撮像装置と推定された光源方向ベクトル、また、１００１Ｂ、１０１０Ｂは時刻ｔ＝ｔ２における撮像装置と推定された光源方向ベクトルを示している。ここで、時刻ｔ１とｔ２における撮像装置の相対的な位置関係と姿勢がわかっていれば、光源ベクトル１０１０Ａ，１０１０Ｂを延長した交点に光源は存在するはずである。つまり、光源の３次元位置は以下のように求まる。【０２３８】  時刻ｔ１における、撮像装置の姿勢行列、撮像装置の相対的な３次元位置、および推定された光源方向ベクトルをそれぞれ、Ｒ１、Ｐ１、Ｌ１とし、時刻ｔ２における、撮像装置の姿勢行列と推定された光源方向ベクトルをそれぞれ、Ｒ２、Ｌ２とする。ただし、時刻ｔ２において、撮像装置の位置は原点Ｏ（０，０，０）であるとする。このとき、光源位置Ｐｌｉｇｈｔは次式を満たす。
【数７９】
2007139067.tif 000083
【数８０】
2007139067.tif 000084
ただし、ｓ，ｍは任意の定数である。もし、すべての推定値が正しく、ノイズが存在していなければ、（式５）と（式６）をｓとｍに関する連立方程式として解くことによって、光源位置Ｐｌｉｇｈｔは求まる。しかし、通常はノイズの影響があるため、最小自乗法を利用して、光源位置を求める。【０２３９】  まず、以下の関数ｆ（ｍ，ｓ）を考える。
【数８１】
2007139067.tif 000085
ここで、ｍ，ｓは以下の関係式を満たす。
【数８２】
2007139067.tif 000086
【数８３】
2007139067.tif 000087
つまり、
【数８４】
2007139067.tif 000088
【数８５】
2007139067.tif 000089
よって、（式７）、（式８）をｍとｓに関する連立方程式として解き、求まったｓとｍを（式５）または（式６）へ代入することにより、光源位置Ｐｌｉｇｈｔが求まる。このようにして、光源の位置が推定される。【０２４０】  なお、時刻ｔ１における撮像装置の相対的な３次元位置Ｐ１（時刻ｔ１とｔ２における撮像装置の相対的な位置関係）は、オプティカルフローを用いることによって求められる。オプティカルフローは、被写体上のある１点に対応する、時間的に連続した２つの画像上の点、すなわち対応点を結ぶベクトルであり、対応点とカメラ動きの間には、幾何学的な拘束式が成り立つ。このため、対応点が一定の条件を満たす場合にカメラの動きを算出することができる。【０２４１】  異なる時刻における撮像装置の相対的な位置関係をオプティカルフローから求める手法としては、例えば８点法と呼ばれる手法が知られている（Ｈ．Ｃ．Ｌｏｎｇｕｅｔ−Ｈｉｇｇｉｎｓ，“Ａ  ｃｏｍｐｕｔｅｒ  ａｌｇｏｒｉｔｈｍ  ｆｏｒ  ｒｅｃｏｎｓｔｒｕｃｔｉｎｇ  ａ  ｓｃｅｎｅ  ｆｒｏｍ  ｔｗｏ  ｐｒｏｊｅｃｔｉｏｎｓ”，Ｎａｔｕｒｅ，ｖｏｌ．２９３，ｐｐ．１３３−１３５，１９８１）。この手法は、２画像間の静止した８点以上の対応点の組からカメラ動きを算出するものである。また、このような２画像間の対応点を求める手法は、一般に広く知られた方法であるので、詳細な説明を省略する（例えば、Ｃａｒｌｏ  Ｔｏｍａｓｉ  ａｎｄ  Ｔａｋｅｏ  Ｋａｎａｄｅ，“Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｔｒａｃｋｉｎｇ  ｏｆ  Ｐｏｉｎｔ  Ｆｅａｔｕｒｅｓ”，Ｃａｒｎｅｇｉｅ  Ｍｅｌｌｏｎ  Ｕｎｉｖｅｒｓｉｔｙ  Ｔｅｃｈｎｉｃａｌ  Ｒｅｐｏｒｔ，ＣＭＵ−ＣＳ−９１−１３２，Ａｐｒｉｌ  １９９１）。【０２４２】  さらに、光源画素の輝度値やＲＧＢ値を求めることによって、光源の輝度や色も求めることができる。また、画像をマルチスペクトルカメラで取得することによって、光源のスペクトルを検出するようにしても構わない。このように光源のスペクトルを取得することによって、画像の高解像度化や拡張現実において、色再現性の高い画像が合成できることが知られている（例えば、「内山俊郎，土田  勝，山口雅浩，羽石秀昭，大山永昭，“マルチスペクトル撮影による光源環境計測とスペクトルに基づく画像生成”，電子情報通信学会技術研究報告ＰＲＭＵ２００５−１３８，ｐｐ．７−１２，２００６」）。【０２４３】  また、光源情報推定部１０５は、光源情報として、光源の照度情報を取得するようにしても構わない。これは撮像装置１００１と光軸方向が一致した照度計を利用すればよい。照度計としては、光電池にマイクロアンペア計を接続し、入射光によって生じる光電流を読む光電池照度計などを用いればよい。【０２４４】  以上のように本処理の光源推定装置によると、撮像装置の状況が光源情報の取得に適していると判断されたとき、この撮像装置によって光源画像を取得し、光源画像の取得時における第１の撮像装置情報と、撮像者による撮像時における第２の撮像装置情報とを用いて、撮像時における光源情報を推定する。したがって、カメラ付き携帯電話などにおいて、付加的な撮像装置を搭載することなく、被写体周囲の光源情報を推定す��ことができる。【０２４５】  なお、上述の処理では、撮像装置状況判断部１０１が撮像装置１００１の光軸方向を検出するために、角度センサ１０２５の出力を用いるものとしたが、これ以外にも例えば、錘とタッチセンサを利用した方法（特開平４−４８８７９号公報参照）や、加速度センサを利用した方法（特開昭６３−２１９２８１号公報参照）など、既存の方法を利用してもよい。【０２４６】  ここでは、錘とタッチセンサを利用する方法について説明する。図４５は錘とタッチセンサの構成を示す図である。図４５（ａ）において、１００３は常に垂直方向を保持するよう基端部を回動可能に支持して吊下された錘、１００４Ａ、１００４Ｂはタッチセンサである。また、１００５は撮像装置の光軸方向を示している。図４５（ｂ）に示すように、撮像装置の光軸方向１００５と水平面との角度をθとすると、タッチセンサ１００４Ａ，１００４Ｂは、光軸方向１００５が水平方向から所定角度θ１、θ２だけ傾いたとき、錘１００３に当接するように設置されている。【０２４７】  図４６は図４５の錘とタッチセンサがカメラ付き折り畳み式携帯電話に搭載された場合の構成例である。図４６のカメラ付き折り畳み式携帯電話が、撮像装置１００１を下にして置かれた場合、錘１００３がタッチセンサ１００４Ａに当接し、タッチセンサ１００４ＡがＯＮになる（図４７（ａ））。一方、撮像装置１００１を上にして置かれた場合、錘１００３がタッチセンサ１００４Ｂに当接し、タッチセンサ１００４ＢがＯＮになる（図４７（ｂ））。【０２４８】  図４８は光軸方向とタッチセンサのＯＮ／ＯＦＦとの関係を示す図である。すなわち、タッチセンサ１００４ＡがＯＮになり、タッチセンサ１００４ＢはＯＦＦのとき、光軸は水平方向から＋θ１以上傾いた下向きであると推定できる。また、タッチセンサ１００４ＢがＯＮになり、タッチセンサ１００４ＡはＯＦＦのとき、光軸は水平方向から−θ２以上傾いた上向きであると推定できる。一方、タッチセンサ１００４Ａ、１００４Ｂ両方ともＯＦＦの場合は、−θ２＜θ＜θ１であり、光軸方向はほぼ水平と推定できる。【０２４９】  このように、錘とタッチセンサを利用して、撮像装置１００１の光軸方向を検出することが可能となる。【０２５０】  なお、ここでは、カメラ付き折畳式携帯電話を例にとって説明したが、もちろんデジタルスチルカメラやデジタルビデオカメラであっても、錘とタッチセンサを利用して、撮像装置の光軸方向を検出することは可能である。図４９はデジタルスチルカメラに錘とタッチセンサを搭載した場合の構成例である。図４９（ａ）に示すように、撮像装置１００１の光軸が下向きのときは錘１００３がタッチセンサ１００４Ａに当接しており、一方、図４９（ｂ）に示すように、撮像装置１００１の光軸が上向きのときは錘１００３がタッチセンサ１００４Ｂに当接している。【０２５１】  また、上述の処理では、撮像装置状況判断部１０１は、撮像装置１００１の光軸の方向を検出して、撮像装置１００１の状況が光源情報の取得に適しているか否かを判断するものとしたが、光軸の方向を検出する代わりに、例えば、撮像された画像の輝度値を検出するようにしても構わない。【０２５２】  撮像画像に光源が映っている場合、光源が撮像されている画素の輝度値は非常に高くなる。そこで、撮像装置１００１により画像を撮像し、撮像された画像に閾値以上の輝度値が存在する場合、光源が撮像されており、光源情報の取得に適した状況であると判断することができる。このとき、光源の輝度値は非常に高いと考えられるため、撮像装置１００１は露光時間をできる限り短くして撮像することが望ましい。【０２５３】  あるいは、撮像装置１００１の状況が光源情報の取得に適しているか否かを判断するために、カメラの視野範囲に遮蔽物が存在するか否かを検出するようにしても構わない。これは、遮蔽物が存在する場合、光源が遮蔽されてしまい、光源を撮影できない可能性が高くなるためである。【０２５４】  遮蔽物の存在を検出するためには、距離情報を利用する方法と、画像情報を利用する方法とがある。前者は、例えばカメラのオートフォーカスなどに利用されている測距センサの出力を利用し、例えば、１ｍ以内に被写体が存在する場合はその被写体は遮蔽物であると判断するようにすればよい。また、後者の画像情報を利用する方法は、例えば、撮像装置１００１で画像を撮影し、その画像中から画像処理により人物を検出する。もし、人物が撮像されていた場合、その人物は遮蔽物であると判断する。これは、カメラの近傍で光源を遮蔽する最も一般的な被写体は人物だと考えられるためである。画像からの人物の検出は、例えば、色情報を利用して、肌色領域を検出するなど、広く知られている画像認識技術を利用すればよい。【０２５５】  また、光源画像取得部１０２が光源画像の取得を行う際には、フラッシュを照射せずに撮像を行うことが望ましい。これは、鏡のような鏡面反射を起こす被写体が撮像装置１００１の視野内に存在している場合、フラッシュが反射され、誤って光源画素として推定されてしまうためである。そのため、冷却ＣＣＤカメラや多重露光撮像など、広いダイナミックレンジを撮像できる撮像装置を利用することが望ましい。また、光源画像取得部１０２が光源画像の取得を行う際に、露光量が足りない場合は、露光時間を長くすればよい。これは、上述のように、加速度センサなどを利用し、撮像装置１００１が静止しているときのみ、光源画像の取得を行う場合に特に有効である。【０２５６】  以上のように本実施形態によると、データベースを利用した画像の高解像度化において、データベース作成時とは異なる光源環境の被写体が入力された場合であっても、画質の劣化を抑えながら、画像の高解像度化を行うことができる。【０２５７】  （第２の実施形態）
図５０は本実施形態に係る画像高解像度化装置の構成を示している。図５０において、図１と共通の構成要素には図１と同一の符号を付しており、ここではその詳細な説明は省略する。また、図４は本実施形態に係る画像高解像度化装置が搭載されたカメラの構成例を示しており、第１の実施形態と同じである。【０２５８】  第１の実施形態との違いは、画像高解像度化判断部２２３を設けた点である。画像高解像度化判断部２２３は、アルベド推定部２２１によって作成されたアルベド画像について、アルベドＤＢ２０８に蓄積された変換規則に従った高解像度化を行った場合の、信頼性を評価する。アルベド高解像度化部２０７は、画像高解像度化判断部２２３によって信頼性が低いと評価されたとき、アルベドＤＢ２０８に蓄積された変換規則を用いないで、アルベド画像の高解像度化を行う。すなわち、アルベドＤＢ２０８を用いたときの高解像度アルベド画像の信頼性が低い場合は、アルベド高解像度化処理を切り替える。【０２５９】  図５１は本実施形態における画像高解像度化判断部２２３およびアルベド高解像度化部２０７の処理の流れを示すフローチャートである。画像高解像度化判断部２２３は、アルベド推定部２２１が作成したアルベド画像が、アルベドＤＢ２０８作成時の学習データに類似しているか否かを判断する（ステップＳ４５１）。ここでの画像の類似度計算は、入力されたアルベド画像をテキストン化したテキストンと、クラスタＣ内の最短距離のテキストンベクトルとの距離を用いて行えばよい。もし、テキストンの距離が閾値Ｔｈ＿ＴＸより小さい場合（ステップＳ４５１でＹｅｓ）、第１の実施形態と同様に、アルベドＤＢ２０８から変換規則を取得してアルベド画像を高解像度化する（ステップＳ４５２）。一方、テキストンの距離が閾値Ｔｈ＿ＴＸより大きかった場合（ステップＳ４５１でＮｏ）、アルベドＤＢ２０８が保持している変換規則では高解像度化が高精度に行えないと判断し、例えば単純な線形補間処理に基づく高解像度化処理を行う（ステップＳ４５３）。このような閾値Ｔｈ＿ＴＸは、実験的に決定すればよく、例えば、入力画像が各色２５６階調カラー画像であった場合、０．０１とすればよい。【０２６０】  もちろん、十分類似した学習データが存在しない場合の処理方法は、線形補間処理に限られるものではなく、例えば、バイキュービック法やスプライン補間などを利用しても構わない。【０２６１】  また、ここでの画像の類似度計算は、入力されたアルベド画像をテキストン化したテキストンと、クラスタＣ内における最短距離のテキストンベクトルとの距離を利用する方法に限られるものではなく、例えば、輝度ヒストグラムを比較するようにしても構わない。この場合、クラスタＣと学習された変換行列ＣＭａｔに加え、学習に使用したアルベド画像もアルベドＤＢ２０８に蓄積しておく。前記のテキストン間の距離を利用する方法では、画素ごとにアルベド高解像度化処理を切り替えるのに対し、この手法では、画像ごとにアルベド高解像度化処理を切り替える。【０２６２】  また、画像高解像度化判断部２２３は、アルベド高解像度化部２０７によって作成される高解像度アルベド画像の信頼性を評価するために、アルベド画像を利用する��ではなく、アルベド高解像度化部２０７が高解像度化した高解像度アルベド画像を利用しても構わない。この場合、アルベド高解像度化部２０７が高解像度化した高解像度アルベド画像を低解像度化した画像と、アルベド推定部２２１が作成したアルベド画像との類似度を評価すればよい。ここでの低解像度化は、高解像度アルベド画像をローパスフィルタを通してサブサンプリングすることによって行えばよい。【０２６３】  これら２つのアルベド画像は、高解像度化が高精度に行われている場合は同じ画像となり、高解像度化に失敗している場合は異なった画像となる。そこで、これら２つのアルベド画像の類似度が十分に高い場合、第１の実施形態と同様に、アルベドＤＢ２０８から変換規則を取得してアルベド画像を高解像度化する。一方、これら２つのアルベド画像の類似度が十分に高くない場合、アルベドＤＢ２０８が蓄積している変換規則では高解像度化が高精度に行えないと判断し、例えば単純な線形補間処理に基づく高解像度化を行う。【０２６４】  以上のように本実施形態によると、学習データに類似していない被写体に対しては、アルベドＤＢに蓄積された変換規則を利用せず、例えば単純な線形補間処理を利用することによって、画質の劣化を抑えた画像高解像度化処理を行うことができる。【０２６５】  （第３の実施形態）
図５２は本発明の第３の実施形態に係る画像高解像度化システムの構成を示すブロック図である。図５２では、図１と共通の構成要素については図１と同一の符号を付しており、ここではその詳細な説明を省略する。【０２６６】  図５２では、例えばカメラ付き携帯電話によって構成される通信端末５０１に、図１に示した各構成要素のうち画像撮像部２０１、光源情報推定部２０３および形状情報取得部２０４が設けられている。そして、アルベド推定部２０６、アルベドＤＢ２０８、アルベド高解像度化部２０７および画像高解像度化部２１７は、通信端末５０１から離れてネットワークを介して接続された外部の装置であるサーバ５０２に設けられている。すなわち、本実施形態では、通信端末５０１側では、全ての処理を行うのではなく、画像撮像と光源情報および形状情報の取得のみを行い、画像高解像度化処理はサーバ５０２側で実行する。【０２６７】  通信端末５０１では、第１の実施形態で述べたように、画像撮像部２０１によって原画像が撮像され、光源情報推定部２０３によって光源情報が推定され、形状情報取得部２０４によって被写体の形状情報が取得される。これら原画像、光源情報および形状情報は、情報送信部２２４によって送信される。【０２６８】  サーバ５０２では、情報受信部２２５が、通信端末５０１からネットワークを介して送信される情報、すなわち原画像、光源情報および形状情報を受信する。受信された原画像、光源情報および形状情報はアルベド推定部２０６に与えられる。アルベド推定部２０６は、第１の実施形態で述べたように、光源情報および形状情報を用いて、原画像から被写体のアルベド画像を作成する。アルベド高解像度化部２０７は、低解像度アルベド画像を高解像度アルベド画像に変換する変換規則を蓄積しているアルベドＤＢ２０８から変換規則を取得し、アルベド画像を高解像度化する。画像高解像度化部２１７はアルベド高解像度化部２０７によって得られた高解像度アルベド画像と、光源情報および形状情報を用いて、原画像を高解像度化した高解像度画像を作成する。【０２６９】  このように、アルベド推定部２０６、アルベドＤＢ２０８、アルベド高解像度化部２０７および画像高解像度化部２１７をサーバ５０２に設けて、画像高解像度化処理を実行させることによって、通信端末５０１側の計算負荷を軽くすることが可能になる。【０２７０】  なお、上述の第２および第３の実施形態において、第１の実施形態で説明したのと同様に、原画像を拡散反射画像と鏡面反射画像とに分離して、拡散反射画像についてはアルベド画像を利用した高解像度化を行い、鏡面反射画像についてはアルベド画像を利用しない高解像度化を行うようにすることも、もちろん可能である。【０２７１】  なお、上述の各実施形態に係る画像高解像度化方法は、コンピュータに、例えばコンピュータ読み取り可能な記録媒体に記録されたプログラムを実行させることによって、実現することが可能である。
【産業上の利用可能性】
【０２７２】  本発明に係る画像高解像度化装置は、データベースを利用した画像の高解像度化において、データベース作成時とは異なる光源環境の被写体が入力された場合であっても、画質の劣化を抑えた画像高解像度化処理が実現できるため、例えば、デジタルカメラのデジタルズーム処理を行うのに有用である。
【図１】
2007139067.tif 000090
【図２】
2007139067.tif 000091
【図３】
2007139067.tif 000092
【図４】
2007139067.tif 000093
【図５】
2007139067.tif 000094
【図６】
2007139067.tif 000095
【図７】
2007139067.tif 000096
【図８】
2007139067.tif 000097
【図９】
2007139067.tif 000098
【図１０】
2007139067.tif 000099
【図１１】
2007139067.tif 000100
【図１２】
2007139067.tif 000101
【図１３】
2007139067.tif 000102
【図１４】
2007139067.tif 000103
【図１５】
2007139067.tif 000104
【図１６】
2007139067.tif 000105
【図１７】
2007139067.tif 000106
【図１８】
2007139067.tif 000107
【図１９】
2007139067.tif 000108
【図２０】
2007139067.tif 000109
【図２１】
2007139067.tif 000110
【図２２】
2007139067.tif 000111
【図２３】
2007139067.tif 000112
【図２４】
2007139067.tif 000113
【図２５】
2007139067.tif 000114
【図２６】
2007139067.tif 000115
【図２７】
2007139067.tif 000116
【図２８】
2007139067.tif 000117
【図２９】
2007139067.tif 000118
【図３０】
2007139067.tif 000119
【図３１】
2007139067.tif 000120
【図３２】
2007139067.tif 000121
【図３３】
2007139067.tif 000122
【図３４】
2007139067.tif 000123
【図３５】
2007139067.tif 000124
【図３６】
2007139067.tif 000125
【図３７】
2007139067.tif 000126
【図３８】
2007139067.tif 000127
【図３９】
2007139067.tif 000128
【図４０】
2007139067.tif 000129
【図４１】
2007139067.tif 000130
【図４２】
2007139067.tif 000131
【図４３】
2007139067.tif 000132
【図４４】
2007139067.tif 000133
【図４５】
2007139067.tif 000134
【図４６】
2007139067.tif 000135
【図４７】
2007139067.tif 000136
【図４８】
2007139067.tif 000137
【図４９】
2007139067.tif 000138
【図５０】
2007139067.tif 000139
【図５１】
2007139067.tif 000140
【図５２】
2007139067.tif 000141
【手続補正書】
【提出日】平成19年9月21日(2007.9.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像装置によって被写体の撮像を行う画像撮像部と、
前記被写体に照射する光源の、照度と、方向および位置のうち少なくともいずれか一方とを含む光源情報を推定する光源情報推定部と、
前記被写体の、表面の法線情報または３次元位置情報を、形状情報として取得する形状情報取得部と、
前記光源情報および形状情報を用いて、前記画像撮像部によって撮像された原画像から、前記被写体のアルベド画像を作成するアルベド推定部と、
低解像度アルベド画像を高解像度アルベド画像に変換する変換規則を蓄積しているアルベドデータベースと、
前記アルベドデータベースから変換規則を取得し、この変換規則に従って、前記アルベド推定部によって作成されたアルベド画像を高解像度化するアルベド高解像度化部と、
前記アルベド高解像度化部によって得られた高解像度アルベド画像と、前記光源情報および形状情報を用いて、前記原画像を高解像度化した高解像度画像を作成する画像高解像度化部とを備えた
ことを特徴とする画像高解像度化装置。
【請求項２】
請求項１記載の画像高解像度化装置において、
前記原画像を、拡散反射画像と鏡面反射画像とに分離する拡散反射・鏡面反射分離部を備え、
前記アルベド推定部は、前記原画像に代えて、前記拡散反射・鏡面反射分離部によって分離された拡散反射画像から、アルベド画像を作成する
ことを特徴とする画像高解像度化装置。
【請求項３】
請求項１記載の画像高解像度化装置において、
前記原画像を、拡散反射画像と鏡面反射画像とに分離する拡散反射・鏡面反射分離部を備え、
前記画像撮像部は、前記被写体の偏光状態を取得するものであり、
前記拡散反射・鏡面反射分離部は、前記画像撮像部によって取得された偏光状態を用いて、前記分離を行う
ことを特徴とする画像高解像度化装置。
【請求項４】
請求項１記載の画像高解像度化装置において、
前記アルベドデータベースが蓄積している変換規則は、前記原画像と解像度が同一のアルベド画像と前記原画像よりも解像度が高いアルベド画像とを用いた学習処理によって、求められたものである
ことを特徴とする画像高解像度化装置。
【請求項５】
請求項１記載の画像高解像度化装置において、
前記アルベド推定部によって作成されたアルベド画像について、前記アルベドデータベースに蓄積された変換規則に従った高解像度化の信頼性を評価する画像高解像度化判断部を備え、
前記アルベド高解像度化部は、前記画像高解像度化判断部によって信頼性が低いと評価されたとき、前記アルベドデータベースに蓄積された変換規則を用いないで、前記アルベド画像の高解像度化を行う
ことを特徴とする画像高解像度化装置。
【請求項６】
撮像装置によって被写体の撮像を行う画像撮像部と、
前記被写体に照射する光源の、方向および位置のうち少なくともいずれか一方を含む光源情報を推定する光源情報推定部と、
前記被写体の、表面の法線情報または３次元位置情報を、形状情報として取得する形状情報取得部と、
前記光源情報および形状情報を用いて、前記画像撮像部によって撮像された原画像から、前記被写体の擬似アルベド画像を作成するアルベド推定部と、
低解像度擬似アルベド画像を高解像度擬似アルベド画像に変換する変換規則を蓄積しているアルベドデータベースと、
前記アルベドデータベースから変換規則を取得し、この変換規則に従って、前記アルベド推定部によって作成された擬似アルベド画像を高解像度化するアルベド高解像度化部と、
前記アルベド高解像度化部によって得られた高解像度擬似アルベド画像と、前記光源情報および形状情報を用いて、前記原画像を高解像度化した高解像度画像を作成する画像高解像度化部とを備えた
ことを特徴とする画像高解像度化装置。
【請求項７】
請求項６記載の画像高解像度化装置において、
前記原画像を、拡散反射画像と鏡面反射画像とに分離する拡散反射・鏡面反射分離部を備え、
前記アルベド推定部は、前記原画像に代えて、前記拡散反射・鏡面反射分離部によって分離された拡散反射画像から、擬似アルベド画像を作成する
ことを特徴とする画像高解像度化装置。
【請求項８】
請求項６記載の画像高解像度化装置において、
前記原画像を、拡散反射画像と鏡面反射画像とに分離する拡散反射・鏡面反射分離部を備え、
前記画像撮像部は、前記被写体の偏光状態を取得するものであり、
前記拡散反射・鏡面反射分離部は、前記画像撮像部によって取得された偏光状態を用いて、前記分離を行う
ことを特徴とする画像高解像度化装置。
【請求項９】
請求項６記載の画像高解像度化装置において、
前記アルベドデータベースが蓄積している変換規則は、前記原画像と解像度が同一の擬似アルベド画像と前記原画像よりも解像度が高い擬似アルベド画像とを用いた学習処理によって、求められたものである
ことを特徴とする画像高解像度化装置。
【請求項１０】
請求項６記載の画像高解像度化装置において、
前記アルベド推定部によって作成された擬似アルベド画像について、前記アルベドデータベースに蓄積された変換規則に従った高解像度化の信頼性を評価する画像高解像度化判断部を備え、
前記アルベド高解像度化部は、前記画像高解像度化判断部によって信頼性が低いと評価されたとき、前記アルベドデータベースに蓄積された変換規則を用いないで、前記擬似アルベド画像の高解像度化を行う
ことを特徴とする画像高解像度化装置。
【請求項１１】
請求項１または６記載の画像高解像度化装置において、
前記原画像を、拡散反射画像と鏡面反射画像とに分離する拡散反射・鏡面反射分離部を備え、
前記画像高解像度化部は、
前記拡散反射・鏡面反射分離部によって分離された鏡面反射画像を高解像度化し、
前記高解像度化された鏡面反射画像を用いて、前記高解像画像の作成を行う
ことを特徴とする画像高解像度化装置。
【請求項１２】
請求項１１記載の画像高解像度化装置において、
前記画像高解像化部は、
前記鏡面反射画像の高解像度化を、前記形状情報の高密化処理を利用して、行う
ことを特徴とする画像高解像度化装置。
【請求項１３】
被写体を撮像した原画像を取得する第１のステップと、
前記被写体に照射する光源の、照度と、方向および位置のうち少なくともいずれか一方とを含む光源情報を推定する第２のステップと、
前記被写体の、表面の法線情報または３次元位置情報を、形状情報として取得する第３のステップと、
前記光源情報および形状情報を用いて、前記原画像から、前記被写体のアルベド画像を作成する第４のステップと、
低解像度アルベド画像を高解像度アルベド画像に変換する変換規則を蓄積しているアルベドデータベースから変換規則を取得し、この変換規則に従って、前記アルベド画像を高解像度化する第５のステップと、
前記第５のステップにおいて得られた高解像度アルベド画像と、前記光源情報および形状情報を用いて、前記原画像を高解像度化した高解像度画像を作成する第６のステップとを備えた
ことを特徴とする画像高解像度化方法。
【請求項１４】
コンピュータに、
被写体を撮像した原画像から、前記被写体に照射する光源の、照度と、方向および位置のうち少なくともいずれか一方とを含む光源情報、および、前記被写体の、表面の法線情報または３次元位置情報である形状情報を用いて、前記被写体のアルベド画像を作成する第１のステップと、
低解像度アルベド画像を高解像度アルベド画像に変換する変換規則を蓄積しているアルベドデータベースから変換規則を取得し、この変換規則に従って、前記アルベド画像を高解像度化する第２のステップと、
前記第２のステップにおいて得られた高解像度アルベド画像と、前記光源情報および形状情報を用いて、前記原画像を高解像度化した高解像度画像を作成する第３のステップと
を実行させるための画像高解像度化プログラム。
【請求項１５】
通信端末とサーバとを有し、画像を高解像度化する画像高解像度化システムであって、
前記通信端末は、
撮像装置によって被写体の撮像を行う画像撮像部と、
前記被写体に照射する光源の、照度と、方向および位置のうち少なくともいずれか一方とを含む光源情報を推定する光源情報推定部と、
前記被写体の、表面の法線情報または３次元位置情報を、形状情報として取得する形状情報取得部とを有し、
前記画像撮像部によって撮像された原画像、前記光源情報推定部によって推定された光源情報、および、前記形状情報取得部によって取得された形状情報を送信するものであり、
前記サーバは、
前記通信端末から送信された前記原画像、光源情報および前記形状情報を受信し、かつ、
前記光源情報および形状情報を用いて、前記原画像から、前記被写体のアルベド画像を作成するアルベド推定部と、
低解像度アルベド画像を高解像度アルベド画像に変換する変換規則を蓄積しているアルベドデータベースと、
前記アルベドデータベースから変換規則を取得し、この変換規則に従って、前記アルベド推定部によって作成されたアルベド画像を高解像度化するアルベド高解像度化部と、
前記アルベド高解像度化部によって得られた高解像度アルベド画像と、前記光源情報および形状情報を用いて、前記原画像を高解像度化した高解像度画像を作成する画像高解像度化部とを備えている
ことを特徴とする画像高解像度化システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関するものであり、特に、画像の高解像度化を行う技術に関する。
【背景技術】
【０００２】
カメラ付き携帯電話やデジタルカメラの普及に伴い、画像処理の重要度が高まっている。このような画像処理の１つとして、デジタルズームとして知られている画像の高解像度化がある。画像の高解像度化は、撮像した画像を任意に拡大処理するために用いられ、画像撮像後の編集処理において重要である。
【０００３】
画像の高解像度化を行うために、様々な方法が提案されている。例えば、一般的な手法として、バイリニア法（線形補間処理）やバイキュービック法などの内挿を用いる方法がある（非特許文献１）。ところが、内挿を用いた場合、サンプリングデータの中間的な値しか生成できないため、２ｘ２倍以上の拡大画像を合成する場合、エッジなどの先鋭度が劣化し、ぼけた画像になる傾向がある。そこで、初期拡大画像として内挿画像を用い、その後、エッジ部を抽出してエッジのみを強調する方法が提案されている（特許文献１、非特許文献２）。しかしこの方法の場合、エッジ部とノイズの切り分けが難しく、エッジ部の強調とともにノイズも強調されてしまい、画質劣化を招く傾向がある。
【０００４】
そこで、画質劣化を抑えつつ画像拡大を行う方法として、データベースを利用する方式が提案されている。すなわち、まず高解像度画像を高精細カメラ等によって予め撮影し、また、撮影した高解像度画像と同じ被写体、同じ環境での低解像度画像を取得する。低解像度画像の取得は例えば、別カメラで撮影する、ズームレンズを利用して高解像度画像を撮影しそのズーム値を変更する、高精細画像をローパスフィルタを通してサブサンプリングする、などの手法によって行えばよい。そして、このような低解像度画像と高解像度画像との組を多数準備し、その関係を画像拡大方法としてデータベースに学習する。このデータベースを利用して、画像の高解像度化を実現する。
【０００５】
このデータベースを利用する方式では、上述したような強調処理を必要としないため、比較的画質劣化の少ない画像拡大が実現できる。このような処理として例えば、画像をブロック化し、ブロック化された画像を学習する方法が知られている（例えば、特許文献２）。
【特許文献１】米国特許５，７１７，７８９号(図５)
【特許文献２】特許第３２７８８８１号公報
【非特許文献１】荒屋真二著，「明解  ３次元コンピュータグラフィックス」，共立出版，ｐｐ．１４４−１４６，２００３年９月２５日
【非特許文献２】中静真ら、「多重スケール輝度こう配平面における画像高解像度化」、電子情報通信学会論文誌 Ｄ−ＩＩ  Ｖｏｌ．Ｊ８１−Ｄ−ＩＩ  Ｎｏ．１０  ｐｐ．２２４９−２２５８，１９９８年１０月
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところが、データベースを利用した画像の高解像度化では、次のような問題がある。すなわち、データベースを学習した時と、画像撮像時とで、光源環境が異なっている場合、高解像度化後の画像の画質が必ずしも保証されず、画質劣化を招く可能性がある。
【０００７】
前記の問題に鑑み、本発明は、データベースを利用した画像の高解像度化において、データベース作成時とは異なる光源環境の画像が入力された場合であっても、画質の劣化を招くことなく、高解像度化を実現可能にすることを課題とする。
【課題を解決するための手段】
【０００８】
本発明では、アルベド画像または擬似アルベド画像を利用して、データベースを利用した画像の高解像度化を実現する。アルベドとは、反射率のことをいい、アルベド画像とは、光の鏡面反射や陰影などの光学現象によらない、被写体固有の反射率特性を表現した画像のことをいう。また、擬似アルベド画像とは、アルベド画像を、例えば鏡面反射画像の最大輝度値などの所定値によって正規化した画像のことをいう。
【０００９】
被写体のアルベド画像または擬似アルベド画像は、撮像した原画像から、光源情報と被写体の形状情報とを用いて、作成することができる。また、アルベド画像または擬似アルベド画像について、高解像度化のための変換規則を蓄積しているデータベースを予め準備しておき、このデータベースを利用して、被写体のアルベド画像または擬似アルベド画像の高解像度化を行う。そして、高解像度化されたアルベド画像または擬似アルベド画像から、光源情報と被写体の形状情報とを用いて、原画像を高解像度化した高解像度画像を作成する。
【発明の効果】
【００１０】
本発明によると、データベースを利用した画像の高解像度化において、被写体のアルベド画像または擬似アルベド画像を利用して高解像度化を行う。アルベド画像または擬似アルベド画像は、被写体固有の反射率特性を表現するものであり、光源環境に関連する成分を含まないため、データベースの学習時と撮像時とで光源環境が異なっている場合でも、高解像度化において画質の劣化は生じない。したがって、本発明によると、データベース作成時には想定していないような光源環境下の画像が入力された場合であっても、画像の高解像度化を適切に実現することができる。
【発明を実施するための最良の形態】
【００１１】
本発明の第１態様では、画像高解像度化装置として、撮像装置によって被写体の撮像を行う画像撮像部と、前記被写体に照射する光源の、照度と、方向および位置のうち少なくともいずれか一方とを含む光源情報を推定する光源情報推定部と、前記被写体の、表面の法線情報または３次元位置情報を、形状情報として取得する形状情報取得部と、前記光源情報および形状情報を用いて、前記画像撮像部によって撮像された原画像から、前記被写体のアルベド画像を作成するアルベド推定部と、低解像度アルベド画像を高解像度アルベド画像に変換する変換規則を蓄積しているアルベドデータベースと、前記アルベドデータベースから変換規則を取得し、この変換規則に従って、前記アルベド推定部によって作成されたアルベド画像を高解像度化するアルベド高解像度化部と、前記アルベド高解像度化部によって得られた高解像度アルベド画像と、前記光源情報および形状情報を用いて、前記原画像を高解像度化した高解像度画像を作成する画像高解像度化部とを備えたものを提供する。
【００１２】
本発明の第２態様では、前記原画像を、拡散反射画像と鏡面反射画像とに分離する拡散反射・鏡面反射分離部を備え、前記アルベド推定部は、前記原画像に代えて、前記拡散反射・鏡面反射分離部によって分離された拡散反射画像から、アルベド画像を作成する前記第１態様の画像高解像度化装置を提供する。
【００１３】
本発明の第３態様では、前記原画像を、拡散反射画像と鏡面反射画像とに分離する拡散反射・鏡面反射分離部を備え、前記画像撮像部は、前記被写体の偏光状態を取得するものであり、前記拡散反射・鏡面反射分離部は、前記画像撮像部によって取得された偏光状態を用いて、前記分離を行う前記第１態様の画像高解像度化装置を提供する。
【００１４】
本発明の第４態様では、前記アルベドデータベースが蓄積している変換規則は、前記原画像と解像度が同一のアルベド画像と前記原画像よりも解像度が高いアルベド画像とを用いた学習処理によって、求められたものである前記第１態様の画像高解像度化装置を提供する。
【００１５】
本発明の第５態様では、前記アルベド推定部によって作成されたアルベド画像について、前記アルベドデータベースに蓄積された変換規則に従った高解像度化の信頼性を評価する画像高解像度化判断部を備え、前記アルベド高解像度化部は、前記画像高解像度化判断部によって信頼性が低いと評価されたとき、前記アルベドデータベースに蓄積された変換規則を用いないで、前記アルベド画像の高解像度化を行う前記第１態様の画像高解像度化装置を提供する。
【００１６】
本発明の第６態様では、画像高解像度化装置として、撮像装置によって被写体の撮像を行う画像撮像部と、前記被写体に照射する光源の、方向および位置のうち少なくともいずれか一方を含む光源情報を推定する光源情報推定部と、前記被写体の、表面の法線情報または３次元位置情報を、形状情報として取得する形状情報取得部と、前記光源情報および形状情報を用いて、前記画像撮像部によって撮像された原画像から、前記被写体の擬似アルベド画像を作成するアルベド推定部と、低解像度擬似アルベド画像を高解像度擬似アルベド画像に変換する変換規則を蓄積しているアルベドデータベースと、前記アルベドデータベースから変換規則を取得し、この変換規則に従って、前記アルベド推定部によって作成された擬似アルベド画像を高解像度化するアルベド高解像度化部と、前記アルベド高解像度化部によって得られた高解像度擬似アルベド画像と、前記光源情報および形状情報を用いて、前記原画像を高解像度化した高解像度画像を作成する画像高解像度化部とを備えたものを提供する。
【００１７】
本発明の第７態様では、前記原画像を、拡散反射画像と鏡面反射画像とに分離する拡散反射・鏡面反射分離部を備え、前記アルベド推定部は、前記原画像に代えて、前記拡散反射・鏡面反射分離部によって分離された拡散反射画像から、擬似アルベド画像を作成する前記第６態様の画像高解像度化装置を提供する。
【００１８】
本発明の第８態様では、前記原画像を、拡散反射画像と鏡面反射画像とに分離する拡散反射・鏡面反射分離部を備え、前記画像撮像部は、前記被写体の偏光状態を取得するものであり、前記拡散反射・鏡面反射分離部は、前記画像撮像部によって取得された偏光状態を用いて、前記分離を行う前記第６態様の画像高解像度化装置を提供する。
【００１９】
本発明の第９態様では、前記アルベドデータベースが蓄積している変換規則は、前記原画像と解像度が同一の擬似アルベド画像と前記原画像よりも解像度が高い擬似アルベド画像とを用いた学習処理によって、求められたものである前記第６態様の画像高解像度化装置を提供する。
【００２０】
本発明の第１０態様では、前記アルベド推定部によって作成された擬似アルベド画像について、前記アルベドデータベースに蓄積された変換規則に従った高解像度化の信頼性を評価する画像高解像度化判断部を備え、前記アルベド高解像度化部は、前記画像高解像度化判断部によって信頼性が低いと評価されたとき、前記アルベドデータベースに蓄積された変換規則を用いないで、前記擬似アルベド画像の高解像度化を行う前記第６態様の画像高解像度化装置を提供する。
【００２１】
本発明の第１１態様では、前記原画像を、拡散反射画像と鏡面反射画像とに分離する拡散反射・鏡面反射分離部を備え、前記画像高解像度化部は、前記拡散反射・鏡面反射分離部によって分離された鏡面反射画像を高解像度化し、前記高解像度化された鏡面反射画像を用いて、前記高解像画像の作成を行う前記第１または第６態様の画像高解像度化装置を提供する。
【００２２】
本発明の第１２態様では、前記画像高解像化部は、前記鏡面反射画像の高解像度化を、前記形状情報の高密化処理を利用して、行う前記第１１態様の画像高解像度化装置を提供する。
【００２３】
本発明の第１３態様では、画像高解像度化方法として、被写体を撮像した原画像を取得する第１のステップと、前記被写体に照射する光源の、照度と、方向および位置のうち少なくともいずれか一方とを含む光源情報を推定する第２のステップと、前記被写体の、表面の法線情報または３次元位置情報を、形状情報として取得する第３のステップと、前記光源情報および形状情報を用いて、前記原画像から、前記被写体のアルベド画像を作成する第４のステップと、低解像度アルベド画像を高解像度アルベド画像に変換する変換規則を蓄積しているアルベドデータベースから変換規則を取得し、この変換規則に従って、前記アルベド画像を高解像度化する第５のステップと、前記第５のステップにおいて得られた高解像度アルベド画像と、前記光源情報および形状情報を用いて、前記原画像を高解像度化した高解像度画像を作成する第６のステップとを備えたものを提供する。
【００２４】
本発明の第１４態様では、画像高解像度化プログラムとして、コンピュータに、被写体を撮像した原画像から、前記被写体に照射する光源の、照度と、方向および位置のうち少なくともいずれか一方とを含む光源情報、および、前記被写体の、表面の法線情報または３次元位置情報である形状情報を用いて、前記被写体のアルベド画像を作成する第１のステップと、低解像度アルベド画像を高解像度アルベド画像に変換する変換規則を蓄積しているアルベドデータベースから変換規則を取得し、この変換規則に従って、前記アルベド画像を高解像度化する第２のステップと、前記第２のステップにおいて得られた高解像度アルベド画像と、前記光源情報および形状情報を用いて、前記原画像を高解像度化した高解像度画像を作成する第３のステップとを実行させるものを提供する。
【００２５】
本発明の第１５態様では、通信端末とサーバとを有し、画像を高解像度化する画像高解像度化システムとして、前記通信端末は、撮像装置によって被写体の撮像を行う画像撮像部と、前記被写体に照射する光源の、照度と、方向および位置のうち少なくともいずれか一方とを含む光源情報を推定する光源情報推定部と、前記被写体の、表面の法線情報または３次元位置情報を、形状情報として取得する形状情報取得部とを有し、前記画像撮像部によって撮像された原画像、前記光源情報推定部によって推定された光源情報、および、前記形状情報取得部によって取得された形状情報を送信するものであり、前記サーバは、前記通信端末から送信された前記原画像、光源情報および前記形状情報を受信し、かつ、前記光源情報および形状情報を用いて、前記原画像から、前記被写体のアルベド画像を作成するアルベド推定部と、低解像度アルベド画像を高解像度アルベド画像に変換する変換規則を蓄積しているアルベドデータベースと、前記アルベドデータベースから変換規則を取得し、この変換規則に従って、前記アルベド推定部によって作成されたアルベド画像を高解像度化するアルベド高解像度化部と、前記アルベド高解像度化部によって得られた高解像度アルベド画像と、前記光源情報および形状情報を用いて、前記原画像を高解像度化した高解像度画像を作成する画像高解像度化部とを備えているものを提供する。
【００２６】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００２７】
（第１の実施形態）
図１および図２は本実施形態に係る画像高解像度化装置の構成を示している。また、図３は本実施形態に係る画像高解像度化方法の処理の流れを示すフローチャートである。さらに、図４は本実施形態に係る画像高解像度化装置が搭載されたカメラの構成例を示している。
【００２８】
図１に示す画像高解像度化装置は、撮像装置によって被写体の撮像を行う画像撮像部２０１と、被写体に照射する光源に関する光源情報を推定する光源情報推定部２０３と、被写体の形状情報を取得する形状情報取得部２０４と、光源情報および形状情報を用いて、前記画像撮像部２０１によって撮像された原画像から被写体のアルベド画像を作成するアルベド推定部２０６と、低解像度アルベド画像を高解像度アルベド画像に変換する変換規則を蓄積しているアルベドデータベース（ＤＢ）２０８と、アルベドＤＢ２０８から変換規則を取得し、この変換規則に従って、アルベド推定部２０６によって作成されたアルベド画像を高解像度化するアルベド高解像度化部２０７と、アルベド高解像度化部２０７によって得られた高解像度アルベド画像と、光源情報および形状情報を用いて、原画像を高解像度化した高解像度画像を作成する画像高解像度化部２１７を備えている。
【００２９】
光源情報推定部２０３が推定する光源情報は、光源の、照度と、方向および位置のうち少なくともいずれか一方とを含む。被写体情報推定部２０４は、被写体の、表面の法線情報または３次元位置情報を、形状情報として取得する。
【００３０】
図２に示す画像高解像度化装置は、図１の構成を基本にしたものであり、原画像を拡散反射画像と鏡面反射画像とに分離して、拡散反射画像についてはアルベド画像を利用した高解像度化を行い、鏡面反射画像についてはアルベド画像を利用しない高解像度化を行うものである。さらに、原画像から影領域を除去した後に高解像度化を行い、高解像度化後に影領域を付加するようにしている。
【００３１】
すなわち、図１の構成に加えて、画像撮像部２０１によって撮影された原画像を、拡散反射画像と鏡面反射画像とに分離する拡散反射・鏡面反射分離部２０２と、分離後の画像から影領域の推定を行う影除去部２０５とをさらに備えている。アルベド推定部２２１は、画像撮像部２０１によって撮影された原画像に代えて、拡散反射・鏡面反射分離部２０２によって分離された拡散反射画像から、光源情報および形状情報を用いて、アルベド画像を作成する。
【００３２】
また、画像高解像度化部２１７は、アルベド高解像度化部２０７によって得られた高解像度アルベド画像を用いて、高解像度拡散反射画像を作成する拡散反射画像高解像度化部２０９と、形状情報取得部２０４によって取得された形状情報と拡散反射・鏡面反射分離部２０２によって分離された拡散反射画像と鏡面反射画像を利用して、被写体を表現するパラメータを推定するパラメータ推定部２１０と、形状情報取得部２０４によって取得された形状情報を高密度化する形状情報高密度化部２１１と、低密度形状情報を高密度形状情報に変換する変換規則を蓄積している法線データベース（ＤＢ）２１２を利用して、パラメータ推定部２１０によって求められたパラメータを高密度化するパラメータ高密度化部２１３と、形状情報高密度化部２１１によって推定された高密度形状情報と、パラメータ高解像度化部２１３によって高密度化されたパラメータを利用し、高解像度鏡面反射画像を合成する鏡面反射画像高解像度化部２１４と、影領域を生成する影生成部２１５と、レンダリング部２１６とを備えている。
【００３３】
以下、図２の構成に基づいて、各構成要素における処理について説明する。なお、図２の構成では、原画像から影領域を除去した後に高解像度化を行い、高解像度化後に影領域を付加するようにしているが、本発明において、影領域の除去および付加は必ずしも行う必要はない。また、図２の構成では、原画像を拡散反射画像と鏡面反射画像とに分離して、拡散反射画像についてはアルベド画像を利用した高解像度化を行い、鏡面反射画像についてはアルベド画像を利用しない高解像度化を行うようにしているが、本発明において、拡散反射画像と鏡面反射画像との分離は必ずしも行う必要はない。例えば、原画像がほぼ拡散反射成分のみからなると考えられる場合には、拡散反射画像と鏡面反射画像との分離は必要でなく、原画像についてアルベド画像を利用した高解像度化を行えばよい。この場合、装置の構成は図１のようになる。
【００３４】
画像撮像部２０１はＣＣＤやＣＭＯＳなどの撮像装置を利用して、被写体を撮像する（ステップＳ４０１）。こうして撮像された画像は、輝度が非常に高くなる鏡面反射成分と拡散反射成分とを同時に、飽和することなく記録されることが望ましい。このため、冷却ＣＣＤカメラや多重露光撮像など、広いダイナミックレンジを撮像できる撮像装置を利用することが望ましい。また、画像撮像部２０１は後述するように、偏光フィルタを利用して撮像を行うことが望ましい。これにより、被写体の偏光状態を取得することができ、拡散反射・鏡面反射分離部２０２は、画像撮像部２０１によって取得された偏光状態を用いて、分離を行うことができる。
【００３５】
拡散反射・鏡面反射分離部２０２は、画像撮像部２０１によって撮像された原画像を、拡散反射画像と鏡面反射画像とに分離する（ステップＳ４０２）。ここで、拡散反射画像とは、入力画像のうち、マットな反射成分である拡散反射成分のみを画像化したものであり、同様に、鏡面反射画像は、入力画像のうち、てかりである鏡面反射成分のみを画像化したものである。ここで、拡散反射成分とは、光沢の無い物体表面で起こる反射のように、すべての方向に一様に散乱する成分である。一方、鏡面反射成分とは、鏡の面での反射のように、法線に対して入射光の反対方向に強く反射する成分である。２色性反射モデルを仮定すると、物体の輝度は、拡散反射成分と鏡面反射成分との和として表現される。後述するように、鏡面反射画像と拡散反射画像は、例えば偏光フィルタを回転させながら被写体を撮像することによって取得することができる。
【００３６】
図５（ａ）は、光源で照射された被写体（タンブラー）を撮像装置で撮像した画像を示している。図の上部にてかりである鏡面反射が現れているのがわかる。一方、図５（ｂ）（ｃ）は、図５（ａ）の画像を後述する方法で拡散反射画像と鏡面反射画像とに分離した結果である。拡散反射画像はてかりが取り除かれ、表面のテクスチャ情報が鮮明になっているが、立体感が失われている。一方、鏡面反射画像は細かな形状情報が鮮明に現れているが、逆にテクスチャ情報が失われている。つまり、入力画像はこれら全く異なる情報を含んだ二つの画像が重畳されたものであった。画像を拡散反射画像と鏡面反射画像とに分離し、別々に処理することにより、より精細な高解像度化処理が可能である。
【００３７】
前述のように、２色性反射モデルを仮定すると、物体の輝度は、拡散反射成分と鏡面反射成分の和として以下の式で表現される。
【数１】
2007139067.tif 000142
【００３８】
ここで、Ｉは撮像装置が撮像した被写体の輝度値、Iaは環境光成分、Idは拡散反射成分、Isは鏡面反射成分である。ここで、環境光成分とは、光源の光が物体などによって散乱された間接光のことである。これは空間の至る所に散乱され、直接光がとどかない影の部分にもわずかに明るさを与える。そのため、通常はノイズとして取り扱われることが多い。
【００３９】
環境光成分は十分に小さく、ノイズとして無視できると考えると、画像は拡散反射成分と鏡面反射成分とに分離できる。上述のように、拡散反射成分がテクスチャ情報に依存するのに対し、鏡面反射画像は細かな形状情報に依存するといったように、これらの成分は非常に異なった特質を示す。そのため、画像を高解像度化するために、入力画像を拡散反射画像と鏡面反射画像とに分離し、それぞれの画像を別々の方法で高解像度化することによって、非常に高精細な高解像度化画像を取得することができる。このため、まずは拡散反射画像と鏡面反射画像とを分離する必要性がある。
【００４０】
この分離方法は、従来からさまざまなものが提案されている。例えば、
・鏡面反射と拡散反射の偏光度の違いを利用し、偏光フィルタを用いた方法（例えば、特許第３４５９９８１号公報）。
・対象物を回転させ、マルチスペクトルカメラを利用することで鏡面反射領域を分離する方法（例えば、特開２００３−８５５３１号公報）。
・様々な方向から光源を当てた対象物の画像を利用し、鏡面反射が生じない理想状態での画像である線形化画像を合成し、その線形化画像を利用して鏡面反射や影領域を分離する方法（例えば、「石井育規，福井孝太郎，向川康博，尺長健， “光学現象の分類に基づく画像の線形化“，情報処理学会論文誌，vol.44，no. SIG5 (CVIM6) ，pp.11-21，2003」）。
などがある。
【００４１】
ここでは、偏光フィルタを利用する方法を用いる。図６は本実施形態に係る画像高解像度化装置が搭載されたカメラ付き携帯電話１０００を示している。図６に示すように、撮像装置１００１には回転機構（図示せず）をもった直線偏光フィルタ１０１６Ａが設けられている。また、直線偏光フィルタ１０１６Ｂが取り付けられた照明装置１００７が設けられている。また、１０１７は使用者のインターフェイス用の液晶ディスプレイである。
【００４２】
ここで、直線偏光フィルタ１０１６Ｂが取り付けられた照明装置１００７に照らされた被写体について、撮像装置１００１が、直線偏光フィルタ１０１６Ａを回転機構により回転させながら、複数枚の画像を撮像する。ここで、照明が直線偏光されていることに着目すると、反射光強度は偏光フィルタ１０１６の回転角ψに対して、図７のように変化する。ここで、反射光の拡散成分をＩｄ、鏡面反射成分をＩsとすると、反射光輝度の最大値Ｉmaxと最小値Ｉminは以下の式で表現される。
【数２】
2007139067.tif 000143
【数３】
2007139067.tif 000144
つまり、反射光の拡散成分Ｉｄ、鏡面反射成分Ｉsは、以下の式から求まる。
【数４】
2007139067.tif 000145
【数５】
2007139067.tif 000146
【００４３】
図８はこの処理の流れを示したものである。まず、回転機構により偏光フィルタ１０１６Ａを回転させ（ステップＳ３０１）、画像を撮像し、メモリに保持する（ステップＳ３０２）。次に、メモリに保持された画像が、所定の枚数撮像されているかを確認する（ステップＳ３０３）。このとき、反射光輝度の最小値と最大値を検出するのに十分な枚数がまだ撮像されていない場合（ステップＳ３０３でＮｏ）、偏光フィルタを再度回転させ（ステップＳ３０１）、撮像を繰り返す。一方、十分な枚数の撮像ができている場合（ステップＳ３０３でＹｅｓ）、撮像された画像データを利用して、反射光輝度の最小値と最大値を検出し（ステップＳ３０４）、（式１３）と（式１４）を利用することにより、拡散反射成分と鏡面反射成分とを分離する（ステップＳ３０５）。この処理は、複数枚の画像から画素ごとに最小値と最大値を求めても構わないが、ここでは、sin関数のフィッテングを利用する。この処理を説明する。
【００４４】
図７に示した、偏光フィルタ角ψに対する反射光輝度Ｉは、以下のように、sin関数で近似できる。
【数６】
2007139067.tif 000147
ここで、Ａ、Ｂ、Ｃは定数であり、（式１３）、（式１４）より
【数７】
2007139067.tif 000148
【数８】
2007139067.tif 000149
つまり、撮像された画像から、（式１５）のＡ，Ｂ，Ｃを求めることにより、拡散反射成分と鏡面反射成分とを分離することができる。
【００４５】
ところで、（式１５）は以下のように展開できる。
【数９】
2007139067.tif 000150
ただし、
【数１０】
2007139067.tif 000151
つまり、以下の評価式を最小にするＡ，Ｂ，Ｃを求めることで、拡散反射成分と鏡面反射成分を分離することができる。
【数１１】
2007139067.tif 000152
ただし、Iiは、偏光フィルタ角ψi時の反射光強度を示している。ここで、最小自乗法を用いると、各パラメータは以下のように推定される。
【数１２】
2007139067.tif 000153
【数１３】
2007139067.tif 000154
【数１４】
2007139067.tif 000155
【数１５】
2007139067.tif 000156
【数１６】
2007139067.tif 000157
【００４６】
以上より、（式１６）〜（式２３）を利用することで、拡散反射成分と鏡面反射成分とを分離する。この場合、未知パラメータが３個であるため、偏光フィルタの回転角を変更した画像を最低３枚撮像すればよい。
【００４７】
このため、直線偏光フィルタ１０１６Ａの回転機構を設ける代わりに、画素ごとに偏光方向の異なる撮像装置を利用しても構わない。図９はこのような撮像装置の画素を模式的に示したものである。ここで、１０２２は各画素を示し、各画素内の直線は偏光方向を示している。すなわち、この撮像装置は０°、４５°、９０°、１３５°の４種類の偏光方向を有する画素を持つ。そして、図９の太線１０２３のように、４種類の画素をベイヤ配列のように１画素として取り扱うことによって、偏光方向が４種類異なった画像を同時に撮像することができる。このような撮像装置は、例えば、フォトニック結晶デバイスなどを利用すればよい。
【００４８】
また、このような偏光フィルタと回転装置は、カメラ自体が持つのではなく、着脱可能な構成にしても構わない。例えば、一眼レフカメラの交換レンズに、偏光フィルタと回転装置を搭載する。図１０はこのような画像高解像度化装置が搭載されたカメラと交換レンズの構成例を示している。カメラ１１０１は、直線偏光フィルタ１０１６の回転を指示する信号を交換レンズ１１０２に送信するための信号送信装置１０４５を有する。交換レンズ１１０２は、直線偏光フィルタ１０１６と、信号送信装置１０４５から送信された信号を受信する信号受信装置１０４６と、直線偏光フィルタ１０１６の回転を指示する信号を信号受信装置１０４６が受信したとき、直線偏光フィルタ１０１６を回転させるモータ１０４４とを有する。
【００４９】
図１１はこのような画像高解像度化装置が搭載されたカメラと交換レンズの模式図である。カメラ１１０１には電気信号を送信する接点１１０３が設けられており、交換レンズ１１０２には電気信号を受信する接点１１０４が設けられている。カメラ１１０１と交換レンズ１１０２とがマウント１１０５によって結合されたとき、両接点１１０３，１１０４が接触する。これにより、カメラ１１０１から交換レンズ１１０２に信号を送信することが可能になり、カメラ１１０１から直線偏光フィルタ１０１６の回転を指示する信号を送信して、モータ１０４４によって直線偏光フィルタ１０１６を回転させることができる。
【００５０】
また、照明装置１００７として、偏光された照明例えば液晶ディスプレイを利用してもかまわない。例えば、携帯電話１０００に搭載されている液晶ディスプレイ１０１７を利用すればよい。この場合、液晶ディスプレイ１０１７の輝度値を、利用者のインターフェイス用として利用しているときに比べ、高くすることが望ましい。
【００５１】
もちろん、撮像装置１００１の偏光フィルタ１０１６Ａを回転させる代わりに、照明装置１００７の偏光フィルタ１０１６Ｂを回転させてもかまわない。また、撮像装置１００１と照明装置１００７の両方に偏光フィルタを設置する代わりに、撮像装置側など片側のみに設置し、独立成分分析を利用して拡散反射成分と鏡面反射成分とを分離させてもかまわない（例えば、特許３４５９９８１号公報参照）。
【００５２】
光源情報推定部２０３は、光源情報として、光源の方向、さらには色情報や照度情報を取得する（ステップＳ４０３）。これは例えば、被写体近傍に光源情報を推定するための形状既知の鏡面などを配置し、画像撮像部２０１によって撮像したその鏡面の画像から推定すればよい（例えば、「神原誠之，横矢直和，"光源環境の実時間推定による光学的整合性を考慮したビジョンベース拡張現実感"，電子情報通信学会技術研究報告，パターン認識・メディア理解，PRMU2002-190，pp. 7-12，2003」）。この処理について詳述する。
【００５３】
光源情報推定部２０３は、図１２に示した鏡面とみなせる球３００１を利用して行う。鏡面球３００１を被写体近傍に設置し、その位置や法線方向は既知とする。この鏡面球３００１を画像撮像部２０１によって撮像する。このとき、鏡面球３００１には、撮影環境が映り込んでいる。映り込みが生じる位置は、その鏡面球上の法線方向に対して、視線方向と映り込む対象への方向が正反射の関係となる位置である。そのため、鏡面球の位置とその法線方向が既知であれば、鏡面上の映り込んだ画像から映り込み対象の方向を検出できる。また、光源は輝度値が高いことを考慮すると、撮影された鏡面球の画像から、高輝度の画素を検出することにより、光源の方向を取得できる。さらに、鏡面の反射率が既知であれば、光源の色情報や放射輝度などの光源照度情報も取得できる。
【００５４】
もちろん、光源情報として、光源の方向だけではなく、あるいは光源の方向に代えて、光源の位置情報を取得するようにしても構わない。これは、例えば前述の鏡面球を２つ利用し、画像処理分野で広く知られているステレオ処理を利用すればよい。また、光源までの距離が既知の場合には、前述の方法で光源方向を推定することによって、光源の位置を推定することができる。
【００５５】
もちろん、このような鏡面球を常に撮影するのではなく、以前に撮影して求めた光源情報を使うようにしても構わない。これは、屋内の監視カメラのように光源環境が変わらない場合に有効である。このような場合、カメラを設置した際に鏡面球を撮影し、光源情報を取得するようにすればよい。
【００５６】
形状情報取得部２０４は、被写体の形状情報として、被写体の表面の法線情報、または被写体の３次元位置情報を取得する（ステップＳ４０４）。被写体の形状情報を取得する手段としては、例えば、スリット光投影法、パターン光投影法、レーザレーダ法などの既存の手法を用いればよい。
【００５７】
もちろん、形状情報の取得はこれらの手法に限られるものでない。例えば、複数のカメラを利用するステレオ視、カメラの動きを利用するモーションステレオ法、光源の位置を変化させながら撮像した画像を利用する照度差ステレオ法、ミリ波や超音波を利用して被写体との距離を測定する方法、さらには反射光の偏光特性を利用した方法（例えば、米国特許第５，０２８，１３８号や「宮崎大輔，池内克史，"偏光レイトレーシング法による透明物体の表面形状の推定手法"，電子情報通信学会論文誌，vol. J88-D-II， No.8，pp. 1432-1439，2005」）を用いてもかまわない。ここでは、照度差ステレオ法と偏光特性を利用した方法について説明する。
【００５８】
照度差ステレオ法は、光源方向が異なる３枚以上の画像を利用して、被写体の法線方向と反射率を推定する手法である。例えば、「H. Hayakawa, ”Photometric Stereo under a light source with arbitrary motion”, Journal of the Optical Society of America A, vol.11, pp.3079-89, 1994」は、画像上で６点以上の反射率が等しい点を既知情報として取得し、拘束条件として利用することによって、光源の位置情報も未知としながらも、以下のパラメータを推定する手法である。
・被写体情報：画像上の各点の法線方向と反射率
・光源情報：被写体の観察点における光源方向と照度
【００５９】
ここでは、前述の拡散反射・鏡面反射分離手法によって分離された拡散反射画像のみを利用した照度差ステレオ法を行う。本来、この手法は被写体が完全拡散反射をしていることを仮定しているため、鏡面反射が存在する被写体では大きな誤差が生じてしまう。しかし、分離した拡散反射画像のみを利用することで、鏡面反射の存在による推定誤差を無くすことができる。もちろん、後述するように、影除去部２０５で影領域を除去した拡散反射画像で処理を行なっても構わない。
【００６０】
光源方向が異なる拡散反射画像を以下のように輝度行列Idで表現する。
【数１７】
2007139067.tif 000158
ただし、ｉｄｆ（ｐ）は光源方向ｆの拡散反射画像の画素ｐにおける輝度値を示している。また、画像の画素数はＰ画素、異なった光源方向で撮像した画像枚数はＦ枚である。ところで、ランバーシャンモデルより、拡散反射画像の輝度値は以下のように表現できる。
【数１８】
2007139067.tif 000159
ただし、ρpは画素ｐの反射率（アルベド）、npは画素ｐの法線方向ベクトル、tfは光源ｆの入射照度、Lfは光源ｆの方向ベクトルを示している。
【００６１】
（式２４）、（式２５）より以下の式が導かれる。
【数１９】
2007139067.tif 000160
ただし、
【数２０】
2007139067.tif 000161
【数２１】
2007139067.tif 000162
【数２２】
2007139067.tif 000163
【数２３】
2007139067.tif 000164
【数２４】
2007139067.tif 000165
【数２５】
2007139067.tif 000166
ここで、Rは表面反射行列、Nは表面法線行列、Lは光源方向行列、Tは光源強度行列、Sは表面行列、Mは光源行列と呼ぶ。
【００６２】
ここで、特異値分解を利用すると、（式２６）は以下のように展開できる。
【数２６】
2007139067.tif 000167
【数２７】
2007139067.tif 000168
ただし、
【数２８】
2007139067.tif 000169
であり、Ｅは単位行列を示している。また、Ｕ’はＰ×３行列、Ｕ”はＰ×（Ｆ−３）行列、Σ’は３×３行列、Σ”は(Ｆ−３)×(Ｆ−３)行列、Ｖ’は３×Ｆ行列、Ｖ”は（Ｆ−３）×Ｆ行列である。ここで、Ｕ”、 Ｖ”は信号成分であるＵ’、 Ｖ’の直交基底、すなわち、ノイズ成分であると考えられる。ここで、特異値分解を利用すると、（式２８）は以下のように変形できる。
【数２９】
2007139067.tif 000170
【数３０】
2007139067.tif 000171
【００６３】
すなわち、（式２９）を解くことにより、形状情報と光源情報を同時に取得することができるが、以下の３×３行列Ａの不定性が残る。
【数３１】
2007139067.tif 000172
【数３２】
2007139067.tif 000173
ここで、Ａは任意の３×３行列である。形状情報と光源情報を取得するためには、この行列Ａを求める必要がある。これは、例えば、画面上の６点以上で反射率が等しいことが既知であればよい。例えば、任意の６点k1〜k6の反射率が等しいとすると、
【数３３】
2007139067.tif 000174
（式２７）、（式３０）と（式３２）より、
【数３４】
2007139067.tif 000175
さらに、
【数３５】
2007139067.tif 000176
とおくと、（式３３）は以下のようになる。
【数３６】
2007139067.tif 000177
ここで、（式３４）より行列Ｂは対称行列であるため、行列Ｂの未知数は６である。すなわち、画面上の６点以上で反射率が等しいことが既知であれば、（式３５）は解くことができる。
【００６４】
また、行列Ｂが既知となれば、（式３４）に特異値分解を利用することにより、行列Ａは解くことができる。
【００６５】
さらに、（式３０）、（式３１）より、形状情報と光源情報を取得する。
【００６６】
以上のことより、反射率が等しい６点以上の画素が既知な被写体において、光源方向を変更しながら３枚以上の画像を撮像することにより、以下の情報を得ることができる。
・被写体情報：画像上の各点の法線方向ベクトルと反射率
・光源情報：被写体の観察点における光源方向ベクトルと放射輝度
【００６７】
ただし、上記の処理で求まる被写体の反射率と光源の放射輝度は相対的なものであり、絶対値を求めるためには、画面上の６点以上で反射率が既知であるなど、上記とは異なる既知情報が必要となる。
【００６８】
また、光源と撮像装置との位置関係が既知の場合、撮像装置と被写体の距離や３次元位置を求めるようにしても構わない。これを図を用いて説明する。
【００６９】
図１３はこの処理を説明するための模式図である。図１３において、１００１は撮像装置、１００７Ａおよび１００７Ｂは光源、１０１５は被写体の観察点Ｏ、１０１０Ａおよび１０１０Ｂは被写体の観察点Ｏにおける各光源の光源方向、１０２１は被写体の観察点Ｏにおける撮像装置の視線方向を示している。
【００７０】
まず、光源と撮像装置との位置関係が既知であるため、撮像装置１００１と光源１００７Ａ、１００７Ｂの３次元位置関係La、Lbは既知である。また、撮像装置１００１はキャリブレーションされているとすると、撮像装置１００１の視線方向１０２１も既知である。このことから、被写体の観察点Ｏ１０１５はこの視線方向１０２１上に存在する。また、上述の照度差ステレオ法により、被写体の観察点Ｏにおける各光源の光源方向１０１０Ａ、１０１０Ｂは既知である。撮像装置１００１と観察点Ｏ１０１５の距離Lvが正（Lv＞０）であるとすると、このような位置関係を満たす観察点Ｏは、１点しか存在しない。そのため、観察点Ｏ１０１５の位置がわかり、撮像装置１００１と観察点Ｏ１０１５の距離Lvが求まる。
【００７１】
また、例えばデジタルカメラのフラッシュのように撮像装置に光源が設置されている場合、光源と撮像装置との位置関係は設計情報から求めることができる。
【００７２】
また、形状情報取得部２０４は反射光の偏光特性を利用して、被写体の表面法線方向を取得しても構わない。この処理について、図１４を用いて説明する。
【００７３】
図１４において、１００１は撮像装置、１００７は光源、１０１５は観察点Ｏ、１０１６はモータなどの回転機構（図示せず）をもった直線偏光フィルタ、１０１９は法線方向を示している。光源として自然光が照射されている状態において、回転機構によって偏光フィルタ１０１６を回転しながら撮像を行った場合、その反射光強度は、図１５に示したように、周期πのsin関数となる。
【００７４】
ここで、この反射光強度の最大値Ｉmaxと最小値Ｉminを計測する偏光フィルタの角度ψmax、ψminを考える。撮像装置１００１と光源１００７、観察点Ｏ１０１５を含む平面を入射面とし、被写体は鏡面反射成分が支配的であるとすると、ψmaxは偏光フィルタ１０１６の偏光方向が入射面に対して垂直な方向、また、ψminは偏光フィルタ１０１６の偏光方向が入射面に対して平行な方向になることが知られている。
【００７５】
また、上述したように、光源が偏光光源の場合、反射光成分において、偏光特性を有するものは観察点Ｏの表面で反射した鏡面反射成分、非偏光の成分は拡散反射成分である。このことから、反射光強度の最大値Imaxと最小値Iminの強度差が生じる観察点Ｏは鏡面反射成分が強い観察点、すなわち、光が正反射している（観察点Ｏの法線方向１０１９が観察点Ｏからの光源方向と観察点Ｏからの撮像装置方向の二等分線方向である）ことがわかる。そのため、法線方向１０１９も入射面内に存在する。そのため、ψmaxまたはψminを推定することにより、法線方向１０１９は以下の平面内に存在すると推定することができる。
【００７６】
○撮像装置１００１を通り、偏光フィルタ１０１６の偏光方向ψmin（またはψmaxの垂直方向）を含む平面。
【００７７】
ここで、ψmaxまたはψminは、前述のsin関数のフィッテング処理を行うことで推定する。
【００７８】
また、撮像装置１００１の位置を変更させて、同様な処理を行うことによって、法線方向１０１９を含む、異なった２つの平面を推定することができる。推定した２つの平面の交線を求めることによって、法線方向１０１９を推定する。この際、撮像装置１００１の移動量を推定する必要があるが、これは、前述の８点法などを利用すればよい。
【００７９】
もちろん、拡散反射・鏡面反射分離部２０２と同様に、画素ごとに偏光方向の異なる撮像装置を利用しても構わない。
【００８０】
また、もちろん、撮像装置１００１の位置を変更させるのではなく、複数台の撮像装置を設置して法線方向１０１９を求めるようにしても構わない。
【００８１】
以上のように、照度差ステレオ法と偏光特性を利用した方法では、被写体表面の法線情報を取得する。一方、スリット光投影法やステレオ視などの手法では、被写体の３次元位置情報を取得する。被写体表面の法線情報とは、被写体の３次元位置情報の微小空間での傾き情報であり、どちらも被写体の形状情報である。
【００８２】
以上の処理により、形状情報取得部２０４は被写体の形状情報として、被写体表面の法線情報または被写体の３次元位置情報を取得する。
【００８３】
影除去部２０５は、画像中の影領域を推定し、影除去処理を行う（ステップＳ４０５）。このような、影除去および影領域推定処理はさまざまな方法が提案されているが、例えば、影領域は輝度値が低いことを利用し、輝度値が閾値以下の画素を影領域と推定すればよい。
【００８４】
また、形状情報取得部２０４によって３次元形状情報が取得されている場合、Ｃｏｍｐｕｔｅｒ−Ｇｒａｐｈｉｃｓの分野で広く利用されているレンダリング手法である、レイトレーシングを利用してもかまわない。レンダリングは物体の座標データや、光源や視点の位置などの環境に関するデータを計算して行うが、レイトレーシングは、視点に届く光線を逆にたどることによって描画する。このため、レイトレーシングを利用してどの場所にどの程度の影が生成されているかを計算することができる。
【００８５】
次に、拡散反射・鏡面反射分離部２０２によって分離された拡散反射画像と鏡面反射画像を、それぞれ、別々の方法で高解像度化する。すなわち、拡散反射画像についてはアルベド画像を利用した高解像度化を行い、鏡面反射画像についてはアルベド画像を利用しない高解像度化を行う。まず、拡散反射画像の高解像度化について説明する。
【００８６】
＜拡散反射画像の高解像度化＞
アルベド推定部２０６は、拡散反射・鏡面反射分離部２０２によって分離された拡散反射画像を利用し、被写体のアルベドを推定し、被写体のアルベド画像を作成する（ステップＳ４０６）。アルベドは光源情報に影響を受けないため、アルベド画像を利用して処理を行うことによって、光源変動にロバストな処理が実現できる。
【００８７】
この処理を説明する。（式２５）より、拡散反射成分では、以下の関係が成り立つ。
【数３７】
2007139067.tif 000178
【００８８】
ただし、θｉは被写体の法線方向ベクトルと光源方向ベクトルのなす角を示す。ここで、光源情報推定部２０３および形状情報取得部２０４により、角度θｉは既知である。また、後述するように、光源の入射照度ｔｆも推定可能なため、被写体のアルベドｒpを（式３６）から求める。
【００８９】
この際、cosθｉが０以下の値を持つ場合、すなわちattached shadowである場合、（式３６）から、アルベドｒpがマイナスになる、あるいは０で除算を行うことにより意味を持たなくなる。しかし、上述の影除去部２０５によってこのような画素を除去しているため、問題は生じない。
【００９０】
もちろん、被写体のアルベドを求めるのではなく、次式によりアルベドを鏡面反射画像の最大輝度値で正規化した擬似アルベドｒｐ’を求め、これを利用しても構わない。
【数３８】
2007139067.tif 000179
【００９１】
ここで、ｉｓｆ＿ｍａｘは鏡面反射画像の最大輝度値を示している。このような擬似アルベドは、光源情報推定部２０３により、光源の放射輝度（照度）が取得できない場合に有効である。擬似アルベド画像を利用した場合、正規化に利用した鏡面反射画像の最大輝度値ｉｓｆ＿ｍａｘをメモリに保持しておく。図１６はアルベド推定部２０６が擬似アルベドを利用した場合、メモリに保持されるデータを示した図である。作成された擬似アルベド画像と、正規化に利用した鏡面反射画像の最大輝度値ｉｓｆ＿ｍａｘが保持されている。
【００９２】
鏡面反射パラメータが被写体の広い領域で一様であり、被写体表面にさまざまな方向の法線が存在しているとすると、カメラに対して被写体を照らす位置に光源が存在している限り、正反射が生じる正反射画素が存在する。そのため、鏡面反射画像の最大輝度値ｉｓｆ＿ｍａｘはこの正反射画素の輝度値となる。
【００９３】
反射特性が一様であり、視線方向１０２１がほぼ一様である場合、ある光源位置での正反射画素の輝度値と別の光源位置での正反射画素の輝度値の比は、各光源での光源の放射輝度比とほぼ等しくなる。そのため、拡散反射画像の輝度値ｉｄｆ（ｐ）をθｉにより除算しただけでは光源の放射輝度の影響が残ってしまうが、さらに正反射画素の輝度値である鏡面反射画像の最大輝度値ｉｓｆ＿ｍａｘで正規化を行った擬似アルベド画像を利用することにより、光源の放射輝度が取得できない場合においても光源に影響されない拡散成分画像を作成できる。
【００９４】
また、鏡面反射画像の最大輝度値ｉｓｆ＿ｍａｘによって正規化を行うのではなく、拡散反射画像の最大輝度値や入力画像の最大輝度値を利用して正規化を行い、擬似アルベドを作成しても構わない。
【００９５】
次に、こうして求めたアルベド画像の高解像度化について説明する。
【００９６】
アルベド高解像度化部２０７は、アルベド推定部２０６が作成したアルベド画像を、低解像度アルベド画像を高解像度アルベド画像に変換する変換規則を蓄積しているアルベドＤＢ２０８を利用して、高解像度化する（ステップＳ４０７）。この処理について詳述する。
【００９７】
前述のように、アルベド画像は、光の鏡面反射や陰影など光学現象によらない被写体固有の反射率特性を表現した画像である。ここでの高解像度化は、被写体情報が不可欠なため、被写体の事前学習に基づく。ここではテキストン（画像のテクスチャ特徴量）に基づく高解像度化を用いる。
【００９８】
図１７はテキストンに基づく高解像度化の概念を示す図である。実行時に入力された低解像度画像（ＬＲ画像、画素数Ｎ×Ｎ）は、画素数を目標画素数に合致させるため、Ｍ×Ｍ倍に補間拡大される。この画素数ＭＮ×ＭＮ画像をｅｘＬＲ画像と称する。ｅｘＬＲ画像では画像の高周波成分が失われて、ぼけた画像になる。このぼけ画像を先鋭化することが高解像度化に他ならない。
【００９９】
次に、多重解像度変換ＷＴによって、ｅｘＬＲ画像の輝度値を画素ごとに、多重解像度に基づくＴ次元テキストンに変換する。この変換にはウェーブレット変換やピラミッド構造分解などの処理が用いられる。この結果、ｅｘＬＲ画像の各画素ごとに、合計ＭＮ×ＭＮ本のＴ次元テキストンベクトルが生成される。次に、汎用性の向上のため、テクストンベクトルにクラスタリングが実施されて、Ｌ本の入力代表テキストンベクトルが選択生成される。これらＬ本のテキストンベクトルに対して、予め学習したデータベースの情報から変換が施されて、Ｔ次元の高解像度化テキストンベクトルが生成される。この変換には、テーブル読み出しや、Ｔ次元の多次元特徴ベクトル空間内における線形および非線形変換が用いられる。高解像度化テキストンベクトルは、逆ウェーブレット変換やピラミッド構造再構成などの逆変換ＩＷＴによって、画像輝度値に戻されて、高解像度画像（ＨＲ画像）が完成する。
【０１００】
この処理では、ＭＮ×ＭＮ本のＴ次元テクストンベクトルのクラスタリング処理における探索とテーブル読み出しの処理に多大な時間を要し、動画など高速化対応が困難であった。そこで、１）クラスタリング処理をＬＲ画像にて実施する。２）テーブル読み出しを線形マトリクス変換に変更する。という改良を加えた。この処理では、ＬＲ画像の１画素はＨＲ画像のＭ×Ｍ画素のセルに対応する事実を使って、Ｔ次元からＴ次元への線形マトリクス変換をセル毎に実施して、セル内部での空間的な連続性を維持することができる。また利用する線形マトリクスはクラスタリングの結果から最適に選択する。セル境界の不連続性が問題になる場合にはマトリクス処理単位のブロックを一部重ねるなどの処理を追加してもよい。
【０１０１】
図１８は上の改良点を模式的に描いた図である。ＬＲ画像をＷＴ変換して、Ｔ次元の特徴量空間の中のＬ（ここではＬ＝３）本の代表特徴ベクトルとしている。そして、各特徴ベクトルに異なる線形マトリクスが付随している。この状態を保存したものが高解像度化データベースに他ならない。
【０１０２】
以下、Ｎ＝３２、Ｍ＝４、すなわち３２×３２画素の低解像度画像に４×４倍の高解像度化を施す例をとって、画像処理手法の詳細を述べる。アルベド画像はＲＧＢカラー画像とするが、カラー画像はＲＧＢから輝度色差（ＹＣｒＣＢ）に変換して、独立した色成分画像として取り扱うものとする。通常、２×２倍率程度では、輝度Ｙ成分だけの高解像度でよく、カラー成分は低解像度の色差信号のまま付加しても違和感はないが、４×４以上では、色信号も高解像度化が必須になるので、各成分とも同様な取り扱いとする。以下、カラー画像の１つの成分画像のみの処理を説明することとする。
【０１０３】
（学習時）
図１９は学習処理の流れを説明するＰＡＤ図であり、図２０は学習処理において処理される画像の処理対象画素と処理対象セルとの関係を説明する図である。以下、図１９および図２０を交互に用いて説明を行なう。
【０１０４】
まず、Ｓ３１１〜Ｓ３１３において、低解像度画像（ＬＲ画像）、高解像度画像（ＨＲ画像）、および低解像度画像の拡大画像（ｅｘＬＲ画像）を入力する。これらの画像は、ＨＲ画像から全て生成されており、撮像における画素ずれがない状態としておく。また、ＬＲ画像からｅｘＬＲ画像の生成にはバイキュービック補間を用いている。図２０において、ＨＲ画像(画素数１２８×１２８)と、ＬＲ画像（画素数３２×３２）と、ＬＲ画像から画素数だけＨＲ画像と合致させたｅｘＬＲ画像（画素数１２８×１２８）の３種類の画像を用意する。ＬＲ画像は、画像撮像部２０１によって撮像される原画像と解像度が同一のアルベド画像であり、ＨＲ画像は、画像撮像部２０１によって撮像される原画像よりも解像度が高いアルベド画像である。
【０１０５】
Ｓ３１４において、ＬＲ画像をテキストン化する。具体的にはＨａａｒ基底を用いた２次元離散定常ウェーブレット変換（Discrete stationary wavelet transform：ＳＷＴ変換）する。ＳＷＴ変換の階層は２階層(2-step)とすると、６次元のＬＲＷ画像（画素数３２×３２＝１０２４）が生成される。本来、２階層ステップの２次元離散定常ウェーブレット変換では７次元の特徴ベクトルとなるが、最低周波数のＬＬ成分画像は画像の平均輝度情報に近くなり、これを保存するため残りの６成分のみを利用する。
【０１０６】
Ｓ３１５において、テキストン化されたＬＲＷ画像の合計１０２４本の６次元ベクトルをＣmax個にまでクラスタリングする。ここではK-means法を用いて、例えばCmax=５１２本にクラスタリングする。この５１２本の結果のテキストンベクトルの集合をクラスタＣと称する。クラスタリングをせず１０２４本のテキストンを全て利用しても問題ない。
【０１０７】
Ｓ３１６において、クラスタＣの同一クラスタに判別されたＬＲ画素を判定する。具体的には、ＬＲ画像の画素値がクラスタＣの各テキストン番号に置き換えられる。
【０１０８】
Ｓ３１７において、クラスタＣの全テキストンに対して繰り返し処理をしながら、該当テキストンに対応するexＬＲの画素セルとＨＲ画像の画素セルを探索して、該当セル番号を格納する。この探索がＬＲ画像の画素数分だけで済むため、高倍率の場合に大きな探索時間の削減となる。
【０１０９】
ここでＬＲ画像の画素とｅｘＬＲ画像、ＨＲ画像の画素セルとの対応につき、図２０で説明する。図２０では、ＬＲ画像上で、２００１と２００２という２画素がＣの同一クラスタ（クラスタ番号：Ｃi＝０）に判別されたとする。すると、そのままの位置関係を保って拡大されたｅｘＬＲ画像上では２００３，２００４、ＨＲ画像上では２００５、２００６という画素セルが対応していると考えられ、これらの２箇所のセル位置の番号が、該当するテキストンを有するものとして格納される。画素セル内に含まれる画素数は拡大率４×４＝１６に等しい。
【０１１０】
次にＳ３１８において、これらの画素セル群についてｅｘＬＲ画像とＨＲ画像の対でテキストン化を行う。具体的には、２次元離散定常ウェーブレット変換（Discrete stationary wavelet transform）が実施されて、ｅｘＬＲＷ画像とＨＲＷ画像が生成される。
【０１１１】
Ｓ３１９とＳ３２０において、上記ＨＲＷ画像とｅｘＬＲＷ画像から得られたテキストンの対が行列の形として集積される。形式はいずれも、６×Ｄａｔａ＿ｎｕｍの行列となる。ここでＤａｔａ＿ｎｕｍは、（１セルの画素数）×（探索されたセルの数）となり、上のＣｉ＝０の例では、２個のセルが探索されたので１６×２＝３２となる。
【０１１２】
Ｓ３２１において、集積された両者に所属する合計２×４×４＝１２８個の特徴ベクトルから最小二乗法にて６×６マトリクスＭを算出し、それをＳ３２２において、クラスタ番号Ｋ＝０とともにデータベースＣＭａｔ（Ｋ）に格納蓄積する。Ｓ３２２における最小二乗法は、まずＳ３１９とＳ３２０において集積されたｅｘＬＲとＨＲのテキストンの行列を各々ＬｆとＨｆ（サイズ：６×Ｄａｔａ＿ｎｕｍ）とし、求めるマトリクスをＭ（６×６）とすると以下のように実行できる。
【数３９】
2007139067.tif 000180
【０１１３】
次に、クラスタ番号Ｋ＝１について同様処理を繰り返して、Ｋ＝５１１まで行う。すなわち、ＣＭａｔはクラスタ番号ごとに規定される６×６変換行列の群である。
【０１１４】
最後に、Ｓ３２３とＳ３２４において、使用したクラスタＣと学習された変換行列ＣＭａｔとを出力する。こうして求めたクラスタＣと学習された変換行列ＣＭａｔを、低解像度アルベド画像を高解像度アルベド画像に変換する変換規則として、アルベドＤＢ２０８に蓄積する。
【０１１５】
図２１は２次元離散定常ウェーブレット変換（Discrete stationary wavelet transform）の処理を示す図である。通常のウェーブレット変換では、フィルタバンク構成は同一のまま分解の階層が進む毎に画像が縮小していくが、２次元離散定常ウェーブレット変換では、分解の階層が進んでも変換画像サイズは不変であり、スケーリング関数Ｆとウェーブレット関数Ｇの２種類のフィルタがアップサンプリング（↑）されて２のべき乗で長くなっていくことにより多重解像度解析を行う。Ｈａａｒ基底では、ＦとＧの具体的な数値とアップサンプリングの様子は表１のようになる。
【０１１６】
【表１】
2007139067.tif 000181
【０１１７】
ＬＬ成分であるｃＡ画像を１階層進めてウェーブレット分解する場合、ＦとＧのフィルタを交互に１次元的にコンボリューションすることにより、図２１のように４種類の画像が生成される。１）行方向にＦ・列方向にＦ：ｃＡ画像(ＬＬ成分)  ２）行方向にＦ・列方向にＧ：ｃＤｈ画像(ＬＨ成分)  ３）行方向にＧ・列方向にＦ：ｃＤｖ画像(ＨＬ成分)  ４）行方向にＧ・列方向にＧ：ｃＤｄ画像(ＨＨ成分)。
【０１１８】
図２２は２次元離散定常ウェーブレット変換をテスト画像に実施した場合の画像結果例である。テキストンベクトルとは、これらウェーブレットの１−ＳＴＥＰと２−ＳＴＥＰの変換画像の１画素ごとに対応する値を連ねたもので、
【数４０】
2007139067.tif 000182
の７次元ベクトルのことである。ただし２−ＳＴＥＰのＬＬ成分であるｃＡ２を除いて、６次元ベクトル部分のみを使って高解像度変換し、ｃＡ２成分は保存している。
【０１１９】
なお、ウェーブレット変換のステップ数をここではＳ３１４とＳ３１８のいずれも２−ＳＴＥＰとしている。このステップ数が大きくなるほど、画像の大まかな特徴までテキストンで表現することができる。本発明においてステップ数は可変であるが、ＬＲ画像のクラスタリングのためのＳ３１４の場合、１−ＳＴＥＰでは周辺の画素状況として十分な情報とならない場合があるため、２−ＳＴＥＰとしている。一方、ｅｘＬＲ画像を高解像度化するためのテキストンを生成するＳ３１８の場合、たとえば８×８の倍率においては２−ＳＴＥＰよりも３−ＳＴＥＰの方が良好な画像が得られることが、実験的に確認されている。このため、倍率との関係でステップ数を決定することが望ましい。
【０１２０】
もちろん、アルベド推定部２０６において、アルベド画像ではなく擬似アルベド画像を推定している場合、上述の学習処理は擬似アルベド画像を利用して行う。前述のように擬似アルベドは光源に影響されない拡散成分画像であるため、光源変動に影響されない変換規則を作成することが可能である。また、学習時において、擬似アルベド作成で正規化に利用した所定値、例えば鏡面反射画像の最大輝度値ｉｓｆ＿ｍａｘを保持する必要はない。
【０１２１】
（高解像度化処理の実行時）
図２３は実行時の処理の流れを示すＰＡＤ図であり、図２４は実行時の処理の画素セルとの関係を示す図である。
【０１２２】
まず、Ｓ３３１とＳ３３２において、ＬＲ画像とこれを拡大したｅｘＬＲ画像とを入力する。学習時と同様に、ＬＲ画像の画素数＝３２×３２、ｅｘＬＲ画像の画素数＝１２８×１２８とする。ここでｅｘＬＲ画像の生成方法は、図１９のＳ３１３において学習画像のｅｘＬＲ画像を生成した方法と同様にバイキュービック法による。
【０１２３】
次に、Ｓ３３３とＳ３３４において、学習時に得られたクラスタＣと変換行列ＣＭａｔをアルベドＤＢ２０８から読み出し、入力する。
【０１２４】
Ｓ３３５において、ＬＲ画像をテキストン化する。具体的には図２４で示すように、Ｈａａｒ基底を用いた２次元離散定常ウェーブレット変換（Discrete stationary wavelet transform：ＳＷＴ変換）を行う。ＳＷＴ変換の階層は２階層(2-step)とすると、６次元のＬＲＷ画像（画素数３２×３２＝１０２４）が生成される。本来は２階層ステップの２次元離散定常ウェーブレット変換では７次元の特徴ベクトルとなるが、最低周波数のＬＬ成分画像は画像の平均輝度情報に近くなり、これを保存するため残りの６成分のみを利用する。
【０１２５】
次にＳ３３６において、各テキストンにつき、クラスタＣ（Ｃmax個のテキストン）内の最短距離のテキストンベクトルを探索してテキストン番号（Ci）を得る。これは図２４において、ＬＲ画像の１ライン上の各画素２０１１，２０１２，…，２０１３について、各々Ｃ０，Ｃ１，…，Ｃｎというテキストン番号が付与されることに相当する。
【０１２６】
次にＳ３３７に進むが、これ以降はＨＲ画像の各セルを走査線順に処理していく繰り返し処理となる。具体的には、図２４において、ｅｘＬＲ画像のセル２０１４，２０１５，…，２０１６を処理していくと、対応するＨＲ画像のセル２０２３，２０２４，…，２０２５が順次高解像度化されていく。
【０１２７】
Ｓ３３７において、ｅｘＬＲ画像の該当セル領域がテキストン化される。具体的には、２次元離散定常ウェーブレット変換（Discrete stationary wavelet transform）が実施されて、ｅｘＬＲＷ画像が生成される。セル２０１７，２０１８，…，２０１９などが生成される。
【０１２８】
Ｓ３３８において、テキストン番号から変換行列ＣＭａｔを引いて該当セルにおける変換行列Ｍを確定する。この処理は図２４のように行われる。ＬＲＷ画像には、すでに画素２０１１＝Ｃ０、画素２０１２＝Ｃ１、…、画素２０１３＝Ｃｎとテキストン番号が振られている。これを位置関係を保存したｅｘＬＲＷ画像のセル２０１７、２０１８、…２０１９に適用して、各々のセルで、Ｃ０，Ｃ１，・・Ｃｎをテキストン番号としてＭａｔから別々の６×６変換行列Ｍを選択することができる。
【０１２９】
Ｓ３３９において、各セルに変換行列Ｍを作用させる。これはセル内のテキストンＬＴｉ（ｉ＝１〜１６）全部について、
【数４１】
2007139067.tif 000183
を実施すればよい。これらを繰り返して、ｅｘＬＲＷ画像のセル２０１７，２０１８，…，２０１９からＨＲＷ画像のセル２０２０，２０２１，…，２０２２が、それぞれ生成される。
【０１３０】
次に、これら高解像度化されたセル内の６次元テキストンに、ｅｘＬＲＷ画像の２−ＳＴＥＰのＬＬ成分を付加して７次元テキストンを生成する。
【０１３１】
Ｓ３４０において、この各セル内７次元のテキストンを逆ＳＷＴ変換することにより画像に変換する。以上をｅｘＬＲ画像の全セルについて繰り返す。
【０１３２】
逆ＳＷＴ（ＩＳＷＴ）変換は、図２５で示す信号フローで実現できる。図２１とほとんど同じ表現である。通常のウェーブレット逆変換ではフィルタバンクの構成は同一のまま、分解の階層が進む毎に画像が拡大していく。これに対して、本逆変換においては、分解の階層が進んでも変換画像サイズは不変であり、スケーリング関数Ｆとウェーブレット関数Ｇ１の２種類のフィルタがダウンサンプリング（↓）されて２のべき乗で短くなっていくことにより、多重解像度解析を行う。Ｈａａｒ基底では、ＦとＧ１の具体的な数値とダウンサンプリングの様子は表２のようになる。
【０１３３】
【表２】
2007139067.tif 000184
【０１３４】
以上のようにしてアルベド画像の１成分が高解像度化される。この処理を、アルベド画像全てに行うことにより、高解像度なアルベド画像を合成する。
【０１３５】
このとき、アルベド画像に含まれる被写体の大きさや姿勢、向きなどが変化しても処理が可能なように、画像の正規化を行うようにしてもかまわない。テキストンを利用した高解像度化処理は、学習データに対してアルベド画像の大きさや姿勢が異なっている場合、高解像度化の精度が十分に発揮されないことが考えられる。そこで、アルベド画像を複数組用意し、この問題を解決する。すなわち、アルベド画像を３０度ずつ回転させた画像を合成し、そのすべての画像で高解像度化を行い、姿勢や向きの変化に対応させる。この場合、前述の「高解像度化処理の実行時」のＰＡＤ図である図２３のステップＳ３３６において、最短距離のテキストンを探索する際、回転処理を行った各画像から求めた複数のＬＲ画像のテキストン、それぞれにおいて最短距離のテキストンを探索し、最も距離の近いものを探索してテキストン番号（Ci）を得るようにすればよい。
【０１３６】
また、大きさの変化に対応するために、画像の大きさを変更したアルベド画像を合成するようにしてもかまわない。
【０１３７】
また、実際の大きさを基準に、例えば、５ｃｍ×５ｃｍの画像が必ず８ｘ８画素になるように拡大縮小処理を行い、その画像に対してテキストンを作製するようにしてもかまわない。被写体の大きさは、形状情報取得部２０４により既知であるため、「学習時」および「高解像度化処理の実行時」ともに同じ大きさの画像でテキストンを作製することで、大きさの変動に対応するようにしてもかまわない。
【０１３８】
また、「高解像度化処理の実行時」のアルベド画像を回転させるのではなく、「学習時」のアルベド画像を回転させ、複数組のテキストンを作製し、クラスタＣと学習された変換行列ＣＭａｔをアルベドＤＢ２０８に蓄積するようにしても構わない。
【０１３９】
さらに、入力された被写体が何であるかを推定し、推定された被写体がどのように回転しているかを姿勢推定するようにしてもかまわない。このような処理は、広く使われている画像認識技術を利用すればよい。これは、例えば、被写体にＲＦＩＤのようなタグを設置しておき、そのタグ情報を認識することで被写体が何であるかを認識し、さらにタグ情報から被写体の形状情報を推定し、画像や被写体の形状情報から姿勢推定を行うようにすればよい（例えば、特開２００５−３４６３４８号公報参照）。
【０１４０】
＜鏡面反射画像の高解像度化＞
次に、鏡面反射画像の高解像度化について説明する。ここでは、推定したパラメータの高密化処理と、形状情報の高密化処理とを利用する。
【０１４１】
パラメータ推定部２１０は、形状情報取得部２０４によって取得された被写体の表面の法線情報、拡散反射・鏡面反射分離部２０２によって分離された拡散反射画像と鏡面反射画像を利用して、その被写体を表現するパラメータを推定する（Ｓ４０８）。ここでは、Ｃｏｍｐｕｔｅｒ−Ｇｒａｐｈｉｃｓの分野で広く使われているＣｏｏｋ−Ｔｏｒｒａｎｃｅモデルを利用する方法を説明する。
【０１４２】
Ｃｏｏｋ−Ｔｏｒｒａｎｃｅモデルでは、鏡面反射画像を次式のようにモデル化する。
【数４２】
2007139067.tif 000185
【数４３】
2007139067.tif 000186
【数４４】
2007139067.tif 000187
【数４５】
2007139067.tif 000188
【数４６】
2007139067.tif 000189
【数４７】
2007139067.tif 000190
【数４８】
2007139067.tif 000191
【数４９】
2007139067.tif 000192
【数５０】
2007139067.tif 000193
【０１４３】
ここで、Ｅiは入射照度、ρs,λは波長λにおける鏡面反射成分の双方向反射率、nは被写体の法線方向ベクトル、Vは視線ベクトル、Ｌは光源方向ベクトル、Ｈは視線ベクトルと照明方向ベクトルの中間ベクトル、βは中間ベクトルＨと法線方向ベクトルnの角度を表す。また、Ｆλはフレネル方程式から求められる誘電体表面からの反射光の比であるフレネル係数、Ｄはマイクロファセット分布関数、Ｇは物体表面の凸凹による遮光の影響を表す幾何減衰率である。さらに、ｎλは被写体の屈折率、ｍは被写体表面の粗さを示す係数、Ｉjは入射光の放射輝度である。また、ｋsは鏡面反射成分の係数である。
【０１４４】
さらに、（式２５）のランバーシャンモデルを利用すると、（式１２）は以下のように展開される。
【数５１】
2007139067.tif 000194
ただし、
【数５２】
2007139067.tif 000195
【数５３】
2007139067.tif 000196
ここで、ρｄは拡散反射成分の反射率（アルベド）、dpx、dpyは撮像装置の１画素のｘ方向、ｙ方向の長さ、ｒは撮像装置の観察点Ｏからの距離を示している。また、ｋdは以下の関係式を満たす係数である。
【数５４】
2007139067.tif 000197
Ｓrは拡散反射成分と鏡面反射成分の輝度値の違いを表現するための定数であり、拡散反射成分が被写体からすべての方向へエネルギーを反射することを示している。図２６はこの定数Ｓrを説明するための模式図である。図２６において、観察点Ｏで反射された拡散反射成分エネルギーは、半球状に広がっていく。ここで、撮像装置１００１が観察点Ｏからｒだけ離れているので、撮像装置の１撮像素子に届くエネルギーと、観察点Ｏで反射した総エネルギーの比Ｓrは、（式４８）で表される。
【０１４５】
以上のことから、パラメータ推定部２１０は、（式３７）〜（式４５）（式４６）（式４７）、（式４８）からパラメータを推定する。
【０１４６】
以上の関係式をまとめると、パラメータ推定を行なうための既知パラメータと、推定すべきパラメータは以下のようになる。
（既知パラメータ）
○環境光成分Ia
○拡散反射成分Id
○鏡面反射成分Is
○被写体の法線方向ベクトルn
○光源方向ベクトルL
○視線ベクトルV
○中間ベクトルＨ
○中間ベクトルＨと法線方向ベクトルnの角度β
○撮像装置１００１の１画素のｘ方向、ｙ方向の長さdpx, dpy
○撮像装置１００１と観察点Ｏとの距離r
（推定すべきパラメータ）
○入射照度Ei
○鏡面反射成分の係数ks
○被写体表面の粗さm
○被写体の屈折率ηλ
ここで、拡散反射成分の係数kd、および拡散反射成分の反射率（アルベド）ρdも未知パラメータであるが、鏡面反射成分のパラメータのみを推定するため、ここでは推定処理を行なわない。
【０１４７】
図２７はパラメータ推定部２１０の処理の流れを示す図である。処理は、以下の２段階からなる。
【０１４８】
まず、光源情報を使用して、入射照度Ｅiを求める（ステップＳ３５１）。ここでは、光源情報推定部２０３によって取得した光源の位置情報、形状情報取得部２０４で求めた撮像装置と被写体との距離情報、さらには光源情報取得部２０３で求めた光源照度を用いる。これは、次式から求まる。
【数５５】
2007139067.tif 000198
ここで、Ｉiは撮像装置１００１に設置された照度計１０１８によって測定された光源１００７の入射照度、Ｒ1は撮像装置１００１と光源１００７との距離、Ｒ2は光源１００７と観察点Ｏとの距離、θ1は観察点Ｏにおける法線１０１９と光源方向１０１０Ｃとのなす角度、θ2は撮像装置１００１における光軸方向１００５と光源方向１０１０Ａとのなす角度を示している（図２８参照）。ここで、被写体の大きさが、光源１００７と観察点Ｏとの距離Ｒ２に比べ十分に大きいと考えられる場合、距離Ｒ２は被写体上の全ての観察点Ｏで等しくなる。そのため、（式５０）において、（Ｒ１／Ｒ２）は定数となり、実際に計測する必要はなくなる。
【０１４９】
次に、シンプレックス法を利用して、未知パラメータｍ、ηλ、ｋsを推定する（ステップＳ３５２）。シンプレックス法は、シンプレックスと呼ぶ図形の頂点に変数を割り付け、シンプレックスの大きさと形を変えて関数の最適化を行なう方法である（大田登，“色再現光学の基礎”，pp.90-92，コロナ社）。シンプレックスは、ｎ次元空間の（ｎ＋１）個の点の集合である。ただし、ｎは推定する未知数の数であり、ここでは「３」である。そのため、シンプレックスは四面体である。シンプレックスの頂点をベクトルxiで表し、新しいベクトルを次のように定める。
【数５６】
2007139067.tif 000199
【数５７】
2007139067.tif 000200
【数５８】
2007139067.tif 000201
【数５９】
2007139067.tif 000202
ただし、
【数６０】
2007139067.tif 000203
【数６１】
2007139067.tif 000204
はそれぞれ関数ｆ(xi)を最大、最小にするxiを示している。
【０１５０】
さらに、この方法で用いる３種類の操作を以下のように定める。
１．鏡像：
【数６２】
2007139067.tif 000205
【０１５１】
２．拡張：
【数６３】
2007139067.tif 000206
【０１５２】
３．収縮：
【数６４】
2007139067.tif 000207
ここで、α（＞０）、β（＞１）、γ（１＞γ＞０）は係数である。
【０１５３】
シンプレックス法は、シンプレックスの頂点の中で関数値の最も大きなものを選ぶことで、その鏡像における関数値は小さくなるという期待に基づいている。この期待が正しければ、同じプロセスの繰り返しで関数の最小値が求められる。つまり、初期値で与えたパラメータを３種類の操作で更新しながら、評価関数が示すターゲットとの誤差が閾値未満になるまでパラメータの更新を繰り返す。ここでは、パラメータとしてm、ηλ、ks、評価関数として（式５６）で表される、（式３７）から算出される鏡面反射成分画像と拡散反射・鏡面反射分離部２０２で求められた鏡面反射成分画像との差ΔIｓを利用した。
【数６５】
2007139067.tif 000208
ただし、is(i,j)’, is(i,j)はそれぞれ、計算された鏡面反射画像の推定値Is’と拡散反射・鏡面反射分離部２０２で求められた鏡面反射成分画像Isの画素(i,j)の輝度値、Ｍs(i,j)は、画素(i,j)が鏡面反射成分を持つ場合に１、そうでない場合０をとる関数である。
【０１５４】
この処理について詳しく説明する。図２９はこの処理の流れを説明するためのフローチャートである。
【０１５５】
まず、繰り返し演算の更新回数を記憶するカウンターｎとｋに０を代入し、初期化する（ステップＳ３６１）。ここで、カウンターｎは初期値を何回変更したかを記憶するカウンターであり、ｋはある初期値に対してシンプレックスによる候補パラメータの更新を何回行ったかを記憶するカウンターである。
【０１５６】
次に、乱数を利用し、推定パラメータの候補パラメータm’、ηλ’、ks’の初期値を決定する（ステップＳ３６２）。このとき、各パラメータの物理的な拘束条件から、初期値の発生範囲は以下のように決定した。
【数６６】
2007139067.tif 000209
【０１５７】
次に、こうして求めた候補パラメータを（式３７）へ代入し、鏡面反射画像の推定値Is’を求める（ステップＳ３６３）。さらに、計算された鏡面反射画像の推定値Is’と拡散反射・鏡面反射分離部２０２で求められた鏡面反射成分画像との差ΔIｓを（式５６）より求め、これをシンプレックス法の評価関数とする（ステップＳ３６４）。こうして求めたΔIｓが十分小さい場合（ステップＳ３６５でＹｅｓ）、パラメータ推定は成功したとして、推定パラメータm、ηλ、ksとして候補パラメータm’、ηλ’、ks’を選択し、処理を終了する。一方、ΔIｓが大きい場合（ステップＳ３６５でＮｏ）、シンプレックス法により候補パラメータの更新を行う。
【０１５８】
候補パラメータの更新を行う前に、更新回数の評価を行う。まず、更新回数を記憶しているカウンターｋに１を足し（ステップＳ３６６）、カウンターｋの大きさを判断する（ステップＳ３６７）。カウンターｋが十分に大きい場合（ステップＳ３６７でＮｏ）、繰り返し演算は十分に行なわれているが、ローカルミニマムに落ちているため、このまま更新を繰り返しても最適値には達しないと判断し、初期値を変更して、ローカルミニマムからの脱却を図る。そのため、カウンターｎに１を足し、カウンターｋに０を入れる（ステップＳ３７１）。ここで、カウンターｎの値が閾値より高いかどうかを判定し、処理をこのまま続けるか、処理不能として処理を終了させるかを決定する（ステップＳ３７２）。ここで、nが閾値より大きい場合（ステップＳ３７２でＮｏ）、この画像は推定不能として処理を終了する。一方、ｎが閾値より小さい場合（ステップＳ３７２でＹｅｓ）、再度、初期値を（式５７）の範囲内で乱数から選択しなおし（ステップＳ３６２）、処理を繰り返す。このようなｋに対する閾値は、例えば、１００などを選択すればよい。
【０１５９】
一方、ステップＳ３６７において、カウンターｋが閾値以下の場合（ステップＳ３６７でＹｅｓ）、候補パラメータを（式５３）〜（式５５）を利用して変更する（ステップＳ３６８）。この処理については後述する。
【０１６０】
次に、こうして変形された候補パラメータが、解として意味のあるものであるかを判定する（ステップＳ３６９）。すなわち、シンプレックス法を繰り返すことで、変形されたパラメータが物理的に意味のない値（例えば、粗さパラメータｍが負の値など）におちいる可能性があるため、これを除去する。これは、例えば、以下のような条件を与え、この条件を満たす場合には意味のあるパラメータ、満たさない場合には意味のないパラメータと判定すればよい。
【数６７】
2007139067.tif 000210
これらの値は、被写体より求めることができる。例えば、屈折率ηλであれば、被写体の材質によって決定される値である。例えば、プラスチックであれば１．５〜１．７、ガラスであれば１．５〜１．９であることが知られているため、これらの値を利用すればよい。つまり、被写体がプラスチックである場合、屈折率ηλは１．５〜１．７とすればよい。
【０１６１】
変形したパラメータが（式５８）を満たす場合（ステップＳ３６９でＹｅｓ）、その候補パラメータは意味のある値であると考えられるため、新しい候補パラメータとして設定し（ステップＳ３７０）、更新処理を繰り返す（ステップＳ３６３）。一方、変形したパラメータが（式５８）を満たさない場合（ステップＳ３６９でＮｏ）、その初期値に対する更新処理を打ち切り、新しい初期値により更新を行う（ステップＳ３７１）。
【０１６２】
ここで、ステップＳ３６８の変形処理について詳述する。図３０はこの処理の流れを示したフローチャートである。ここでは、候補パラメータm’、ηλ’、ks’をベクトル表現し、これをパラメータxとする。すなわち、
【数６８】
2007139067.tif 000211
【０１６３】
まず、（式５１）（式５２）（式５３）を利用して、鏡像操作を行ったパラメータxrを計算し、（式５６）によってxrでの鏡面反射成分画像との差ΔIｓ(xr)を計算する（ステップＳ３８１）。次に、こうして求められたΔIｓ(xr)と、２番目に評価関数が悪かったΔIｓ(xs)を比較する（ステップＳ３８２）。ここでΔIｓ(xr)がΔIｓ(xs)より小さかった場合（ステップＳ３８２でＹｅｓ）、鏡像操作を行った評価値ΔIｓ(xr)と現在、最も評価値のよいΔIｓ(xl)を比較する（ステップＳ３８３）。ここで、ΔIｓ(xr)のほうが大きかった場合（ステップＳ３８３でＮｏ）、最も評価値の低かったxhをxrへ変更し（ステップＳ３８４）、処理を終了する。
【０１６４】
一方、ΔIｓ(xr)がΔIｓ(xl)より小さかった場合（ステップＳ３８３でＹｅｓ）、（式５４）を利用して拡張処理を行ない、パラメータxeと、xeでの鏡面反射成分画像との差ΔIｓ(xe)を計算する（ステップＳ３８５）。次に、こうして求められたΔIｓ(xe)と、鏡像操作によるΔIｓ(xr)を比較する（ステップＳ３８６）。ここでΔIｓ(xe)がΔIｓ(xr)より小さかった場合（ステップＳ３８６でＹｅｓ）、最も評価値の悪かったxhをxeへ変更し（ステップＳ３８７）、処理を終了する。
【０１６５】
一方、ΔIｓ(xe)がΔIｓ(xr)より大きかった場合（ステップＳ３８６でＮｏ）、最も評価値の悪かったxhをxrへ変更し（ステップＳ３８７）、処理を終了する。
【０１６６】
また、ステップＳ３８２において、ΔIｓ(xr)がΔIｓ(xs)より大きかった場合（ステップＳ３８２でＮｏ）、鏡像操作を行った評価値ΔIｓ(xr)と現在、最も評価値の悪いΔIｓ(xh)を比較する（ステップＳ３８８）。ここでΔIｓ(xr)がΔIｓ(xh)より小さかった場合（ステップＳ３８８でＹｅｓ）、最も評価値の悪かったxhをxrへ変更し（ステップＳ３８９）、（式５５）を利用して、収縮操作を行ったパラメータxcと、xcでの鏡面反射成分画像との差ΔIｓ(xc)を計算する（ステップＳ３９０）。一方、ΔIｓ(xr)がΔIｓ(xh)より大きかった場合（ステップＳ３８８でＮｏ）、xhを変更することなく、収縮操作を行ったパラメータxcと、xcでの鏡面反射成分画像との差ΔIｓ(xc)を計算する（ステップＳ３９０）。
【０１６７】
次に、こうして求められたΔIｓ(xc)と、最も評価値の悪いΔIｓ(xh)を比較する（ステップＳ３９１）。ここでΔIｓ(xc)がΔIｓ(xh)より小さかった場合（ステップＳ３９１でＹｅｓ）、最も評価値の悪かったxhをxcへ変更し（ステップＳ３９２）、処理を終了する。
【０１６８】
一方、ΔIｓ(xc)がΔIｓ(xh)より大きかった場合（ステップＳ３９１でＮｏ）、すべての候補パラメータxi(i=1,2,3,4)を以下の式により変更し、処理を終了する。
【数６９】
2007139067.tif 000212
【０１６９】
以上の処理を繰り返すことにより、鏡面反射画像における未知パラメータであるm、ηλ、ksを推定する。
【０１７０】
以上の処理により、すべての未知パラメータを推定することができる。
【０１７１】
なお、パラメータ推定に用いるモデルは、Ｃｏｏｋ−Ｔｏｒｒａｎｃｅモデルである必要はなく、例えば、Ｔｏｒｒａｎｃｅ−ＳｐａｒｒｏｗモデルやＰｈｏｎｇモデル、簡易Torrance-Sparrowモデル（例えば、「K. Ikeuchi and K. Sato, “Determining reflectance properties of an object using range and brightness images”, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.13, no.11, pp.1139-1153, 1991」）であっても構わない。
【０１７２】
また、パラメータ推定方法は、シンプレックス法である必要はなく、例えば、勾配法や最小自乗法などのような一般的なパラメータ推定手法を利用しても構わない。
【０１７３】
また、以上の処理は、画素毎に行ってもかまわないし、領域分割を行い、領域ごとに等しいパラメータ組を推定するようにしてもかまわない。画素毎に処理を行う場合、光源や撮像装置、または被写体を動かすことにより、被写体の法線方向ベクトルnや光源方向ベクトルL、または視線ベクトルVといった既知パラメータが変動したサンプルを取得するようにすることが望ましい。また、処理を領域ごとに行う場合、領域ごとに求まったパラメータのばらつきが小さくなるように領域分割を変更することで、最適なパラメータ推定を行うようにすることが望ましい。
【０１７４】
形状情報高密化部２１１は、形状情報取得部２０４で取得した被写体の形状情報を高密度化する（ステップＳ４０９）。これは、以下のように実現される。
【０１７５】
まず、形状情報取得部２０４によって取得した表面の形状情報を、画像撮像部２０１によって取得された画像へ投影し、画像内の各画素に対応する法線方向を求める。このような処理は、従来のカメラキャリブレーション処理（例えば、「運天 弘樹, 池内 克史, “実物体の仮想化のための3次元幾何モデルのテクスチャリング手法”, CVIM-149-34, pp.301-316, 2005」）を行うことで実現できる。
【０１７６】
この際、法線ベクトルｎｐは極座標で表現し、その値をθｐ、φｐとする（図３１参照）。以上の処理により、法線成分であるθ、φの画像を作製する。こうして求めたθ画像とφ画像を、上述のアルベド高解像度化部２０７と同様の手法によって高解像度化することによって、高密度の形状情報を推定する。この際、高密度度化処理を行う前に学習処理を行い、法線のθ、φ成分に対するクラスタＣと学習された変換行列ＣＭａｔを法線ＤＢ２１２に蓄積する。
【０１７７】
また、以上の処理は、影除去部２０５において、影として除去されなかった領域のみに対して行うことが望ましい。これは、影の存在により、パラメータ推定処理に誤差が生じてしまうことを防止するためである。
【０１７８】
また、パラメータ推定部２１０において、撮像装置近傍に設置された制御可能な光源を利用してもかまわない。この光源は、デジタルカメラのフラッシュであってもよい。この場合、フラッシュを照射して撮像したフラッシュ画像と、フラッシュを照射しないで撮像した非フラッシュ画像を時間的に連続的に撮像し、その差分画像を利用してパラメータ推定を行なえばよい。撮像装置と光源であるフラッシュの位置関係は既知であり、また、フラッシュの光源情報である３次元位置や色、強度も事前に測定しておくことが可能である。また、撮像装置とフラッシュは非常に近い場所に設置されているため、影が少ない画像を撮像することができる。そのため、画像内のほとんどの画素において、パラメータを推定することができる。
【０１７９】
さらに、パラメータ高密度化部２１３は、パラメータ推定部２１０によって求めたパラメータを高密度化する（ステップＳ４１０）。ここでは、単純な線形補間を行い、すべてのパラメータを高密度化する。もちろん、上述のアルベド高解像度化部２０７のような学習を利用した高密度化手法を利用してもかまわない。
【０１８０】
また、パラメータごとに高密化方法を切り替えるようにしても構わない。例えば、推定パラメータである被写体の屈折率ηλは、高密度化しても値が変化しないと考えられる。そのため、被写体の屈折率ηλは単純補間により高密度化を行い、拡散反射成分の係数kd、鏡面反射成分の係数ks、さらには拡散反射成分の反射率（アルベド）ρdに関しては学習を利用した高密度化処理を行うようにしてもかまわない。
【０１８１】
鏡面反射画像高解像度化部２１４は、形状情報高密度化部２１１によって推定された高密度形状情報と、パラメータ高解像度化部２１４によって高密度化されたパラメータとを利用し、高解像度鏡面反射画像を合成する（ステップＳ４１１）。高解像度鏡面反射画像は、（式３７）〜（式４５）に高密度化したパラメータを代入することによって、合成される。
【０１８２】
ここで、実際の鏡面反射画像よりも輝度値が高くなるように、例えば入射照度Ｅｉのみ推定された値に係数ｌ（例えば、ｌ＝２）を乗算するようにしても構わない。これは、鏡面反射画像の輝度値を上げることによって、被写体の質感を上げるためである。同じように、被写体表面の粗さｍを推定値よりも大きな値として、実際よりもてかりが強い鏡面反射画像を合成してもかまわない。
【０１８３】
拡散画像高解像度化部２０９は、アルベド高解像度化部２０７が合成した高解像度アルベド画像から高解像度拡散反射画像を合成する（ステップＳ４１２）。この処理を説明する。
【０１８４】
前述のように、アルベド画像は、拡散成分画像を光源方向ベクトルと被写体の法線方向ベクトルの内積で除算したものである。このため、アルベド画像に、光源情報推定部２０３によって推定された光源方向ベクトルと、形状情報高密度化部２１１によって求められた被写体の高密度法線方向ベクトルとの内積を乗算することによって、高解像度拡散反射画像を合成する。光源情報推定部２０３によって複数の光源が推定された場合、それぞれの光源に対して高解像度拡散反射画像をそれぞれ合成し、その画像を足し合わせることによって、一枚の高解像度拡散画像を合成する。
【０１８５】
また、アルベド画像ではなく擬似アルベド画像を利用している場合、擬似アルベド画像に、光源情報推定部２０３によって推定された光源方向ベクトルと、形状情報高密度化部２１１によって求められた被写体の高密度法線方向ベクトルとの内積を乗算し、さらに正規化を行うために利用した鏡面反射画像の最大輝度値ｉｓｆ＿ｍａｘを乗算することによって、高解像度拡散反射画像を合成する。正規化で利用した鏡面反射画像の最大輝度値ｉｓｆ＿ｍａｘは、アルベド推定部２０６によってメモリに蓄積されているため、この情報を読み出せばよい。もちろん、拡散反射画像の最大輝度値や入力画像の最大輝度値を利用して正規化を行っている場合、鏡面反射画像の最大輝度値ｉｓｆ＿ｍａｘを乗算するのではなく、正規化に利用した拡散反射画像の最大輝度値や入力画像の最大輝度値を乗算する。
【０１８６】
以上の処理により、高解像度化された拡散反射画像を合成することができる。ここで、高解像度化処理はアルベド画像を利用して行ったが、アルベド画像ではなく、拡散画像を直接、高解像度化するようにしても構わない。この場合、学習処理は拡散画像を用いて行えばよい。
【０１８７】
影生成部２１５は、拡散反射画像高解像度化部２０９と鏡面反射画像高解像度化部２１４によって生成された高解像度拡散反射画像と高解像度鏡面反射画像に重畳する、影画像を合成する（ステップＳ４１３）。これは、影除去部２０５において利用したレイトレーシングを利用すればよい。
【０１８８】
ここで、画像高解像度化部２１７は、撮影対象となっている被写体の３次元形状に関する知識を有するものとする。影生成部２１５は、被写体の３次元形状データを取得し、撮影画像における被写体の見え(appearance)から、被写体の３次元姿勢及び３次元位置を推定する。被写体が人間の目の角膜である場合の、見えから３次元位置及び３次元姿勢を推定する例が、「K.Nishino and S.K.Nayar, "The World in an Eye", in Proc. of Computer Vision and Pattern Recognition CVPR '04, vol.I, pp444-451, Jul., 2004.」に開示されている。見えから３次元位置及び３次元姿勢を推定できる被写体は限られるが、そのような被写体であれば、上記文献の手法を適用することが可能である。
【０１８９】
被写体の３次元姿勢及び３次元位置が推定されれば、被写体上の任意の位置において、被写体表面の形状情報が算出できる。以上の処理を、撮影画像において繰り返し、被写体表面の形状情報を算出する。さらに、形状情報高密度化部２１１で推定された高密度形状情報を利用して被写体の形状情報を高密度化することによって、被写体の３次元形状を高密化することが可能である。こうして求めた高密度３次元形状と、パラメータ高解像度化部２１４によって高密度化されたパラメータを利用してレイトレーシングを行うことにより、高解像度な影画像の推定を行う。
【０１９０】
レンダリング部２１６は、拡散反射画像高解像度化部２０９が合成した高解像度拡散反射画像、鏡面反射画像高解像度化部２１４が合成した高解像度鏡面反射画像、さらには、影生成部２１５が合成した影画像を合成し、原画像を高解像度化した高解像度画像を作成する（ステップＳ４１４）。
【０１９１】
図３２〜３４は本実施例における擬似アルベドを利用した画像高解像度化方法によって、画像を８ｘ８倍に高解像度化した結果を示している。図３２は学習に用いた画像を示している。被写体としてお面を用いた。このような学習データを利用して、図３３（ａ）の画像の高解像度化を行った。この画像は、図３２の学習データと同じ被写体ではあるが、光源の位置が異なっている。
【０１９２】
比較用に、アルベド高解像度化部２０７で利用したテキストンに基づく高解像度化を、アルベド画像ではなく、画像撮像部２０１が撮影した画像そのものに対して高解像度化処理を行った。その結果を図３３（ｂ）に示す。また、図３３（ｃ）は本実施例における擬似アルベドを利用した画像高解像度化の結果である。また、図３４（ａ）（ｂ）は、図３３（ｂ）（ｃ）の向かって右側上部に示した矩形領域内を拡大したものである。これらの結果より、本実施例の画像高解像度化方法は画質劣化を招くことなく画像を８ｘ８倍に高解像度化できることがわかる。
【０１９３】
また、被写体の向かって右側上部の遮蔽エッジに着目すると、図３４（ａ）では、エッジがばたついていることが分かる。これは、学習時と高解像度化処理時との光源環境が異なるため、背景と学習した被写体との区別がつかず、画質が劣化していると考えられる。一方、本実施例の画像高解像度化方法では、形状情報を利用しているため、遮蔽エッジが自然に表現されている。すなわち、アルベド画像または擬似アルベド画像と被写体の形状情報とを利用することにより、適切な遮蔽エッジを表現することが可能となり、より適切な画像の高解像度化を実現することができる。
【０１９４】
また、上記説明では、鏡面反射画像のみパラメータ推定を利用して高解像度化を行ったが、拡散反射画像においてもパラメータ推定を行ない、高解像度化するようにしてもかまわない。
【０１９５】
この処理を説明する。拡散反射画像の未知パラメータは、上述のとおり、以下の２つである。
○拡散反射成分の係数kd
○拡散反射成分の反射率（アルベド）ρd
そこで、これらのパラメータを推定する。図３５は拡散反射画像のパラメータ推定処理の流れを示した図である。処理は、図２７で示した鏡面反射画像のパラメータ推定部２１０の処理後、さらに以下の２段階の処理を行なう。
【０１９６】
まず、（式４９）と鏡面反射画像のパラメータ推定で求まったksを利用して、次式よりkdを推定する（ステップＳ３５３）。
【数７０】
2007139067.tif 000213
【０１９７】
さらに、（式４７）を利用して、拡散反射画像の反射率（アルベド）ρｄを次式より推定する（ステップＳ３５４）。
【数７１】
2007139067.tif 000214
【０１９８】
以上の処理により、すべての未知パラメータを推定することができる。こうして求まったパラメータをパラメータ高密度化部２１３と同様の手法により高密化することによって、拡散反射画像を高解像度化すればよい。
【０１９９】
また、上記説明では、光源情報推定部２０３は、鏡面球を利用して光源情報を求めたが、画像から直接推定するようにしても構わない。この処理を詳述する。
【０２００】
（光源情報推定処理）
図３６は本処理に係る光源推定装置の構成を示すブロック図である。図３６において、１００１はＣＣＤやＣＭＯＳ等によって構成された撮像装置、１００２は撮像行為を行う主体者である撮像者が撮像装置１００１に撮像を指示するための撮像スイッチである。撮像装置１００１には３軸の角度センサ１０２５が搭載されている。
【０２０１】
また、１０１は撮像装置１００１の状況が、光源情報の取得に適しているか否かを判断する撮像装置状況判断部、１０２は撮像装置状況判断部１０１によって適していると判断されたとき、撮像装置１００１によって撮像を行い、この撮像画像を光源画像として取得する光源画像取得部、１０３は光源画像取得部１０２によって光源画像が取得されたとき、撮像装置１００１の状況を表す第１の撮像装置情報を取得する第１の撮像装置情報取得部、１０４は撮像者の操作によって撮像装置１００１による撮像が行われた撮像時に、撮像装置の状況を表す第２の撮像装置情報を取得する第２の撮像装置情報取得部、そして１０５は光源画像取得部１０２によって取得された光源画像、並びに第１の撮像装置情報取得部１０３によって取得された第１の撮像装置情報、および第２の撮像装置情報取得部１０４によって取得された第２の撮像装置情報を基にして、撮像時における光源の方向および位置のうち少なくともいずれか一方を推定する光源情報推定部である。
【０２０２】
なお、ここでは、撮像装置状況判断部１０１、光源画像取得部１０２、第１の撮像装置情報取得部１０３、第２の撮像装置情報取得部１０４および光源情報推定部１０５は、ＣＰＵ１０２９によってプログラムを実行することによって、実現されるものとする。ただし、これらの機能の全部または一部を、ハードウェアによって実現するようにしてもかまわない。また、メモリ１０２８は、光源画像取得部１０２によって取得された光源画像と、第１の撮像装置情報取得部１０３によって取得された第１の撮像装置情報を格納する。
【０２０３】
図３７は本処理に係る光源推定装置が搭載されたカメラ付き折り畳み式携帯電話１０００の構成例を示す。図３７において、図３６と共通の構成要素には図３６と同一の符号を付している。なお、図３７のカメラ付き折り畳み式携帯電話１０００では、撮像装置１００１に偏光フィルタ１０１６が設けられており、この偏光フィルタ１０１６を回転させるためのモータ１０２６ａと、その回転角を検出するためのエンコーダ１０２７ａとが設けられている。また、折り畳み機構を駆動するためのモータ１０２６ｂと、その回転角を検出するためのエンコーダ１０２７ｂとが設けられている。
【０２０４】
図３８は図３７のカメラ付き折り畳み式携帯電話１０００が折り畳まれた状態を示す図である。図３８において、１００５は撮像装置１００１の光軸方向を示し、１００６は撮像装置１００１の視野範囲を示している。
【０２０５】
以下、本処理に係る光源推定装置の各構成要素の動作について、説明する。
【０２０６】
撮像装置状況判断部１０１は、撮像装置１００１の状況が、光源情報を取得するために適しているか否かを判断する。最も一般的な光源として、家庭内では照明、屋外では街灯や太陽が考えられる。そのため、撮像装置１００１の撮像方向、つまり光軸の方向が上向きになっている場合、撮像装置１００１が光源情報を取得するために適した状況にある、と判断することができる。そこで、撮像装置状況判断部１０１は、撮像装置１００１に搭載された角度センサ１０２５の出力を用いて、撮像装置１０１の光軸の方向を検出し、光軸が上方向を向いているとき、光源情報を取得するために適していると判断する。このとき、撮像装置状況判断部１０１は、光源画像取得部１０２に撮像を促す信号を送信する。
【０２０７】
光源画像取得部１０２は、撮像装置状況判断部１０１から撮像を促す信号を受けたとき、すなわち、撮像装置１００１の状況が光源情報を取得するために適していると撮像装置状況判断部１０１によって判断されたとき、撮像装置１００１によって撮像を行い、この撮像画像を光源画像として取得する。取得された光源画像は、メモリ１０２８に格納される。
【０２０８】
このとき、光源画像取得部１０２は、撮像者の操作による撮像が行われないことを確認した後に、光源画像の取得を行うのが好ましい。例えば、撮像スイッチ１００２が押されていないことを確認した上で、光源画像の撮像を行えばよい。
【０２０９】
光源画像取得部１０２は、撮像者の撮像意図を考慮して、撮像が行われていない期間を利用して光源画像を撮像するものである。本処理に係る光源推定装置では、被写体を撮像するための撮像装置１００１を利用して、光源画像の撮像を行う。このため、もし撮像者が被写体をまさに撮像しようとしているその直前に光源画像の撮像が行われてしまうと、撮像者が撮像しようとした瞬間に被写体を撮像することができず、撮像者の撮像意図を無視することになってしまう。
【０２１０】
このため、本処理では、撮像者の撮像意思を考慮するために、撮像者が撮像を行わないと想定される間、例えば、机などにおかれている間に光源画像の撮像を行う。例えば、図３８のカメラ付き折畳式携帯電話１０００が机などにおかれている場合、光軸方向１００５は上向きになると考えられる。この状態であれば、最適な光源画像を撮像することが可能である。
【０２１１】
図３９は撮像装置状況判断部１０１および光源画像取得部１０２の処理の一例を示すフローである。まず、撮像装置状況判断部１０１は、撮像装置１００１の光軸方向の検出を行い、その光軸方向が上向きであるか否かを判断する（ステップＳ１２１）。光軸方向が上向きでない場合（ステップＳ１２１でＮｏ）、光軸方向が上向きになるまで繰り返し光軸方向のチェックを行う。一方、光軸方向が上向きである場合（ステップＳ１２２でＹｅｓ）、光源画像取得部１０２は撮像スイッチ１００２のチェックを行う（ステップＳ１２２）。もし、オートフォーカス（ＡＦ）などの処理を行うために、撮像スイッチ１００２が押されている場合（ステップＳ１２２でＮｏ）、撮像が行われる可能性が高いため、光源画像の撮像は行わない。一方、撮像スイッチ１００２が押されていない場合（ステップＳ１２２でＹｅｓ）、光源画像取得部１０２は撮像装置１００１によって撮像を行い、光源画像を取得する（ステップＳ１２３）。
【０２１２】
なお、ここでは、撮像スイッチのチェックによって、撮像者の操作による撮像が行われるか否かを判断するものとしたが、撮像者が撮像する意思を持っているか否かを確認する方法は、これに限られるものではない。例えば、「撮像中ですか？」という撮像を確認する表示をディスプレイに表示し、撮像者が「Ｎｏ」という意思を表示するか、なんの反応もない場合に、撮像者が撮像する意思を持っていないと判断してもかまわない。
【０２１３】
また、加速度センサなどを利用し、撮像装置１００１が静止しているとき、光源画像の取得を行うようにしてもかまわない。すなわち、撮像装置１００１が静止している場合、撮像装置１００１は撮像者が保持しておらず、机などにおかれていると判断できる。そのため、この場合、撮像者は撮像を行っていない可能性が高い。一方、撮像者が撮像を行うために撮像装置１００１を構えている場合、手ぶれの影響を加速度センサが感知する。このときは、光源画像取得部１０２は撮像を行わないようにすればよい。
【０２１４】
第１の撮像装置情報取得部１０３は、光源画像取得部１０２によって光源画像が取得されたとき、撮像装置１００１の状況を表す第１の撮像装置情報を取得する。具体的には例えば、角度センサ１０２５の出力と撮像装置１００１の焦点距離情報とを、第１の撮像装置情報として取得する。取得された第１の撮像装置情報はメモリ１０２８に格納される。図４０はメモリ１０２８に保持された情報の一部を示す模式図である。ある光源画像に対して、角度センサ出力と焦点距離が、第１の撮像装置情報として格納されている。
【０２１５】
撮像装置１００１の姿勢情報は、角度センサ１０２５の出力を使用して、以下の３ｘ３行列Ｒlightで表現される。
【数７２】
2007139067.tif 000215
【０２１６】
撮像装置１００１の姿勢情報を表す、この３ｘ３行列Ｒlightのことをカメラ姿勢行列と呼ぶ。ここで、（α，β，γ）はカメラに取り付けられたセンサ出力のロール・ピッチ・ヨー角表現での値であり、ある基準点からの動き量で表現される。ロール・ピッチ・ヨー角表現とは、図４１に示したように、任意の回転を、ｚ軸周りの回転であるロー、次に、新しいｙ軸周りの回転であるピッチ、最後に、新しいｘ軸まわりの回転であるヨーの３段階の回転によって表すものである。
【０２１７】
また、Ｒx(α)、Ｒy(β)、Ｒz(γ)はロール・ピッチ・ヨー角からｘ軸回転、ｙ軸回転、ｚ軸回転へ変換する行列であり、次式で表される。
【数７３】
2007139067.tif 000216
【０２１８】
また、撮像装置１００１がズーム可能である場合、そのズーム情報も焦点距離情報として取得される。また、撮像装置１００１が固定焦点の場合、その焦点距離情報も取得される。焦点距離情報は、画像処理の分野で広く使われているカメラキャリブレーションを行なうことにより、取得できる。
【０２１９】
このような、カメラに取り付けられた角度センサや角速度センサからカメラの姿勢情報を取得する方法は、既存の手法を利用すればよい（例えば、「岡谷貴之，“メカニカルセンサとイメージセンサの融合による３次元形状復元” ，情報処理学会研究報告会，２００５−ＣＶＩＭ−１４７，ｐｐ．１２３−１３０，２００５」）。
【０２２０】
第２の撮像装置情報取得部１０４は、撮像者の操作によって撮像装置１００１による撮像が行われた撮像時に、撮像装置１００１の状況を表す第２の撮像装置情報を取得する。ここでも、上述した第１の撮像装置情報取得部１０３と同様に、角度センサ１０２５の出力と撮像装置１００１の焦点距離情報とを、第２の撮像装置情報として取得するものとする。このとき、角度センサ１０２５の出力（α，β，γ）から求められる姿勢行列Ｒnowを、現在の姿勢行列と呼ぶ。
【０２２１】
光源情報推定部１０５は、メモリ１０２８に格納された光源画像および第１の撮像装置情報と、第２の撮像装置情報取得部１０４によって取得された第２の撮像装置情報を用いて、撮像者の操作による撮像時における、光源情報を推定する。ここでは、光源の方向を推定するものとする。
【０２２２】
まず、光源画像において、十分に輝度値の高い画素を、光源を撮像している画素すなわち光源画素として抽出する。図４２はこの処理を説明するための模式図である。図４２では、視野範囲１００６を持った撮像装置１００１が光源１００７を撮像している。このとき、撮像画像１００８において、光源が撮像されている領域１００９の輝度値は非常に高くなる。そこで、閾値処理を利用し、所定の閾値よりも輝度値が高い画素を光源画素として抽出する。
【０２２３】
こうして求まった光源画素から、光源方向を推定する。この処理には、撮像装置の画素位置（ｕ，ｖ）と画像座標系とよばれる撮像素子上での実寸位置（ｘf，ｙf）との関係式が必要である。レンズの歪みなどの影響を考慮すると、画素位置（ｕ，ｖ）と実寸位置（ｘf，ｙf）との関係は、次式で求められる。
【数７４】
2007139067.tif 000217
ただし、（Ｃx，Ｃy）は画素中心位置、ｓはスケールファクタ、（dx，dy）は撮像素子１画素のサイズ[mm]、Ｎcxはｘ方向の撮像素子数、Ｎfxはｘ方向の有効画素数、κ1、κ2はレンズの歪みを示す歪みパラメータである。
【０２２４】
また、図４３に示した、撮像装置の焦点位置を原点、その光軸方向をＺ軸にとったカメラ座標系（ｘ，ｙ，ｚ）と画像座標系（ｘf，ｙf）との関係は、次式で求められる。
【数７５】
2007139067.tif 000218
ここで、ｆは撮像装置の焦点距離を表している。つまり、カメラパラメータ（Ｃx，Ｃy），ｓ，（dx，dy）、Ｎcx、Ｎfx、ｆ、κ1、κ2が既知であれば、（式２）（式３）により、画素位置（ｕ，ｖ）とカメラ座標系（ｘ，ｙ，ｚ）の変換が可能である。
【０２２５】
通常、Ｎcx、Ｎfxは撮像素子が特定できれば既知であり、また、（Ｃx，Ｃy），ｓ，（dx，dy）、κ1、κ2、ｆはいわゆるカメラキャリブレーションを行うことで既知となる（例えば、Roger Y.Tsai, “An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision”, Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Miami Beach, FL, 1986, pp. 364-374）。これらのパラメータは、撮像装置の位置や姿勢が変化しても変化しない。このようなパラメータをカメラ内部パラメータとよぶ。
【０２２６】
そこで、撮像を行う前にカメラキャリブレーションを行い、カメラ内部パラメータ（Ｃx，Ｃｙ）、ｓ、（dx，dy）、Ｎcx、Ｎfx、ｆ、κ1、κ2を特定する。これらの値は、撮像装置購入時に付属されているものを利用しても構わない。また、カメラが固定焦点ではなく、ズーム可能である場合、各ズーム時の焦点距離ｆを個別に求めておき、必要なときに選択できるようにしておけばよい。そして、焦点距離ｆを撮像した画像とともに保持しておけばよい。
【０２２７】
以上の情報を利用して、光源画素から光源方向を推定する。光源画素の画素位置を（ｕlight，ｖlight）とすると、光源方向Ｌlightは以下の式で表現できる。
【数７６】
2007139067.tif 000219
【数７７】
2007139067.tif 000220
ところで、Ｌlightは光源画像を撮像したカメラ座標系で表現されているため、現在のカメラ座標系Ｌnowで表現しなおす。これは、以下の式で表現できる。
【数７８】
2007139067.tif 000221
以上の処理を行うことにより、光源方向ベクトルＬnowを推定する。このようにして、光源の方向が推定される。
【０２２８】
さらに、撮像装置１００１が移動することを利用して、光源の方向だけでなく、３次元位置まで求めるようにしても構わない。
【０２２９】
図４４はこの処理を説明するための模式図である。図４４において、１００１Ａ、１０１０Ａは時刻ｔ＝ｔ１における撮像装置と推定された光源方向ベクトル、また、１００１Ｂ、１０１０Ｂは時刻ｔ＝ｔ２における撮像装置と推定された光源方向ベクトルを示している。ここで、時刻ｔ１とｔ２における撮像装置の相対的な位置関係と姿勢がわかっていれば、光源ベクトル１０１０Ａ，１０１０Ｂを延長した交点に光源は存在するはずである。つまり、光源の３次元位置は以下のように求まる。
【０２３０】
時刻ｔ１における、撮像装置の姿勢行列、撮像装置の相対的な３次元位置、および推定された光源方向ベクトルをそれぞれ、Ｒ1、Ｐ1、Ｌ1とし、時刻ｔ２における、撮像装置の姿勢行列と推定された光源方向ベクトルをそれぞれ、Ｒ2、Ｌ2とする。ただし、時刻ｔ２において、撮像装置の位置は原点Ｏ（０，０，０）であるとする。このとき、光源位置Ｐlightは次式を満たす。
【数７９】
2007139067.tif 000222
【数８０】
2007139067.tif 000223
ただし、ｓ，ｍは任意の定数である。もし、すべての推定値が正しく、ノイズが存在していなければ、（式５）と（式６）をｓとｍに関する連立方程式として解くことによって、光源位置Ｐlightは求まる。しかし、通常はノイズの影響があるため、最小自乗法を利用して、光源位置を求める。
【０２３１】
まず、以下の関数ｆ（ｍ，ｓ）を考える。
【数８１】
2007139067.tif 000224
ここで、ｍ，ｓは以下の関係式を満たす。
【数８２】
2007139067.tif 000225
【数８３】
2007139067.tif 000226
つまり、
【数８４】
2007139067.tif 000227
【数８５】
2007139067.tif 000228
よって、（式７）、（式８）をｍとｓに関する連立方程式として解き、求まったｓとｍを（式５）または（式６）へ代入することにより、光源位置Ｐlightが求まる。このようにして、光源の位置が推定される。
【０２３２】
なお、時刻ｔ１における撮像装置の相対的な３次元位置Ｐ1（時刻ｔ１とｔ２における撮像装置の相対的な位置関係）は、オプティカルフローを用いることによって求められる。オプティカルフローは、被写体上のある１点に対応する、時間的に連続した２つの画像上の点、すなわち対応点を結ぶベクトルであり、対応点とカメラ動きの間には、幾何学的な拘束式が成り立つ。このため、対応点が一定の条件を満たす場合にカメラの動きを算出することができる。
【０２３３】
異なる時刻における撮像装置の相対的な位置関係をオプティカルフローから求める手法としては、例えば８点法と呼ばれる手法が知られている（H. C. Longuet-Higgins, “A computer algorithm for reconstructing a scene from two projections”, Nature, vol.293, pp.133-135, 1981）。この手法は、２画像間の静止した８点以上の対応点の組からカメラ動きを算出するものである。また、このような２画像間の対応点を求める手法は、一般に広く知られた方法であるので、詳細な説明を省略する（例えば、 Carlo Tomasi and Takeo Kanade, “Detection and Tracking of Point Features”, Carnegie Mellon University Technical Report, CMU-CS-91-132, April 1991）。
【０２３４】
さらに、光源画素の輝度値やＲＧＢ値を求めることによって、光源の輝度や色も求めることができる。また、画像をマルチスペクトルカメラで取得することによって、光源のスペクトルを検出するようにしても構わない。このように光源のスペクトルを取得することによって、画像の高解像度化や拡張現実において、色再現性の高い画像が合成できることが知られている（例えば、「内山俊郎, 土田  勝, 山口雅浩, 羽石秀昭, 大山永昭, “マルチスペクトル撮影による光源環境計測とスペクトルに基づく画像生成”, 電子情報通信学会技術研究報告PRMU2005-138, pp.7-12, 2006」）。
【０２３５】
また、光源情報推定部１０５は、光源情報として、光源の照度情報を取得するようにしても構わない。これは撮像装置１００１と光軸方向が一致した照度計を利用すればよい。照度計としては、光電池にマイクロアンペア計を接続し、入射光によって生じる光電流を読む光電池照度計などを用いればよい。
【０２３６】
以上のように本処理の光源推定装置によると、撮像装置の状況が光源情報の取得に適していると判断されたとき、この撮像装置によって光源画像を取得し、光源画像の取得時における第１の撮像装置情報と、撮像者による撮像時における第２の撮像装置情報とを用いて、撮像時における光源情報を推定する。したがって、カメラ付き携帯電話などにおいて、付加的な撮像装置を搭載することなく、被写体周囲の光源情報を推定することができる。
【０２３７】
なお、上述の処理では、撮像装置状況判断部１０１が撮像装置１００１の光軸方向を検出するために、角度センサ１０２５の出力を用いるものとしたが、これ以外にも例えば、錘とタッチセンサを利用した方法（特開平４−４８８７９号公報参照）や、加速度センサを利用した方法（特開昭６３−２１９２８１号公報参照）など、既存の方法を利用してもよい。
【０２３８】
ここでは、錘とタッチセンサを利用する方法について説明する。図４５は錘とタッチセンサの構成を示す図である。図４５（ａ）において、１００３は常に垂直方向を保持するよう基端部を回動可能に支持して吊下された錘、１００４Ａ、１００４Ｂはタッチセンサである。また、１００５は撮像装置の光軸方向を示している。図４５（ｂ）に示すように、撮像装置の光軸方向１００５と水平面との角度をθとすると、タッチセンサ１００４Ａ，１００４Ｂは、光軸方向１００５が水平方向から所定角度θ1、θ2だけ傾いたとき、錘１００３に当接するように設置されている。
【０２３９】
図４６は図４５の錘とタッチセンサがカメラ付き折り畳み式携帯電話に搭載された場合の構成例である。図４６のカメラ付き折り畳み式携帯電話が、撮像装置１００１を下にして置かれた場合、錘１００３がタッチセンサ１００４Ａに当接し、タッチセンサ１００４ＡがＯＮになる（図４７（ａ））。一方、撮像装置１００１を上にして置かれた場合、錘１００３がタッチセンサ１００４Ｂに当接し、タッチセンサ１００４ＢがＯＮになる（図４７（ｂ））。
【０２４０】
図４８は光軸方向とタッチセンサのＯＮ／ＯＦＦとの関係を示す図である。すなわち、タッチセンサ１００４ＡがＯＮになり、タッチセンサ１００４ＢはＯＦＦのとき、光軸は水平方向から＋θ1以上傾いた下向きであると推定できる。また、タッチセンサ１００４ＢがＯＮになり、タッチセンサ１００４ＡはＯＦＦのとき、光軸は水平方向から−θ2以上傾いた上向きであると推定できる。一方、タッチセンサ１００４Ａ、１００４Ｂ両方ともＯＦＦの場合は、-θ2＜θ＜θ1であり、光軸方向はほぼ水平と推定できる。
【０２４１】
このように、錘とタッチセンサを利用して、撮像装置１００１の光軸方向を検出することが可能となる。
【０２４２】
なお、ここでは、カメラ付き折畳式携帯電話を例にとって説明したが、もちろんデジタルスチルカメラやデジタルビデオカメラであっても、錘とタッチセンサを利用して、撮像装置の光軸方向を検出することは可能である。図４９はデジタルスチルカメラに錘とタッチセンサを搭載した場合の構成例である。図４９（ａ）に示すように、撮像装置１００１の光軸が下向きのときは錘１００３がタッチセンサ１００４Ａに当接しており、一方、図４９（ｂ）に示すように、撮像装置１００１の光軸が上向きのときは錘１００３がタッチセンサ１００４Ｂに当接している。
【０２４３】
また、上述の処理では、撮像装置状況判断部１０１は、撮像装置１００１の光軸の方向を検出して、撮像装置１００１の状況が光源情報の取得に適しているか否かを判断するものとしたが、光軸の方向を検出する代わりに、例えば、撮像された画像の輝度値を検出するようにしても構わない。
【０２４４】
撮像画像に光源が映っている場合、光源が撮像されている画素の輝度値は非常に高くなる。そこで、撮像装置１００１により画像を撮像し、撮像された画像に閾値以上の輝度値が存在する場合、光源が撮像されており、光源情報の取得に適した状況であると判断することができる。このとき、光源の輝度値は非常に高いと考えられるため、撮像装置１００１は露光時間をできる限り短くして撮像することが望ましい。
【０２４５】
あるいは、撮像装置１００１の状況が光源情報の取得に適しているか否かを判断するために、カメラの視野範囲に遮蔽物が存在するか否かを検出するようにしても構わない。これは、遮蔽物が存在する場合、光源が遮蔽されてしまい、光源を撮影できない可能性が高くなるためである。
【０２４６】
遮蔽物の存在を検出するためには、距離情報を利用する方法と、画像情報を利用する方法とがある。前者は、例えばカメラのオートフォーカスなどに利用されている測距センサの出力を利用し、例えば、１ｍ以内に被写体が存在する場合はその被写体は遮蔽物であると判断するようにすればよい。また、後者の画像情報を利用する方法は、例えば、撮像装置１００１で画像を撮影し、その画像中から画像処理により人物を検出する。もし、人物が撮像されていた場合、その人物は遮蔽物であると判断する。これは、カメラの近傍で光源を遮蔽する最も一般的な被写体は人物だと考えられるためである。画像からの人物の検出は、例えば、色情報を利用して、肌色領域を検出するなど、広く知られている画像認識技術を利用すればよい。
【０２４７】
また、光源画像取得部１０２が光源画像の取得を行う際には、フラッシュを照射せずに撮像を行うことが望ましい。これは、鏡のような鏡面反射を起こす被写体が撮像装置１００１の視野内に存在している場合、フラッシュが反射され、誤って光源画素として推定されてしまうためである。そのため、冷却ＣＣＤカメラや多重露光撮像など、広いダイナミックレンジを撮像できる撮像装置を利用することが望ましい。また、光源画像取得部１０２が光源画像の取得を行う際に、露光量が足りない場合は、露光時間を長くすればよい。これは、上述のように、加速度センサなどを利用し、撮像装置１００１が静止しているときのみ、光源画像の取得を行う場合に特に有効である。
【０２４８】
以上のように本実施形態によると、データベースを利用した画像の高解像度化において、データベース作成時とは異なる光源環境の被写体が入力された場合であっても、画質の劣化を抑えながら、画像の高解像度化を行うことができる。
【０２４９】
（第２の実施形態）
図５０は本実施形態に係る画像高解像度化装置の構成を示している。図５０において、図１と共通の構成要素には図１と同一の符号を付しており、ここではその詳細な説明は省略する。また、図４は本実施形態に係る画像高解像度化装置が搭載されたカメラの構成例を示しており、第１の実施形態と同じである。
【０２５０】
第１の実施形態との違いは、画像高解像度化判断部２２３を設けた点である。画像高解像度化判断部２２３は、アルベド推定部２２１によって作成されたアルベド画像について、アルベドＤＢ２０８に蓄積された変換規則に従った高解像度化を行った場合の、信頼性を評価する。アルベド高解像度化部２０７は、画像高解像度化判断部２２３によって信頼性が低いと評価されたとき、アルベドＤＢ２０８に蓄積された変換規則を用いないで、アルベド画像の高解像度化を行う。すなわち、アルベドＤＢ２０８を用いたときの高解像度アルベド画像の信頼性が低い場合は、アルベド高解像度化処理を切り替える。
【０２５１】
図５１は本実施形態における画像高解像度化判断部２２３およびアルベド高解像度化部２０７の処理の流れを示すフローチャートである。画像高解像度化判断部２２３は、アルベド推定部２２１が作成したアルベド画像が、アルベドＤＢ２０８作成時の学習データに類似しているか否かを判断する（ステップＳ４５１）。ここでの画像の類似度計算は、入力されたアルベド画像をテキストン化したテキストンと、クラスタＣ内の最短距離のテキストンベクトルとの距離を用いて行えばよい。もし、テキストンの距離が閾値Th_TXより小さい場合（ステップＳ４５１でＹｅｓ）、第１の実施形態と同様に、アルベドＤＢ２０８から変換規則を取得してアルベド画像を高解像度化する（ステップＳ４５２）。一方、テキストンの距離が閾値Th_TXより大きかった場合（ステップＳ４５１でＮｏ）、アルベドＤＢ２０８が保持している変換規則では高解像度化が高精度に行えないと判断し、例えば単純な線形補間処理に基づく高解像度化処理を行う（ステップＳ４５３）。このような閾値Th_TXは、実験的に決定すればよく、例えば、入力画像が各色２５６階調カラー画像であった場合、０．０１とすればよい。
【０２５２】
もちろん、十分類似した学習データが存在しない場合の処理方法は、線形補間処理に限られるものではなく、例えば、バイキュービック法やスプライン補間などを利用しても構わない。
【０２５３】
また、ここでの画像の類似度計算は、入力されたアルベド画像をテキストン化したテキストンと、クラスタＣ内における最短距離のテキストンベクトルとの距離を利用する方法に限られるものではなく、例えば、輝度ヒストグラムを比較するようにしても構わない。この場合、クラスタＣと学習された変換行列ＣＭａｔに加え、学習に使用したアルベド画像もアルベドＤＢ２０８に蓄積しておく。前記のテキストン間の距離を利用する方法では、画素ごとにアルベド高解像度化処理を切り替えるのに対し、この手法では、画像ごとにアルベド高解像度化処理を切り替える。
【０２５４】
また、画像高解像度化判断部２２３は、アルベド高解像度化部２０７によって作成される高解像度アルベド画像の信頼性を評価するために、アルベド画像を利用するのではなく、アルベド高解像度化部２０７が高解像度化した高解像度アルベド画像を利用しても構わない。この場合、アルベド高解像度化部２０７が高解像度化した高解像度アルベド画像を低解像度化した画像と、アルベド推定部２２１が作成したアルベド画像との類似度を評価すればよい。ここでの低解像度化は、高解像度アルベド画像をローパスフィルタを通してサブサンプリングすることによって行えばよい。
【０２５５】
これら２つのアルベド画像は、高解像度化が高精度に行われている場合は同じ画像となり、高解像度化に失敗している場合は異なった画像となる。そこで、これら２つのアルベド画像の類似度が十分に高い場合、第１の実施形態と同様に、アルベドＤＢ２０８から変換規則を取得してアルベド画像を高解像度化する。一方、これら２つのアルベド画像の類似度が十分に高くない場合、アルベドＤＢ２０８が蓄積している変換規則では高解像度化が高精度に行えないと判断し、例えば単純な線形補間処理に基づく高解像度化を行う。
【０２５６】
以上のように本実施形態によると、学習データに類似していない被写体に対しては、アルベドＤＢに蓄積された変換規則を利用せず、例えば単純な線形補間処理を利用することによって、画質の劣化を抑えた画像高解像度化処理を行うことができる。
【０２５７】
（第３の実施形態）
図５２は本発明の第３の実施形態に係る画像高解像度化システムの構成を示すブロック図である。図５２では、図１と共通の構成要素については図１と同一の符号を付しており、ここではその詳細な説明を省略する。
【０２５８】
図５２では、例えばカメラ付き携帯電話によって構成される通信端末５０１に、図１に示した各構成要素のうち画像撮像部２０１、光源情報推定部２０３および形状情報取得部２０４が設けられている。そして、アルベド推定部２０６、アルベドＤＢ２０８、アルベド高解像度化部２０７および画像高解像度化部２１７は、通信端末５０１から離れてネットワークを介して接続された外部の装置であるサーバ５０２に設けられている。すなわち、本実施形態では、通信端末５０１側では、全ての処理を行うのではなく、画像撮像と光源情報および形状情報の取得のみを行い、画像高解像度化処理はサーバ５０２側で実行する。
【０２５９】
通信端末５０１では、第１の実施形態で述べたように、画像撮像部２０１によって原画像が撮像され、光源情報推定部２０３によって光源情報が推定され、形状情報取得部２０４によって被写体の形状情報が取得される。これら原画像、光源情報および形状情報は、情報送信部２２４によって送信される。
【０２６０】
サーバ５０２では、情報受信部２２５が、通信端末５０１からネットワークを介して送信される情報、すなわち原画像、光源情報および形状情報を受信する。受信された原画像、光源情報および形状情報はアルベド推定部２０６に与えられる。アルベド推定部２０６は、第１の実施形態で述べたように、光源情報および形状情報を用いて、原画像から被写体のアルベド画像を作成する。アルベド高解像度化部２０７は、低解像度アルベド画像を高解像度アルベド画像に変換する変換規則を蓄積しているアルベドＤＢ２０８から変換規則を取得し、アルベド画像を高解像度化する。画像高解像度化部２１７はアルベド高解像度化部２０７によって得られた高解像度アルベド画像と、光源情報および形状情報を用いて、原画像を高解像度化した高解像度画像を作成する。
【０２６１】
このように、アルベド推定部２０６、アルベドＤＢ２０８、アルベド高解像度化部２０７および画像高解像度化部２１７をサーバ５０２に設けて、画像高解像度化処理を実行させることによって、通信端末５０１側の計算負荷を軽くすることが可能になる。
【０２６２】
なお、上述の第２および第３の実施形態において、第１の実施形態で説明したのと同様に、原画像を拡散反射画像と鏡面反射画像とに分離して、拡散反射画像についてはアルベド画像を利用した高解像度化を行い、鏡面反射画像についてはアルベド画像を利用しない高解像度化を行うようにすることも、もちろん可能である。
【０２６３】
なお、上述の各実施形態に係る画像高解像度化方法は、コンピュータに、例えばコンピュータ読み取り可能な記録媒体に記録されたプログラムを実行させることによって、実現することが可能である。
【産業上の利用可能性】
【０２６４】
本発明に係る画像高解像度化装置は、データベースを利用した画像の高解像度化において、データベース作成時とは異なる光源環境の被写体が入力された場合であっても、画質の劣化を抑えた画像高解像度化処理が実現できるため、例えば、デジタルカメラのデジタルズーム処理を行うのに有用である。
【図面の簡単な説明】
【０２６５】
【図１】本発明の第１の実施形態に係る画像高解像度化装置の構成を示すブロック図である。
【図２】本発明の第１の実施形態に係る画像高解像度化装置の構成を示すブロック図である。
【図３】本発明の第１の実施形態に係る画像高解像度化方法の処理の流れを示したフローチャートである。
【図４】本発明の第１および第２の実施形態に係る画像高解像度化装置が搭載されたカメラの構成例である。
【図５】画像を拡散反射画像と鏡面反射画像とに分離した例を示す図である。
【図６】本発明の第１の実施形態に係る画像高解像度化装置が搭載されたカメラ付き携帯電話を示す図である。
【図７】直線偏光光を照射した際、偏光フィルタを回転させたときの反射光強度の変化を示すグラフである。
【図８】偏光フィルタを利用した、鏡面反射画像と拡散反射画像との分離処理の流れを示すフローチャートである。
【図９】画素ごとに偏光方向が異なる撮像装置を説明するための模式図である。
【図１０】カメラと、偏光フィルタと回転装置とが搭載された交換レンズの構成例である。
【図１１】カメラと、偏光フィルタと回転装置とが搭載された交換レンズの模式図である。
【図１２】鏡面球を利用した光源推定方法を説明するための模式図である。
【図１３】照度差ステレオ法を利用して、被写体の距離や３次元位置を求める処理を説明するための模式図である。
【図１４】反射光の偏光特性を利用した形状情報の取得処理を説明するための模式図である。
【図１５】自然光を照射した際、偏光フィルタを回転させたときの反射光強度の変化を示すグラフである。
【図１６】擬似アルベドを利用した場合にメモリに保持されるデータを示す図である。
【図１７】テキストンに基づく高解像度化処理の概念を示す模式図である。
【図１８】線形マトリクス変換を利用したテキストンに基づく高解像度化処理を説明するための概念図である。
【図１９】テキストンに基づく高解像度化処理における学習処理の流れを示すＰＡＤ図である。
【図２０】テキストンに基づく高解像度化処理における学習処理を説明するための模式図である。
【図２１】２次元離散定常ウェーブレット変換の処理を示す図である。
【図２２】２次元離散定常ウェーブレット変換をテスト画像に実施した場合の画像結果例である。
【図２３】テキストンに基づく高解像度化処理における実行時の処理の流れを示すＰＡＤ図である。
【図２４】テキストンに基づく高解像度化処理における実行時の処理を説明するための模式図である。
【図２５】２次元離散定常逆ウェーブレット変換の処理を示す図である。
【図２６】拡散反射成分と鏡面反射成分の輝度値の違いを表現するための定数Ｓrを説明するための模式図である。
【図２７】本発明の第１の実施形態における鏡面反射画像のパラメータ推定処理の流れを示す図である。
【図２８】入射照度を表す式の各パラメータを説明するための概念図である。
【図２９】シンプレックス法によるパラメータ推定処理の流れを示すフローチャートである。
【図３０】シンプレックス法におけるパラメータ更新処理の流れを示したフローチャートである。
【図３１】極座標表現を説明するための模式図である。
【図３２】学習処理を行った被写体の画像である。
【図３３】８ｘ８倍画像高解像度化を実施した図である。
【図３４】８ｘ８倍画像高解像度化を実施した図である。
【図３５】本発明の第１の実施形態における拡散反射画像のパラメータ推定処理の流れを示す図である。
【図３６】他の光源情報推定処理に係る光源推定装置の構成を示すブロック図である。
【図３７】他の光源情報推定処理に係る光源推定装置が搭載された携帯電話の構成を示す模式図である。
【図３８】カメラ付き携帯電話が折り畳まれた状態を示す図である。
【図３９】撮像装置状況判断部および光源画像取得部の処理の流れを示したフローチャートである。
【図４０】メモリに保持された情報の一部を示した模式図である。
【図４１】ロール・ピッチ・ヨー角表現を説明するための模式図である。
【図４２】光源画素の抽出処理を説明するための模式図である。
【図４３】カメラ座標系と画像座標系との関係を説明するための模式図である。
【図４４】撮像装置が移動することを利用して、光源の３次元位置を推定する処理を説明するための模式図である。
【図４５】錘とタッチセンサを利用して光軸方向を検出する方法を説明するための模式図である。
【図４６】錘とタッチセンサが搭載されたカメラ付き折り畳み式携帯電話を示す模式図である。
【図４７】図４６のカメラ付き折り畳み式携帯電話が置かれた状態を示す模式図である。
【図４８】光軸方向とタッチセンサのＯＮ／ＯＦＦとの関係を示す図である。
【図４９】錘とタッチセンサが搭載されたデジタルスチルカメラが置かれた状態を示す模式図である。
【図５０】本発明の第２の実施形態に係る画像高解像度化装置の構成を示すブロック図である。
【図５１】本発明の第２の実施形態における画像高解像度化判別部およびアルベド高解像度化部の処理の流れを示したフローチャートである。
【図５２】本発明の第３の実施形態に係る画像高解像度化システムの構成を示すブロック図である。
【符号の説明】
【０２６６】
２０１  画像撮像部
２０２  拡散反射・鏡面反射分離部
２０３  光源情報推定部
２０４  形状情報取得部
２０６  アルベド推定部
２０７  アルベド高解像度化部
２０８  アルベドデータベース
２１７  画像高解像度化部
２２３  画像高解像度化判断部
５０１  通信端末
５０２  サーバ
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2007139067.tif 000229
【図２】
2007139067.tif 000230
【図３】
2007139067.tif 000231
【図４】
2007139067.tif 000232
【図５】
2007139067.tif 000233
【図６】
2007139067.tif 000234
【図７】
2007139067.tif 000235
【図８】
2007139067.tif 000236
【図９】
2007139067.tif 000237
【図１０】
2007139067.tif 000238
【図１１】
2007139067.tif 000239
【図１２】
2007139067.tif 000240
【図１３】
2007139067.tif 000241
【図１４】
2007139067.tif 000242
【図１５】
2007139067.tif 000243
【図１６】
2007139067.tif 000244
【図１７】
2007139067.tif 000245
【図１８】
2007139067.tif 000246
【図１９】
2007139067.tif 000247
【図２０】
2007139067.tif 000248
【図２１】
2007139067.tif 000249
【図２２】
2007139067.tif 000250
【図２３】
2007139067.tif 000251
【図２４】
2007139067.tif 000252
【図２５】
2007139067.tif 000253
【図２６】
2007139067.tif 000254
【図２７】
2007139067.tif 000255
【図２８】
2007139067.tif 000256
【図２９】
2007139067.tif 000257
【図３０】
2007139067.tif 000258
【図３１】
2007139067.tif 000259
【図３２】
2007139067.tif 000260
【図３３】
2007139067.tif 000261
【図３４】
2007139067.tif 000262
【図３５】
2007139067.tif 000263
【図３６】
2007139067.tif 000264
【図３７】
2007139067.tif 000265
【図３８】
2007139067.tif 000266
【図３９】
2007139067.tif 000267
【図４０】
2007139067.tif 000268
【図４１】
2007139067.tif 000269
【図４２】
2007139067.tif 000270
【図４３】
2007139067.tif 000271
【図４４】
2007139067.tif 000272
【図４５】
2007139067.tif 000273
【図４６】
2007139067.tif 000274
【図４７】
2007139067.tif 000275
【図４８】
2007139067.tif 000276
【図４９】
2007139067.tif 000277
【図５０】
2007139067.tif 000278
【図５１】
2007139067.tif 000279
【図５２】
2007139067.tif 000280
【国際調査報告】
2007139067.tif 000281
2007139067.tif 000282