(57)【要約】【課題】異なる波長域の光を撮像した画素数の多い他の撮像画像から取得される情報を使用して、撮像画像を高画素化すること。【解決手段】撮像装置１は、画像取得部５２と、画像解析部５３と、画像処理部５６と、を備える。画像取得部５２は、所定の波長域の光を撮像した第１の撮像画像（可視光画像）を取得する。また、画像取得部５２は、第１の撮像画像（可視光画像）の撮像範囲に含まれる範囲であって、当該第１の撮像画像（可視光画像）とは異なる所定の波長域の光を撮像した画像であって、かつ当該第１の撮像画像（可視光画像）より少ない画素数である第２の撮像画像（熱画像）を取得する。画像解析部５３は、第１の撮像画像（可視光画像）から取得しうる所定の情報を取得する。画像処理部５６は、画像解析部５３により取得される所定の情報を使用して、第２の撮像画像（熱画像）に所定の画像処理を行う。【選択図】図４
2017147498.tif 000002
【特許請求の範囲】
【請求項１】
所定の波長域の光を撮像した第１の撮像画像を取得する第１の画像取得手段と、
前記第１の撮像画像の撮像範囲に含まれる範囲であって、当該第１の撮像画像とは異なる波長域の光を撮像した画像であって、かつ当該第１の撮像画像より少ない画素数である第２の撮像画像を取得する第２の画像取得手段と、
前記第１の撮像画像から取得しうる所定の情報を取得する第１の情報取得手段と、
前記第１の情報取得手段により取得される前記所定の情報を使用して、前記第２の撮像画像に所定の画像処理を行う画像処理手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１の情報取得手段は、前記第１の撮像画像から所定の情報として、当該第１の撮像画像に含まれる被写体を判別することにより取得される情報を取得し、
前記画像処理手段は、前記第１の情報取得手段により取得される被写体を判別することにより取得される情報を使用し、前記所定の画像処理として、前記第２の撮像画像の画素を補間して高画素化する処理を行う、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の情報取得手段は、前記第１の撮像画像から所定の情報として、被写体を判別することで特定される当該第１の撮像画像内における第１の領域を取得し、
前記画像処理手段は、前記第１の情報取得手段により取得される前記第１の領域に対応する、前記第２の撮像画像の第２の領域に含まれる画素を補間して高画素化する処理を行う、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第２の領域内における特徴量の変化を取得する第２の情報取得手段を更に備え、
前記画像処理手段は、第２の情報取得手段により取得される特徴量の変化に応じて第２の撮像画像の領域に含まれる画素を補間して高画素化する処理を行う、
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第１の撮像画像は、判別される被写体に応じて複数の第１の領域に分割されるとともに、前記第２の撮像画像は、複数の前記第１の領域に対応して複数の前記第２の領域に分割され、
前記第１の情報取得手段は、前記第１の撮像画像から所定の情報として、被写体の距離に係る情報を、更に取得し、
前記画像処理手段は、前記第１の情報取得手段により取得される前記被写体の距離に係る情報を使用して、画素を補間して高画素化する処理を行う際の、複数の前記第２の領域の境界付近で使用する画素を特定する、
ことを特徴とする請求項３又は４に記載の画像処理装置。
【請求項６】
前記第１の情報取得手段は、前記第１の撮像画像から所定の情報として、被写体を判別することで特定される当該第１の撮像画像内における被写体の種類を取得し、
前記画像処理手段は、前記第１の情報取得手段により取得される被写体の種類に応じて、前記第２の撮像画像の画素を補間して高画素化する処理を行う、
ことを特徴とする請求項３乃至５の何れか１項に記載の画像処理装置。
【請求項７】
前記第１の情報取得手段は、第１の撮像画像から所定の情報として、第１の撮像画像に含まれる被写体を判別することにより取得される情報を取得し、
前記画像処理手段は、前記第１の情報取得手段により取得される前記被写体を判別することにより取得される情報を使用し、前記所定の画像処理として、被写体の判別結果により特定される第２の撮像画像における特定の領域に対する画像処理を行う、
ことを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項８】
前記第１の情報取得手段は、前記第１の撮像画像から所定の情報として、被写体の距離に係る情報を取得し、
前記画像処理手段は、前記第１の情報取得手段により取得される前記被写体の距離に係る情報を使用して、前記第２の撮像画像に前記所定の画像処理を行う、
ことを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
【請求項９】
前記第１の画像取得手段は、可視光を撮像する撮像手段により撮像される撮像画像を取得し、
前記第２の画像取得手段は、赤外光を撮像する撮像手段により撮像される撮像画像を取得する、
ことを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
【請求項１０】
所定の波長域の光を撮像した第１の撮像画像を取得する第１の画像取得処理と、
前記第１の撮像画像の撮像範囲に含まれる範囲であって、当該第１の撮像画像とは異なる波長域の光を撮像した画像であって、かつ当該第１の撮像画像より少ない画素数である第２の撮像画像を取得する第２の画像取得処理と、
前記第１の撮像画像から取得しうる所定の情報を取得する第１の情報取得処理と、
前記第１の情報取得処理により取得される前記所定の情報を使用して、前記第２の撮像画像に所定の画像処理を行う画像処理と、
を含むことを特徴とする画像処理方法。
【請求項１１】
コンピュータに、
所定の波長域の光を撮像した第１の撮像画像を取得する第１の画像取得機能と、
前記第１の撮像画像の撮像範囲が含まれる範囲であって、当該第１の撮像画像とは異なる波長域の光を撮像した画像であって、かつ当該第１の撮像画像より少ない画素数である第２の撮像画像を取得する第２の画像取得機能と、
前記第１の撮像画像から取得しうる所定の情報を取得する第１の情報取得機能と、
前記第１の情報取得機能により取得される前記所定の情報を使用して、前記第２の撮像画像に所定の画像処理を行う画像処理機能と、
を実現させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラム
に関する。
【背景技術】
【０００２】
従来より、一般に、赤外光のような非可視光による撮像画像を取得しようとする場合に、撮像素子が特殊であり高価であるため、高解像度の非可視光による撮像画像を取得することは困難である、という問題がある。可視光による撮像画像を、非可視光による撮像画像から得られる情報を使用して補間する技術が、特許文献１のように開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−１１５４６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１に記載される技術では、低解像度の非可視光による撮像画像を補間するために応用できる技術ではない。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、異なる波長域の光を撮像した画素数の多い他の撮像画像から取得される情報を使用して、撮像画像を高画素化することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の一態様の画像処理装置は、
所定の波長域の光を撮像した第１の撮像画像を取得する第１の画像取得手段と、
前記第１の撮像画像の撮像範囲に含まれる範囲であって、当該第１の撮像画像とは異なる波長域の光を撮像した画像であって、かつ当該第１の撮像画像より少ない画素数である第２の撮像画像を取得する第２の画像取得手段と、
前記第１の撮像画像から取得しうる所定の情報を取得する第１の情報取得手段と、
前記第１の情報取得手段により取得される前記所定の情報を使用して、前記第２の撮像画像に所定の画像処理を行う画像処理手段と、
を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、異なる波長域の光を撮像した画素数の多い他の撮像画像から取得される情報を使用して、撮像画像を高画素化することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の画像処理装置の一実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。
【図２】熱画像ＩＭＧ２の高解像度化の概要を説明するための模式図である。
【図３】熱画像ＩＭＧ２の高解像度化の具体例を示す模式図である。
【図４】図１の撮像装置１の機能的構成のうち、撮影処理を実行するための機能的構成を示す機能ブロック図である。
【図５】図４の機能的構成を有する図１の撮像装置１が実行する撮影処理の流れを説明するフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を用いて説明する。
【００１０】
図１は、本発明の画像処理装置の一実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。
撮像装置１は、例えば、デジタルカメラとして構成される。
【００１１】
撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、第１撮像部１６と、第２撮像部１７と、入力部１８と、出力部１９と、記憶部２０と、通信部２１と、ドライブ２２と、を備えている。
【００１２】
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２０からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
【００１３】
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００１４】
ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、第１撮像部１６、第２撮像部１７、入力部１８、出力部１９、記憶部２０、通信部２１及びドライブ２２が接続されている。
【００１５】
第１撮像部１６と第２撮像部１７とは、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
【００１６】
光学レンズ部は、被写体像を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
【００１７】
イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、第１撮像部１６の出力信号として出力される。
第１撮像部１６は可視光を撮像対象とし、このような第１撮像部１６の出力信号を、以下、「可視光画像」と呼ぶ。可視光画像のデータは、ＣＰＵ１１や図示しない画像処理部等に適宜供給される。
【００１８】
第２撮像部１７は、第１撮像部１６が可視光を撮像対象としているのに対して、赤外光を撮像対象として、赤外光を撮像した熱画像（サーマルイメージ）を取得可能な赤外線イメージセンサとして構成される。
なお、第１撮像部１６又は第２撮像部１７で撮像可能な光は、可視光或いは赤外光には限定されないが、少なくとも電磁波であって、可視光を中心に、遠赤外線、紫外線までは含み、それより波長の短いＸ線、ガンマ線等、或いは波長の長いマイクロ波等は、含まない。また、第１撮像部１６は、第２撮像部１７よりも高画素数であり、高解像度の画像を撮像可能な性能を有するように構成する。以下、高解像度は高画素数により得られるものとして説明する。
【００１９】
入力部１８は、各種ボタン等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１９は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部２０は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【００２０】
ドライブ２２には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２２によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２０にインストールされる。また、リムーバブルメディア３１は、記憶部２０に記憶されている画像のデータ等の各種データも、記憶部２０と同様に記憶することができる。
【００２１】
このように構成される撮像装置１では、低画素数の赤外線用撮像素子による低画素の熱画像を、高画素数の可視光用の撮像素子による高画素の可視光画像から得られる情報（例えば、オブジェクト認識・エッジ抽出した情報）により画像処理（本実施形態においては、画素補間）して、熱画像の高解像度化を図ることができる機能を有する。
【００２２】
図２は、熱画像ＩＭＧ２の高解像度化の概要を説明するための模式図である。なお、図中、熱画像ＩＭＧ２における小枠は、温度画素を示している。
図２に示すように、低画素の熱画像ＩＭＧ２を、高画素の可視光画像ＩＭＧ１を用いて、より温度帯の境界線が滑らかな高解像度化された熱画像ＩＭＧ２を生成することができる。
詳細には、高画素の可視光画像ＩＭＧ１に対する画像解析結果を用いて、低画素の熱画像ＩＭＧ２における画素補間の画像処理を行う。画像処理に際して、処理の対象となる箇所を、可視光画像ＩＭＧ１から熱画像ＩＭＧ２では困難な画像解析（例えば、エッジ抽出やオブジェクト認識（顔検出等））により得られる情報（例えば、顔領域）を用いて決定する。
太陽を背景に人を撮影した本例のような場合には、低画素の熱画像ＩＭＧ１に画像処理がされることにより、太陽の各温度帯における境界線が滑らかになり、人においては、（顔のパーツを含む）顔その他のエッジ部分の外形が滑らかとなる高解像度化が図られることになる。
【００２３】
低画素の熱画像ＩＭＧ２の高解像度化は、以下の手法によって行われる。なお、図３は、熱画像ＩＭＧ２の高解像度化の具体例を示す模式図である。
【００２４】
図３（ａ）に示す低画素の熱画像ＩＭＧ２を、図３（ｂ）に示す高画素の可視光画像ＩＭＧ１と重ね合わせるために、画素数が同じになるように拡大する（図３（ｃ））。
図３（ｂ）に示すように、可視光画像ＩＭＧ１に対して、画像解析を行って、被写体に対応してエリア分け（エリアの境界は、図中太線）を行う（図３（ｄ））。
次に、図３（ｅ）に示すように、高画素化した熱画像ＩＭＧ２とエリア分けを行った可視光画像ＩＭＧ１と各画素が一致する位置となるように重ね合わせ、エリア毎の評価を行い、画像処理を行う箇所／画像処理を行わない箇所を特定する。
具体的には、以下の条件で各エリアを評価する。
条件１：顔を検出したエリアであり、目や口の付近を重点として画像処理の対象とする。
条件２：温度が一様なエリアであり、画像処理の対象とはせずに熱画像をそのまま採用する。
条件３：温度変化が大きい場所があるエリアであり、当該箇所を重点として画像処理をする対象とする。
条件４：ピントの合い具合から隣接するエリアが近いか遠いか検出し、近ければ境界付近を、お互いのエリアをあわせて画像処理の対象とする。また、遠ければ画像処理の対象とはせずに、同一エリア内だけを画像処理の対象とする。
条件１に該当する顔を検出したエリアがエリアＡ、条件２に該当する温度が一様なエリアがエリアＢ（空）、条件３に該当する温度変化が大きい場所があるエリアがエリアＣ（太陽）、エリアＤ（人物の腕）、エリアＥ（首元付近）、となる。
また、条件４に基づき、例えば、エリアＤ（人物の腕）を画素補間するにあたって、隣接するエリアＢ（空）とはフォーカス距離が遠いため、エリアＢの画素は境界付近の画素補間には使用しない一方、他の隣接するエリアＦ（洋服）とはフォーカス距離が近いため、エリアＦの境界付近の画素も使用して、境界付近の画素補間を行う。
その後、上述した評価に基づいた熱画像ＩＭＧ２の箇所に対して画像処理を行うことで、熱画像の高解像度化を行う（図３（ｆ））。
このため、撮像装置１では、熱画像においては低画素の第２撮像部１７と、デジカメ等で通常用いられる程度の熱画像の第２撮像部１７に比べて高画素の第１撮像部１６を用いるだけで、安価な構成で高画素の熱画像を取得することができる。
【００２５】
図４は、図１の撮像装置１の機能的構成のうち、撮影処理を実行するための機能的構成を示す機能ブロック図である。
撮影処理とは、撮影によって得られた可視光画像と熱画像から、高画素の熱画像を生成する一連の処理をいう。
【００２６】
撮影処理を実行する場合には、図４に示すように、ＣＰＵ１１において、撮像制御部５１と、画像取得部５２と、画像解析部５３と、画像重合部５４と、エリア評価部５５と、画像処理部５６と、が機能する。
【００２７】
また、記憶部２０の一領域には、画像記憶部７１が設定される。
画像記憶部７１には、高解像度化された熱画像のデータが記憶される。
【００２８】
撮像制御部５１は、撮像処理を行うように第１撮像部１６及び第２撮像部１７を制御する。
具体的には、撮像制御部５１は、可視光画像を撮像して出力するように第１撮像部１６を制御し、熱画像を撮像して出力するように第２撮像部１７を制御する。
【００２９】
画像取得部５２は、入力部１８を介して撮影指示が行われたことに応じて、第１撮像部１６及び第２撮像部１７から出力された可視光画像及び熱画像を、画像処理の対象として取得する。
【００３０】
画像解析部５３は、画像取得部５２により取得された可視光画像を画像解析して、エリア分けをする。具体的には、画像解析部５３は、可視光画像に対して、エッジ抽出、顔検出（顔検出されたエリアにあってはさらにパーツ検出）や風景判別等の画像解析を行って、エリア分けをする。
なお、エッジ抽出、顔検出は、公知の技術を使用することで実現可能であるため、ここでは詳細な説明は省略する。
【００３１】
画像重合部５４は、画像における被写体の位置が一致するように熱画像を可視光画像の画素数と同じ画素数となるように拡大し、可視光画像と重ね合わせる。
熱画像の拡大処理を行う際の画素補間は、公知の技術を使用することで実現可能であるが、ここでは、後述する画像処理部５６による画素補間処理との重複を避けるために、ニアレストネイバー法を使用している。
【００３２】
エリア評価部５５は、エリア分けされたエリアの各々に対して画像処理の対象とするか否かの評価を行う。
画像処理の対象とするか否かの評価は、エリアが顔検出されたものであるか、エリア内で温度変化が大きい場所があるか、ピントの合い具合から隣接エリアの距離が近いか、から行う。
具体的には、エリア評価部５５は、顔検出されたエリア、温度変化が大きい場所があるエリア、ピントの合い具合から距離が近い隣接エリアを画像処理の対象とするように評価する。また、エリア評価部５５は、エリア内で温度が一様である場合、隣接エリアが離れている場合には、画像処理は行わない対象とするように評価する。また、可視光画像におけるエッジにまたがる温度画素の部分は、精度が低いと考えて、当該部分には画像処理は行わない対象とするように評価する。
【００３３】
画像処理部５６は、熱画像において画像処理の対象となった領域に対して画像処理を行って、高解像度化した熱画像を生成する。即ち、画像処理部５６は、温度変化が起こりやすい顔やエッジが検出された部分を中心にして、温度画素は低解像であるため、周辺の温度画素を用いて滑らかになるような画像処理をする。この際、画像処理部５６は、顔や検出したエッジ部分を重点的に画像処理する。
画像処理は、本実施形態においては、画素補間であり、種々の技術を用いることができるが、公知の画素補間の技術を用いる。
【００３４】
具体的には、画像処理部５６は、顔検出されたエリア、温度変化が大きい場所があるエリア、ピントの合い具合から距離が近い隣接エリアに対して、画像処理（本実施形態においては、画素補間）を行う。例えば、顔検出されたエリアの場合には、パーツ検出されており、顔の内側だけの領域の画素補間を行ったり、肌色部分、目・鼻・口のそれぞれに対して周辺の温度画素から画素補間を行ったりする。また、温度変化が大きい場所があるエリアの場合には、温度が大きく違う場所を重点として画素補間を行う。また、ピントの合い具合から距離が近い隣接エリアの場合には、エリアの境界付近を互いのエリアを合わせて画素補間を行う。
なお、エリア内で温度が一様である場合、隣接エリアが離れている場合には、画像処理は行わない。また、可視光画像におけるエッジにまたがる温度画素の部分は、精度が低いと考えて、当該部分には画像処理は行わない。
また、画像処理部５６は、抽出されたエッジと組み合わせることで、単純な周辺の足し算の画素補間ではなく、エッジがある場所に重み付けをした加算と除算を行うような画素補間を行うようにする。
【００３５】
図５は、図４の機能的構成を有する図１の撮像装置１が実行する撮影処理の流れを説明するフローチャートである。
撮影処理は、ユーザによる入力部１８への撮影処理開始の操作により開始される。
【００３６】
ステップＳ１１において、撮像制御部５１は、ユーザによる入力部１８への撮影操作があったか否かを判定する。
撮影操作がない場合には、ステップＳ１１においてＮＯと判定されて処理は待機状態となる。
撮影操作があった場合には、ステップＳ１１においてＹＥＳと判定されて処理はステップＳ１２に進む。
【００３７】
ステップＳ１２おいて、撮像制御部５１は、ライブビュー撮影を行うように第１撮像部１６を制御する。第１撮像部１６から可視光画像であるライブビュー画像が出力される。
【００３８】
ステップＳ１３において、画像取得部５２は、第１撮像部１６から出力された可視光画像を取得する（図３（ｂ）参照）。
【００３９】
ステップＳ１４において、画像解析部５３は、ライブビュー撮影によって取得された可視光画像に対して、顔検出（顔検出されたエリアにあってはさらにパーツ検出）や風景判別等の画像解析を行って、エリア分けを行う（図３（ｄ）参照）。
【００４０】
ステップＳ１５にいて、撮像制御部５１は、熱撮影を行うように第２撮像部１７を制御する。第２撮像部１７から熱画像が出力される。
【００４１】
ステップＳ１６において、画像取得部５２は、第２撮像部１７から出力された熱画像を取得する（図３（ａ）参照）。
【００４２】
ステップＳ１７において、画像重合部５４は、熱画像を可視光画像と同じ画素数になるように拡大する（図３（ｃ）参照）。
【００４３】
ステップＳ１８において、画像重合部５４は、エリア分けされた可視光画像と、熱画像とを重ね合わせる（図３（ｅ）参照）。即ち、画像重合部５４は、エリア分けを行った可視光画像ＩＭＧ１と高画素化した熱画像ＩＭＧ２と各画素が一致する位置となるように重ね合わせる。
【００４４】
ステップＳ１９において、エリア評価部５５は、各エリアに対して画像処理の対象とするか否かの評価を行う。具体的には、エリア評価部５５は、顔検出されたエリア、温度変化が大きい場所があるエリア、ピントの合い具合から距離が近い隣接エリアを画像処理の対象とするように評価し、温度が一様であるエリア、隣接エリアが離れているエリア、可視光画像におけるエッジにまたがる温度画素を含むエリア画像処理は行わない対象とするように評価する。
【００４５】
ステップＳ２０において、画像処理部５６は、熱画像において対象となった領域に対して画像処理を行って、高解像度化した熱画像を生成する。
具体的には、画像処理部５６は、例えば、図３（ｅ）に示すように、顔検出されたエリアＡの場合には、パーツ検出されており、顔の内側だけの領域の画素補間を行ったり、肌色部分、目・鼻・口のそれぞれに対して周辺の温度画素から画素補間を行ったりする。また、温度変化が大きい場所があるエリアＣ，Ｄ，Ｅの場合には、温度が大きく違う場所を重点として画素補間を行う。また、ピントの合い具合から距離が近い隣接エリアＦの場合には、エリアの境界付近を互いのエリアを合わせて画素補間を行う。
なお、エリア内で温度が一様であるエリアＢのような場合は、画像処理は行わず、隣接エリアＢが離れているエリアＤの場合には、エリアＢの画素は境界付近の画素補間には使用しない。また、可視光画像におけるエッジにまたがる温度画素の部分は、精度が低いと考えて、当該部分には画像処理は行わない。
また、画像処理部５６は、抽出されたエッジと組み合わせることで、単純な周辺の足し算の画素補間ではなく、エッジがある場所に重み付けをした加算と除算を行うような画素補間を行うようにする。
その結果、図２及び図３（ｆ）に示すように低画素の熱画像から生成された高解像度化された熱画像は、画像記憶部７１に記憶される。
その後、撮影処理は終了する。
【００４６】
したがって、撮像装置１においては、低画素の熱画像の高解像度化を図ることができる。
また、撮像装置１においては、ユーザによる１つの撮影処理操作において、熱画像・可視光画像の撮影を行い、熱画像の高解像度化を図ることで、高解像度の第２撮像部１７での撮影が行われたイメージを与えることができる。
【００４７】
近年では、見えない物の見える化として温度カメラが少しずつ普及しはじめている。しかし、温度カメラにおける解像度は３０万画素（６４０×４８０）と非常に低い。解像度については、コストに起因するもので、飛躍的に解像度を改善することはすぐには難しいとい。
そこで、撮像装置１では、その解決策として、十分な解像度をもっている通常カメラの顔検出やエッジ検出と組み合わせて温度補正に重み付けをもたせ、周辺画素を使いながら温度補正を行い、出力される結果をクオリティの高いものにする。
【００４８】
以上のように構成される撮像装置１は、画像取得部５２と、画像解析部５３と、画像処理部５６と、を備える。
画像取得部５２は、所定の波長域の光を撮像した第１の撮像画像（可視光画像）を取得する。
また、画像取得部５２は、第１の撮像画像（可視光画像）の撮像範囲に含まれる範囲であって、当該第１の撮像画像（可視光画像）とは異なる波長域の光を撮像した画像であって、かつ当該第１の撮像画像（可視光画像）より少ない画素数である第２の撮像画像（熱画像）を取得する。
画像解析部５３は、第１の撮像画像（可視光画像）から取得しうる所定の情報を取得する。
画像処理部５６は、画像解析部５３により取得される所定の情報を使用して、第２の撮像画像（熱画像）に所定の画像処理を行う。
これにより、撮像装置１においては、異なる波長域の光を撮像した画素数の多い他の撮像画像（本実施形態においては、可視光画像）から取得される情報を使用して、撮像画像（本実施形態においては、熱画像）を高画素化することができる。
【００４９】
画像解析部５３は、第１の撮像画像（可視光画像）から所定の情報として、当該第１の撮像画像（可視光画像）に含まれる被写体を判別することにより取得される情報を取得する。
画像処理部５６は、第１の撮像画像（可視光画像）から取得される被写体を判別することにより取得される情報を使用し、所定の画像処理として、第２の撮像画像（熱画像）の画素を補間して高画素化する処理を行う。
これにより、撮像装置１においては、第１の撮像画像（可視光画像）から取得される被写体の判別結果に基づいて、第２の撮像画像（熱画像）を高画素化することができる。
【００５０】
画像解析部５３は、第１の撮像画像（可視光画像）から所定の情報として、被写体を判別することで特定される当該第１の撮像画像（可視光画像）内における第１の領域（可視光画像側のエリア）を取得する。
画像処理部５６は、画像解析部５３により取得される第１の領域（可視光画像側のエリア）に対応する、第２の撮像画像（熱画像）の第２の領域（熱画像側のエリア）に含まれる画素を補間して高画素化する処理を行う。
これにより、撮像装置１においては、第１の領域（可視光画像側のエリア）に対応する、第２の撮像画像（熱画像）の第２の領域（熱画像側のエリア）に含まれる画素を補間して第２の撮像画像（熱画像）を高画素化することができる。
【００５１】
また、撮像装置１は、第２の領域（熱画像側のエリア）内における特徴量の変化を取得するエリア評価部５５を更に備える。
画像処理部５６は、エリア評価部５５により取得される特徴量の変化に応じて第２の撮像画像（熱画像）の領域に含まれる画素を補間して高画素化する処理を行う。
これにより、撮像装置１においては、特徴量の変化に応じて第２の撮像画像（熱画像）の領域に含まれる画素を補間して第２の撮像画像（熱画像）を高画素化することができる。
【００５２】
第１の撮像画像（可視光画像）は、判別される被写体に応じて複数の第１の領域（可視光画像側のエリア）に分割されるとともに、第２の撮像画像（熱画像）は、複数の第１の領域（可視光画像側のエリア）に対応して複数の第２の領域（熱画像側のエリア）に分割される。
画像解析部５３は、第１の撮像画像（可視光画像）から所定の情報として、被写体の距離に係る情報を、更に取得する。
画像処理部５６は、画像解析部５３により取得される被写体の距離に係る情報を使用して、画素を補間して高画素化する処理を行う際の、複数の第２の領域（熱画像側のエリア）の境界付近で使用する画素を特定する。
これにより、撮像装置１においては、被写体の距離に係る情報に基づいて、第２の領域（熱画像側のエリア）の境界付近で使用する画素を特定することができる。
【００５３】
画像解析部５３は、第１の撮像画像（可視光画像）から所定の情報として、被写体を判別することで特定される当該第１の撮像画像（可視光画像）内における被写体の種類を取得する。
画像処理部５６は、画像解析部５３により取得される被写体の種類に応じて、第２の撮像画像（熱画像）の画素を補間して高画素化する処理を行う。
これにより、撮像装置１においては、被写体の種類に応じて、第２の撮像画像（熱画像）の画素を補間して、第２の撮像画像（熱画像）を高画素化することができる。
【００５４】
画像解析部５３は、第１の撮像画像（可視光画像）から所定の情報として、第１の撮像画像（可視光画像）に含まれる被写体を判別することにより取得される情報を取得する。
画像処理部５６は、画像解析部５３により取得される被写体を判別することにより取得される情報を使用し、所定の画像処理として、被写体の判別結果により特定される第２の撮像画像（熱画像）における特定の領域に対する画像処理を行う。
これにより、撮像装置１においては、被写体の判別結果により特定される第２の撮像画像（熱画像）における特定の領域に対して画像処理を行うことができる。
【００５５】
画像解析部５３は、第１の撮像画像（可視光画像）から所定の情報として、被写体の距離に係る情報を取得する。
画像処理部５６は、画像解析部５３により取得される被写体の距離に係る情報を使用して、第２の撮像画像（熱画像）に所定の画像処理を行う。
これにより、撮像装置１においては、被写体の距離に係る情報を使用して、第２の撮像画像（熱画像）に所定の画像処理を行うことができる。
【００５６】
画像取得部５２は、可視光を撮像する第１撮像部１６により撮像される第１の撮像画像（可視光画像）を取得する。
画像取得部５２は、赤外光を撮像する第２撮像部１７により撮像される第２の撮像画像（熱画像）を取得する。
これにより、撮像装置１においては、可視光画像から取得される情報を使用して、熱画像を高画素化することができる。
【００５７】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【００５８】
上述の実施形態では、低画素の熱画像を高画素の可視光画像と同じ画素数に拡大した後、画素補間処理を行うように構成したが、拡大の処理と画素補間処理とを合わせて同時に行う構成としてもよい。
【００５９】
また、上述の実施形態では、低画素の熱画像の拡大処理を行う際の画素補間の方法として、公知のニアレストネイバー法を使用する構成としているが、可視光画像の画像解析結果に応じて、バイリニア法やバイキュービック法といった他の公知の画素補間処理を行ってもよい。
【００６０】
また、上述の実施形態では、可視光の画像を用いて、赤外光の画像の高解像度化を図るように構成したが、例えば、可視光の画像を用いて、紫外光の画像の高解像度化を図るように構成してもよい。
【００６１】
また、上述の実施形態では、第１撮像部１６及び第２撮像部１７から出力された可視光画像及び熱画像を用いて高解像度の熱画像を生成するように構成したが、外部で撮像された熱画像や熱画像の画角を含む可視光画像を用いて構成してもよい。
【００６２】
また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、撮影処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
【００６３】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図４の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図４の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【００６４】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【００６５】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部２０に含まれるハードディスク等で構成される。
【００６６】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【００６７】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００６８】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
所定の波長域の光を撮像した第１の撮像画像を取得する第１の画像取得手段と、
前記第１の撮像画像の撮像範囲に含まれる範囲であって、当該第１の撮像画像とは異なる波長域の光を撮像した画像であって、かつ当該第１の撮像画像より少ない画素数である第２の撮像画像を取得する第２の画像取得手段と、
前記第１の撮像画像から取得しうる所定の情報を取得する第１の情報取得手段と、
前記第１の情報取得手段により取得される前記所定の情報を使用して、前記第２の撮像画像に所定の画像処理を行う画像処理手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記第１の情報取得手段は、前記第１の撮像画像から所定の情報として、当該第１の撮像画像に含まれる被写体を判別することにより取得される情報を取得し、
前記画像処理手段は、前記第１の情報取得手段により取得される被写体を判別することにより取得される情報を使用し、前記所定の画像処理として、前記第２の撮像画像の画素を補間して高画素化する処理を行う、
ことを特徴とする付記１に記載の画像処理装置。
［付記３］
前記第１の情報取得手段は、前記第１の撮像画像から所定の情報として、被写体を判別することで特定される当該第１の撮像画像内における第１の領域を取得し、
前記画像処理手段は、前記第１の情報取得手段により取得される前記第１の領域に対応する、前記第２の撮像画像の第２の領域に含まれる画素を補間して高画素化する処理を行う、
ことを特徴とする付記２に記載の画像処理装置。
［付記４］
前記第２の領域内における特徴量の変化を取得する第２の情報取得手段を更に備え、
前記画像処理手段は、第２の情報取得手段により取得される特徴量の変化に応じて第２の撮像画像の領域に含まれる画素を補間して高画素化する処理を行う、
ことを特徴とする付記３に記載の画像処理装置。
［付記５］
前記第１の撮像画像は、判別される被写体に応じて複数の第１の領域に分割されるとともに、前記第２の撮像画像は、複数の前記第１の領域に対応して複数の前記第２の領域に分割され、
前記第１の情報取得手段は、前記第１の撮像画像から所定の情報として、被写体の距離に係る情報を、更に取得し、
前記画像処理手段は、前記第１の情報取得手段により取得される前記被写体の距離に係る情報を使用して、画素を補間して高画素化する処理を行う際の、複数の前記第２の領域の境界付近で使用する画素を特定する、
ことを特徴とする付記３又は４に記載の画像処理装置。
［付記６］
前記第１の情報取得手段は、前記第１の撮像画像から所定の情報として、被写体を判別することで特定される当該第１の撮像画像内における被写体の種類を取得し、
前記画像処理手段は、前記第１の情報取得手段により取得される被写体の種類に応じて、前記第２の撮像画像の画素を補間して高画素化する処理を行う、
ことを特徴とする付記３乃至５の何れか１つに記載の画像処理装置。
［付記７］
前記第１の情報取得手段は、第１の撮像画像から所定の情報として、第１の撮像画像に含まれる被写体を判別することにより取得される情報を取得し、
前記画像処理手段は、前記第１の情報取得手段により取得される前記被写体を判別することにより取得される情報を使用し、前記所定の画像処理として、被写体の判別結果により特定される第２の撮像画像における特定の領域に対する画像処理を行う、
ことを特徴とする付記１乃至６の何れか１つに記載の画像処理装置。
［付記８］
前記第１の情報取得手段は、前記第１の撮像画像から所定の情報として、被写体の距離に係る情報を取得し、
前記画像処理手段は、前記第１の情報取得手段により取得される前記被写体の距離に係る情報を使用して、前記第２の撮像画像に前記所定の画像処理を行う、
ことを特徴とする付記１乃至７の何れか１つに記載の画像処理装置。
［付記９］
前記第１の画像取得手段は、可視光を撮像する撮像手段により撮像される撮像画像を取得し、
前記第２の画像取得手段は、赤外光を撮像する撮像手段により撮像される撮像画像を取得する、
ことを特徴とする付記１乃至８の何れか１つに記載の画像処理装置。
［付記１０］
所定の波長域の光を撮像した第１の撮像画像を取得する第１の画像取得処理と、
前記第１の撮像画像の撮像範囲に含まれる範囲であって、当該第１の撮像画像とは異なる波長域の光を撮像した画像であって、かつ当該第１の撮像画像より少ない画素数である第２の撮像画像を取得する第２の画像取得処理と、
前記第１の撮像画像から取得しうる所定の情報を取得する第１の情報取得処理と、
前記第１の情報取得処理により取得される前記所定の情報を使用して、前記第２の撮像画像に所定の画像処理を行う画像処理と、
を含むことを特徴とする画像処理方法。
［付記１１］
コンピュータに、
所定の波長域の光を撮像した第１の撮像画像を取得する第１の画像取得機能と、
前記第１の撮像画像の撮像範囲が含まれる範囲であって、当該第１の撮像画像とは異なる波長域の光を撮像した画像であって、かつ当該第１の撮像画像より少ない画素数である第２の撮像画像を取得する第２の画像取得機能と、
前記第１の撮像画像から取得しうる所定の情報を取得する第１の情報取得機能と、
前記第１の情報取得機能により取得される前記所定の情報を使用して、前記第２の撮像画像に所定の画像処理を行う画像処理機能と、
を実現させることを特徴とするプログラム。
【符号の説明】
【００６９】
１・・・撮像装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・第１撮像部，１７・・・第２撮像部，１８・・・入力部，１９・・・出力部，２０・・・記憶部，２１・・・通信部，２２・・・ドライブ，３１・・・リムーバブルメディア，５１・・・撮像制御部，５２・・・画像取得部，５３・・・画像解析部，５４・・・画像重合部，５５・・・エリア評価部，５６・・・画像処理部，７１・・・画像データ記憶部
【図１】
2017147498.tif 000003
【図２】
2017147498.tif 000004
【図３】
2017147498.tif 000005
【図４】
2017147498.tif 000006
【図５】
2017147498.tif 000007