(57)【要約】【課題】２つの撮像手段により撮像される画像を低コストでより高い解像度で合成すること。【解決手段】撮像装置１は、第２撮像部１７と、第１撮像部１６と、調整処理部５２と、画像合成部５４と、を備える。第２撮像部１７は、熱画像ＩＭＧ２を取得する。第１撮像部１６は、第２撮像部１７の撮像範囲を含み、第２撮像部１７より広い撮像範囲を撮像して可視光画像ＩＭＧ１を取得する。調整処理部５２は、熱画像ＩＭＧ２及び可視光画像ＩＭＧ１の何れか一方、又は両方を、各々の画像に含まれる同じ被写体のサイズが同じとなるようにサイズを調整して、縮小画像ＩＭＧ２１及び拡大画像の何れか一方、又は両方を生成する。画像合成部５４は、縮小画像ＩＭＧ２１を可視光画像ＩＭＧ１に合成して、又は熱画像ＩＭＧ２を拡大画像に合成して、又は縮小画像ＩＭＧ２１を拡大画像に合成して合成画像ＩＭＧ３を生成する。【選択図】図４
2017011504.tif 000002
【特許請求の範囲】
【請求項１】
第１の撮像画像を取得する第１の撮像手段と、
前記第１の撮像手段の撮像範囲を含み、前記第１の撮像手段より広い撮像範囲を撮像して第２の撮像画像を取得する第２の撮像手段と、
前記第１の撮像画像及び前記第２の撮像画像の何れか一方、又は両方を、各々の画像に含まれる同じ被写体のサイズが同じとなるようにサイズを調整して、第１の調整画像及び第２の調整画像の何れか一方、又は両方を生成する調整画像生成手段と、
前記第１の調整画像を前記第２の撮像画像に合成して、又は前記第１の撮像画像を前記第２の調整画像に合成して、又は前記第１の調整画像を前記第２の調整画像に合成して合成画像を生成する画像合成手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記調整画像生成手段は、前記第１の撮像画像と前記第２の撮像画像の各々に含まれる同じ被写体のサイズが同じとなるように、前記第１の撮像画像のサイズを縮小して、第１の調整画像を生成し、
前記画像合成手段は、前記第１の調整画像を前記第２の撮像画像又は前記第２の調整画像に合成して合成画像を生成することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１の撮像手段の解像度は、前記第２の撮像手段の解像度よりも低いことを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記第１の撮像手段が備えるレンズの焦点距離は、前記第２の撮像手段が備えるレンズの焦点距離よりも長いことを特徴とする請求項１から３の何れか１項に記載の撮像装置。
【請求項５】
前記第１の撮像手段と前記第２の撮像手段とは、異なる波長域の光を撮像することを特徴とする請求項１から４の何れか１項に記載の撮像装置。
【請求項６】
前記第１の撮像手段は赤外光を撮像し、前記第２の撮像手段は可視光を撮像することを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記第２の撮像画像又は前記第２の調整画像に所定の画像処理を施して処理画像を生成する処理画像生成手段をさらに備え、
前記画像合成手段は、前記第１の調整画像を、前記処理画像に合成して前記合成画像を生成することを特徴とする請求項１から５の何れか１項に記載の撮像装置。
【請求項８】
前記画像合成手段は、前記第１の調整画像と、前記処理画像を合成する際に生ずる前記処理画像の余白領域に、所定の処理を施して、前記合成画像を生成することを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記画像合成手段は、前記処理画像の余白領域を前記第２の撮像画像又は前記第２の調整画像に置き換えて、前記合成画像を生成することを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記画像合成手段は、前記処理画像の画像サイズが、前記第１の調整画像と同じ画像サイズとなるように、前記処理画像の余白領域を削除して前記合成画像を生成することを特徴とする請求項８に記載の撮像装置。
【請求項１１】
前記第１の調整画像を、前記第２の撮像画像、前記第２の調整画像及び前記処理画像の何れに合成するかを選択する選択手段をさらに備え、
前記画像合成手段は、前記選択手段により選択された前記第２の撮像画像、前記第２の調整画像及び前記処理画像の何れかに合成して前記合成画像を生成することを特徴とする請求項７から１０の何れか１項に記載の撮像装置。
【請求項１２】
前記第１の撮像手段は赤外光を撮像し、前記第２の撮像手段は可視光を撮像し、
前記所定の画像処理は、前記第２の撮像画像又は前記第２の調整画像から被写体の輪郭を抽出して輪郭画像を生成する処理であることを特徴とする請求項７から１１の何れか１項に記載の撮像装置。
【請求項１３】
前記調整画像生成手段は、前記第１の撮像手段が備えるレンズの焦点距離と、前記第２の撮像手段が備えるレンズの焦点距離との比に応じて、前記第１の撮像画像及び前記第２の撮像画像の何れか一方、又は両方を、各々の画像に含まれる同じ被写体のサイズが同じとなるように調整して、第１の調整画像及び第２の調整画像の何れか一方、又は両方を生成することを特徴とする請求項１から１２の何れか１項に記載の撮像装置。
【請求項１４】
ユーザ操作に応じて、前記合成画像又は前記第２の撮像画像を選択して表示手段に表示する制御を行う表示制御手段をさらに備えることを特徴とする請求項１から１３の何れか１項に記載の撮像装置。
【請求項１５】
撮影指示に応じて、前記合成画像及び／又は前記第２の撮像画像を選択して記録保存用の撮影画像を生成する撮影手段をさらに備えることを特徴とする請求項１から１４の何れか１項に記載の撮像装置。
【請求項１６】
第１の撮像画像を取得する第１の撮像処理と、
前記第１の撮像処理の撮像範囲を含み、前記第１の撮像処理より広い撮像範囲を撮像して第２の撮像画像を取得する第２の撮像処理と、
前記第１の撮像画像及び前記第２の撮像画像の何れか一方、又は両方を、各々の画像に含まれる同じ被写体のサイズが同じとなるようにサイズを調整して、第１の調整画像及び第２の調整画像の何れか一方、又は両方を生成する調整画像生成処理と、
前記第１の調整画像を前記第２の撮像画像に合成して、又は前記第１の撮像画像を前記第２の調整画像に合成して、又は前記第１の調整画像を前記第２の調整画像に合成して合成画像を生成する画像合成処理と、
を含むことを特徴とする画像処理方法。
【請求項１７】
コンピュータに、
第１の撮像画像を取得する第１の撮像機能と、
前記第１の撮像機能の撮像範囲を含み、前記第１の撮像機能より広い撮像範囲を撮像して第２の撮像画像を取得する第２の撮像機能と、
前記第１の撮像画像及び前記第２の撮像画像の何れか一方、又は両方を、各々の画像に含まれる同じ被写体のサイズが同じとなるようにサイズを調整して、第１の調整画像及び第２の調整画像の何れか一方、又は両方を生成する調整画像生成機能と、
前記第１の調整画像を前記第２の撮像画像に合成して、又は前記第１の撮像画像を前記第２の調整画像に合成して、又は前記第１の調整画像を前記第２の調整画像に合成して合成画像を生成する画像合成機能と、
を実現させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、被写体を赤外光により撮像することで被写体の温度分布を取得する技術が使用されている。
このような技術において、温度分布だけでは被写体との位置関係が分かりにくいため、同じ被写体を可視光により撮像した画像から輪郭を抽出し、赤外光により撮像した画像に合成することで、温度分布と被写体との位置関係を分かりやすくする技術が開示されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−２１８１００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１に記載の技術では、高解像度の赤外光による撮像手段のコストが高いという問題がある。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、２つの撮像手段により撮像される画像を低コストでより高い解像度で合成することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の一態様の撮像装置は、
第１の撮像画像を取得する第１の撮像手段と、
前記第１の撮像手段の撮像範囲を含み、前記第１の撮像手段より広い撮像範囲を撮像して第２の撮像画像を取得する第２の撮像手段と、
前記第１の撮像画像及び前記第２の撮像画像の何れか一方、又は両方を、各々の画像に含まれる同じ被写体のサイズが同じとなるようにサイズを調整して、第１の調整画像及び第２の調整画像の何れか一方、又は両方を生成する調整画像生成手段と、
前記第１の調整画像を前記第２の撮像画像に合成して、又は前記第１の撮像画像を前記第２の調整画像に合成して、又は前記第１の調整画像を前記第２の調整画像に合成して合成画像を生成する画像合成手段と、
を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、２つの撮像手段により撮像される画像を低コストでより高い解像度で合成することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
【図２】本実施形態における合成画像の生成を説明するための模式図である。
【図３】合成画像の形態を示す模式図である。
【図４】図１の撮像装置の機能的構成のうち、撮影処理を実行するための機能的構成を示す機能ブロック図である。
【図５】図４の機能的構成を有する図１の撮像装置が実行する撮影処理の流れを説明するフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を用いて説明する。
【００１０】
図１は、本発明の検出装置の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
撮像装置１は、例えば、デジタルカメラとして構成される。
【００１１】
撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、第１撮像部１６と、第２撮像部１７と、入力部１８と、出力部１９と、記憶部２０と、通信部２１と、ドライブ２２と、を備えている。
【００１２】
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２０からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
【００１３】
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００１４】
ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、第１撮像部１６、第２撮像部１７、入力部１８、出力部１９、記憶部２０、通信部２１及びドライブ２２が接続されている。
【００１５】
第１撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
【００１６】
光学レンズ部は、被写体像を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
【００１７】
イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、第１撮像部１６の出力信号として出力される。
第１撮像部１６は可視光を撮像対象とし、このような第１撮像部１６の出力信号を、以下、「可視光画像」と呼ぶ。可視光画像のデータは、ＣＰＵ１１や図示しない画像処理部等に適宜供給される。
【００１８】
第２撮像部１７は、第１撮像部１６が可視光を撮像対象としているのに対して、遠赤外光を撮像対象として、遠赤外光を撮像した熱画像（サーマルイメージ）を取得可能な赤外線イメージセンサとして構成される。また、第２撮像部１７は、第１撮像部１６の近傍に配置されており、第２撮像部１７を構成する光学レンズ部の焦点距離は、第１撮像部１６を構成する光学レンズ部の焦点距離よりも短く、第１撮像部１６の画角の一部を撮像可能に構成される。
なお、第１撮像部１６又は第２撮像部１７で撮像可能な光は、可視光或いは遠赤外光には限定されないが、少なくとも電磁波であって、可視光を中心に、赤外線、紫外線までは含み、それより波長の短いＸ線、ガンマ線等、或いは波長の長いマイクロ波等は、含まない。
【００１９】
入力部１８は、各種ボタン等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１９は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部２０は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【００２０】
ドライブ２２には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２２によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２０にインストールされる。また、リムーバブルメディア３１は、記憶部２０に記憶されている画像のデータ等の各種データも、記憶部２０と同様に記憶することができる。
【００２１】
このように構成される撮像装置１では、遠赤外光を望遠レンズによって撮像することにより熱画像を取得すると共に、可視光を望遠レンズよりも焦点距離の短い広角レンズによって撮像することにより可視光画像を取得し、熱画像を縮小して解像度を高めて、可視光画像と合成する機能を有する。
一般に、熱画像を撮像するイメージセンサは、可視光画像を撮像するイメージセンサに比べて解像度が低いため、可視光画像と同等の画角で撮像した熱画像を単純に可視光画像に合成した場合、熱画像で表される温度分布の解像度が相対的に低いものとなり、詳細な温度分布を把握することが困難である。
これに対し、本実施形態に係る撮像装置１では、温度分布を把握する対象の被写体を望遠レンズで撮像することにより熱画像を取得し、この熱画像を縮小して解像度を相対的に高くして、熱画像の撮像範囲を含む広角レンズで撮像した可視光画像の同じ被写体の部分に合成する。これにより、温度分布を把握する対象の被写体において、より高解像度の熱画像を取得できるため、熱画像の撮像手段及び可視光画像の撮像手段により撮像される画像をより高い解像度で合成することができる。また、熱画像を撮像するイメージセンサとして高解像度で高コストなものを用いる必要がないため、合成画像をより低コストに生成することができる。
【００２２】
図２は、本実施形態における合成画像の生成を説明するための模式図である。
合成画像が生成される場合、図２に示すように、まず、第１撮像部１６から出力された可視光画像ＩＭＧ１と、第２撮像部１７から出力された熱画像ＩＭＧ２と、を取得する。
【００２３】
そして、取得した可視光画像ＩＭＧ１と熱画像ＩＭＧ２との画角の比率に応じて熱画像ＩＭＧ２を縮小した画像（以下、「縮小画像ＩＭＧ２１」と呼ぶ。）を生成する。
また、本実施形態において、可視光画像ＩＭＧ１に対して輪郭抽出を行い、輪郭を表す画像（以下、「輪郭画像ＩＭＧ１１」と呼ぶ。）を生成する。
さらに、縮小画像ＩＭＧ２１を輪郭画像ＩＭＧ１１の被写体の位置に合成することにより、熱画像ＩＭＧ２として表された被写体と輪郭画像ＩＭＧ１１とが重畳された合成画像ＩＭＧ３が生成される。
ただし、熱画像ＩＭＧ２が合成された状態と合成されていない状態とは、ユーザの指示によって、表示を逐次切り替えられるようになっている。これにより、ユーザは、リアルタイムに被写体の温度と外見とを確認することができる。
【００２４】
なお、合成画像ＩＭＧ３において、熱画像ＩＭＧ２として表される被写体（即ち、縮小画像ＩＭＧ２１）の周辺（余白領域）については、合成画像ＩＭＧ３を取得する目的や見易さに応じて、種々の形態とすることができる。
図３は、合成画像ＩＭＧ３の形態を示す模式図である。
図３（Ａ）に示すように、熱画像ＩＭＧ２として表される被写体の部分（縮小画像ＩＭＧ２１）に輪郭画像ＩＭＧ１１を重畳し、その余白領域については、可視光画像ＩＭＧ１を合成することができる。
また、図３（Ｂ）に示すように、熱画像ＩＭＧ２として表される被写体の部分（縮小画像ＩＭＧ２１）に輪郭画像ＩＭＧ１１を重畳し、その余白領域についても、輪郭画像ＩＭＧ１１を合成することができる。
また、図３（Ｃ）に示すように、熱画像ＩＭＧ２として表される被写体の部分（縮小画像ＩＭＧ２１）に輪郭画像ＩＭＧ１１を重畳することなく、その余白領域についても、可視光画像ＩＭＧ１を合成することとしてもよい。
さらに、図３（Ｄ）に示すように、熱画像ＩＭＧ２として表される被写体の部分（縮小画像ＩＭＧ２１）に輪郭画像ＩＭＧ１１を重畳し、その余白領域については削除することとしてもよい。この場合、合成画像ＩＭＧ３は縮小画像ＩＭＧ２１のサイズと同一となる。
【００２５】
本実施形態において、合成画像ＩＭＧ３を記録する場合、熱画像ＩＭＧ２が合成されていない状態の画像を併せて記録したり、可視光画像ＩＭＧ１について輪郭抽出を行った画像と行わない画像とを併せて記録したり、余白領域に対する処理を切り替えた各種画像（図３（Ａ）〜図３（Ｄ）参照）をそれぞれ記録したりすることができる。
【００２６】
図４は、このような撮像装置１の機能的構成のうち、撮影処理を実行するための機能的構成を示す機能ブロック図である。
撮影処理とは、望遠の画角によって熱画像ＩＭＧ２を撮影すると共に、広角の画角によって可視光画像ＩＭＧ１を生成し、焦点距離の比に応じて、熱画像ＩＭＧ２を縮小して可視光画像ＩＭＧ１に合成することにより、被写体の高解像度な熱画像ＩＭＧ２を含む合成画像ＩＭＧ３を生成する一連の処理をいう。
【００２７】
撮影処理が実行される場合には、図４に示すように、ＣＰＵ１１において、撮像制御部５１と、調整処理部５２と、輪郭抽出部５３と、画像合成部５４と、記録制御部５５とが機能する。
また、記憶部２０の一領域には、画像データ記憶部７１が設定される。
画像データ記憶部７１には、撮像された熱画像ＩＭＧ２のデータ、可視光画像ＩＭＧ１のデータ及び合成された各種合成画像ＩＭＧ３のデータが記憶される。
【００２８】
撮像制御部５１は、第１撮像部１６及び第２撮像部１７を撮像制御して、可視光画像ＩＭＧ１及び熱画像ＩＭＧ２を出力させる。
具体的には、撮像制御部５１は、第１撮像部１６及び第２撮像部１７において可視光画像ＩＭＧ１及び熱画像ＩＭＧ２を撮像する際の画角を設定する。また、撮像制御部５１は、第１撮像部１６及び第２撮像部１７に対して撮像の実行を指示する。
【００２９】
調整処理部５２は、可視光画像ＩＭＧ１と熱画像ＩＭＧ２との焦点距離の比に応じて熱画像ＩＭＧ２のサイズを調整（ここでは縮小）し、縮小画像ＩＭＧ２１を生成する。
輪郭抽出部５３は、可視光画像ＩＭＧ１に対して輪郭抽出を行い、輪郭画像ＩＭＧ１１を生成する。
なお、可視光画像から輪郭抽出を行う処理は、公知の技術を使用することで実施可能であるため、詳細な説明は省略する。
【００３０】
画像合成部５４は、図２に示すように縮小画像ＩＭＧ２１を輪郭画像ＩＭＧ１１の被写体の位置に合成する。その結果、熱画像ＩＭＧ２として表された被写体と輪郭画像ＩＭＧ１１とが重畳された合成画像ＩＭＧ３が生成される。
また、画像合成部５４は、入力部１８を介してユーザによる選択指示が行われた場合に、輪郭画像ＩＭＧ１１又は可視光画像ＩＭＧ１の何れに縮小画像ＩＭＧ２１を合成するかを選択すると共に、縮小画像ＩＭＧ２１に輪郭画像ＩＭＧ１１を重畳するか否かを選択する。なお、画像合成部５４は、入力部１８を介してユーザにより余白領域を削除する指示が行われた場合、縮小画像ＩＭＧ２１周辺の余白領域を削除する。その結果、ユーザにより指定された形態の合成画像ＩＭＧ３（図３（Ａ）〜図３（Ｄ）参照）が生成される。
さらに、画像合成部５４は、ユーザによって熱画像ＩＭＧ２が合成された状態と合成されていない状態とを切り替える指示が行われた場合に、輪郭画像ＩＭＧ１１（又は可視光画像ＩＭＧ１）に縮小画像ＩＭＧ２１が合成された状態と合成されていない状態とを切り替えて出力部１９に表示する。
【００３１】
記録制御部５５は、入力部１８を介してユーザによる記録指示が行われたか否かを判定し、記録指示が行われた場合、指示に対応して各画像を記録するように画像データ記憶部７１を制御する。
【００３２】
［動作］
次に、動作を説明する。
図５は、図４の機能的構成を有する図１の撮像装置１が実行する撮影処理の流れを説明するフローチャートである。
撮影処理は、ユーザによる入力部１８への撮影処理開始の操作により開始される。
【００３３】
ステップＳ１１において、撮像制御部５１は、第１撮像部１６及び第２撮像部１７に対して、可視光画像ＩＭＧ１及び熱画像ＩＭＧ２を撮像する際の画角を設定する。
ステップＳ１２において、撮像制御部５１は、第１撮像部１６及び第２撮像部１７に対して撮像の実行を指示する。その結果、図２に示す可視光画像ＩＭＧ１及び熱画像ＩＭＧ２が取得される。
【００３４】
ステップＳ１３において、調整処理部５２は、可視光画像ＩＭＧ１と熱画像ＩＭＧ２との焦点距離の比に応じて熱画像ＩＭＧ２を縮小する。その結果、図２に示す縮小画像ＩＭＧ２１が生成される。
ステップＳ１４において、輪郭抽出部５３は、可視光画像ＩＭＧ１に対して輪郭抽出を実行する。その結果、図２に示す輪郭画像ＩＭＧ１１が生成される。
【００３５】
ステップＳ１５において、画像合成部５４は、縮小画像ＩＭＧ２１を輪郭画像ＩＭＧ１１の被写体の位置に合成する。その結果、図３（Ａ）〜（Ｄ）に示す何れかの合成画像ＩＭＧ３が取得される。
ステップＳ１６において、画像合成部５４は、ステップＳ１５において取得された合成画像ＩＭＧ３を出力部１９に表示する。
【００３６】
ステップＳ１７において、画像合成部５４は、ユーザによって合成画像ＩＭＧ３の表示を切り替える指示が行われたか否かの判定を行う。
ユーザによって合成画像ＩＭＧ３の表示を切り替える指示が行われた場合、ステップＳ１７においてＹＥＳと判定されて、処理はステップＳ１８に移行する。
これに対して、ユーザによって合成画像ＩＭＧ３の表示を切り替える指示が行われていない場合、ステップＳ１７においてＮＯと判定されて、処理はステップＳ１９に移行する。
ステップＳ１８において、画像合成部５４は、指示された画像として、可視光画像ＩＭＧ１、輪郭画像ＩＭＧ１１、熱画像ＩＭＧ２、縮小画像ＩＭＧ２１、合成画像ＩＭＧ３のうちの何れかを出力部１９に表示する。
ステップＳ１８の後、処理はステップＳ１７に移行する。
【００３７】
ステップＳ１９において、記録制御部５５は、入力部１８を介した記録指示があるか否かの判定を行う。
記録指示がある場合、ステップＳ１９においてＹＥＳと判定されて、処理はステップＳ２０に進む。
これに対して、記録指示ない場合には、ステップＳ１９においてＮＯと判定されて、処理はステップＳ１１に移行する。
【００３８】
ステップＳ２０において、記録制御部５５は、画像データ記憶部７１に各画像を記録する。
ステップＳ２０の後、処理はステップＳ１１に移行する。
【００３９】
以上のように構成される撮像装置１は、第２撮像部１７と、第１撮像部１６と、調整処理部５２と、画像合成部５４と、を備える。
第２撮像部１７は、第１の撮像画像である熱画像ＩＭＧ２を取得する。
第１撮像部１６は、第２撮像部１７の撮像範囲を含み、第２撮像部１７より広い撮像範囲を撮像して第２の撮像画像である可視光画像ＩＭＧ１を取得する。
調整処理部５２は、第１の撮像画像である熱画像ＩＭＧ２及び第２の撮像画像である可視光画像ＩＭＧ１の何れか一方、又は両方を、各々の画像に含まれる同じ被写体のサイズが同じとなるようにサイズを調整して、第１の調整画像である縮小画像ＩＭＧ２１及び第２の調整画像である拡大画像の何れか一方、又は両方を生成する。
画像合成部５４は、第１の調整画像である縮小画像ＩＭＧ２１を第２の撮像画像である可視光画像ＩＭＧ１に合成して、又は第１の撮像画像である熱画像ＩＭＧ２を第２の調整画像である拡大画像に合成して、又は第１の調整画像である縮小画像ＩＭＧ２１を第２の調整画像である拡大画像に合成して合成画像ＩＭＧ３を生成する。
これにより、撮像装置１においては、２つの撮像手段により撮像される画像を合成する際に、一方又は両方の撮像手段により撮像される画像のサイズを調整して解像度が高められる。
したがって、２つの撮像手段により撮像される画像を低コストでより高い解像度で合成することができる。
【００４０】
調整処理部５２は、第１の撮像画像である熱画像ＩＭＧ２と第２の撮像画像である可視光画像ＩＭＧ１の各々に含まれる同じ被写体のサイズが同じとなるように、第１の撮像画像である熱画像ＩＭＧ２のサイズを縮小して、第１の調整画像である縮小画像ＩＭＧ２１を生成する。
画像合成部５４は、第１の調整画像である縮小画像ＩＭＧ２１を第２の撮像画像である可視光画像ＩＭＧ１又は第２の調整画像である拡大画像に合成して合成画像ＩＭＧ３を生成する。
これにより、第１の撮像画像である熱画像ＩＭＧ２の解像度を高めて合成画像ＩＭＧ３を生成することができる。
【００４１】
第２撮像部１７の解像度は、第１撮像部１６の解像度より低い。
これにより、撮像装置１においては、相対的に解像度が低い第２撮像部１７の撮像画像を縮小することにより、解像度を高めて第１撮像部１６の撮像画像に合成することができる。
【００４２】
第２撮像部１７が備えるレンズの焦点距離は、第１撮像部１６が備えるレンズの焦点距離よりも長い。
これにより、第２撮像部１７によって望遠の画角で撮像画像を取得し、第１撮像部１６によってより広角の画角で撮像画像を取得することができる。
【００４３】
第２撮像部１７と第１撮像部１６とは、異なる波長域の光を撮像する。
これにより、撮像装置１においては、被写体の異なる特徴を表す画像をより高い解像度で合成することができる。
【００４４】
第２撮像部１７は赤外光を撮像し、第１撮像部１６は可視光を撮像する。
これにより、撮像装置１においては、被写体の温度分布を表す画像と、被写体の外観を表す画像とをより高い解像度で合成することができる。
【００４５】
また、撮像装置１は、第２の撮像画像である可視光画像ＩＭＧ１又は第２の調整画像である拡大画像に所定の画像処理を施して処理画像である輪郭画像ＩＭＧ１１を生成する輪郭抽出部５３をさらに備える。
画像合成部５４は、第１の調整画像である縮小画像ＩＭＧ２１を、処理画像である輪郭画像ＩＭＧ１１に合成して合成画像ＩＭＧ３を生成する。
これにより、撮像装置１においては、縮小画像ＩＭＧ２１として表される被写体の輪郭がわかりやすい合成画像ＩＭＧ３を生成することができる。
【００４６】
画像合成部５４は、第１の調整画像である縮小画像ＩＭＧ２１と、処理画像である輪郭画像ＩＭＧ１１を合成する際に生ずる処理画像である輪郭画像ＩＭＧ１１の余白領域に、所定の処理を施して、合成画像ＩＭＧ３を生成する。
これにより、撮像装置１においては、縮小画像ＩＭＧ２１の余白領域を目的に応じた形態とすることができる。
【００４７】
画像合成部５４は、処理画像である輪郭画像ＩＭＧ１１の余白領域を第２の撮像画像である可視光画像ＩＭＧ１又は第２の調整画像である拡大画像に置き換えて、合成画像ＩＭＧ３を生成する。
これにより、撮像装置１においては、縮小画像ＩＭＧ２１周辺の余白領域を可視光画像ＩＭＧ１又は拡大画像として表すことができる。
【００４８】
画像合成部５４は、処理画像である輪郭画像ＩＭＧ１１の画像サイズが、第１の調整画像である縮小画像ＩＭＧ２１と同じ画像サイズとなるように、処理画像である輪郭画像ＩＭＧ１１の余白領域を削除して合成画像ＩＭＧ３を生成する。
これにより、撮像装置１においては、被写体を含む必要な部分のみからなる合成画像ＩＭＧ３を生成することができる。
【００４９】
画像合成部５４は、第１の調整画像である縮小画像ＩＭＧ２１を、第２の撮像画像である可視光画像ＩＭＧ１、第２の調整画像である拡大画像及び処理画像である輪郭画像ＩＭＧ１１の何れに合成するかを選択する。
画像合成部５４は、選択された第２の撮像画像である可視光画像ＩＭＧ１、第２の調整画像である拡大画像及び処理画像である輪郭画像ＩＭＧ１１の何れかに合成して合成画像ＩＭＧ３を生成する。
これにより、撮像装置１においては、目的に応じて、縮小画像ＩＭＧ２１を可視光画像ＩＭＧ１、拡大画像及び輪郭画像ＩＭＧ１１の何れかと合成することができる。
【００５０】
第２撮像部１７は赤外光を撮像し、第１撮像部１６は可視光を撮像する。
所定の画像処理は、第２の撮像画像である可視光画像ＩＭＧ１又は第２の調整画像である拡大画像から被写体の輪郭を抽出して輪郭画像ＩＭＧ１１を生成する処理である。
これにより、撮像装置１においては、温度分布を表す画像と被写体の輪郭を表す画像とを合成することができる。
【００５１】
調整処理部５２は、第２撮像部１７が備えるレンズの焦点距離と、第１撮像部１６が備えるレンズの焦点距離と、の比に応じて、第１の撮像画像である熱画像ＩＭＧ２及び第２の撮像画像である可視光画像ＩＭＧ１の何れか一方、又は両方を、各々の画像に含まれる同じ被写体のサイズが同じとなるように調整して、第１の調整画像である縮小画像ＩＭＧ２１及び第２の調整画像である拡大画像の何れか一方、又は両方を生成する。
これにより、撮像装置１においては、異なる画角で撮像された可視光画像ＩＭＧ１と熱画像ＩＭＧ２とを適切なサイズに調整することができる。
【００５２】
また、画像合成部５４は、ユーザ操作に応じて、合成画像ＩＭＧ３又は第２の撮像画像である可視光画像ＩＭＧ１を選択して出力部１９に表示する制御を行う。
これにより、ユーザは、被写体の可視光画像ＩＭＧ１と合成画像ＩＭＧ３とを適宜切り替えて表示させることができる。
【００５３】
また、撮像装置１は、撮影指示に応じて、合成画像ＩＭＧ３及び／又は第２の撮像画像である可視光画像ＩＭＧ１を選択して記録保存用の撮影画像を生成する記録制御部５５をさらに備える。
これにより、撮像装置１においては、合成画像ＩＭＧ３及び可視光画像ＩＭＧ１を適宜記録保存することができる。
【００５４】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【００５５】
上述の実施形態において、赤外光として用いる光は、遠赤外光のみならず、近赤外光でもよい。また、上述の実施形態において、可視光及び赤外光を撮像する以外にも、可視光及び紫外光の組み合わせ、或いは、赤外光及び紫外光の組み合わせ等を撮像することとしてもよい。
【００５６】
また、上述の実施形態では、調整処理部５２において熱画像と可視光画像の各々に含まれる同じ被写体のサイズが同じになるように熱画像を縮小し、画像合成部５４において可視光画像に合成するようにしている。これに対し、調整処理部５２において可視光画像を拡大して拡大画像を生成し、画像合成部５４において拡大画像を熱画像と同じサイズとなるように切り出して合成したり、調整処理部５２において熱画像の縮小率を抑えた縮小画像ＩＭＧ２１を生成し、その押さえた分可視光画像を拡大して拡大画像生成し、画像合成部５４において拡大画像を切り出して合成したりするようにしてもよい。可視光画像を拡大することにより解像度は低下することになるが、近年の可視光を撮像するイメージセンサは低コストであっても高解像度化には目覚しいものがあり、熱画像と被写体のサイズを同じにする程度の拡大であれば十分な解像度が確保できる。
また、可視光画像を拡大する場合も、調整処理部５２において拡大した可視光画像から輪郭抽出部５３において輪郭抽出を行い、画像合成部５４において取得した輪郭画像と熱画像とを画像するようにすればよい。
【００５７】
また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、撮影処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
【００５８】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図４の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図４の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【００５９】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【００６０】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部２０に含まれるハードディスク等で構成される。
【００６１】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【００６２】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００６３】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
第１の撮像画像を取得する第１の撮像手段と、
前記第１の撮像手段の撮像範囲を含み、前記第１の撮像手段より広い撮像範囲を撮像して第２の撮像画像を取得する第２の撮像手段と、
前記第１の撮像画像及び前記第２の撮像画像の何れか一方、又は両方を、各々の画像に含まれる同じ被写体のサイズが同じとなるようにサイズを調整して、第１の調整画像及び第２の調整画像の何れか一方、又は両方を生成する調整画像生成手段と、
前記第１の調整画像を前記第２の撮像画像に合成して、又は前記第１の撮像画像を前記第２の調整画像に合成して、又は前記第１の調整画像を前記第２の調整画像に合成して合成画像を生成する画像合成手段と、
を備えることを特徴とする撮像装置。
［付記２］
前記調整画像生成手段は、前記第１の撮像画像と前記第２の撮像画像の各々に含まれる同じ被写体のサイズが同じとなるように、前記第１の撮像画像のサイズを縮小して、第１の調整画像を生成し、
前記画像合成手段は、前記第１の調整画像を前記第２の撮像画像又は前記第２の調整画像に合成して合成画像を生成することを特徴とする付記１に記載の撮像装置。
［付記３］
前記第１の撮像手段の解像度は、前記第２の撮像手段の解像度よりも低いことを特徴とする付記１又は２に記載の撮像装置。
［付記４］
前記第１の撮像手段が備えるレンズの焦点距離は、前記第２の撮像手段が備えるレンズの焦点距離よりも長いことを特徴とする付記１から３の何れか１つに記載の撮像装置。
［付記５］
前記第１の撮像手段と前記第２の撮像手段とは、異なる波長域の光を撮像することを特徴とする付記１から４の何れか１つに記載の撮像装置。
［付記６］
前記第１の撮像手段は赤外光を撮像し、前記第２の撮像手段は可視光を撮像することを特徴とする付記５に記載の撮像装置。
［付記７］
前記第２の撮像画像又は前記第２の調整画像に所定の画像処理を施して処理画像を生成する処理画像生成手段をさらに備え、
前記画像合成手段は、前記第１の調整画像を、前記処理画像に合成して前記合成画像を生成することを特徴とする付記１から５の何れか１つに記載の撮像装置。
［付記８］
前記画像合成手段は、前記第１の調整画像と、前記処理画像を合成する際に生ずる前記処理画像の余白領域に、所定の処理を施して、前記合成画像を生成することを特徴とする付記７に記載の撮像装置。
［付記９］
前記画像合成手段は、前記処理画像の余白領域を前記第２の撮像画像又は前記第２の調整画像に置き換えて、前記合成画像を生成することを特徴とする付記８に記載の撮像装置。
［付記１０］
前記画像合成手段は、前記処理画像の画像サイズが、前記第１の調整画像と同じ画像サイズとなるように、前記処理画像の余白領域を削除して前記合成画像を生成することを特徴とする付記８に記載の撮像装置。
［付記１１］
前記第１の調整画像を、前記第２の撮像画像、前記第２の調整画像及び前記処理画像の何れに合成するかを選択する選択手段をさらに備え、
前記画像合成手段は、前記選択手段により選択された前記第２の撮像画像、前記第２の調整画像及び前記処理画像の何れかに合成して前記合成画像を生成することを特徴とする付記７から１０の何れか１つに記載の撮像装置。
［付記１２］
前記第１の撮像手段は赤外光を撮像し、前記第２の撮像手段は可視光を撮像し、
前記所定の画像処理は、前記第２の撮像画像又は前記第２の調整画像から被写体の輪郭を抽出して輪郭画像を生成する処理であることを特徴とする付記７から１１の何れか１つに記載の撮像装置。
［付記１３］
前記調整画像生成手段は、前記第１の撮像手段が備えるレンズの焦点距離と、前記第２の撮像手段が備えるレンズの焦点距離との比に応じて、前記第１の撮像画像及び前記第２の撮像画像の何れか一方、又は両方を、各々の画像に含まれる同じ被写体のサイズが同じとなるように調整して、第１の調整画像及び第２の調整画像の何れか一方、又は両方を生成することを特徴とする付記１から１２の何れか１つに記載の撮像装置。
［付記１４］
ユーザ操作に応じて、前記合成画像又は前記第２の撮像画像を選択して表示手段に表示する制御を行う表示制御手段をさらに備えることを特徴とする付記１から１３の何れか１つに記載の撮像装置。
［付記１５］
撮影指示に応じて、前記合成画像及び／又は前記第２の撮像画像を選択して記録保存用の撮影画像を生成する撮影手段をさらに備えることを特徴とする付記１から１４の何れか１つに記載の撮像装置。
［付記１６］
第１の撮像画像を取得する第１の撮像処理と、
前記第１の撮像処理の撮像範囲を含み、前記第１の撮像処理より広い撮像範囲を撮像して第２の撮像画像を取得する第２の撮像処理と、
前記第１の撮像画像及び前記第２の撮像画像の何れか一方、又は両方を、各々の画像に含まれる同じ被写体のサイズが同じとなるようにサイズを調整して、第１の調整画像及び第２の調整画像の何れか一方、又は両方を生成する調整画像生成処理と、
前記第１の調整画像を前記第２の撮像画像に合成して、又は前記第１の撮像画像を前記第２の調整画像に合成して、又は前記第１の調整画像を前記第２の調整画像に合成して合成画像を生成する画像合成処理と、
を含むことを特徴とする画像処理方法。
［付記１７］
コンピュータに、
第１の撮像画像を取得する第１の撮像機能と、
前記第１の撮像機能の撮像範囲を含み、前記第１の撮像機能より広い撮像範囲を撮像して第２の撮像画像を取得する第２の撮像機能と、
前記第１の撮像画像及び前記第２の撮像画像の何れか一方、又は両方を、各々の画像に含まれる同じ被写体のサイズが同じとなるようにサイズを調整して、第１の調整画像及び第２の調整画像の何れか一方、又は両方を生成する調整画像生成機能と、
前記第１の調整画像を前記第２の撮像画像に合成して、又は前記第１の撮像画像を前記第２の調整画像に合成して、又は前記第１の調整画像を前記第２の調整画像に合成して合成画像を生成する画像合成機能と、
を実現させることを特徴とするプログラム。
【符号の説明】
【００６４】
１・・・撮像装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・第１撮像部，１７・・・第２撮像部，１８・・・入力部，１９・・・出力部，２０・・・記憶部，２１・・・通信部，２２・・・ドライブ，３１・・・リムーバブルメディア，５１・・・撮像制御部，５２・・・調整処理部，５３・・・輪郭抽出部，５４・・・画像合成部，５５・・・記録制御部，７１・・・画像データ記憶部
【図１】
2017011504.tif 000003
【図２】
2017011504.tif 000004
【図３】
2017011504.tif 000005
【図４】
2017011504.tif 000006
【図５】
2017011504.tif 000007