(57)【要約】【課題】人物を適切に認識できる、ノイズおよび画像のボケを低減した画像を生成する。【解決手段】本発明に係る撮像装置は、可視光により被写体の複数の可視光画像を連続して撮像する可視光撮像部と、複数の可視光画像のそれぞれが撮像されたタイミングおよび複数の可視光画像の画像内容に基づいて、複数の可視光画像に含まれる被写体が予め定められた条件に適合するタイミングを予測するタイミング予測部と、タイミング予測部が予測したタイミングにおいて、赤外光により被写体の赤外光画像を撮像する赤外光撮像部とを備える。【選択図】図１
2008252404.tif 000002
【特許請求の範囲】
【請求項１】
可視光により被写体の複数の可視光画像を連続して撮像する可視光撮像部と、
前記複数の可視光画像のそれぞれが撮像されたタイミングおよび前記複数の可視光画像の画像内容に基づいて、前記複数の可視光画像に含まれる前記被写体が予め定められた条件に適合するタイミングを予測するタイミング予測部と、
前記タイミング予測部が予測したタイミングにおいて、赤外光により前記被写体の赤外光画像を撮像する赤外光撮像部と
を備える撮像装置。
【請求項２】
前記可視光撮像部が撮像した可視光画像から前記被写体の色を抽出して、抽出した前記色で前記赤外光撮像部が撮像した赤外光画像に含まれる前記被写体が着色された着色画像を生成する着色画像生成部
を更に備える請求項１に記載の撮像装置。
【請求項３】
前記複数の可視光画像のそれぞれに含まれる人物の顔の向きを特定する顔向き特定部
を更に備え、
前記タイミング予測部は、前記複数の可視光画像のそれぞれが撮像されたタイミングおよび前記顔向き特定部が特定した顔の向きに基づいて、人物の顔が予め定められた向きに向くタイミングを予測する
請求項１に記載の撮像装置。
【請求項４】
前記タイミング予測部は、前記複数の可視光画像のそれぞれが撮像されたタイミングおよび前記顔向き特定部が特定した前記複数の可視光画像のそれぞれに含まれる人物の顔の向きに基づいて、人物の頭部の回転速度を算出し、算出した回転速度に基づいて人物の顔が予め定められた向きに向くタイミングを特定する
請求項３に記載の撮像装置。
【請求項５】
前記複数の可視光画像のそれぞれに含まれる予め定められた被写体の位置を特定する被写体位置特定部
を更に備え、
前記タイミング予測部は、前記複数の可視光画像のそれぞれが撮像されたタイミングおよび前記被写体位置特定部が特定した位置に基づいて、予め定められた被写体が予め定められた位置に存在するタイミングを予測する
請求項１に記載の撮像装置。
【請求項６】
前記タイミング予測部は、前記複数の可視光画像のそれぞれが撮像されたタイミングおよび前記被写体位置特定部が特定した前記複数の可視光画像のそれぞれに含まれる予め定められた被写体の位置に基づいて、予め定められた被写体の動く速さを算出し、算出した速さに基づいて予め定められた被写体が予め定められた位置に存在するタイミングを予測する
請求項５に記載の撮像装置。
【請求項７】
前記複数の可視光画像のそれぞれに含まれる人物の顔の向きを特定する顔向き特定部
を更に備え、
前記被写体位置特定部は、前記複数の可視光画像のそれぞれに含まれる人物の位置を特定し、
前記タイミング予測部は、前記複数の可視光画像のそれぞれが撮像されたタイミング、前記顔向き特定部が特定した顔の向き、および前記被写体位置特定部が特定した人物の位置に基づいて、人物の顔が予め定められた位置において予め定められた向きに向くタイミングを予測する
請求項５に記載の撮像装置。
【請求項８】
前記複数の可視光画像の画像内容に基づいて、前記タイミング予測部が予測したタイミングにおいて前記赤外光撮像部が前記赤外光画像を撮像する撮像条件を予測する撮像条件予測部
を更に備え、
前記赤外光撮像部は、前記タイミング予測部が予測したタイミングにおいて、前記撮像条件予測部が予測した撮像条件で前記赤外光画像を撮像する
請求項１に記載の撮像装置。
【請求項９】
前記複数の可視光画像の画像内容に基づいて前記複数の可視光画像のそれぞれに含まれる予め定められた被写体の位置を特定する被写体位置特定部と、
前記被写体位置特定部が特定した位置に基づいて前記予め定められた被写体の位置を予測する被写体位置予測部と
を更に備え、
前記撮像条件予測部は、前記被写体位置予測部が予測した位置の被写体を前記赤外光撮像部が撮像することができる撮像方向を予測し、
前記赤外光撮像部は、前記タイミング予測部が予測したタイミングにおいて、前記撮像条件予測部が予測した撮像方向で撮像する
請求項８に記載の撮像装置。
【請求項１０】
前記複数の可視光画像の画像内容に基づいて前記複数の可視光画像のそれぞれに含まれる予め定められた被写体の位置を特定する被写体位置特定部と、
前記被写体位置特定部が特定した位置に基づいて、前記予め定められた被写体の位置を予測する被写体位置予測部と
を更に備え、
前記撮像条件予測部は、前記被写体位置予測部が予測した位置の被写体を前記赤外光撮像部が撮像することができる画角を予測し、
前記赤外光撮像部は、前記タイミング予測部が予測したタイミングにおいて、前記撮像条件予測部が予測した画角で撮像する
請求項８に記載の撮像装置。
【請求項１１】
前記複数の可視光画像の画像内容に基づいて前記複数の可視光画像のそれぞれに含まれる予め定められた被写体の位置を特定する被写体位置特定部と、
前記被写体位置特定部が特定した位置に基づいて、前記予め定められた被写体の位置を予測する被写体位置予測部と
を更に備え、
前記撮像条件予測部は、前記被写体位置予測部が予測した位置の被写体に前記赤外光撮像部が合焦させて撮像することができる焦点距離を予測し、
前記赤外光撮像部は、前記タイミング予測部が予測したタイミングにおいて、前記撮像条件予測部が予測した焦点距離で撮像する
請求項８に記載の撮像装置。
【請求項１２】
前記複数の可視光画像の画像内容に基づいて前記複数の可視光画像のそれぞれに含まれる予め定められた被写体の位置を特定する被写体位置特定部と、
前記被写体位置特定部が特定した位置に基づいて前記予め定められた被写体が動く速さを予測する被写体速さ予測部と
を更に備え、
前記撮像条件予測部は、前記被写体速さ予測部が予測した速さがより大きい場合に、前記赤外光撮像部が撮像する撮像レートをより大きく予測し、
前記赤外光撮像部は、前記タイミング予測部が予測したタイミングにおいて、前記撮像条件予測部が予測した撮像レートで撮像する
請求項８に記載の撮像装置。
【請求項１３】
前記複数の可視光画像の画像内容に基づいて前記複数の可視光画像のそれぞれに含まれる予め定められた被写体の位置を特定する被写体位置特定部と、
前記被写体位置特定部が特定した位置に基づいて、前記タイミング予測部が予測したタイミングにおける前記予め定められた被写体の位置を予測する被写体位置予測部と
を更に備え、
前記撮像条件予測部は、前記被写体位置予測部が予測した位置における前記予め定められた被写体が前記赤外光撮像部によってより小さく撮像される場合に、前記赤外光撮像部が撮像する解像度をより大きく予測し、
前記赤外光撮像部は、前記タイミング予測部が予測したタイミングにおいて、前記撮像条件予測部が予測した解像度で撮像する
請求項８に記載の撮像装置。
【請求項１４】
前記赤外光撮像部の撮像範囲の少なくとも一部の領域に、前記タイミング予測部が予測したタイミングで赤外光を照射する赤外光照射部
を更に備え、
前記赤外光撮像部は、前記赤外光照射部が赤外光を照射している状態で前記赤外光画像を撮像する
請求項１に記載の撮像装置。
【請求項１５】
前記赤外光撮像部は、前記タイミング予測部が予測したタイミングの近傍のタイミングにおいて、前記赤外光照射部が赤外光を照射していない状態で赤外光画像を撮像し、
前記撮像装置は、
前記赤外光照射部が赤外光を照射している状態で前記赤外光撮像部が撮像した赤外光画像が示す赤外光強度から、前記赤外光照射部が赤外光を照射していない状態で前記赤外光撮像部が撮像した赤外光画像が示す赤外光強度を画素毎に差し引くことによって、前記赤外光照射部が照射した赤外光による赤外光画像を生成する赤外光画像生成部
を更に備える請求項１４に記載の撮像装置。
【請求項１６】
可視光により被写体の複数の可視光画像を連続して撮像する可視光撮像段階と、
前記複数の可視光画像のそれぞれが撮像されたタイミングおよび前記複数の可視光画像の画像内容に基づいて、前記複数の可視光画像に含まれる前記被写体が予め定められた条件に適合するタイミングを予測するタイミング予測段階と、
前記タイミング予測段階において予測されたタイミングにおいて、赤外光により前記被写体の赤外光画像を撮像する赤外光撮像段階と
を備える撮像方法。
【請求項１７】
撮像装置用の撮像プログラムであって、前記撮像装置を、
可視光により被写体の複数の可視光画像を連続して撮像する可視光撮像部、
前記複数の可視光画像のそれぞれが撮像されたタイミングおよび前記複数の可視光画像の画像内容に基づいて、前記複数の可視光画像に含まれる前記被写体が予め定められた条件に適合するタイミングを予測するタイミング予測部、
前記タイミング予測部が予測したタイミングにおいて、赤外光により前記被写体の赤外光画像を撮像する赤外光撮像部
として機能させる撮像プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像方法、および撮像プログラムに関する。特に、本発明は、可視光画像および赤外光画像を撮像する撮像装置、撮像方法、および撮像プログラムに関する。
【背景技術】
【０００２】
特許文献１には、可視光画像と遠赤外線画像とを撮像して、撮像した遠赤外線画像から可視光画像中の人体を抽出する人体検知方法について提案されている。また、特許文献２には、赤外光の波長領域を波長のより長い赤外光領域から順に、赤色領域、緑色領域、および青色領域とみなして、原色信号を取得することにより、赤外光領域における波長の相違を色の相違として表示する赤外線撮像装置について提案されている。また、特許文献３には、画素加算モードによる高感度化ができるとともに、赤外光導入モードによる高感度化を適用して昼夜を問わず撮像ができる監視用ビデオカメラについて提案されている。
【０００３】
そして、特許文献４には、赤外光を透過しない大気中の波長帯を使用して、赤外画像のオフセット補正をする赤外線撮像装置について提案されている。更に、特許文献５には、偏光フィルタを透過した赤外光を検出する光量検出器の出力を偏光フィルタの回転により最小化して、鏡面反射した太陽光の影響を低減することにより、昼間の運用時において鮮明な赤外画像を取得する赤外線撮像装置について提案されている。
【特許文献１】特開２００４−２１９２７７号公報
【特許文献２】特開２０００−２７８７０１号公報
【特許文献３】特開２００５−９４３４６号公報
【特許文献４】特開２００６−１２９３３６号公報
【特許文献５】特開平０６−５１９２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の発明においては、遠赤外線画像から抽出した人体の画像に色彩は付されていない。また、特許文献２に記載の発明においては、赤外光領域で撮像して得られた画像に、実際の被写体の色とは異なる色彩しか彩色を施すことができない。また、特許文献３に記載の発明においては、昼夜を問わず撮像するので、撮像画像の保存領域が欠乏する場合がある。そして、特許文献４および特許文献５に記載の発明においては、撮像領域において予め定められた変化が生じたタイミングで、赤外画像を撮像することはできない。
【０００５】
そこで本発明は、上記課題を解決することができる撮像装置、撮像方法、および撮像プログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の第１の形態においては、可視光画像および赤外光画像を撮像する撮像装置であって、可視光により被写体の複数の可視光画像を連続して撮像する可視光撮像部と、複数の可視光画像のそれぞれが撮像されたタイミングおよび複数の可視光画像の画像内容に基づいて、複数の可視光画像に含まれる被写体が予め定められた条件に適合するタイミングを予測するタイミング予測部と、タイミング予測部が予測したタイミングにおいて、赤外光により被写体の赤外光画像を撮像する赤外光撮像部とを備える。
【０００７】
また、可視光撮像部が撮像した可視光画像から被写体の色を抽出して、抽出した色で赤外光撮像部が撮像した赤外光画像に含まれる被写体が着色された着色画像を生成する着色画像生成部を更に備えてもよい。また、複数の可視光画像のそれぞれに含まれる人物の顔の向きを特定する顔向き特定部を更に備え、タイミング予測部は、複数の可視光画像のそれぞれが撮像されたタイミングおよび顔向き特定部が特定した顔の向きに基づいて、人物の顔が予め定められた向きに向くタイミングを予測してもよい。
【０００８】
また、本発明の第２の形態においては、可視光画像および赤外光画像を撮像する撮像方法であって、可視光撮像部が、可視光により被写体の複数の可視光画像を連続して撮像する可視光撮像段階と、タイミング予測部が、複数の可視光画像のそれぞれが撮像されたタイミングおよび複数の可視光画像の画像内容に基づいて、複数の可視光画像に含まれる被写体が予め定められた条件に適合するタイミングを予測するタイミング予測段階と、赤外光撮像部が、タイミング予測段階において予測されたタイミングにおいて、赤外光により被写体の赤外光画像を撮像する赤外光撮像段階とを備える。
【０００９】
また、本発明の第３の形態においては、可視光画像および赤外光画像を撮像する撮像装置用の撮像プログラムであって、撮像装置を、可視光により被写体の複数の可視光画像を連続して撮像する可視光撮像部、複数の可視光画像のそれぞれが撮像されたタイミングおよび複数の可視光画像の画像内容に基づいて、複数の可視光画像に含まれる被写体が予め定められた条件に適合するタイミングを予測するタイミング予測部、タイミング予測部が予測したタイミングにおいて、赤外光により被写体の赤外光画像を撮像する赤外光撮像部として機能させる。
【００１０】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明の効果】
【００１１】
本発明によれば、人物を適切に認識できる、ノイズおよび画像のボケを低減した画像を生成できる。
【発明を実施するための最良の形態】
【００１２】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１３】
図１は、本発明の一実施形態に係る撮像装置１０の機能構成の一例を示す。撮像装置１０は、撮像領域の可視光画像を撮像する。そして、撮像装置１０は、撮像した複数の可視光画像から、撮像領域に含まれる被写体の所定時間が経過した後の動作および／または姿勢等の被写体の状態を予測する。すなわち、撮像装置１０は、撮像領域に含まれる被写体の現在時刻から予め定められた時間が経過するまでの動作等から、現在時刻から所定時間が経過した後の当該被写体の状態を予測する。
【００１４】
そして、撮像装置１０は、予測した状態に被写体の状態が移行すると判断したタイミングで、撮像領域に含まれる当該被写体の赤外光画像を撮像する。続いて、撮像装置１０は、撮像した赤外光画像に含まれる被写体の領域に、撮像した可視光画像に含まれる被写体の色彩を施して着色画像を生成する。本実施形態に係る撮像装置１０は、撮像領域に含まれる人物等の被写体を適切に認識できる、ノイズおよび画像のボケを低減した画像を生成することを目的とする。
【００１５】
なお、可視光画像とは、可視光の波長範囲（例えば、波長４００ｎｍから７００ｎｍの範囲）において撮像ユニット１００の可視光撮像部１０２が有する撮像素子が受光した光から取得した画像である。また、赤外光画像とは、赤外光の波長範囲（例えば、波長７００ｎｍから１０００ｎｍの範囲）において撮像ユニット１００の赤外光撮像部１０４が有する撮像素子が受光した光から取得した画像である。更に、撮像領域とは、撮像ユニット１００が、可視光画像および赤外光画像の撮像ができる撮像領域である。
【００１６】
本実施形態に係る撮像装置１０は、撮像ユニット１００、画像取得部１１０、被写体抽出部１１５、解析ユニット１２０、タイミング予測部１３０、撮像条件予測部１４０、撮像制御部１５０、赤外光照射部１６０、画像生成ユニット１７０、および出力部１８０を備える。また、撮像ユニット１００は、可視光撮像部１０２および赤外光撮像部１０４を有する。そして、解析ユニット１２０は、顔向き特定部１２２、被写体位置特定部１２４、被写体位置予測部１２６、および被写体速さ予測部１２８を有する。更に、画像生成ユニット１７０は、着色画像生成部１７２および赤外光画像生成部１７４を有する。
【００１７】
撮像制御部１５０は、タイミング予測部１３０から受け取った情報および／または撮像条件予測部１４０から受け取った撮像条件を示す情報に応じて、撮像ユニット１００の撮像タイミングおよび撮像条件を制御する。撮像制御部１５０は、撮像ユニット１００の可視光撮像部１０２および赤外光撮像部１０４のそれぞれの撮像タイミングおよび撮像条件を制御する。具体的には、撮像制御部１５０は、可視光撮像部１０２および赤外光撮像部１０４それぞれの撮像方向、画角、焦点位置、フレームレート、解像度、ストロボ発光の有無、および絞り等を制御して、可視光画像および赤外光画像を撮像させる。
【００１８】
例えば、撮像装置１０は、撮像ユニット１００の撮像方向を変化させる撮像方向変更ユニットを更に備えていてよい。係る場合において撮像制御部１５０は、撮像方向変更ユニットを電気的または機械的に制御して、撮像ユニット１００の撮像方向を撮像条件予測部１４０が予測した撮像条件に適合する撮像方向に変更させる。撮像制御部１５０は、連続的または間欠的に撮像ユニット１００の撮像方向を変更させてもよい。なお、本実施形態における画像は、動画および静止画を含む。そして、動画は、複数の動画構成画像を含み、フレーム画像またはフィールド画像等は動画構成画像の一例である。以下の説明における可視光画像および赤外光画像は、動画構成画像であってもよい。
【００１９】
可視光撮像部１０２は、可視光により被写体の複数の可視光画像を連続して撮像する。可視光撮像部１０２は、複数の可視光画像を予め定められた周期で撮像する。また、可視光撮像部１０２は、複数の受光素子（例えば、赤外光の波長範囲までの感度を有する受光素子）を含む撮像素子を有する。例えば、撮像素子はＣＣＤまたはＣＭＯＳ等であってよい。そして、複数の受光素子はそれぞれ、予め定められた範囲の波長の可視光を透過するカラーフィルタ（例えば、Ｒ、Ｇ、およびＢ用のカラーフィルタ）が設けられている。そして、複数の受光素子はそれぞれ、それぞれに設けられたカラーフィルタを透過する波長範囲の光を受光する。撮像素子は、複数の受光素子が受光した光から可視光画像を示す可視光画像データを外部に供給する。なお、複数の受光素子はそれぞれ、カラーフィルタと共に赤外光の波長範囲の光をカットするカットフィルタを更に設けていてもよい。可視光撮像部１０２は、撮像した複数の可視光画像を可視光画像データとして画像取得部１１０に供給する。
【００２０】
赤外光撮像部１０４は、後述するタイミング予測部１３０が予測したタイミングにおいて、赤外光により被写体の赤外光画像を撮像する。具体的には、赤外光撮像部１０４は、タイミング予測部１３０が予測したタイミングを示す情報を受け取った撮像制御部１５０に制御されて、タイミング予測部１３０が予測したタイミングにおいて、赤外光画像を撮像する。また、赤外光撮像部１０４は、タイミング予測部１３０が予測したタイミングにおいて、撮像条件予測部１４０が予測した撮像条件で赤外光画像を撮像する。赤外光撮像部１０４は、タイミング予測部１３０が予測したタイミングを起点として、複数の赤外光画像を連続して、または間欠的に撮像してもよい。なお、撮像条件予測部１４０の機能については後述するが、本実施形態に係る撮像条件とは、例えば、撮像方向、画角、焦点位置、撮像レート、および解像度を決定する条件であってよい。
【００２１】
また、赤外光撮像部１０４は、赤外光の波長範囲に感度を示す複数の受光素子を含む撮像素子を有する。例えば、撮像素子はＣＣＤまたはＣＭＯＳ等であってよい。そして、複数の受光素子はそれぞれ、予め定められた範囲の波長の可視光をカットする赤外光フィルタが設けられていてよい。そして、複数の受光素子はそれぞれ、それぞれに設けられた赤外光フィルタを透過する波長範囲の赤外光を受光する。赤外光撮像部１０４は、撮像した複数の赤外光画像を赤外光画像データとして画像取得部１１０に供給する。なお、本実施形態においては、１つの撮像素子が可視光の波長範囲に感度を有する複数の受光素子と赤外光の波長範囲に感度を有する受光素子とをそれぞれ含んでいてもよい。
【００２２】
また、本実施形態においては、撮像ユニット１００が可視光撮像部１０２および赤外光撮像部１０４を有しているが、他の実施形態においては、撮像装置１０は、可視光撮像部１０２および赤外光撮像部１０４とを別個独立に備えていてもよい。例えば、撮像装置１０は、撮像ユニット１００の代わりに、可視光により撮像領域の可視光画像を撮像する可視光撮像部１０２を有する可視光画像撮像ユニットと赤外光により撮像領域の赤外光画像を撮像する赤外光撮像部１０４を有する赤外光画像撮像ユニットとを備えていてもよい。係る場合には、撮像制御部１５０は、可視光画像撮像ユニットおよび赤外光画像撮像ユニットそれぞれの撮像タイミングおよび撮像条件を制御する。
【００２３】
画像取得部１１０は、可視光撮像部１０２が撮像した可視光画像を可視光画像データとして取得する。また、画像取得部１１０は、赤外光撮像部１０４が撮像した赤外光画像を赤外光画像データとして取得する。画像取得部１１０は、取得した可視光画像データおよび赤外光画像データを被写体抽出部１１５および画像生成ユニット１７０に供給する。また、画像取得部１１０は、複数の可視光画像のそれぞれが撮像されたタイミングを示す情報をタイミング予測部１３０に供給する。
【００２４】
被写体抽出部１１５は、可視光画像データが示す可視光画像に含まれる被写体の被写体画像を抽出する。また、被写体抽出部１１５は、赤外光画像データが示す赤外光画像に含まれる被写体の被写体画像を抽出してもよい。被写体抽出部１１５は、複数の可視光画像のそれぞれが撮像された時刻のそれぞれに対応づけて、複数の可視光画像のそれぞれに含まれる被写体画像を抽出する。例えば、被写体抽出部１１５は、第１の時刻において撮像された可視光画像に含まれる被写体画像を、第１の時刻に対応づけて抽出する。そして、被写体抽出部１１５は、第１の時刻を経過した後の第２の時刻において撮像された可視光画像に含まれる被写体画像を、第２の時刻に対応づけて抽出する。なお、第１の時刻と第２の時刻とは連続した時刻である必要はなく、第２の時刻は、第１の時刻から予め定められた間隔を隔てた後の時刻であってもよい。
【００２５】
また、被写体抽出部１１５は、被写体画像を、当該被写体画像を含む可視光画像に対して当該被写体画像が占める位置に対応づけて抽出する。例えば、被写体抽出部１１５は、可視光画像の予め定められた基準点（例えば、可視光画像の中心点または可視光画像が略矩形である場合には、略矩形の４つの頂点のいずれか１つの頂点）から被写体の輪郭線までの距離、または被写体の輪郭線の一部までの距離、若しくは被写体の重心までの距離に対応づけて、当該被写体の被写体画像を抽出する。なお、被写体抽出部１１５は、抽出した被写体画像に、当該被写体画像を含む可視光画像を識別する可視光画像識別子と当該可視光画像が撮像された時刻とを対応づけてよい。被写体抽出部１１５は、抽出した被写体画像を、当該被写体画像を含む可視光画像が撮像された時刻に対応づけて、解析ユニット１２０および画像生成ユニット１７０に供給する。
【００２６】
解析ユニット１２０の顔向き特定部１２２は、複数の可視光画像のそれぞれに含まれる人物の顔の向きを特定する。例えば、顔向き特定部１２２は、被写体抽出部１１５が複数の可視光画像のそれぞれから抽出した被写体画像が示す被写体が人物である場合、人物の眉、眼、鼻、および口等のテンプレート画像を用いて、パターンマッチングにより人物の顔の向きを特定する。ここで、顔向き特定部１２２は、人物の顔が撮像ユニット１００に対して正面を向いている場合、人物の顔が撮像ユニット１００に対して右または左を向いている場合、および人物の顔が撮像ユニット１００に対して上または下を向いている場合等の複数の種類のテンプレート画像を予め格納するテンプレート画像格納部を有していてよい。顔向き特定部１２２は、テンプレート画像格納部が格納している複数のテンプレート画像を用いてパターンマッチングする。また、顔向き特定部１２２は、人物の鼻の向きに応じて人物の顔の向きを特定してもよい。
【００２７】
また、顔向き特定部１２２は、被写体抽出部１１５が抽出した被写体画像の対称性に基づいて、人物の顔の向きを特定してもよい。まず、顔向き特定部１２２は、被写体画像から略円形の領域の画像を抽出する。そして、顔向き特定部１２２は、抽出した略円形の領域の画像を上下方向または左右方向に折り返して、折り返した後の被写体画像が対称的であるか否かを判断する。そして、顔向き特定部１２２は、折り返した後の被写体画像が対照的である場合に、人物の顔の向きが撮像ユニット１００に対して正面を向いていると特定する。また、顔向き特定部１２２は、折り返した後の被写体画像が非対称である場合に、人物の顔の向きが撮像ユニット１００に対して正面を向いていないと特定する。
【００２８】
例えば、人物の顔が撮像ユニット１００に対して正面を向いている場合、顔向き特定部１２２は、パターンマッチングにより、被写体画像から略円形の領域の画像を人物の顔の領域の画像として抽出する。そして、顔向き特定部１２２は、抽出した画像を上下方向および左右方向に折り返す。係る場合において、抽出した画像を左右方向に折り返して略一致した場合、顔向き特定部１２２は、抽出した人物の顔の画像が、撮像ユニット１００に対して正面を向いていると特定する。なお、係る場合において、顔向き特定部１２２は、抽出した画像を上下方向および左右方向に折り返しても一致しない場合、すなわち、折り返した画像が非対称となっている場合、人物の顔が撮像ユニット１００に対して正面を向いていないと特定する。
【００２９】
また、顔向き特定部１２２は、複数の可視光画像のそれぞれに含まれる人物の顔の肌色領域の偏りに基づいて、人物の顔の向きを特定してもよい。例えば、顔向き特定部１２２は、被写体画像から略円形の領域の画像を抽出する。そして、顔向き特定部１２２は、抽出した画像を人物の顔であるか否かを、人物の顔を構成する要素（例えば、眉、眼、鼻、口、耳および顔の輪郭）の有無に基づいて判断する。顔向き特定部１２２は、パターンマッチングにより、人物の顔を構成する要素が少なくとも１つある場合に、抽出した画像を人物の顔であると判断する。そして、顔向き特定部１２２は、抽出した略円形の画像を略半分に分割する中心線の左右において、肌色領域の面積をそれぞれ算出する。そして、顔向き特定部１２２は、算出した肌色領域の面積が大きい側に人物の顔が向いていると特定してもよい。
【００３０】
顔向き特定部１２２は、被写体抽出部１１５が抽出した複数の被写体画像である人物の画像のそれぞれについて、人物の顔の向きを特定する。そして、顔向き特定部１２２は、人物の画像を含む可視光画像が撮像された時刻に対応づけて、当該人物の顔の向きを示す情報をタイミング予測部１３０に順次に供給する。なお、顔向き特定部１２２は、被写体抽出部１１５から人物の画像を受け取るたびに人物の顔の向きを特定して、人物の顔の向きを特定した順に、特定した人物の顔の向きを示す情報をタイミング予測部１３０に供給してもよい。
【００３１】
被写体位置特定部１２４は、複数の可視光画像のそれぞれに含まれる予め定められた被写体の位置を特定する。具体的には、被写体位置特定部１２４は、複数の可視光画像の画像内容に基づいて複数の可視光画像のそれぞれに含まれる予め定められた被写体の位置を特定する。例えば、被写体位置特定部１２４は、複数の可視光画像のそれぞれに含まれる人物の位置を特定する。なお、予め定められた被写体とは、他の実施例においては、人物等を含む動体（例えば、動物、昆虫、および自動車等の移動物体等）であってよい。被写体位置特定部１２４は、テンプレートマッチング等により被写体が人物等の動体であるか否かを判断してよい。被写体位置特定部１２４は、複数の可視光画像のそれぞれにおいて特定した被写体の位置を示す情報を、複数の可視光画像が撮像された時刻のそれぞれに対応づけて、被写体位置予測部１２６および被写体速さ予測部１２８に供給する。
【００３２】
被写体位置予測部１２６は、被写体位置特定部１２４が特定した位置に基づいて予め定められた被写体の位置を予測する。具体的には、被写体位置予測部１２６は、撮像領域において被写体が予め定められた時間経過後に存在する位置を予測する。例えば、被写体位置予測部１２６は、被写体位置特定部１２４が複数の可視光画像に含まれる被写体のそれぞれについて特定した可視光画像に対する被写体の位置と、複数の可視光画像が撮像された複数の時刻とから被写体の可視光画像に対する速さを算出する。更に、被写体位置予測部１２６は、可視光画像に対する被写体の移動方向を、複数の可視光画像の差分から特定する。そして、被写体位置特定部１２４は、予め定められた時間が経過したときの被写体の位置を、算出した速さと特定した移動方向とから予測する。被写体位置予測部１２６は、予測した被写体の位置を示す情報をタイミング予測部１３０および撮像条件予測部１４０に供給する。
【００３３】
被写体速さ予測部１２８は、被写体位置特定部１２４が特定した被写体の位置に基づいて、予め定められた被写体が動く速さを予測する。例えば、被写体速さ予測部１２８は、被写体位置特定部１２４が特定した複数の可視光画像のそれぞれに含まれる被写体の可視光画像に対する位置の変化から、予め定められた被写体の動く速さを算出する。
【００３４】
具体的には、被写体速さ予測部１２８は、第１の時刻において撮像された第１の可視光画像に対する、第１の可視光画像に含まれる予め定められた被写体の第１の位置を被写体位置特定部１２４から受け取る。更に、被写体速さ予測部１２８は、第１の時刻が経過した後の第２の時刻において撮像された第２の可視光画像に対する、第２の可視光画像に含まれる予め定められた被写体の第２の位置を被写体位置特定部１２４から更に受け取る。そして、被写体速さ予測部１２８は、第１の時刻と第２の時刻との差分である第１時間と、第１の位置と第２の位置との差分とから被写体の第１の速さを算出する。
【００３５】
続いて、被写体速さ予測部１２８は、第２の時刻が経過した後の第３の時刻において撮像された第３の可視光画像に対する、第３の可視光画像に含まれる予め定められた被写体の第３の位置を被写体位置特定部１２４から更に受け取る。そして、被写体速さ予測部１２８は、第２の時刻と第３の時刻との差分との差分である第２時間と、第２の位置と第３の位置との差分とから被写体の第２の速さを算出する。更に、被写体速さ予測部１２８は、第３の時刻が経過した後の第４の時刻において撮像された第４の可視光画像に対する、第４の可視光画像に含まれる予め定められた被写体の第４の位置を被写体位置特定部１２４から更に受け取る。そして、被写体速さ予測部１２８は、第３の時刻と第４の時刻との差分との差分である第３時間と、第３の位置と第４の位置との差分とから被写体の第３の速さを算出する。そして、被写体速さ予測部１２８は、算出した第１の速さ、第２の速さ、および第３の速さと、第１時間、第２時間、および第３時間とから、被写体の加速度を算出する。
【００３６】
被写体速さ予測部１２８は、算出した加速度の値が予め定められた閾値より小さい場合、算出した第１の速さ、第２の速さ、および第３の速さから平均の速さを算出して、算出した平均の速さを予測した速さとする。一方、被写体速さ予測部１２８は、算出した加速度の値が予め定められた閾値以上の場合、算出した加速度と予め定められた時間とから算出した速さを予測した速さとする。被写体速さ予測部１２８は、予測した被写体の速さを、タイミング予測部１３０および撮像条件予測部１４０に供給する。なお、予め定められた時間は、被写体位置特定部１２４が被写体の位置の特定に用いた複数の可視光画像のうち、最も撮像時刻が新しい可視光画像が撮像された時刻から計測してよい。
【００３７】
タイミング予測部１３０は、複数の可視光画像のそれぞれが撮像されたタイミングおよび複数の可視光画像の画像内容に基づいて、複数の可視光画像に含まれる被写体が予め定められた条件に適合するタイミングを予測する。タイミング予測部１３０は、複数の可視光画像のそれぞれが撮像されたタイミングおよび顔向き特定部１２２が特定した顔の向きに基づいて、人物の顔が予め定められた向きに向くタイミングを予測する。例えば、タイミング予測部１３０は、人物の顔が可視光撮像部１０２の撮像方向と相対する方向に向くタイミングを予測する。タイミング予測部１３０は、例えば、顔向き特定部１２２から準じに受け取った人物の顔の向きを示す情報から、予め定められた時間が経過した後の人物の顔の向きを予測する。
【００３８】
また、タイミング予測部１３０は、複数の可視光画像のそれぞれが撮像されたタイミングおよび顔向き特定部１２２が特定した複数の可視光画像のそれぞれに含まれる人物の顔の向きに基づいて、人物の頭部の回転速度を算出して、算出した回転速度に基づいて人物の顔が予め定められた向きに向くタイミングを特定してもよい。例えば、人物の顔の向きが第１の時刻において左向きであり、第１の時刻が経過した後の第２の時刻において人物の顔の向きが右向き方向に所定の角度回転していた場合、第１の時刻と第２の時刻と所定の角度とから人物の顔が左から右に向く角速度を算出する。そして、タイミング予測部１３０は、算出した角速度と予め定められた時間とから、予め定められた時間が経過した後の人物の顔の向きを予測する。
【００３９】
また、タイミング予測部１３０は、複数の可視光画像のそれぞれが撮像されたタイミングおよび被写体位置特定部１２４が特定した位置に基づいて、予め定められた被写体が予め定められた位置に存在するタイミングを予測する。予め定められた位置とは、例えば、撮像領域内において監視を要する位置（例えば、玄関の位置、窓の位置、金庫の位置、および宝飾品を納めた棚の位置等）、または撮像ユニット１００から予め定められた範囲内の所定の位置等であってよい。タイミング予測部１３０は、予め定められた被写体が予め定められた位置に存在するタイミングを、現在時刻と被写体位置予測部１２６から受け取った情報が示す予測した位置に被写体が来る時刻とから予測する。
【００４０】
例えば、タイミング予測部１３０は、複数の可視光画像のそれぞれが撮像されたタイミングおよび被写体位置特定部１２４が特定した複数の可視光画像のそれぞれに含まれる予め定められた被写体の位置に基づいて、予め定められた被写体の動く速さを算出する。そして、タイミング予測部１３０は、算出した速さに基づいて予め定められた被写体が予め定められた位置に存在するタイミングを予測する。具体的には、タイミング予測部１３０は、算出した速さと、現在時刻から予め定められた時刻までの時間と、複数の可視光画像の差分画像から特定した被写体の移動方向とから、予め定められた被写体が予め定められた位置に存在するタイミングを予測する。
【００４１】
また、タイミング予測部１３０は、複数の可視光画像のそれぞれが撮像されたタイミング、顔向き特定部１２２が特定した顔の向き、および被写体位置特定部１２４が特定した人物の位置に基づいて、人物の顔が予め定められた位置において予め定められた向きに向くタイミングを予測する。例えば、タイミング予測部１３０は、撮像ユニット１００の撮像領域内の予め定められた位置において、人物の正面の顔が撮像ユニット１００の撮像方向と相対するタイミングを予測する。タイミング予測部１３０は、予測したタイミングを示す情報を、撮像条件予測部１４０、撮像制御部１５０、赤外光照射部１６０、および赤外光画像生成部１７４に供給する。
【００４２】
撮像条件予測部１４０は、複数の可視光画像の画像内容に基づいて、タイミング予測部１３０が予測したタイミングにおいて赤外光撮像部１０４が赤外光画像を撮像する撮像条件を予測する。具体的には、撮像条件予測部１４０は、被写体位置予測部１２６が予測した位置の被写体を赤外光撮像部１０４が撮像することができる撮像方向を予測する。すなわち、撮像条件予測部１４０は、被写体位置予測部１２６が予測した位置を含む撮像領域の赤外光画像を撮像すべく、撮像方向を決定する条件を決定する。また、撮像条件予測部１４０は、被写体位置予測部１２６が予測した位置の被写体を赤外光撮像部１０４が撮像することができる画角および／または焦点距離を予測してもよい。
【００４３】
また、撮像条件予測部１４０は、被写体速さ予測部１２８が予測した速さがより大きい場合に、赤外光撮像部１０４が撮像する撮像レートをより大きく予測して、当該撮像レートを撮像条件として決定する。これにより、撮像すべき被写体の動作が速い場合であっても、被写体の動作を克明に撮像することができる撮像条件を決定できる。更に、撮像条件予測部１４０は、被写体位置予測部１２６が予測した位置における予め定められた被写体が赤外光撮像部１０４によってより小さく撮像される場合に、赤外光撮像部１０４が撮像する解像度をより大きく予測して、予測した解像度で赤外光画像を撮像できる条件を決定してもよい。撮像条件予測部１４０は、予測した撮像条件を撮像制御部１５０に供給する。
【００４４】
赤外光照射部１６０は、赤外光撮像部１０４の撮像範囲の少なくとも一部の領域に、タイミング予測部１３０が予測したタイミングで赤外光を照射する。係る場合において、赤外光撮像部１０４は、撮像制御部１５０に制御され、赤外光照射部１６０が赤外光を照射している状態で赤外光画像を撮像する。例えば、撮像制御部１５０は、タイミング予測部１３０が予測したタイミングを示す情報を赤外光照射部１６０が受け取ったタイミングと同期して、同一の情報をタイミング予測部１３０から受け取る。そして、撮像制御部１５０は、赤外光照射部１６０が赤外光を照射するタイミングと同期させて、赤外光撮像部１０４に赤外光画像を撮像させる。また、赤外光撮像部１０４は、撮像制御部１５０に制御され、タイミング予測部１３０が予測したタイミングの近傍のタイミングにおいて、赤外光照射部１６０が赤外光を照射していない状態で赤外光画像を撮像する。なお、赤外光照射部１６０は、少なくとも１つの赤外光ＬＥＤを含んでいてよい。赤外光ＬＥＤの数および配置は、撮像装置１０が撮像する撮像領域の範囲によって適宜設計してよい。
【００４５】
着色画像生成部１７２は、可視光撮像部１０２が撮像した可視光画像から被写体の色を抽出して、抽出した色で赤外光撮像部１０４が撮像した赤外光画像に含まれる被写体が着色された着色画像を生成する。具体的には、着色画像生成部１７２は、画像取得部１１０から可視光画像を受け取る。更に、着色画像生成部１７２は、画像取得部１１０から受け取った可視光画像に含まれる被写体の位置を示す情報を、被写体抽出部１１５から受け取る。そして、着色画像生成部１７２は、可視光画像に含まれる被写体の色を抽出する。着色画像生成部１７２は、被写体に複数の色が含まれる場合、複数の色のそれぞれを抽出する。係る場合に、着色画像生成部１７２は、被写体の位置に対応づけて複数の色のそれぞれを抽出する。
【００４６】
続いて、着色画像生成部１７２は、画像取得部１１０から受け取った赤外光画像に含まれる被写体に抽出した色を用いて彩色を施す。具体的には、着色画像生成部１７２は、被写体抽出部１１５から赤外光画像に対する被写体の位置を受け取る。そして、着色画像生成部１７２は、可視光画像に含まれる被写体から抽出した複数の色を用いて、赤外光画像に含まれる被写体に彩色を施す。係る場合において、着色画像生成部１７２は、赤外光画像に含まれる被写体の位置に対応する色を用いて、被写体に彩色を施す。着色画像生成部１７２は、彩色を施して生成した着色画像を出力部１８０に供給する。
【００４７】
赤外光画像生成部１７４は、赤外光照射部１６０が赤外光を照射している状態で赤外光撮像部１０４が撮像した赤外光画像が示す赤外光強度から、赤外光照射部１６０が赤外光を照射していない状態で赤外光撮像部１０４が撮像した赤外光画像が示す赤外光強度を画素毎に差し引く。そして、赤外光画像生成部１７４は、赤外光照射部１６０が照射した赤外光による赤外光画像を生成する。
【００４８】
ここで、撮像ユニット１００の撮像素子は、Ｒ、Ｇ、Ｂ、および赤外（Ｉｒ）用の画素配列を有していてよい。そして、撮像素子に含まれるＲ、Ｇ、Ｂ、およびＩｒの複数の画素配列において、撮像ユニット１００は、可視光画像を撮像するタイミングと同期して、Ｉｒ画素を用いて自然赤外光による画像（画像Ａ）を撮像する。更に、撮像ユニット１００は、Ｒ、Ｇ、およびＢ用のそれぞれの画素に配置されているカラーフィルタをそれぞれ外して、Ｒ、Ｇ、Ｂ、およびＩｒ用の画素の全てにおいて、赤外光画像（画像Ｂ）を撮像する。続いて、赤外光画像生成部１７４は、画像Ａと画像Ｂとの差分から自然赤外光の影響を差し引いた赤外光画像を生成する。なお、撮像ユニット１００は、Ｒ、Ｇ、およびＢ用の撮像素子と、Ｉｒ用の撮像素子とを別個独立に有していてもよい。赤外光画像生成部１７４は、生成した赤外光画像を出力部１８０に供給する。
【００４９】
出力部１８０は、着色画像データを着色画像として出力する。また、出力部１８０は、赤外光画像データを赤外光画像として出力する。例えば、出力部１８０は、インターネット等のネットワークを介して着色画像データおよび赤外光画像データを外部のモニタ等に出力して表示させる。また、出力部１８０は、ネットワークを介して着色画像データおよび赤外光画像データを外部のプリンタ等に出力して、所定の用紙に印刷させてもよい。
【００５０】
本実施形態に係る撮像装置１０によれば、連続して撮像している可視光画像に人物等の被写体が含まれ、当該人物の顔が撮像装置１０の方向に向いた場合等の所定のタイミングにおいて、人物等の顔の赤外光画像を撮像できる。これにより、人物を適切に認識できる、ノイズおよび画像のボケを低減した画像を生成できる。
【００５１】
図２は、本実施形態に係る撮像装置１０における処理の一例を示す。撮像装置１０の可視光撮像部１０２は、可視光画像２００、可視光画像２１０、可視光画像２２０、および可視光画像２４０の順に撮像する。そして、解析ユニット１２０は、例えば、可視光画像２００、可視光画像２１０、および可視光画像２２０を用いて、可視光画像に含まれる人物の動きを予測する。なお、可視光画像２００が撮像された時刻から可視光画像２２０が撮像された時刻までの間に、可視光撮像部１０２が複数の可視光画像を撮像していた場合には、解析ユニット１２０は、複数の可視光画像の全部または一部を用いて可視光画像に含まれる人物の動きを予測してもよい。なお、可視光画像２００、可視光画像２１０、可視光画像２２０、および可視光画像２４０に含まれる人物１、人物２、人物３、および人物５は、同一人物である。
【００５２】
例えば、解析ユニット１２０は、可視光画像２００に含まれる人物１の顔の画像、可視光画像２１０に含まれる人物２の顔の画像、および可視光画像２２０に含まれる人物３の顔の画像のそれぞれから人物１の頭部の回転速度を算出する。具体的には、まず、上記説明における顔向き特定部１２２が、被写体抽出部１１５が可視光画像２００、可視光画像２１０、および可視光画像２２０のそれぞれから抽出した、被写体画像である複数の人物の画像（すなわち、人物１の画像、人物２の画像、および人物３の画像）のそれぞれについて、人物の顔の向きを特定する。そして、顔向き特定部１２２は、人物の画像を含む可視光画像が撮像された時刻に対応づけて、特定した人物の顔の向きを示す情報をタイミング予測部１３０に順次、供給する。
【００５３】
そして、タイミング予測部１３０は、顔向き特定部１２２が特定した複数の可視光画像に含まれる人物の複数の顔の向きのそれぞれと、複数の可視光画像が撮像されたそれぞれの時刻とから、人物の頭部の回転速度を算出する。そして、タイミング予測部１３０は、可視光画像２００が撮像された時刻から予め定められた時間が経過したときの人物の顔の向きを、算出した回転速度と予め定められた時間とから予測する。例えば、タイミング予測部１３０は、人物の顔の正面が撮像ユニット１００に向くタイミングを特定する（Ｓ２００）。タイミング予測部１３０は、特定したタイミングを示す情報を撮像制御部１５０に供給する。
【００５４】
撮像制御部１５０は、タイミング予測部１３０から受け取った情報が示すタイミングにおいて人物の正面の顔の赤外光画像を撮像すべく、赤外光撮像部１０４を制御する。そして、赤外光撮像部１０４は、人物４の正面の顔が赤外光撮像部１０４に向いたタイミングで、赤外光画像２３０を撮像する（Ｓ２１０）。その後、撮像制御部１５０は、再び人物５の可視光画像２４０を、可視光撮像部１０２に撮像させる（Ｓ２１０）。
【００５５】
図３は、本実施形態に係る撮像装置１０における処理の一例を示す。図３においては、撮像装置１０が、可視光撮像部１０２を有する可視光画像撮像ユニットと赤外光撮像部１０４を有する赤外光画像撮像ユニットとを備えている場合について説明する。まず、可視光画像撮像ユニットは、可視光画像３００、可視光画像３１０、可視光画像３２０、および可視光画像３３０の順に撮像する。そして、解析ユニット１２０は、例えば、可視光画像３００、可視光画像３１０、および可視光画像３２０を用いて、可視光画像に含まれる人物の動きを予測する。
【００５６】
なお、可視光画像３００が撮像された時刻から可視光画像３２０が撮像された時刻までの間に、可視光画像撮像ユニットが複数の可視光画像を撮像していた場合には、解析ユニット１２０は、複数の可視光画像の全部または一部を用いて可視光画像に含まれる人物の動きを予測してもよい。なお、可視光画像３００、可視光画像３１０、可視光画像３２０、可視光画像３３０、および赤外光画像３４０に含まれる人物１、人物２、人物３、および人物４は、同一人物である。
【００５７】
例えば、解析ユニット１２０は、可視光画像３００に含まれる人物１の顔の画像、可視光画像３１０に含まれる人物２の顔の画像、および可視光画像３２０に含まれる人物３の顔の画像のそれぞれから人物１の頭部の回転速度を算出する。具体的には、まず、上記説明における顔向き特定部１２２が、上記図２における説明と同様にして、人物の顔の向きを特定する。そして、顔向き特定部１２２は、人物の画像を含む可視光画像が撮像された時刻に対応づけて、特定した人物の顔の向きを示す情報をタイミング予測部１３０に順次、供給する。
【００５８】
そして、タイミング予測部１３０は、上記図２における説明と同様にして、人物の頭部の回転速度を算出する。そして、タイミング予測部１３０は、可視光画像３００が撮像された時刻から予め定められた時間が経過したときの人物の顔の向きを、算出した回転速度と予め定められた時間とから予測する。例えば、タイミング予測部１３０は、人物の顔の正面が撮像ユニット１００に向くタイミングを特定する。タイミング予測部１３０は、特定したタイミングを示す情報を撮像制御部１５０に供給する。撮像制御部１５０は、タイミング予測部１３０から受け取った情報が示すタイミングにおいて人物の正面の顔の赤外光画像を撮像すべく、赤外光画像撮像ユニットを制御する。そして、赤外光画像撮像ユニットは、人物４の正面の顔が赤外光撮像部１０４に向いたタイミングで、可視光画像撮像ユニットが人物４の可視光画像３３０を撮像するタイミングと同期して、赤外光画像３４０を撮像する。
【００５９】
図４は、本実施形態に係る撮像装置１０における処理の一例を示す。図４では、撮像装置１０が、可視光撮像部１０２を有する可視光画像撮像ユニットと赤外光撮像部１０４を有する赤外光画像撮像ユニットとを備えている場合であって、予め定められた位置を含む撮像領域に人物が含まれるタイミングで赤外光画像を撮像する場合について説明する。まず、可視光画像撮像ユニットは、可視光画像４００、可視光画像４１０、可視光画像４２０、および可視光画像４３０の順に撮像する。そして、解析ユニット１２０は、例えば、可視光画像４００、可視光画像４１０、および可視光画像４２０を用いて、可視光画像に含まれる人物の動きを予測する。なお、可視光画像４００、可視光画像４１０、可視光画像４２０、および可視光画像４３０に含まれる人物５、人物６、人物７、および人物８は、同一人物である。
【００６０】
例えば、解析ユニット１２０は、可視光画像４００に含まれる人物５の可視光画像４００に対する位置、可視光画像４１０に含まれる人物２の可視光画像４１０に対する位置、および可視光画像４２０に含まれる人物３の可視光画像４２０に対する位置から人物の移動方向および移動速度を算出する。なお、本実施形態において、可視光画像４００、可視光画像４１０、可視光画像４２０、および可視光画像４３０は略同一の撮像領域において可視光撮像部１０２が撮像することを前提とする。
【００６１】
具体的には、上記説明における被写体位置特定部１２４が、被写体抽出部１１５が可視光画像４００、可視光画像４１０、および可視光画像４２０のそれぞれから抽出した、複数の人物の画像（すなわち、人物５の画像、人物６の画像、および人物７の画像）のそれぞれについて、可視光画像に対する位置を特定する。そして、被写体位置予測部１２６は、被写体位置特定部１２４が特定した複数の可視光画像のそれぞれに対する人物の位置と、複数の可視光画像のそれぞれが撮像された時刻とから人物の移動方向および移動速度を算出する。例えば、被写体位置予測部１２６は、複数の可視光画像の差分画像から、人物の移動方向および移動速度を算出する。被写体位置予測部１２６は、更に、算出した移動方向および移動速度から、可視光画像が撮像された時刻から予め定められた時間が経過したときにおける人物の可視光画像に対する位置を予測する。
【００６２】
例えば、被写体位置予測部１２６は、被写体位置特定部１２４が可視光画像に対する人物の位置の特定に用いた可視光画像のうち、撮像された時刻が最も新しい可視光画像（以下、基準時刻画像と称する）に対する人物の位置から、予め定められた時間が経過するときにおける人物の位置を予測する。被写体位置予測部１２６は、基準時刻画像が撮像された時刻から予め定められた複数の時間が経過するときにおける人物の可視光画像に対する複数の位置を予測してもよい。
【００６３】
そして、タイミング予測部１３０は、被写体位置予測部１２６が予測した予測結果に応じて、可視光画像に対する人物の位置が、予め定められた位置を含む撮像領域に人物が含まれるタイミングを予測する。例えば、タイミング予測部１３０は、人物が撮像ユニット１００の撮像領域に含まれる予め定められた位置（例えば、撮像装置１０において監視を要する領域）の近傍に含まれるタイミングを特定する。
【００６４】
タイミング予測部１３０は、特定したタイミングを示す情報を撮像制御部１５０に供給する。撮像制御部１５０は、タイミング予測部１３０から受け取った情報が示すタイミングにおいて人物の赤外光画像を撮像すべく、赤外光撮像部１０４を制御する。そして、赤外光撮像部１０４は、人物８が予め定められた位置の近傍に含まれるタイミングで赤外光画像４４０を撮像する。係る場合において、撮像制御部１５０は、赤外光撮像部１０４が人物８の赤外光画像を撮像するタイミングに同期させて、可視光撮像部１０２に人物８の可視光画像４３０を撮像させる。
【００６５】
図５は、本実施形態に係る撮像装置１０における処理の一例を示す。図５では、撮像装置１０が、可視光撮像部１０２を有する可視光画像撮像ユニットと赤外光撮像部１０４を有する赤外光画像撮像ユニットとを備えている場合であって、撮像領域を横切って人物が移動している場合を示す。係る場合において、撮像装置１０は、予め定められた位置に人物が含まれるタイミングで人物の赤外光画像を撮像する。まず、可視光画像撮像ユニットは、図４の上記説明と同様にして、人物５００、人物５０２、人物５０４、および人物５０６のそれぞれが含まれる可視光画像を、撮像領域を一定に保ったままそれぞれ撮像する。なお、人物５００、人物５０２、人物５０４、および人物５０６は同一人物であり、人物５００、人物５０２、人物５０４、および人物５０６の順で人物が移動している様子を示す。
【００６６】
そして、解析ユニット１２０の被写体位置予測部１２６は、可視光撮像部１０２が撮像した複数の可視光画像を用いて、図４の上記説明と同様にして人物の撮像領域における移動方向および移動速度を算出する。更に、被写体位置予測部１２６は、算出した移動方向および移動速度から、可視光画像が撮像された時刻（例えば、人物５０４の可視光画像が撮像された時刻）から予め定められた時間が経過したときにおける人物の可視光画像に対する位置を予測する。そして、タイミング予測部１３０は、被写体位置予測部１２６が予測した予測結果に応じて、可視光画像に対する人物の位置が、予め定められた位置を含む撮像領域に到達するタイミングを予測する。
【００６７】
タイミング予測部１３０は、特定したタイミングを示す情報を撮像制御部１５０に供給する。撮像制御部１５０は、タイミング予測部１３０から受け取った情報が示すタイミングにおいて人物の赤外光画像を撮像すべく、赤外光撮像部１０４を制御する。本実施形態において、赤外光撮像部１０４は、赤外光画像撮像ユニットが有する。そして、タイミング予測部１３０が予測したタイミングにおいて、赤外光画像撮像ユニットの撮像領域から赤外光画像を撮像すべき人物が外れる場合、撮像制御部１５０は、撮像すべき人物が撮像領域に含まれるべく、赤外光撮像部１０４の撮像方向を変更する。
【００６８】
例えば、撮像制御部１５０は、人物５０６が赤外光撮像部１０４の撮像領域に含まれるべく、赤外光撮像部１０４の撮像方向を矢印５５０の方向に回転移動させる。具体的には、赤外光画像撮像ユニットは、赤外光撮像部１０４の撮像方向を変更させる撮像方向変更部を有していてよい。撮像方向変更部は、例えば、撮像制御部１５０に制御されて、赤外光撮像部１０４の撮像方向を変更させる。撮像方向変更部は、赤外光画像撮像ユニット自体の配置を変更するか、または赤外光撮像部１０４の角度を変更することにより、撮像方向を変更させる。これにより、赤外光撮像部１０４の撮像領域から外れた位置に撮像すべき人物が存在する場合においても、当該人物の赤外光画像を確実に撮像できる。
【００６９】
図６は、本実施形態に係る撮像装置１０における処理の一例を示す。図６では、撮像装置１０が、可視光撮像部１０２を有する可視光画像撮像ユニットと赤外光撮像部１０４を有する赤外光画像撮像ユニットとを備えている場合であって、撮像領域を横切って人物が移動している場合を示す。係る場合において、撮像装置１０は、予め定められた位置に人物が含まれるタイミングで人物の赤外光画像を撮像する。まず、可視光画像撮像ユニットは、図４の上記説明と同様にして、人物６００、人物６０２、および人物６０４のそれぞれが含まれる可視光画像を、撮像領域を一定に保ったままそれぞれ撮像する。なお、人物６００、人物６０２、および人物６０４は同一人物であり、人物６００、人物６０２、および人物６０４の順で人物が移動している様子を示す。
【００７０】
そして、解析ユニット１２０の被写体位置予測部１２６は、可視光撮像部１０２が撮像した複数の可視光画像を用いて、図４の上記説明と同様にして人物の撮像領域における移動方向および移動速度を算出する。更に、被写体位置予測部１２６は、算出した移動方向および移動速度から、可視光画像が撮像された時刻（例えば、人物６０２の可視光画像が撮像された時刻）から予め定められた時間が経過したときにおける人物の可視光画像に対する位置を予測する。そして、タイミング予測部１３０は、被写体位置予測部１２６が予測した予測結果に応じて、可視光画像に対する人物の位置が、予め定められた位置を含む撮像領域に到達するタイミングを予測する。
【００７１】
タイミング予測部１３０は、特定したタイミングを示す情報を撮像制御部１５０に供給する。撮像制御部１５０は、タイミング予測部１３０から受け取った情報が示すタイミングにおいて人物の赤外光画像を撮像すべく、赤外光撮像部１０４を制御する。そして、タイミング予測部１３０が予測したタイミングにおいて、赤外光画像撮像ユニットの撮像領域から赤外光画像を撮像すべき人物が外れる場合、撮像制御部１５０は、撮像すべき人物が撮像領域に含まれるべく、赤外光撮像部１０４の画角を変更する。
【００７２】
例えば、撮像制御部１５０は、人物６０４が赤外光撮像部１０４の撮像領域に含まれるべく、赤外光撮像部１０４の画角を画角６１０から画角６２０に変更させる。赤外光画像撮像ユニットはズームレンズを更に有していてよく、撮像制御部１５０はズームレンズを制御することにより、画角を変更させてよい。これにより、画角６１０では撮像できない領域に赤外光画像を撮像すべき人物が含まれる場合であっても、当該人物の赤外光画像を迅速に撮像できる。
【００７３】
図７は、本実施形態に係る撮像装置１０における処理の一例を示す。まず、可視光撮像部１０２は、撮像領域の可視光画像を撮像する（Ｓ７００）。可視光撮像部１０２は、予め定められた周期で複数の可視光画像を撮像する。可視光撮像部１０２は、撮像した可視光画像を示す可視光画像データを画像取得部１１０に供給する。画像取得部１１０は、可視光撮像部１０２が撮像した可視光画像の可視光画像データを取得して、被写体抽出部１１５に供給する。被写体抽出部１１５は、可視光画像データが示す可視光画像に含まれる被写体の被写体画像を抽出して、抽出した被写体画像の被写体画像データを解析ユニット１２０に供給する。
【００７４】
被写体抽出部１１５は、被写体画像データが示す被写体画像を含む可視光画像が撮像された時刻を示す情報、および当該被写体の可視光画像に対する位置を示す情報に対応づけて、被写体画像データを解析ユニット１２０に供給する。解析ユニット１２０の被写体位置特定部１２４は、被写体抽出部１１５が抽出した被写体画像が示す被写体が、撮像領域内の予め定められた領域内に存在するか否かを判断する（Ｓ７１０）。被写体位置特定部１２４が、当該被写体が予め定められた領域内に存在しないと判断した場合（Ｓ７１０：Ｎｏ）、撮像条件予測部１４０は撮像制御部１５０を制御して、可視光撮像部１０２に撮像領域の可視光画像の撮像を続行させる。
【００７５】
一方、被写体位置特定部１２４が、当該被写体が予め定められた領域内に存在すると判断した場合（Ｓ７１０：Ｙｅｓ）、被写体位置予測部１２６は、予め定められた時間が経過した後に当該被写体が存在する位置を予測する。そして、タイミング予測部１３０は、被写体位置予測部１２６の予想結果に応じて、赤外光撮像部１０４が当該人物の赤外光画像を撮像するタイミングを予測する（Ｓ７２０）。また、撮像条件予測部１４０は、被写体位置予測部１２６の予想結果に応じて、赤外光撮像部１０４が当該人物の赤外光画像を撮像する条件を予測して、予測した撮像条件で赤外光画像を撮像すべく撮像制御部１５０に撮像条件を設定させる（Ｓ７３０）。そして、赤外光撮像部１０４は、撮像制御部１５０に制御されて、赤外光画像を撮像する（Ｓ７４０）。
【００７６】
続いて、着色画像生成部１７２は、赤外光撮像部１０４が赤外光画像を撮像した直前に可視光撮像部１０２が撮像した可視光画像に含まれる被写体から、当該被写体の色を抽出する（Ｓ７５０）。そして、着色画像生成部１７２は、赤外光撮像部１０４が撮像した赤外光画像に含まれる被写体に、抽出した色を用いて彩色を施すことにより、着色画像を生成する（Ｓ７６０）。撮像が終了した場合（Ｓ７７０：Ｙｅｓ）、撮像装置１０は撮像を終了する。一方、撮像を続行する場合（Ｓ７７０：Ｎｏ）、撮像装置１０は撮像を続行する。
【００７７】
図８は、本実施形態に係る撮像装置１０のハードウェア構成の一例を示す。本実施形態に係る撮像装置１０は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、および表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、およびＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、および入出力チップ１５７０を有するレガシー入出力部とを備える。
【００７８】
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５およびグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０およびＲＡＭ１５２０に格納されたプログラムに基づいて動作して、各部を制御する。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【００７９】
入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置である通信インターフェイス１５３０、ハードディスクドライブ１５４０、ＣＤ−ＲＯＭドライブ１５６０を接続する。通信インターフェイス１５３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ１５４０は、撮像装置１０内のＣＰＵ１５０５が使用するプログラムおよびデータを格納する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。
【００８０】
また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、および入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、撮像装置１０が起動時に実行するブート・プログラム、撮像装置１０のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
【００８１】
ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供される撮像プログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。撮像プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介して撮像装置１０内のハードディスクドライブ１５４０にインストールされ、ＣＰＵ１５０５において実行される。撮像装置１０にインストールされて実行される撮像プログラムは、ＣＰＵ１５０５等に働きかけて、撮像装置１０を、図１から図７にかけて説明した撮像ユニット１００、可視光撮像部１０２、赤外光撮像部１０４、画像取得部１１０、被写体抽出部１１５、解析ユニット１２０、顔向き特定部１２２、被写体位置特定部１２４、被写体位置予測部１２６、被写体速さ予測部１２８、タイミング予測部１３０、撮像条件予測部１４０、撮像制御部１５０、赤外光照射部１６０、画像生成ユニット１７０、着色画像生成部１７２、赤外光画像生成部１７４、および出力部１８０として機能させる。
【００８２】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加え得ることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【００８３】
【図１】撮像装置１０の機能構成を示すブロック図である。
【図２】撮像装置１０における処理を示す図である。
【図３】撮像装置１０における処理を示す図である。
【図４】撮像装置１０における処理を示す図である。
【図５】撮像装置１０における処理を示す図である。
【図６】撮像装置１０における処理を示す図である。
【図７】撮像装置１０における処理の流れを示すフローチャートである。
【図８】撮像装置１０のハードウェア構成を示すブロック図である。
【符号の説明】
【００８４】
１、２、３、４  人物
５、６、７、８  人物
１０  撮像装置
１００  撮像ユニット
１０２  可視光撮像部
１０４  赤外光撮像部
１１０  画像取得部
１１５  被写体抽出部
１２０  解析ユニット
１２２  顔向き特定部
１２４  被写体位置特定部
１２６  被写体位置予測部
１２８  被写体速さ予測部
１３０  タイミング予測部
１４０  撮像条件予測部
１５０  撮像制御部
１６０  赤外光照射部
１７０  画像生成ユニット
１７２  着色画像生成部
１７４  赤外光画像生成部
１８０  出力部
２００、２１０、２２０、２４０  可視光画像
２３０  赤外光画像
３００、３１０、３２０、３３０  可視光画像
３４０  赤外光画像
４００、４１０、４２０、４３０  可視光画像
４４０  赤外光画像
５００、５０２、５０４、５０６  人物
５５０  矢印
６００、６０２、６０４  人物
６１０、６２０  画角
１５０５  ＣＰＵ
１５１０  ＲＯＭ
１５２０  ＲＡＭ
１５３０  通信インターフェイス
１５４０  ハードディスクドライブ
１５５０  フレキシブルディスク・ドライブ
１５６０  ＣＤ−ＲＯＭドライブ
１５７０  入出力チップ
１５７５  グラフィック・コントローラ
１５８０  表示装置
１５８２  ホスト・コントローラ
１５８４  入出力コントローラ
１５９０  フレキシブルディスク
１５９５  ＣＤ−ＲＯＭ
【図１】
2008252404.tif 000003
【図２】
2008252404.tif 000004
【図３】
2008252404.tif 000005
【図４】
2008252404.tif 000006
【図５】
2008252404.tif 000007
【図６】
2008252404.tif 000008
【図７】
2008252404.tif 000009
【図８】
2008252404.tif 000010