(57)【要約】【課題】  可視光に基づく撮像および非可視光に基づく撮像により色再現性を向上させた画像を取得するための技術を提供すること。【解決手段】  非可視光を照射する照明部の出力を、第１撮像部により撮像された可視光画像の輝度値に基づいて制御する。第１撮像部により撮像された可視光画像と第２撮像部により撮像された非可視光画像との合成画像を生成する。【選択図】  図１
2020170966.tif 000002
【特許請求の範囲】
【請求項１】
可視光画像を撮像する第１撮像部と、
非可視光画像を撮像する第２撮像部と、
非可視光を照射する照明部の出力を、前記第１撮像部により撮像された可視光画像の輝度値に基づいて制御する制御部と、
前記第１撮像部により撮像された可視光画像と前記第２撮像部により撮像された非可視光画像との合成画像を生成する画像生成部と
を備えることを特徴とする撮像装置。
【請求項２】
前記制御部は、前記第１撮像部により撮像された可視光画像の輝度値が第１の閾値未満の場合には前記照明部に非可視光を照射させ、前記第１撮像部により撮像された可視光画像の輝度値が前記第１の閾値以上の場合には前記照明部に非可視光を照射させないように前記照明部の出力を制御することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御部は、前記第１撮像部により撮像された可視光画像の輝度値が前記第１の閾値よりも小さい第２の閾値以上の場合に、前記照明部の出力を制御することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記制御部は、前記第１撮像部により撮像された可視光画像の輝度値が前記第１の閾値よりも小さい第２の閾値未満の場合に、前記照明部の出力を制御することを特徴とする請求項２または３に記載の撮像装置。
【請求項５】
前記画像生成部は、前記照明部が非可視光を照射していない状態において、前記第１撮像部により撮像された可視光画像を出力画像として出力することを特徴とする請求項１乃至４の何れか１項に記載の撮像装置。
【請求項６】
前記制御部は、第１の動作モードが設定されている場合には、前記照明部が非可視光を照射している状態では、前記第１撮像部により撮像された可視光画像の輝度値と、前記第２撮像部により撮像された非可視光画像の輝度値と、の比が規定の比となるように前記制御を行うことを特徴とする請求項１乃至５の何れか１項に記載の撮像装置。
【請求項７】
前記制御部は、第２の動作モードが設定されている場合には、前記照明部が非可視光を照射している状態では、前記第１撮像部により撮像された可視光画像の輝度値の低下に応じて、前記第２撮像部により撮像された非可視光画像の輝度値が増加するように、前記制御を行うことを特徴とする請求項１乃至６の何れか１項に記載の撮像装置。
【請求項８】
前記非可視光は赤外光であることを特徴とする請求項１乃至７の何れか１項に記載の撮像装置。
【請求項９】
可視光画像を撮像する第１撮像部と、非可視光画像を撮像する第２撮像部と、を有する撮像装置の制御方法であって、
非可視光を照射する照明部の出力を、前記第１撮像部により撮像された可視光画像の輝度値に基づいて制御し、前記第１撮像部により撮像された可視光画像と前記第２撮像部により撮像された非可視光画像との合成画像を生成する
ことを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、可視光に基づく撮像および非可視光に基づく撮像を行う技術に関するものである。
【背景技術】
【０００２】
従来、可視光での撮像と赤外光（非可視光）での撮像を行うために、１つの光学系に対して可視光を受光する可視光センサと、赤外光を受光する赤外光センサと、を設ける撮像装置が知られている（特許文献１）。特に、赤外光が照射された環境においては、可視光センサが出力する画像データ（可視光画像）と赤外光センサが出力する画像データ（赤外光画像）とを合成することで、照度が低い環境化でもカラーでかつ低ノイズの画像を取得することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１０３７４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、赤外光と可視光を分離する色分離プリズムによっては、赤外光が可視光センサに漏れこんでしまうことがある。こうした場合に、赤外光を被写体に強く照射すると、今度は色再現性が低下する。本発明では、可視光に基づく撮像および非可視光に基づく撮像により色再現性を向上させた画像を取得するための技術を提供する。
【課題を解決するための手段】
【０００５】
本発明の一様態は、可視光画像を撮像する第１撮像部と、非可視光画像を撮像する第２撮像部と、非可視光を照射する照明部の出力を、前記第１撮像部により撮像された可視光画像の輝度値に基づいて制御する制御部と、前記第１撮像部により撮像された可視光画像と前記第２撮像部により撮像された非可視光画像との合成画像を生成する画像生成部とを備えることを特徴とする。
【発明の効果】
【０００６】
本発明の構成によれば、可視光に基づく撮像および非可視光に基づく撮像により色再現性を向上させた画像を取得することができる。
【図面の簡単な説明】
【０００７】
【図１】システムの構成例を示すブロック図。
【図２】撮像装置１０１の動作のフローチャート。
【図３】ＧＵＩ（グラフィカルユーザインターフェース）の表示例を示す図。
【図４】赤外光の強度の制御例を示す図。
【図５】赤外光の強度の制御例を示す図。
【図６】赤外光の強度の制御例を示す図。
【発明を実施するための形態】
【０００８】
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【０００９】
［第１の実施形態］
先ず、本実施形態に係るシステムの構成例について、図１のブロック図を用いて説明する。図１に示す如く、本実施形態に係るシステムは、撮像装置１０１と、クライアント端末装置１０３と、を有する。撮像装置１０１およびクライアント端末装置１０３はネットワーク１０２に接続されており、該ネットワーク１０２を介して互いにデータ通信が可能なように構成されている。
【００１０】
先ず、撮像装置１０１について説明する。光学系１０４は、被写体を含む外界から入光する光を結像するためのものであり、光学系１０４を透過した光は後段の波長分離プリズム１０５に入光する。
【００１１】
波長分離プリズム１０５は、光学系１０４を介して入光した光を、波長４００ｎｍ〜７８０ｎｍ程度の可視成分の光（可視光）と、波長７８０ｎｍ〜程度の赤外成分の光（赤外光）と、に分離する。波長分離プリズム１０５によって分離された可視光は後段のセンサ（撮像素子）１０６に入光し、波長分離プリズム１０５によって分離された赤外光は後段のセンサ（撮像素子）１０７に入光する。
【００１２】
センサ１０６は可視光に感度を有するセンサ（第１撮像部）であり、入光した光に応じた画像信号を出力する（可視光画像を撮像する）。センサ１０６から出力された画像信号は、後段の画像処理部１０８に入力される。ここで、波長分離プリズム１０５によって可視光と赤外光を完全に分離することは困難であり、センサ１０６に赤外光の一部が入光してしまう場合がある。画像処理部１０８は、センサ１０６から入力された画像信号に対して現像処理を含む各種の画像処理を行うことで、該画像信号が表す画像を可視光画像として生成する。
【００１３】
センサ１０７は赤外光に感度を有するセンサ（第２撮像部）であり、入光した光に応じた画像信号を出力する（非可視光画像を撮像する）。センサ１０７から出力された画像信号は、後段の画像処理部１０９に入力される。画像処理部１０９は、センサ１０７から入力された画像信号に対して現像処理を含む各種の画像処理を行うことで、該画像信号が表す画像を赤外光画像として生成する。
【００１４】
なお、センサ１０６とセンサ１０７とで解像度が異なる場合、画像処理部１０８および画像処理部１０９の何れかで画像の解像度変換を行い、可視光画像と赤外光画像とで解像度を同じにする。
【００１５】
合成部（画像生成部）１１０は、画像処理部１０８が生成した可視光画像と、画像処理部１０９が生成した赤外光画像と、を合成して合成画像を生成する。例えば合成部１１０は以下の式（１）に従って合成画像を生成する。
【００１６】
Ｙｓ  ＝  αＹｖ  ＋  βＹｉ
Ｃｂｓ  ＝  αＣｂｖ              ・・・（１）
Ｃｒｓ  ＝  αＣｒｖ
ここで、Ｙｓ、Ｃｂｓ、Ｃｒｓはそれぞれ、合成画像の輝度値、青の色差値、赤の色差値である。また、Ｙｖ、Ｃｂｖ、Ｃｒｖはそれぞれ、可視光画像の輝度値、青の色差値、赤の色差値である。また、Ｙｉは赤外光画像の輝度値である。α、βはそれぞれ規定の係数である。式（１）に従った処理を画素ごとに行うことで合成画像における各画素の輝度値、青の色差値、赤の色差値、が得られる。
【００１７】
ＮＷ処理部１１３は、合成部１１０が生成した合成画像、画像処理部１０８が生成した可視光画像、画像処理部１０９が生成した赤外光画像、の何れかを出力画像として、ネットワーク１０２を介してクライアント端末装置１０３に対して送信する。なお、ＮＷ処理部１１３による出力画像の出力先はクライアント端末装置１０３に限らない。
【００１８】
赤外照明部１１１は、赤外光を照射するものであり、例えば赤外照明部１１１は、撮像装置１０１による撮像対象（被写体）に対して赤外光を照射する。照明制御部１１２は、赤外照明部１１１の動作制御を行うものであり、少なくとも画像処理部１０８が生成した可視光画像に基づいて、赤外照明部１１１のオン／オフ、赤外照明部１１１が照射する赤外光の強度の制御（設定）、などを行う。
【００１９】
制御部１９９は、１以上のプロセッサと１以上のメモリとを有し、該プロセッサが該メモリに格納されているコンピュータプログラムやデータを用いて各種の処理を実行することで、撮像装置１０１全体の動作制御を行う。
【００２０】
次に、クライアント端末装置１０３について説明する。クライアント端末装置１０３は、ＰＣ（パーソナルコンピュータ）、タブレット端末装置、スマートフォンなどのコンピュータ装置である。クライアント端末装置１０３は、撮像装置１０１に対して各種の指示を行ったり、該指示に応じて該撮像装置１０１から送信されたレスポンスを受信したり、撮像装置１０１からネットワーク１０２を介して受信した各種の情報を表示したりする。
【００２１】
次に、ネットワーク１０２について説明する。ネットワーク１０２は、有線および／または無線のネットワークであり、例えば、ＬＡＮやインターネットなどのネットワークである。
【００２２】
次に、撮像装置１０１の動作について、図２のフローチャートに従って説明する。なお、図２のフローチャートに従った処理は、撮像装置１０１が１枚の出力画像を出力するために行う処理であり、実際には撮像装置１０１は、図２のフローチャートに従った処理を繰り返し行っている。
【００２３】
＜ステップＳ２０１＞
センサ１０６は、波長分離プリズム１０５から入光した光に応じた画像信号を出力する。そして画像処理部１０８は、センサ１０６から入力された画像信号に対して現像処理を含む各種の画像処理を行うことで、該画像信号が表す画像を可視光画像として生成する（取得する）。
【００２４】
一方、センサ１０７は、波長分離プリズム１０５から入光した光に応じた画像信号を出力する。そして画像処理部１０９は、センサ１０７から入力された画像信号に対して現像処理を含む各種の画像処理を行うことで、該画像信号が表す画像を赤外光画像として生成する（取得する）。
【００２５】
＜ステップＳ２０２＞
照明制御部１１２は、画像処理部１０８が生成した可視光画像の輝度値を取得する。可視光画像の輝度値は全体領域の平均輝度値であっても良いし、一部の領域（例えば被写体の領域）の平均輝度値であっても良い。そして照明制御部１１２は、可視光画像の輝度値が閾値ｔ１以上（閾値以上）であるか否かを判断する。この判断の結果、可視光画像の輝度値が閾値ｔ１以上であれば、処理はステップＳ２０３に進み、可視光画像の輝度値が閾値ｔ１未満（閾値未満）である場合には、処理はステップＳ２０５に進む。
【００２６】
＜ステップＳ２０３＞
照明制御部１１２は、赤外照明部１１１をオフ（ＯＦＦ）にする。つまり照明制御部１１２は、赤外照明部１１１に赤外光を照明させないようにする。なお、ステップＳ２０３に処理が進んだ時点で既に赤外照明部１１１がオフになっていた場合には、ステップＳ２０３はスキップしてステップＳ２０４に進んでも良い。
【００２７】
＜ステップＳ２０４＞
ＮＷ処理部１１３は、画像処理部１０８から出力された可視光画像（上記の式（１）においてβ＝０とした場合の合成画像）を出力画像として出力する。この可視光画像は、赤外照明部１１１をオフにした後に画像処理部１０８から出力された可視光画像であっても良いし、ステップＳ２０１で取得した可視光画像であっても良い。なお、以下では、可視光画像が出力画像として出力される状態（モード）をデイモードと称する。
【００２８】
＜ステップＳ２０５＞
照明制御部１１２は、赤外照明部１１１をオン（ＯＮ）にする。つまり照明制御部１１２は、赤外照明部１１１に赤外光を照明させるようにする。なお、ステップＳ２０５に処理が進んだ時点で既に赤外照明部１１１がオンになっていた場合には、ステップＳ２０５はスキップしてステップＳ２０６に進んでも良い。また、赤外照明部１１１を最初にオンにしたときの赤外光の強度は規定の最大強度に設定されているものとする。
【００２９】
＜ステップＳ２０６＞
照明制御部１１２は、画像処理部１０８から出力された可視光画像の輝度値が閾値ｔ２（ｔ２＜ｔ１）以上であるか否かを判断する。この可視光画像は、赤外照明部１１１をオンにした後に画像処理部１０８から出力された可視光画像であっても良いし、ステップＳ２０１で取得した可視光画像であっても良い。この判断の結果、可視光画像の輝度値が閾値ｔ２以上であれば、処理はステップＳ２０７に進み、可視光画像の輝度値が閾値ｔ２未満である場合には、処理はステップＳ２１０に進む。
【００３０】
＜ステップＳ２０７＞
照明制御部１１２は、少なくとも画像処理部１０８が生成した可視光画像に基づいて、赤外照明部１１１が照射する赤外光の強度の制御（設定）を行う。強度の制御（設定）方法については後述する。この可視光画像は、赤外照明部１１１をオンにした後に画像処理部１０８から出力された可視光画像であっても良いし、ステップＳ２０１で取得した可視光画像であっても良い。赤外照明部１１１が照射する赤外光の強度を制御（設定）した後、赤外照明部１１１は、該制御（設定）された強度の赤外光の照射を行う。
【００３１】
＜ステップＳ２０８＞
合成部１１０は、画像処理部１０８が生成した可視光画像と、画像処理部１０９が生成した赤外光画像と、の合成画像を上記の式（１）に従って生成する。合成画像の生成に用いる可視光画像および赤外光画像はそれぞれ、赤外光の強度の制御（設定）を行った後に画像処理部１０８および画像処理部１０９から出力されたものであっても良いし、ステップＳ２０１で取得したものであっても良い。
【００３２】
＜ステップＳ２０９＞
ＮＷ処理部１１３は、ステップＳ２０８において合成部１１０が生成した合成画像を出力画像として出力する。なお、以下では、合成画像が出力画像として出力される状態（モード）をデイモードと称する。
【００３３】
＜ステップＳ２１０＞
照明制御部１１２は、赤外照明部１１１が照射する赤外光の強度を規定の最大強度に制御（設定）する。
【００３４】
＜ステップＳ２１１＞
ＮＷ処理部１１３は、画像処理部１０９から出力された赤外光画像（上記の式（１）においてα＝０とした場合の合成画像）を出力画像として出力する。この赤外光画像は、赤外照明部１１１が照射する赤外光の強度を規定の最大強度に制御（設定）した後に画像処理部１０９から出力された赤外光画像であっても良いし、ステップＳ２０１で取得した赤外光画像であっても良い。なお、以下では、赤外光画像が出力画像として出力される状態（モード）をナイトスモードと称する。
【００３５】
次に、ステップＳ２０７における赤外光の強度の制御（設定）について説明する。本実施形態では、照明制御部１１２は、クライアント端末装置１０３から設定された動作モードに応じて赤外光の強度の制御（設定）方法を切り替える。
【００３６】
クライアント端末装置１０３の不図示の画面に表示されるＧＵＩ（グラフィカルユーザインターフェース）の表示例を図３に示す。なお、図３のＧＵＩ４０１は一例であり、同様の目的を達成できるのであれば、他の構成を有するＧＵＩを用いても構わない。
【００３７】
領域４０２には、ネットワーク１０２を介して撮像装置１０１から受信した出力画像が表示される。なお、領域４０２に表示するものは出力画像に限らず、例えば、現在日時、被写体の領域を表す枠、領域４０２に表示中の画像が赤外光画像、可視光画像、合成画像の何れであるのかを示す情報（文字や画像）など、各種の情報を領域４０２に表示しても良い。
【００３８】
領域４０４には２つのラジオボタンが配置されており、上のラジオボタンは色優先モードを選択するためのラジオボタンであり、下のラジオボタンは輝度優先モードを選択するためのラジオボタンである。ユーザが不図示のキーボードやマウス等の操作部を操作して何れか一方のラジオボタンを指示することで、対応するモードを設定することができる。
【００３９】
色優先モードとは、時間の経過に伴う可視光画像の輝度値の低下に伴って赤外光の強度を低下させることで、色再現性を高める動作モードである。一方、輝度優先モードとは、時間の経過に伴う可視光画像の輝度値の低下に伴って赤外光の強度を増加させる若しくは一定に保つことで、Ｓ／Ｎ比を向上させる動作モードである。
【００４０】
領域４０５にはプルダウンメニューが配置されている。ユーザが操作部を操作して該プルダウンメニューを指示すると、Ｓ／Ｎ比の最小値（下限）の一覧が表示されるので、ユーザは操作部を操作して該一覧から所望のＳ／Ｎ比の最小値を選択することができる。
【００４１】
プルダウンメニューを用いてＳ／Ｎ比の最小値を設定すると、時間の経過に伴う可視光画像の輝度値の低下に伴って赤外光の強度を低下させる場合に、「Ｓ／Ｎ比の最小値に対応する赤外光の強度」を低下の下限とする。つまり、赤外光の強度は「Ｓ／Ｎ比の最小値に対応する赤外光の強度」以下には低下させないようにする。なお、「Ｓ／Ｎ比の最小値」と「赤外光の強度」との対応関係は、「Ｓ／Ｎ比の最小値」ごとに予めメモリに登録されているものとする。
【００４２】
なお、プルダウンメニューには、Ｓ／Ｎ比の最小値として「設定無し」を含めることもできる。この「設定無し」が選択された場合、上記の低下の下限は設けない。つまり、時間の経過に伴う可視光画像の輝度値の低下に伴って赤外光の強度を低下させる場合に、下限を設けることなく低下させる。
【００４３】
領域４０６には２つのラジオボタンが配置されている。２つのラジオボタンのうち、左側のラジオボタンは、輝度優先モードが設定された場合に赤外光の強度を変化させる設定を選択するためのラジオボタンである。一方、２つのラジオボタンのうち、右側のラジオボタンは、輝度優先モードが設定された場合に赤外光の強度を変化させない設定を選択するためのラジオボタンである。ユーザが操作部を操作して何れか一方のラジオボタンを指示することで、対応する設定を行うことができる。
【００４４】
ユーザが設定完了の旨を操作部を用いて入力すると、クライアント端末装置１０３は、ＧＵＩ４０１を用いて設定した内容を示す設定情報をネットワーク１０２を介して撮像装置１０１に送信する。クライアント端末装置１０３から送信された設定情報は、撮像装置１０１の制御部１９９が有するメモリ内に保持され、照明制御部１１２等により適宜参照される。
【００４５】
なお、「動作モード」、「Ｓ／Ｎ比の最小値」、「設定無し」、「赤外光の強度を変化させる／させない」等はクライアント端末装置１０３にて設定することに限らない。つまり、撮像装置１０１が有するスイッチやタッチパネルに表示されているユーザインターフェースなどをユーザが操作することでこれらの設定を行っても良い。
【００４６】
次に、ＧＵＩ４０１において「色優先モード」が設定され且つ「Ｓ／Ｎ比の最小値」としてある値が設定された場合における赤外光の強度の制御例について、図４を用いて説明する。図４において横軸は時間を表しており、縦軸は輝度値を表している。直線５０１は、時間の経過に伴う可視光画像の輝度値の変化を表しており、図４に示す如く、可視光画像の輝度値は時間の経過に伴って低下している。
【００４７】
直線５０２，５０３，５０４，５０５，５０６，５０７は赤外光の制御によって変化する赤外光画像の輝度値（画像全体の平均輝度値であっても良いし、一部の領域（例えば、被写体の領域）の平均輝度値であっても良い）の変化を表している。
【００４８】
直線５０２はデイモードにおける赤外光画像の輝度値の変化を表している。図４に示す如く、直線５０２の区間では可視光画像の輝度値は閾値ｔ１以上となっており、その結果、赤外照明部１１１はオフであるから、直線５０２は比較的低い一定の輝度値を示している。
【００４９】
直線５０３は、デイモードからミックスモードに遷移中の赤外光画像の輝度値の変化を表している。図４に示す如く、直線５０２の右端に対応する時間では可視光画像の輝度値は閾値ｔ１未満且つ閾値ｔ２以上となっており、その結果、赤外照明部１１１はオンになり、照射する赤外光の強度は規定の最大強度となる。然るに、直線５０３は直線５０２の右端の輝度値から、最大強度の赤外光に対応する赤外光画像の輝度値に増加する変化を示している。
【００５０】
直線５０４は、ミックスモードにおける赤外光画像の輝度値の変化を表している。図４に示す如く、直線５０４の区間では可視光画像の輝度値は閾値ｔ１未満且つ閾値ｔ２以上となっている。このとき、照射する赤外光の強度を、時間の経過に伴って上記の規定の最大強度から徐々に低下するように制御する。例えば、赤外照明部１１１が照射する赤外光の強度を、可視光画像の輝度値と赤外光画像の輝度値との比が規定の比（例えば１：２）となるように制御する。つまり、規定の比が１：２の場合、赤外光画像の輝度値が可視光画像の輝度値の２倍となるように、赤外照明部１１１が照射する赤外光の強度を制御する。赤外光画像の輝度値として所望の輝度値（上記の例では「可視光画像の輝度値の２倍」）を得るために必要な赤外光の強度は予め情報として作成されて制御部１９９のメモリに登録されているものとする。直線５０４は、直線５０１が示す可視光画像の輝度値の低下に伴って赤外光画像の輝度値が低下している変化を示している。赤外照明部１１１が照射する赤外光の強度を、可視光画像の輝度値と赤外光画像の輝度値との比が規定の比となるように制御することで、色再現性がある合成画像を取得することができる。
【００５１】
直線５０５は、ミックスモードにおける赤外光画像の輝度値の変化を表している。図４に示す如く、直線５０５の区間では可視光画像の輝度値は閾値ｔ１未満且つ閾値ｔ２以上となっているが、照射する赤外光の強度が上記の「Ｓ／Ｎ比の最小値」に対応する強度に達したので、照射する赤外光の強度は変化させていない。
【００５２】
直線５０６は、ミックスモードからナイトモードに遷移中の赤外光画像の輝度値の変化を表している。図４に示す如く、直線５０５の右端に対応する時間では可視光画像の輝度値は閾値ｔ２未満となっており、その結果、照射する赤外光の強度は規定の最大強度となる。然るに、直線５０６は直線５０５の右端の輝度値から、最大強度の赤外光に対応する輝度値に増加する変化を示している。
【００５３】
直線５０７は、ナイトモードにおける赤外光画像の輝度値の変化を表している。図４に示す如く、直線５０７の区間では可視光画像の輝度値は閾値ｔ２未満となっており、その結果、照射する赤外光の強度は規定の最大強度となったままであるから、直線５０７は最大強度の赤外光に対応する赤外光画像の輝度値を示している。
【００５４】
次に、ＧＵＩ４０１において「輝度優先モード」が設定され且つ「輝度優先モードが設定された場合に赤外光の強度を変化させる」と設定された場合における赤外光の強度の制御例について、図５を用いて説明する。図５において横軸は時間を表しており、縦軸は輝度値を表している。直線６０１は、時間の経過に伴う可視光画像の輝度値の変化を表しており、図５に示す如く、可視光画像の輝度値は時間の経過に伴って低下している。
【００５５】
直線６０２，６０３，６０４は赤外光の制御によって変化する赤外光画像の輝度値（画像全体の平均輝度値であっても良いし、一部の領域（例えば、被写体の領域）の平均輝度値であっても良い）の変化を表している。
【００５６】
直線６０２はデイモードにおける赤外光画像の輝度値の変化を表している。図５に示す如く、直線６０２の区間では可視光画像の輝度値は閾値ｔ１以上となっており、その結果、赤外照明部１１１はオフであるから、直線６０２は比較的低い一定の輝度値を示している。
【００５７】
直線６０３は、ミックスモードにおける赤外光画像の輝度値の変化を表している。図５に示す如く、直線６０３の区間では可視光画像の輝度値は閾値ｔ１未満且つ閾値ｔ２以上となっている。このとき、照射する赤外光の強度を、時間の経過に伴って徐々に増加するように制御する。然るに、直線６０３は、直線６０１が示す可視光画像の輝度値の低下に伴って赤外光画像の輝度値が増加している変化を示している。
【００５８】
直線６０４は、ナイトモードにおける赤外光画像の輝度値の変化を表している。図５に示す如く、直線６０４の区間では可視光画像の輝度値は閾値ｔ２未満となっており、その結果、照射する赤外光の強度は規定の最大強度であるから、直線６０４は最大強度の赤外光に対応する赤外光画像の輝度値を示している。
【００５９】
輝度優先モードが設定され、且つ赤外光の強度を変化させるように設定された場合、色優先モードよりも色再現性は低下するが、Ｓ／Ｎ比が上昇し、ノイズ感の少ない出力画像が得られる。
【００６０】
次に、ＧＵＩ４０１において「輝度優先モード」が設定され且つ「輝度優先モードが設定された場合に赤外光の強度を変化させない」と設定された場合における赤外光の強度の制御例について、図６を用いて説明する。図６において横軸は時間を表しており、縦軸は輝度値を表している。直線７０１は、時間の経過に伴う可視光画像の輝度値の変化を表しており、図６に示す如く、可視光画像の輝度値は時間の経過に伴って低下している。
【００６１】
直線７０２，７０３，７０４は赤外光の制御によって変化する赤外光画像の輝度値（画像全体の平均輝度値であっても良いし、一部の領域（例えば、被写体の領域）の平均輝度値であっても良い）の変化を表している。
【００６２】
直線７０２はデイモードにおける赤外光画像の輝度値の変化を表している。図６に示す如く、直線７０２の区間では可視光画像の輝度値は閾値ｔ１以上となっており、その結果、赤外照明部１１１はオフであるから、直線７０２は比較的低い一定の輝度値を示している。
【００６３】
直線７０３は、デイモードからミックスモードに遷移中の赤外光画像の輝度値の変化を表している。図６に示す如く、直線７０２の右端に対応する時間では可視光画像の輝度値は閾値ｔ１未満且つ閾値ｔ２以上となっており、その結果、赤外照明部１１１はオンになり、照射する赤外光の強度は規定の最大強度となる。然るに、直線７０３は直線７０２の右端の輝度値から、最大強度の赤外光に対応する赤外光画像の輝度値に増加する変化を示している。
【００６４】
直線７０４は、ナイトモードにおける赤外光画像の輝度値の変化を表している。図６に示す如く、直線７０４の区間では、照射する赤外光の強度は規定の最大強度であるから、直線７０４は最大強度の赤外光に対応する赤外光画像の輝度値を示している。
【００６５】
輝度優先モードが設定され且つ赤外光の強度を変化させないように設定された場合、図５と比べても、ミックスモード時で常に赤外照明部１１１の出力が高いため、図５に比べて消費電力が増大するが、Ｓ／Ｎ比が向上し、ノイズ感の少ない出力画像が得られる。
【００６６】
［第２の実施形態］
第１の実施形態では、非可視光の一例として赤外光を用いたが、これに限らず、赤外光とは異なる波長の非可視光を用いても良い。この場合、赤外光画像の代わりに非可視光画像を用いることになる。
【００６７】
また、「可視光画像の輝度値」は、可視光画像における全体若しくは一部の明るさ（照度）を表す情報の一例であり、可視光画像における全体若しくは一部の明るさを表すことができる情報であれば、「可視光画像の輝度値」以外の情報を用いても良い。これは、「赤外光画像の輝度値」についても同様である。
【００６８】
また、第１の実施形態では、赤外照明部１１１のオン／オフは可視光画像の輝度値に基づいて制御していたが、これに限らず、例えば、合成画像の輝度値に基づいて同様に制御しても良い。
【００６９】
また第１の実施形態では、赤外照明部１１１により照射する赤外光の強度は図４に示す如く、可視光画像の輝度値と赤外光画像の輝度値との比が規定の比となるように制御していたが、これに限らず、例えば、可視光画像の色情報の変化に応じて制御しても良い。
【００７０】
また、この「規定の比」は色再現性を確保できる範囲で自由に設定してもよい。「規定の比」は、例えば、予め設定したものを制御部１９９のメモリに登録しておいても良いし、クライアント端末装置１０３側で設定してから撮像装置１０１に送信して該メモリに登録しても良い。
【００７１】
また、「Ｓ／Ｎ比の最小値」の代わりに、赤外照明部１１１が照射する赤外光の下限値を設定するようにしても良い。この場合、上記の「Ｓ／Ｎ比の最小値に対応する赤外光の強度」は、この設定した「赤外光の下限値」となる。
【００７２】
また、第１の実施形態で説明した構成、第２の実施形態で説明した構成、の一部若しくは全部を適宜組み合わせて使用しても構わない。また、第１の実施形態で説明した構成、第２の実施形態で説明した構成、の一部若しくは全部を選択的に使用しても構わない。
【００７３】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００７４】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【００７５】
１０１：撮像装置  １０２：ネットワーク  １０３：クライアント端末装置  １０４：光学系  １０５：波長分離プリズム  １０６：センサ  １０７：センサ  １０８：画像処理部  １０９：画像処理部  １１０：合成部  １１１：赤外照明部  １１２：照明制御部  １１３：ＮＷ処理部  １９９：制御部
【図１】
2020170966.tif 000003
【図２】
2020170966.tif 000004
【図３】
2020170966.tif 000005
【図４】
2020170966.tif 000006
【図５】
2020170966.tif 000007
【図６】
2020170966.tif 000008