(57)【要約】【課題】可視光画像のノイズの影響がより少ない合成画像を生成可能にするための技術を提供する。【解決手段】可視光画像の指定された位置における第１の色情報と類似の色情報を有する領域を前記可視光画像において特定する特定手段と、前記可視光画像の特定された前記領域から第２の色情報を抽出する抽出手段と、前記可視光画像と共通の光学系により同期して撮像された非可視光画像における前記特定された領域に前記第２の色情報を重畳して合成画像を生成する合成手段とを備える画像処理装置。【選択図】図１
2020119096.tif 000002
【特許請求の範囲】
【請求項１】
可視光画像の指定された位置における第１の色情報と類似の色情報を有する領域を前記可視光画像において特定する特定手段と、
前記可視光画像の特定された前記領域から第２の色情報を抽出する抽出手段と、
前記可視光画像と共通の光学系により同期して撮像された非可視光画像における前記特定された領域に前記第２の色情報を重畳して合成画像を生成する合成手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記特定手段は、前記第１の色情報に基づく所定の色差範囲に属する色情報を有する画素を含む領域を、前記類似の色情報を有する領域として特定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２の色情報は、前記特定された領域に含まれる色情報の代表値であることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
１つの光学系と、
前記１つの光学系を通過した可視光を受光し、可視光画像を生成する可視光撮像素子と、
前記１つの光学系を通過した非可視光を受光し、非可視光画像を生成する非可視光撮像素子と、
を有する撮像装置と、
前記可視光撮像素子の露光時間を制御する制御手段と
を更に備えることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記非可視光は赤外光であって、
前記撮像装置で撮像しようとする被写体に赤外光を照射する照明装置を更に備えることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記第２の色情報の強度を変更する指示を取得する取得手段を更に備え、
前記取得手段が前記指示を取得した場合に、前記制御手段は前記強度の変更に応じて前記露光時間を調整することを特徴とする請求項４または５に記載の画像処理装置。
【請求項７】
前記制御手段が前記露光時間を延長した場合、前記抽出手段は前記特定された領域よりも狭い抽出領域から前記第２の色情報を抽出することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記制御手段により延長された前記露光時間は、前記非可視光撮像素子の露光時間よりも長いことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記合成手段は、前記露光時間が延長された場合に、前記抽出領域において抽出された前記第２の色情報を、延長された前記露光時間で撮像された可視光画像から当該第２の色情報が抽出された後に生成された非可視光画像に重畳して前記合成画像を生成することを特徴とする請求項７または８に記載の画像処理装置。
【請求項１０】
前記合成手段は、前記特定された領域に対応する、前記後に生成された非可視光画像における領域に、前記抽出領域において抽出された前記第２の色情報を重畳することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記第２の色情報の強度の変更に応じた露光時間で撮像された可視光画像において、前記特定された領域に含まれる画素値が飽和している場合に通知を出力する出力手段を更に備えることを特徴とする請求項７から１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記抽出領域の画質を判定する判定手段を更に備え、
前記制御手段は、前記判定手段による画質の判定結果に更に応じて、前記露光時間を調整することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記判定手段が前記抽出領域のノイズ量が閾値を超えると判定した場合に、前記制御手段は、前記露光時間を延長することを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記判定手段は、前記抽出領域に飽和画素が含まれると判定した場合、前記閾値をより小さい値に変更することを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
請求項１から１４のいずれか１項に記載の画像処理装置と、
前記画像処理装置と通信し、合成画像を取得する情報処理装置と
を含むシステム。
【請求項１６】
特定手段が、可視光画像の指定された位置における第１の色情報と類似の色情報を有する領域を前記可視光画像において特定する特定工程と、
抽出手段が、前記可視光画像の特定された前記領域から第２の色情報を抽出する抽出工程と、
合成手段が、前記可視光画像と共通の光学系により同期して撮像された非可視光画像における前記特定された領域に前記第２の色情報を重畳して合成画像を生成する合成工程と
を含むことを特徴とする画像処理方法。
【請求項１７】
コンピュータを請求項１から１４のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、および、プログラムに関する。
【背景技術】
【０００２】
可視光画像と非可視光画像を撮像し、合成することで低照度環境においてもカラー画像を生成可能な画像処理装置として機能しえる撮像装置がある。このような装置を特に監視用途で使用する場合、低照度環境においても被写体の色を再現できることが望まれる。特許文献１は、撮像時の設定情報から、十分照度が得られる環境かを判定し、判定結果に基づき可視光画像と非可視光画像の合成比率を可変とする技術を提案している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2014-135627号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の技術では、可視光画像をそのまま合成するため、生成した合成画像は可視光画像のノイズの影響を強く受けることとなる。このため、特に低照度の環境においては、合成画像のノイズが多くなってしまう。
【０００５】
そこで、本発明は、可視光画像のノイズの影響がより少ない合成画像を生成可能にするための技術を提供する。
【課題を解決するための手段】
【０００６】
上記課題を解決するための発明は、画像処理装置であって、
可視光画像の指定された位置における第１の色情報と類似の色情報を有する領域を前記可視光画像において特定する特定手段と、
前記可視光画像の特定された前記領域から第２の色情報を抽出する抽出手段と、
前記可視光画像と共通の光学系により同期して撮像された非可視光画像における前記特定された領域に前記第２の色情報を重畳して合成画像を生成する合成手段とを備える。
【発明の効果】
【０００７】
本発明によれば、可視光画像のノイズの影響がより少ない合成画像を生成することができる。
【図面の簡単な説明】
【０００８】
【図１】実施形態に係るシステム１０の構成の一例を示す図、及び、システム１０を構成する装置のハードウェア構成の一例を示す図。
【図２】実施形態に係る画像処理部１４０の構成の一例を示す図。
【図３】実施形態に係る画像合成処理の一例を示すフローチャート。
【図４】実施形態に係る画像合成処理の一例を説明するための図。
【図５】実施形態に係る情報処理装置１９０における表示画面の一例を示す図。
【図６】実施形態に係る画像処理部１４０の構成の他の一例を示す図。
【図７】実施形態に係る可視光撮像素子１２１の露光時間の制御方法を説明するための図。
【図８】実施形態に係る画像合成処理の他の一例を示すフローチャート。
【図９】実施形態に係る画像合成処理の他の一例を説明するための図。
【図１０】実施形態に係る露光時間制御処理の一例を示すフローチャート。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでするものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【００１０】
［実施形態１］
図１（Ａ）は、本実施形態にかかわるシステム１０の構成例を示す図である。本実施形態に対応するシステム１０は、撮像装置１００と情報処理装置１９０とがネットワーク１８０を介して接続されることにより構成される。
【００１１】
以下、実施形態に対応する撮像装置１００及び情報処理装置１９０の構成について説明する。撮像装置１００は、例えば１つの光学系１１０と、光学系１１０を共通の光学系とする２つの撮像素子１２１、１２２とを備える画像処理装置として構成される。撮像素子は、一例として光学系１１０を通過した可視光を受光し画像信号を生成する可視光撮像素子１２１と、光学系１１０を通過した非可視光である赤外光を受光し画像信号を生成する赤外光撮像素子（非可視光撮像素子）で構成される。撮像素子１２１、１２２は、ＣＭＯＳセンサ等により構成され、撮像面に結像された被写体像を電気信号に変換して出力する。撮像素子１２１等から出力された電気信号としての撮像信号は、画像処理部１４０に入力される。
【００１２】
光学系１１０の光学機構１１１はズーム、フォーカス、絞り、手振れ補正等の各制御機構とレンズ群からなる。光学機構１１２は、波長分離用のプリズム等である。例えば、波長分離のためのダイクロイックミラーが配置されており、可視光を透過し赤外光を反射するように構成されている。透過した可視光成分は、ダイクロイックミラーの後方に配置された可視光撮像素子１２１により光電変換され、画像化される。一方ダイクロイックミラーで反射された赤外光成分は、光軸１１３を通り配置された赤外光撮像素子１２２により光電変換され、画像化される。
【００１３】
可視光撮像素子１２１、赤外光撮像素子１２２は、それぞれが制御部１３０、画像処理部１４０と接続して制御され、共通の光学系である光学系１１０を利用して互いに同期した撮像が行われる。このような同期撮像により得られた撮像信号は、後段の合成処理を経て１フレームの合成画像を構成することとなる。そこで、これ以降、「フレームごと」という場合には、同期撮像により得られた撮像信号や、当該撮像信号から得られた画像のことを意味するものである。撮像素子１２１等から送信された撮像信号は画像処理部１４０において各種画像処理が施される。
【００１４】
撮像装置１００は不図示の、赤外光を発するＬＥＤ光源からなる非可視光照明装置を有することができる。可視光画像で十分な輝度が得られない様な低照度環境においても、非可視光を照射することで十分な輝度を赤外光画像では得ることができる。
【００１５】
画像処理部１４０は、撮像信号に対して画素補間処理や色変換処理等の画像処理を行って、撮像素子ごとの撮像画像データ（「撮像画像」、あるいは、合成処理の対象となる画像として「合成前画像」ともいう。）を生成する。当該画像処理には、例えば画素欠陥補正やレンズ補正などの各種補正処理、黒レベルやフォーカス、露出などの調整を行うための検波処理、デモザイク処理、ホワイトバランス処理、ホワイトバランス処理やガンマ補正処理、エッジ強調処理、ノイズ抑制処理などが含まれる。
【００１６】
各撮像画像はメモリ１５０に保存される。さらに低照度環境ではメモリ１５０に保存された撮像素子ごとの撮像画像は、画像処理部１４０内の画像合成部にてフレームごとに順次、画像合成され、可視光画像と非可視光画像（赤外光画像）の合成画像としてメモリ１５０に保存される。
【００１７】
制御部１３０は、例えばＣＰＵ，ＭＰＵ、その他の専用演算回路などで構成することができ、撮像装置１００全体の制御を司る。メモリ１５０は不揮発性メモリとＲＡＭ等で構成される。不揮発性メモリは制御部１３０の処理手順（制御プログラム）や、各種パラメタを記憶する。ＲＡＭは制御部１３０のワークエリアとして使用され、画像処理を行うための記憶領域としても使用される。また、制御部１３０は、画像処理部１４０、図示しない画像合成部、圧縮伸長部を含むことができ、これらのブロックが有する処理機能は、例えば、ＣＰＵがメモリ１５０に記憶されている対応するプログラムを実行することにより実現することができる。あるいは、制御部１３０を構成する専用演算回路により実現されてもよい。
【００１８】
制御部１３０はさらに、図示しない圧縮伸長部にて合成画像を圧縮して圧縮画像を生成する。圧縮伸長部は、静止画圧縮及び動画像圧縮を実行し、画像圧縮方式は、例えば、Ｈ．２６４、Ｈ．２６５、ＭＰＥＧまたはＪＰＥＧなどの規格に基づくことができる。さらに、ｍｐ４やａｖｉ形式などを含む任意の形式の画像を生成しても良い。圧縮伸長部において生成された圧縮画像は、撮像装置１００に装着された不図示の記録媒体やメモリ１５０等に記録されるとともに、通信部１７０からネットワーク１８０を介して外部の情報処理装置１９０に送信される。通信部１７０は、ネットワーク処理回路であり、圧縮された合成画像を通信プロトコルに準拠した通信信号に変換した上で、ネットワーク１８０上へと配信する。ネットワーク１８０は、例えば、ＬＡＮやインターネット等のＩＰベースの通信が可能な通信回線として構成することができる。
【００１９】
情報処理装置１９０は、典型的にはパーソナルコンピュータなどとして構成され、ネットワーク１８０を介して撮像装置１００と接続されている。情報処理装置１９０の制御部１９１は、ＣＰＵ，ＭＰＵ、その他の専用演算回路などで構成することができ、情報処理装置１９０全体の制御を司る。また、制御部１９１は、撮像装置１００から合成画像を受信し、伸長処理を行うとともに、撮像装置１００をコントロールするための制御情報を送信することで各種制御を行う。表示部１９２は、情報処理装置１９０のユーザ（操作者）に対し、ユーザインターフェース（ＵＩ）表示や撮像装置１００から受信した画像の表示を行う。操作部１９３は、ユーザからの操作入力を受け付けるユーザ物理的なインタフェースである。表示部１９２に表示されたアイコン等のユーザインターフェース（ＵＩ）に基づき、マウスやキーボード等を操作して所望の制御入力を行うことができる。通信部１９４は、ネットワーク処理回路であり、ネットワーク１８０を介して撮像装置１００と通信を行い、撮像装置１００が配信した合成画像を受信するとともに、撮像装置１００の動作を制御することが可能である。
【００２０】
上述の撮像装置１００及び情報処理装置１９０のハードウェア構成の一例を図１（Ｂ）に示す。図１（Ｂ）は、撮像装置１００及び情報処理装置１９０の、主に制御部や処理部に関わるハードウェア構成の一例を示すブロック図である。ここでは、撮像装置１００における撮像素子や光学機構については省略している。
【００２１】
図１（Ｂ）において、ＣＰＵ２１０は、ハードディスク装置（以下、ＨＤと呼ぶ）２１５に格納されているオペレーティングシステム（ＯＳ）や制御プログラム、処理プログラム等を実行して、本発明の実施形態に対応する処理を実現する。さらには、インタフェース（Ｉ／Ｆ）２１８を介した外部の装置とのデータ送受信を制御する。ＣＰＵ２１０は、図１（Ａ）の制御部１３０や制御部１９１として機能しえる。
【００２２】
ＲＯＭ２１１は、内部に基本Ｉ／Ｏプログラムの他、所定の処理を実行するアプリケーションプログラム等の各種データを記憶する。ＲＡＭ２１２は各種データを一時記憶し、ＣＰＵ２１０の主メモリ、ワークエリア等として機能する。外部記憶ドライブ２１３は、記録媒体へのアクセスを実現するための外部記憶ドライブであり、メディア（記録媒体）２１４に記憶されたプログラム等を本コンピュータシステムにロードすることができる。外部記憶装置２１５は、本実施形態では大容量メモリとして機能するＨＤ（ハードディスク）を用いている。ＨＤ２１５には、アプリケーションプログラム、ＯＳ、制御プログラム、関連プログラム等が格納される。なお、ハードディスクの代わりに、フラッシュ（登録商標）メモリ等の不揮発性記憶装置を用いても良い。これらのＲＯＭ、ＲＡＭ、ＨＤ等は、図１（Ａ）のメモリ１５０として機能しえる。
【００２３】
指示入力装置２１６は、キーボードやポインティングデバイス（マウス等）、タッチパネル等がこれに相当する。図１（Ａ）の操作部１９３に対応する。システムバス２１９は、装置内のデータの流れを司る。
【００２４】
出力装置２１７は、指示入力装置２１６から入力されたコマンドや、それに対する装置の応答出力等を出力する。出力装置２１７にはディスプレイ、スピーカ、ヘッドフォン端子等を含むことができる。出力装置２１７は、図１（Ａ）の表示部１９２に対応する。システムバス２１９は、装置内のデータの流れを司る。
【００２５】
インタフェース（以下、Ｉ／Ｆという）２１８は、外部装置とのデータのやり取りを仲介する役割を果たす。具体的に、Ｉ／Ｆ２１８は、無線通信モジュールを含むことができ、当該モジュールはアンテナシステム、ＲＦ送受信器、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュールカード、メモリなどを含む、周知の回路機構を含むことができる。また、有線接続のための有線通信モジュールを含むことができる。有線通信モジュールは１つ以上の外部ポートを介して他のデバイスとの通信を可能とする。また、データを処理する様々なソフトウェアコンポーネントを含むことができる。外部ポートは、イーサーネット、ＵＳＢやＩＥＥＥ１３９４等を介して、直接的に、又はネットワークを介して間接的に他のデバイスと結合する。尚、以上の各装置と同等の機能を実現するソフトウェアにより、ハードウェア装置の代替として構成することもできる。当該インタフェース２１８は、図１（Ａ）の通信部１７０や１９４として機能しえる。
【００２６】
次に、図２を参照して、画像合成部１４０の機能構成に基づき、本実施形態における可視光画像と赤外光画像の画像合成処理を説明する。図２は、画像合成部１４０の機能構成を説明するための図である。当該画像合成部１４０は、撮像装置１００に一構成要素として含まれてもよいし、独立の画像合成装置、或いは、画像処理装置として構成され、撮像装置１００と接続した他の構成要素と連携してもよい。
【００２７】
本実施形態では、低照度時のカラー画像合成においてノイズの影響を低減させるため、可視光画像から一部の色情報を取得し、赤外光画像に色情報を重畳して合成画像を生成する。この合成画像の生成方法を以後、「色強調合成」とする。また、色強調合成した合成画像を配信する撮像装置１００の撮像モードを「色強調表示モード」とする。
【００２８】
画像処理部１４０は、信号処理部１４１、１４２、色抽出部１４３、類似色領域検出部１４４、画像合成部１４５を含むことができる。信号処理部１４１、１４２は、撮像素子からの撮像信号に対して画素補間処理や色空間変換処理等の画像処理を行って、撮像素子ごとの撮像画像を生成する。当該画像処理には、例えば画素欠陥補正やレンズ補正などの各種補正処理、黒レベルやフォーカス、露出などの調整を行うための検波処理、デモザイク処理、ホワイトバランス処理、ホワイトバランス処理やガンマ補正処理、エッジ強調処理、ノイズ抑制処理などが含まれる。可視光撮像素子１２１より出力された可視光画像は、信号処理部１４１で色空間変換処理され輝度色差信号（ＹＣｂＣｒ）の画像としてメモリ１５０に保存される。また、赤外光撮像素子より出力された赤外光画像は、信号処理部１４２でモノクロの画像として輝度信号（ＹＩＲ）のみの形式で画像化されメモリ１５０へ保存される。
【００２９】
類似色領域検出部１４４は、可視光画像から領域毎の色情報を判定し、類似した色情報をもつ画画素領域をグループ化して類似色領域を生成し、その領域情報を生成する機能を備える。まず単位領域毎に抽出された色情報を、ユーザ指定された可視光画像における被写体領域の色に基づいて予め定められた色差範囲に照らし合わせ、所定の色差範囲内に収まる色画素領域をグループ化する。その後、グループ化した領域を１つの類似色領域とし、その位置や形状を特定するための情報（例えば、座標情報）をメモリ１５０に記憶する。類似色領域の検出は、エッジ検出、動体検出等の既存技術と組み合わせてもよく、所定の色差範囲内に収まる被写体領域を検出することができる。また、狭ピッチの縦縞模様のように空間周波数の高い模様を包括した類似色領域として検出できることが望ましく、所定の領域範囲にフィルタ処理することで、類似色領域内のエッジや、コントラストの高い領域を細かい影等を除去した領域として取得できる。
【００３０】
色抽出部１４３は、制御部１３０及び類似色領域検出部１４４からの類似色領域と座標情報に基づき、各類似色領域内の色情報を抽出する。抽出する色情報は、例えば色情報を抽出する対象として選択した類似色領域内の画素値にメディアンフィルタを掛けた中間値、所定数の画素領域の平均値をとった代表値とすることができる。類似色領域内の空間周波数を検波し、特定の条件下の画素値を色情報の代表値として取得してもよい。より具体的には、所定の領域にフィルタ処理することで、輪郭のエッジ部など、コントラストの高い領域を細かい影等を除去した色情報を取得できる。さらに色抽出部１４３は、抽出した色情報を所定変換式に基づき色情報の補正機能を備えてもよい。例えば、彩度、明度、色相といったパラメタを変換できる様に構成しても構わない。
【００３１】
画像合成部１４５は、各撮像素子から得られた撮像画像を結合して合成画像を生成する合成処理を行う。本実施形態では特に、可視光画像から一部の色情報を取得し、赤外光画像に色情報を重畳して合成画像を生成する。メモリ１５０に保存された撮像素子ごとの撮像画像は、画像合成部１４５にてフレームごとに順次、画像合成され、生成された合成画像は再びメモリ１５０に保存される。合成処理は、それぞれの合成前画像内の同一被写体の位置が一致するように、合成パラメタに基づき合成される。合成パラメタには、各撮像画像の拡大、縮小、歪曲補正等の変形処理を行うパラメタや、補正処理後の撮像画像からの画像切り出し等を行うためのパラメタが含まれる。合成パラメタは、光学系１１０と撮像素子１２１及び１２２の配置関係に基づき、予め算出してメモリ１５０に保持しておいてもよい。また、光学系１１０と各撮像素子の配置を合わせ込み、位置合わせの必要がないように撮像装置１００を構成してもよい。
【００３２】
次に、図３、図４を参照して、本実施形態に対応する画像合成処理の概要を説明する。図３は、発明の実施形態に対応する画像合成処理の一例に対応するフローチャートである。該フローチャートに対応する処理は、例えば、制御部１３０や画像処理部１４０として機能する１以上のプロセッサ（ＣＰＵ、ＭＰＵ）が対応するプログラムを実行することにより実現できる。
【００３３】
まず、Ｓ３０１において、制御部１３０は、ユーザからの操作指示に基づき色強調表示を行う被写体領域の選択を行う。当該被写体領域の選択は、少なくとも可視光画像から色情報を取得する画素位置が特定できればよい。よって、当該選択を行うためのユーザ操作指示は、例えば可視光画像における所定の大きさの領域や範囲を指定することにより行われてもよいし、可視光画像上のある位置にカーソルが配置されてクリック操作により行われてもよい。制御部１３０は、ユーザが情報処理装置１９０において行った操作に基づく制御コマンドを受信すると、制御コマンドから被写体領域を特定するための情報、例えば座標情報を抽出する。そして、類似色領域検出部１４４を介して色抽出部１４３へ被写体領域の座標情報を渡す。
【００３４】
続くＳ３０２で、色抽出部１４３が、可視光画像における被写体領域に相当する領域から色情報を抽出する。可視光撮像素子１２１で撮像した可視光画像は、信号処理部１４１で信号処理され色抽出部１４３へ送られる。色抽出部１４３は制御部１３０からの座標情報に基づき、ユーザにより指定された可視光画像における被写体領域の色情報を抽出する。抽出した被写体領域の色情報は制御部１３０が通信部１７０を介して情報処理装置１９０に送信する。
【００３５】
続くＳ３０３で類似色領域検出部１４４が、色抽出部１４３の検出した被写体領域の色情報に基づき、類似色領域を可視光画像において特定する。被写体領域の色情報に基づき予め定めた所定の色差範囲に収まる画素領域を類似色領域として抽出する。このとき、類似色領域を判定する色差範囲をテーブルとして予めメモリ１５０に記憶しておいてもよい。或いは、ユーザ操作によって色差範囲が調整できるように、パラメタを変更可能な関数として設定してもよい。
【００３６】
続くＳ３０４において、色抽出部１４３は、類似色領域検出部１４４により特定された類似色領域の色情報を抽出する。続くＳ３０５で類似色領域検出部１４４が特定した類似色領域の形状情報と、色抽出部１４３の抽出した類似色領域の色情報とをメモリ１５０に保持する。続くＳ３０６で、画像合成部１４５は、可視光画像から取得した類似色領域の形状情報、抽出した類似色領域の色情報と、赤外光画像とに基づいて色強調合成画像を生成する。具体的に、赤外光画像における類似色領域に相当する領域に、抽出した類似色領域の色情報を重畳することにより色強調合成画像を生成する。続くＳ３０７で、画像合成部１４５は、生成した色強調合成画像をメモリ１５０に保存する。以上、説明したようにして色強調合成画像が生成される。
【００３７】
続いて図４を参照して、図３の処理を具体的に説明する。図示の画像は、照明のない低照度環境で撮像を行った際の撮像画像を示している。図４の画像４０１及び４０５が情報処理装置１９０の表示部１９２に表示される画像である。図４の画像４０２から４０４は、画像処理部１４０の処理フローを説明するための画像の例を示している。
【００３８】
画像４０１は、可視光画像であって、画像の中央部に男性の胸部から上が写った室内での撮像画像である。照明がほとんど当っていないため、可視光画像では、輝度、色情報がほとんど取れていない。もしくは、可視できるレベルまで撮像感度を大きく上げてしまっているため、非常にノイズの多い撮像画像となっている。矢印４１１はユーザの選択する色強調表示を行う領域の選択位置を示す。
【００３９】
画像４０２は、赤外光画像であって、色差情報を持たないためモノクロ画像となる。本実施形態では、撮像装置１００が有する赤外光照明装置で、撮像対象の被写体に向けて赤外光を照射するので、赤外光画像は可視光画像に比べ高いＳＮで撮像できる。画像４０３は類似色領域検出部１４４により特定された類似色領域の一例を示している。具体的に破線領域４１２、４１３は、選択された被写体領域における色と類似色であると判定された類似色領域を示している。本実施形態では、洋服の細かな縫い目や、狭ピッチの縞模様など空間周波数の高い細部を除外した領域として類似色領域を検出、或いは、特定している。ここでは、類似色であると判定された２つの領域４１２、４１３を提示したが、ユーザの選択した被写体領域と隣接する類似色領域４１３のみが選択されるように構成してもよい。その場合、ユーザは領域４１２、４１３を特定するための被写体領域を個々に指定する必要がある。
【００４０】
画像４０４は類似色領域検出部１４４により特定された類似色領域において色抽出部１４３が抽出した色情報を示す模式図である。色抽出部１４３は類似色領域４１２、４１３内の高周波成分を除去し、フィルタ処理後の色情報４１４を領域情報と紐付けてメモリ１５０に記憶している。ここでは一例として、検出した類似色領域毎に代表値１色で色情報を持たせている。これ以外に、１つの類似色領域に対して２から３色程度の色情報を与えることで、グラデーション表示が可能となるように色情報を持たせることも可能である。
【００４１】
画像４０５は、合成処理後の色強調合成画像である。画像のベースは赤外光画像によるモノクロ画像であり、ユーザにより選択された被写体領域の色と類似色と判定された領域４２１、４２２に対して色情報が合成されたカラー画像として情報処理装置１９０へ出力される。
【００４２】
このように赤外光画像に色情報を重畳させるように合成処理することで、可視光画像のノイズの影響を受けないため、合成画像のＳＮ比を高く維持でき、見栄えが良くなる。また、ユーザの選択した一部の領域にのみ色情報を表示させることにより、よりユーザは色情報を認識しやすくなる。
【００４３】
続いて、図５を用いて情報処理装置１９０におけるユーザインターフェース（以後、ＵＩ）の表示について説明を行う。表示画面５００、５１０及び５２０は、それぞれ情報処理装置１９０の表示部１９２に表示される表示画面の一例を示す。表示画面５００は、可視光画像を表示した状態の表示画面を示している。ユーザの操作によって色強調表示モードが選択されると、表示画面５００から表示画面５１０、５２０の状態へ画像表示が遷移する。表示画面５１０及び５２０はユーザが色強調表示モードを選択した後の表示画面を示す。ここでは、被写体領域５０２、５０３が色強調表示を行う類似色領域として選択された状態を表している。
【００４４】
表示画面５００の被写体５０２、５０３は撮像画像に含まれる被写体像である。参照番号５０１、５１０〜５１７で示す表示子はそれぞれ表示画面に表示されている撮像画像に重畳されるＵＩ表示である。矢印５０１は表示画像内の領域を選択するためのポインタであり、５１０は操作機能をまとめた操作パネルである。アイコン５１１、５１２は操作機能の割り付けられたアイコンである。例えば操作アイコン５１１を選択することで、撮像画像上に矢印のポインタを表示させ任意の被写体領域を選択することが可能である。ユーザはポインタの操作によって被写体領域における任意の位置を指定する、被写体領域の一部を指定する、或いは、表示画像上の被写体領域をポインタで囲むことによって、被写体領域を選択することができる。撮像装置１００は、ユーザの選択した被写体領域を含む領域を類似色領域として検出することになる。
【００４５】
ＵＩ表示における領域５１３、５１６は、選択した被写体領域の色情報を表示する色情報表示部である。撮像装置１００の色抽出部１４３が抽出した色情報は、情報処理装置に送られ色情報表示部に表示される。図５では、２つの色情報表示部を例に示しているが、表示数を限定するものではなく、任意の数の情報を表示できる。本実施形態においては、１つの類似色領域に対して２から３色程度の色情報を与えることで、グラデーション表示が可能となるように色情報を持たせることも可能である。しかし、ユーザに対して選択した被写体の色情報を色情報表示部で表示する際、表示する色情報が少ないことが望ましい。そこで本実施形態では、色情報表示部に同時に表示可能な色情報を所定の色差以上離れた色に設定してもよい。例えば、赤、黄、緑、青、紫のいずれかの色相に類似する被写体を選択した場合、同じ色相に分類される領域を同時に表示できないように設定する。例えば、同時に表示する色強調表示領域は、赤、青、緑の３色相に分類される領域の３領域までとする。これにより、ユーザに対して一度に表示される色相が限定されるため、より明確に表示することが可能となる。
【００４６】
また、アイコン５１４、５１５は、色情報表示部５１３や５１６に表示させる色情報の表示強度を変更するための操作部であり、例えばスライドバー等のアイコンで表現される。表示画面５２０は、表示画面５１０の状態から、色情報表示部５１３及び５１６の表示強度を変更した場合の表示画面を示している。表示画面５１０の状態で、ユーザ操作によってスライドバー５１４、５１５を上げることで、選択された類似色表示領域の色表示の強度を変更できる。ユーザの操作量に応じて色情報の強調度合いを変更できる様に構成してもよい。例えば、明度、彩度、色相を変更できるように構成してもよい。色相の変更は、赤から青へ色を変える様な極端な処理ではなく、所定の範囲で色相をずらす程度の処理に構成することが望ましい。
【００４７】
ユーザによって選択された色変更情報は、表示部５１３、５１６上に逐次反映されると同時に撮像装置１００に送信される。撮像装置１００の色抽出部１４３は、制御部１３０を介して情報処理装置１９０から受信した色変更情報を基に、画像合成部１４５へ送信する色情報を補正する。これによって、色強調合成画像の類似色領域の色もユーザ操作に応じて補正され、情報処理装置１９０へ出力されることになる。
【００４８】
以上、本実施形態で述べた様に、赤外光画像に対して可視光画像をそのまま合成するのではなく、可視光画像から得た色情報を重畳させるように合成処理することで、可視光画像のノイズの影響を受けないため、合成画像のＳＮ比を高く維持でき、見栄えが良くなる。また、ユーザの選択した一部の領域にのみ色情報を表示させることにより、よりユーザは色情報を認識しやすくなる。
【００４９】
また、情報処理装置１９０は表示部１９２において、選択した被写体の色情報をより明示的に示すことが可能になる。さらに色情報を変更することができるので、所望の被写体の色情報をより強調して表示させることができる。
【００５０】
［実施形態２］
本実施形態では、撮像装置１００の露光時間を変更することによって、情報処理装置１９０上での色強調表示を行う方法について説明を行う。一例として、色強調表示時の被写体の色の明度が低い場合を例に説明を行う。
【００５１】
ユーザは、図５の表示画面５１０の様に色強調表示モードを選択している。このとき、選択した被写体領域５０２の明度が低いと感じると、表示画面５２０に示したようにスライドバー５１４、５１５を操作して、色情報の強調度合いを変更することができる。
【００５２】
本実施形態に対応するシステム構成は図１（Ａ）に示したとおりであり、ハードウェア構成も図１（Ｂ）に示したとおりである。その一方、本実施形態に対応する撮像装置１００の画像処理部１４０の構成は、図６に示すようになる。本実施形態に対応する画像処理部１４０は、図２に示した構成に加えてノイズ評価部６０１をさらに備える。また、本実施形態に対応する当該画像処理部１４０の構成に対応して、制御部１３０と可視光撮像素子１２１との間に露光時間制御部６０２が設けられる。
【００５３】
図６においては、図２と同じ構成については同一の番号を付しており、以下では差分についてのみ説明を行う。露光時間制御部６０２は、制御部１３０の指令に基づき可視光撮像素子１２１の露光時間を制御する。ノイズ評価部６０１は、可視光撮像素子１２１の撮像画像のノイズ量の評価を行う。
【００５４】
次に、図７を参照して、本実施形態における可視光撮像素子１２１と赤外光撮像素子１２２の露光時間の関係について説明する。図７は、可視光撮像素子と赤外光撮像素子の露光時間の関係の一例を示す図である。図７において、横軸は時間変化、縦軸は撮像素子の垂直方向への読み出しを示す。
【００５５】
通常の合成時の露光時間の関係を破線７０１の領域に示す。一定照度以下になると、可視光画像は、十分な輝度情報を得られないため、露光時間を延ばす、或いは撮像感度を上げることで所望の輝度が得られるようにする必要がある。しかし、撮像感度を上げすぎるとノイズも同様に増幅されるため、ノイズの多い画像となってしまう。また、露光時間を延ばした場合では被写体像がぼけてしまうため、被写体像がぶれない所定の時間内に露光時間を収める必要があった。このため、可視光撮像素子の露光時間７１１、７１２は、被写体像がぶれない所定の露光時間に収められる。しかし、この場合、可視光画像では十分な輝度が得られない。可視光撮像素子の露光時間に対して、赤外光照明部からの照明を得られる赤外光撮像素子は、同等或いはより短い露光時間７１３、７１４が設定される。
【００５６】
一方で、本実施形態の色強調表示モードにおける露光時間制御では、破線部７０２のように可視光撮像素子１２１の露光時間を所望の色情報が取得できるまで長くすることで十分輝度を得られるように制御する。矢印７３１及び７３２は、可視光撮像素子１２１からの撮像画像とデータ出力の時間を模式的に示している。通常の合成では、同一フレームの撮像画像を合成するが、本実施形態では可視光撮像素子１２１と赤外光撮像素子１２２との露光時間及び露光のタイミングが異なる。ここでは、赤外光撮像素子１２２の露光時間よりも、可視光撮像素子１２１の露光時間の方が長くなっている。このため、可視光画像と赤外光画像が同期して生成されない状態となっている。このような場合、可視光撮像素子１２１から時間７３１で出力した可視光画像から抽出した色情報は、当該色情報が抽出された後に赤外光撮像素子１２２が時間７３２、７３３で出力した赤外光画像と合成されることになる。このとき、特に被写体が移動する場合は、被写体像の位置が赤外光画像と可視光画像で一致しない場合がある。これを解決するための本実施形態における合成処理について、図８、図９を用いて説明する。
【００５７】
図８は、図７の破線部７０２の動作時の画像処理を説明するためのフローチャートである。該フローチャートに対応する処理は、例えば、制御部１３０や画像処理部１４０として機能する１以上のプロセッサ（ＣＰＵ、ＭＰＵ）が対応するプログラムを実行することにより実現できる。
【００５８】
ここでは、既に色強調表示モードが選択された状態からユーザからのスライドバー５１４や５１５の操作によって色強調表示部における表示強度が変更された場合の動作を示す。まず、Ｓ８０１において、制御部１３０は、情報処理装置１９０におけるユーザ操作により変更された表示強度の情報を取得する。続く、Ｓ８０２で制御部１３０は、ユーザにより設定された表示強度に応じた露光時間を算出する。制御部１３０は、算出した露光時間を露光時間制御部６０２へ送信する。続くＳ８０３で、露光時間制御部６０２が可視光撮像素子の露光時間を変更する。続くＳ８０４で、メモリ１５０に記憶された露光時間変更前の類似色領域の領域情報に基づき、可視光画像上に対応する領域を設定する。メモリ１５０に記憶された領域情報とは、実施形態１の図３のＳ３０４で記憶した類似色領域と色情報とすることができる。更に、変更された露光時間に応じて色抽出部１４３が色情報を抽出するための色抽出領域を類似色領域検出部１４４が決定する。露光時間が延長される場合、延長前と比較して色抽出領域は狭い領域となる。
【００５９】
続くＳ８０５において、類似色領域検出部１４４の設定した色抽出領域について、色抽出部１４３は可視光画像から色情報を抽出する。続くＳ８０６において、画像合成部１４５は、赤外光画像と、可視光画像から取得した色情報とを合成し色強調合成画像を生成する。このとき、赤外光画像に設定される類似色領域は、Ｓ８０４で取得された類似色領域を赤外光画像において追尾した結果として設定される領域とすることができる。その後、生成した合成画像は情報処理装置１９０へ送信される。
【００６０】
続く図９は、図８の動作時の長秒露光時の色情報取得方法を示す模式図である。図９において、画像９００は赤外光画像を示し、画像９１０は可視光画像を示している。画像９００における領域９０１は、露光時間を変更する前の可視光画像で決定した類似色領域を赤外光画像上に反映させたものである。色強調表示モードの対象被写体としてユーザに選択された際に検出した色情報と領域情報はメモリ１５０に保存されている。一度、可視光画像上で決定された類似色領域は、露光時間変更後も赤外光画像のみから追尾可能である。これは類似色領域検出部１４４にて、赤外光画像上の動体検出、或いはエッジ検出を行うことで追尾可能に構成してもよい。或いは、制御部１３０内に移動体検出機能を備えることで追尾し続ける様に構成してもよい。これにより、可視光画像上で決定された類似色領域に対応する領域を、合成に用いられる赤外光画像において新たに特定することが可能となる。よって、可視光画像と赤外光画像の露光タイミングがずれた場合であっても、ユーザが意図した被写体領域に、可視光画像から抽出した色情報を重畳することができる。
【００６１】
画像９００の赤外光画像に対応する可視光画像は、画像９１０に示すような画像となり、赤外光画像よりも露光時間が長く設定された状態となっている。画像９１０に示す領域９１１は、赤外光画像上に反映した類似色領域９０１を投影した領域である。領域９１２は、長秒露光によって被写体像がぼけた状態で、可視光画像上で類似色領域として新たに検出される領域を示す。可視光画像の露光時間を長秒露光に設定すると、被写体が移動する場合は可視光画像上で被写体像の結像する範囲は、赤外光画像よりも広くなる。一方で、赤外光画像上の被写体は露光時間を短くすることができるため、被写体像が移動体の場合でも被写体像はぼけることはない。
【００６２】
領域９１３は、色抽出部１４３が可視光画像から色情報を抽出するための領域として、類似色領域検出部１４４にて設定される色抽出領域である。可視光撮像素子１２１の露光時間が十分に短い場合は破線９１１の領域内で色情報を抽出すればよいが、被写体が移動する場合、被写体像がぼけてしまうため周辺部では周囲の被写体と混色してしまう。このため、露光時間に応じて領域９１３に示すように色抽出領域を狭くすることで、周囲の被写体の影響を受けにくくなる。このとき、抽出する色抽出領域の形状は矩形形状に限らず、任意の形状とすることができる。さらに可視光撮像素子１２１の露光時間を長くしているため、十分な輝度を得ることができる。これにより、より精度の高い被写体の色情報が取得できる。
【００６３】
表示画面９２０は、色抽出部によって領域９１３の色情報を抽出した場合の情報処理装置１９０の表示部１９２に表示される画面の一例を示している。露光時間を長くしていくと、どこかで画素値が飽和する場合がある。色情報表示領域９２１に現在の色抽出結果を表示しているため、ユーザは目視で選択した類似色領域が飽和しているかを判断することができる。この時、ノイズ評価部１４７で可視光画像の画素値から可視光画像の類似色領域が飽和しているかを判定するように構成してもよい。
【００６４】
ノイズ評価部１４７が類似色領域が飽和していると判定した場合、制御部１３０は、通信部１７０を通じて、情報処理装置１９０において警告表示等の所定の通知を行うための情報出力を行うことができる。当該通知は、例えばスライドバーの可動範囲９２２を制限することで、これ以上操作できないことをユーザへ知らせるように構成してもよい。或いは、情報処理装置１９０の表示部１９２にユーザへ飽和していることを示す警告表示を表示するように構成してもよい。
【００６５】
以上のように、赤外光画像に色情報を重畳させるように合成処理することで、可視光画像のノイズの影響を軽減することができる。さらに可視光撮像素子の露光時間を長くするため、十分な輝度を得ることができる。これにより、精度のより高い被写体の色情報が取得できる。また、赤外光画像に可視光画像から抽出した色情報を合成することで、長秒露光時に可視光画像の被写体像がぼけてしまう影響を軽減することができる。さらに、露光時間に応じて色抽出領域を狭くすることで、周囲の被写体の影響を受けにくくなる。
【００６６】
［実施形態３］
本実施形態では、色強調表示を行う際に可視光撮像素子１２１の露光時間の調整方法について説明する。本実施形態における撮像装置１００の構成は実施形態２における図６で示した構成と同様である。本実施形態では、可視光画像の画質（ノイズ量、飽和画素の有無）を判定して可視光撮像素子１２１の露光時間を調整する方法について説明を行う。
【００６７】
図１０は露光時間を決定するためのフローチャートである。該フローチャートに対応する処理は、例えば、制御部１３０や画像処理部１４０として機能する１以上のプロセッサ（ＣＰＵ、ＭＰＵ）が対応するプログラムを実行することにより実現できる。当該フローチャートに対応する処理は、例えば実施形態２の図８のフローチャートに従って露光時間が変更され、変更後の露光時間に応じた合成画像が生成された場合に実行されてもよい。
【００６８】
まず、Ｓ１００１で制御部１３０は、ノイズ評価部１４７にユーザの設定した類似色領域検出部１４４がＳ８０４において設定した色抽出領域の領域情報を受け渡す。ノイズ評価部１４７は可視光画像の色抽出領域のノイズ量を評価し、判定結果を制御部１３０へ返す。制御部１３０はノイズ量が予め定めた閾値以下に収まっているかを判定する。ノイズ量が閾値以下と判定した場合は、可視光撮像素子１２１の露光時間は現在の露光時間で問題ないと判定し、露光時間の判定処理を終了させる。この場合は、露光時間はＳ８０３で設定された値から変更されない。
【００６９】
一方、Ｓ１００１で制御部１３０は、可視光画像ノイズ量が所定の閾値を超えていると判定されると、露光時間制御部６０２へ可視光撮像素子１２１の露光時間を延長するように指示を送る。続くＳ１００２で露光時間制御部６０２は制御部１３０の指示に基づき可視光撮像素子１２１の露光時間を設定する。Ｓ１００３で制御部１３０は、メモリ１５０に記憶した類似色領域と、新たに設定した露光時間とに基づいて色情報を抽出する色抽出領域を新たに設定し、ノイズ評価部６０１へ指示を送る。
【００７０】
Ｓ１００４でノイズ評価部６０１は、新たに設定された色抽出領域内に画素値が飽和している画素（飽和画素）が存在しているかどうかを判定し、判定結果を制御部１３０へ返す。新色抽出領域に飽和画素が存在していない場合は、Ｓ１００２で設定した露光時間を可視光撮像素子１２１の露光時間に決定し、本処理を終了する。一方、色抽出領域に飽和画素が存在する場合、処理はＳ１００５に進み、制御部１３０はノイズ量の判定閾値を前回の閾値よりも低い閾値に更新した後、再びＳ１００１に戻ってノイズ評価値の判定を行う。
【００７１】
以上のＳ１００１からＳ１００５の処理を繰り返すことで、色抽出領域のノイズ量が最も小さく、且つ画素値が飽和していない露光時間を決定することができる。露光時間が決定すると制御部１３０は、決定された露光時間に対応する色抽出領域を色抽出部１４３に指示する。色抽出部１４３は色抽出領域の色情報を抽出すると、画像合成部１４５と制御部１３０へ抽出した色情報を渡す。その後画像合成部１４５は、メモリ１５０に保持されている類似色領域情報を基に可視光画像から抽出した色情報と、赤外光画像とを合成し色強調合成画像を生成する。その後、生成した合成画像は情報処理装置１９０へ送信される。
【００７２】
以上のように、本実施形態では、可視光撮像素子１２１の露光時間を、色抽出領域の画質に応じて調整することができる。その際、可視光撮像素子１２１の露光時間を長くすることで、十分な輝度を得つつ、ノイズ量を抑えることができるので、精度のより高い被写体の色情報を取得できる。
【００７３】
以上、例示的な実施形態を説明してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【００７４】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００７５】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【００７６】
１００：撮像装置、１８０：ネットワーク、１９０：情報処理装置
【図１】
2020119096.tif 000003
【図２】
2020119096.tif 000004
【図３】
2020119096.tif 000005
【図４】
2020119096.tif 000006
【図５】
2020119096.tif 000007
【図６】
2020119096.tif 000008
【図７】
2020119096.tif 000009
【図８】
2020119096.tif 000010
【図９】
2020119096.tif 000011
【図１０】
2020119096.tif 000012