(57)【要約】      （修正有）【課題】露出設定や撮像パラメータ設定した場合に他の領域で白とび、黒つぶれ、階調とびなどを改善し、ダイナミックレンジの拡大と全体の適正明るさの調整を両立する撮像制御装置、その制御方法及びプログラムを提供する。【解決手段】露出の異なる複数の画像を撮像する撮像手段と、前記撮像手段により撮像された露出の異なる複数の画像を合成する合成手段と、前記撮像手段における露出および前記合成手段における合成の制御を行うことによってダイナミックレンジを調整する調整処理手段と、前記調整処理手段によりダイナミックレンジを調整した結果前記合成手段により得られる画像のうち、階調に関する異常を含む領域を検出する検出手段と、を有し前記検出手段の検出結果を通知する通知手段と、を有する。【選択図】図５
2020048159.tif 000002
【特許請求の範囲】
【請求項１】
露出の異なる複数の画像を撮像する撮像手段と、
前記撮像手段により撮像された露出の異なる複数の画像を合成する合成手段と、
前記撮像手段における露出および前記合成手段における合成の制御を行うことによってダイナミックレンジを調整する調整処理手段と、
前記調整処理手段によりダイナミックレンジを調整した結果前記合成手段により得られる画像のうち、階調に関する異常を含む領域を検出する検出手段と、
前記検出手段の検出結果を通知する通知手段と、を有することを特徴とする撮像制御装置。
【請求項２】
前記合成画像のうち輝度レベルに応じた領域を区別して表示する表示手段を有する請ことを特徴とする請求項１に記載の撮像制御装置。
【請求項３】
前記表示手段に表示された画像の中の所定の領域を設定するための領域設定手段を有し、前記調整処理は、前記領域設定手段によって設定された領域のおけるダイナミックレンジを広げるように調整することを特徴とする請求項２に記載の撮像制御装置。
【請求項４】
前記領域設定手段はユーザーインターフェースを含むことを特徴とする請求項３に記載の撮像制御装置。
【請求項５】
前記露出の異なる複数の画像にそれぞれ異なるガンマ変換をするためのガンマテーブルを有することを特徴とする請求項１から４いずれか一項に記載の撮像制御装置。
【請求項６】
前記輝度レベルに応じた領域ごとに画像処理パラメータの設定の設定を受付ける受付手段を有することを特徴とする請求項２から４のいずれか一項に記載の撮像制御装置。
【請求項７】
少なくとも前記撮像手段と前記調整処理手段とは別々の装置内に配置され、両方の装置は通信路を介して互いに接続されていることを特徴とする請求項１から６のいずれか一項に記載の撮像制御装置。
【請求項８】
前記調整処理手段における調整動作を事前に実行し、その結果に基づき、前記調整処理手段の調整範囲を制限するようにしたことを特徴とする請求項１から７のいずれか一項に記載の撮像制御装置。
【請求項９】
前記撮像手段と前記合成手段は同じ装置内に配置されていることを特徴とする請求項７に記載の撮像制御装置。
【請求項１０】
前記前記調整処理手段と前記合成手段は同じ装置内に配置されていることを特徴とする請求項７に記載の撮像制御装置。
【請求項１１】
前記通信路はネットワークを含むことを特徴とする請求項７に記載の撮像制御装置。
【請求項１２】
前記調整処理手段は前記ダイナミックレンジの調整に応じて前記撮像手段において撮像される複数の画像の露出条件を変更可能であることを特徴とする請求項１から１１のいずれか一項に記載の撮像制御装置。
【請求項１３】
前記調整処理手段は前記ダイナミックレンジの調整に応じて前記撮像手段において撮像される複数の画像の露出条件を変更可能であることを特徴とする請求項１から１２のいずれか一項に記載の撮像制御装置。
【請求項１４】
前記調整処理部は、ダイナミックレンジを調整した結果前記合成手段により得られる画像において、階調に関する異常を含む領域を前記検出手段が検出した場合に、前記調整処理部により調整されたダイナミックレンジをもとに戻すことを特徴とする請求項１から１３のいずれか一項に記載の撮像制御装置。
【請求項１５】
請求項１から１４のいずれか１項に記載の撮像制御装置の各手段をコンピュータにより実行するためのコンピュータプログラム。
【請求項１６】
請求項１５に記載のコンピュータプログラムを記憶したコンピュータで読み取り可能な記憶媒体。
【請求項１７】
露出の異なる複数の画像を撮像する撮像工程と、
前記撮像工程により撮像された露出の異なる複数の画像を合成する合成工程と、
前記撮像工程における露出および前記合成工程における合成の制御を行うことによってダイナミックレンジを調整する調整処理工程と、
前記調整処理工程によりダイナミックレンジを調整した結果前記合成工程により得られる画像のうち、階調に関する異常を含む領域を検出する検出工程と、
前記検出工程の検出結果を通知する通知工程と、を有することを特徴とする撮像制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像を合成してダイナミックレンジの広い合成画像を得る技術に関する。
【背景技術】
【０００２】
近年、ネットワークカメラを利用した監視システムが広く普及している。ネットワークカメラは大規模な公共機関や量販店などにおける監視カメラとして幅広い分野で利用されているため、屋内および屋外などの照度差の大きな環境または照明が異なる環境などに対してダイナミックレンジの拡大が望まれている。特許文献１では、露出条件の異なる複数の画像を合成することでダイナミックレンジを拡大する技術（以降、ＷＤＲ）が開示されている。
一方、複数の画像を合成する際に、それぞれに飽和領域が存在しないように合成前に撮影手段の露出を設定する方法が特許文献２で記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３５４６８５３号
【特許文献２】特開２０１０−１３６２３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、ＷＤＲ撮影の様な画像合成について、特にユーザーの関心領域に合わせて露出設定や撮像パラメータ設定した場合に他の領域で白とび、黒つぶれ、階調とびなどの弊害が発生してしまう場合がある。その場合、ダイナミックレンジの拡大と全体の適正明るさの調整を両立することが困難である。
本発明は上記のような問題を改善することを目的としている。即ち、ダイナミックレンジの拡大と画面の適正な明るさの調整を容易に実現できる撮像制御装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
前記課題を解決するために、本発明に係る撮像制御装置は、露出の異なる複数の画像を撮像する撮像手段と、
前記撮像手段により撮像された露出の異なる複数の画像を合成する合成手段と、
前記撮像手段における露出および前記合成手段における合成の制御を行うことによってダイナミックレンジを調整する調整処理手段と、
前記調整処理手段によりダイナミックレンジを調整した結果前記合成手段により得られる画像のうち、階調に関する異常を含む領域を検出する検出手段と、
前記検出手段の検出結果を通知する通知手段と、を有することを特徴とする
【発明の効果】
【０００６】
本発明によれば、露出の異なる複数画像の合成画像に異常領域があっても、適宜確認しつつダイナミックレンジ調整が可能となり、ダイナミックレンジの拡大と画面の適正な明るさの調整を容易に実現できる。
【図面の簡単な説明】
【０００７】
【図１】第１実施例に係るシステム構成図。
【図２】第１実施例に係るカメラの機能ブロック図。
【図３】第１実施例に係るビューワークライアントのブロック図。
【図４】第１実施例に係るカメラサーバーの画像処理部のブロック図。
【図５】第１実施例に係る処理のフローチャート。
【図６】第１実施例に係るユーザー操作画面を説明する図。
【図７】第１実施例に係る図６のヒストグラムを説明する図。
【図８】第１実施例に係るＷＤＲ合成を説明するブロック図。
【図９】第１実施例に係るガンマカーブを説明する図。
【図１０】第１実施例に異常領域判定するための領域分割を説明する図。
【図１１】第１実施例に係るユーザー操作画面を説明する図。
【図１２】第２実施例に係る処理のフローチャート。
【図１３】第３実施例に係る露出と階調段差を説明する図。
【図１４】第３実施例に係る露出と階調段差を説明する図。
【図１５】第４実施例に係る処理のフローチャート。
【図１６】第５実施例に係る処理のフローチャート。
【発明を実施するための形態】
【０００８】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
＜第１実施例＞
以下、図面を参照して説明する。以下の説明においては、本発明の一実施例としてネットワークカメラなどの撮像制御装置について説明する。なお、撮像制御装置は、ネットワークカメラに限らない。たとえば、デジタル一眼レフカメラ、ミラーレス一眼カメラ、コンパクトデジタルカメラ、カムコーダなどを含む。あるいはカメラ付きタブレット端末、ＰＨＳ、スマートフォン、フィーチャフォン、携帯ゲーム機など、撮像機能を有する別の携帯の装置であってもよい。
図１は、本発明の第一実施例にかかわるネットワークカメラの概略構成の一例を示す図である。図１に示すように、ネットワークカメラ１００はカメラサーバー１１０とビューワークライアント１２０とネットワーク１３０とを有している。カメラサーバー１１０とビューワークライアント１２０とは別々の装置であって通信路としてのネットワーク１３０を介して接続されている。
【０００９】
カメラサーバー１１０はネットワーク１３０を介して、ネットワークカメラにより撮影（撮像）された画像の画像データを配信する。
ビューワークライアント１２０はカメラサーバー１１０にアクセスしてカメラの設定を変更し、当該カメラでの撮像の結果得られた画像データを処理し、あるいは蓄積された画像データなどを処理して、処理後の画像データに基づく画像の表示を行うものである。
ネットワーク１３０は、カメラサーバー１１０とビューワークライアント１２０とを通信可能に接続するものであり、例えば、Ｅｔｈｅｒｎｅｔ等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成されている。なお、本実施例において、ネットワーク１３０はカメラサーバー１１０とビューワークライアント１２０との間の通信が支障なく行えるものであれば、その通信規格や規模、構成は問わない。したがって、ネットワーク１３０としては、インターネットからＬＡＮにいたるまで適用が可能である。
【００１０】
図２は、本実施例におけるカメラサーバー１１０の構成を示すブロック図である。
撮像光学系２０１は対物レンズ、ズームレンズ、フォーカスレンズ、光学絞り、等から構成され被写体の光情報を後述の撮像素子部２０２へ集光する。撮像素子部２０２は、撮像光学系２０１にて集光された光情報を電気信号へと変換する素子でＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｃｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどで構成され、カラーフィルタなどと組み合わせることで色情報を取得する。また、すべての画素に対して、任意の露出時間を設定可能な撮像センサとする。ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０３は、撮像制御装置の各構成の処理すべてに関わる制御を行うコンピュータとして機能し、記憶媒体としてのＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２０４や、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０５に格納された命令（コンピュータプログラム）を順次に読み込み、解釈し、その結果に従って処理を実行する。また、撮像系制御部２０６は撮像光学系２０１に対して、フォーカスレンズを駆動しフォーカスを合わせる、絞りを調整するなどのＣＰＵ２０３から指示された制御を行う。
【００１１】
より詳細には、絞りの駆動制御はプログラムＡＥ（Ａｕｔｏｍａｔｉｃ  Ｅｘｐｏｓｕｒｅ）、シャッター速度優先ＡＥ、絞り優先ＡＥなどに応じて変化する。即ち、ユーザーが設定する上記の撮影モードに応じて計算された露出値に基づいて行われる。また、ＣＰＵ２０３はＡＥ制御に併せてＡＦ（Ａｕｔｏ  Ｆｏｃｕｓ）制御を行う。ＡＦ制御には、アクティブ方式、位相差検出方式、コントラスト検出方式等が適用される。なお、この種のＡＥおよびＡＦの構成および制御については周知であるため、ここでの詳細な説明は省略する。
撮像素子部２０２において光電変換されて得られた電気信号は、画像処理部２０７に入力される。画像処理部２０７では、後述の画像処理を行い、輝度信号Ｙ、色差信号Ｃｂ，Ｃｒを生成する。
エンコーダ部２０８は、画像処理部２０７にて処理した画像データをＪｐｅｇやＨ．２６４などの所定の圧縮フォーマットに変換する処理を行う。
通信部２０９は、ネットワーク１３０との通信の処理を行う。具体的には、ネットワーク１３０を経由して撮影された画像データをビューワークライアント１２０へ配信する。
また、ビューワークライアント１２０からのカメラ操作コマンドおよび指定した領域のガンマ特性の選択結果を受信し、それに対するレスポンスや画像データ以外の必要なデータの送受信を行う。
【００１２】
図３は、本実施例におけるビューワークライアント１２０の構成を示すブロック図である。
ＣＰＵ３０１は、ビューワークライアント１２０における動作を統括的に制御するコンピュータである。ＲＯＭ３０２は、ＣＰＵ３０１が処理を実行するために必要な制御用コンピュータプログラム等を記憶する不揮発性メモリである。ＲＡＭ３０３は、ＣＰＵ３０１の主メモリ、ワークエリア等として機能する。すなわち、ＣＰＵ３０１は、処理の実行に際してＲＯＭ３０２から必要なプログラム等をＲＡＭ３０３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。
【００１３】
ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）３０４は、例えば、ＣＰＵ３０１がプログラムを用いた処理を行う際に必要な各種データや各種情報等を記憶している。また、ＨＤＤ３０４には、例えば、ＣＰＵ３０１がプログラム等を用いた処理を行うことにより得られた各種データや各種情報等が記憶される。
操作入力部３０５は電源ボタンやキーボードやマウスやタッチパネル等の操作デバイスからの入力部でありユーザーインターフェースとして機能する。通信部３０６は、ネットワーク１３０との通信の処理を行う。具体的には、例えば撮影された画像データをネットワーク１３０を経由してカメラサーバー１１０から受信する。また、カメラ操作コマンドをカメラサーバー１１０へ送信し、そのレスポンスや画像データ以外の必要なデータの受信などを行う。
表示部３０７は、カメラサーバー１１０の各種制御パラメータを入力するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）などから構成される。ビューワークライアント１２０の各要素の一部または全部の機能は、ＣＰＵ３０１がプログラムを実行することで実現することができる。ただし、ビューワークライアント１２０の各要素のうち少なくとも一部を専用のハードウェアとして構成してもよい。この場合、専用のハードウェアは、ＣＰＵ３０１の制御に基づいて動作する。
【００１４】
図４は本実施例の画像処理部２０７の内部ブロック図である。画像処理部２０７は現像処理部４００とダイナミックレンジ拡張処理部４１０の２つのブロックに分かれている。現像処理部４００は、撮像素子部２０２より入力された画像データに対して、レンズなど光学系の歪補正などを行う光学補正部４０１、センサのシェーディング補正などを行うセンサ補正部４０２を含む。更にゲイン調整を行うゲイン調整部４０３、ノイズリダクション処理を行うＮＲ処理部４０４、ＷＢ（Ｗｈｉｔｅ  Ｂａｌａｎｃｅ）の調整を行うＷＢ調整部４０５を含む。また、ガンマ補正を行うガンマ補正部４０６、シャープネス処理を行うシャープネス処理部４０７、色処理を行う色処理部４０８、ヒストグラム解析処理部４０９などを含む。現像処理部４００の出力は、メモリ４２０に蓄えられる。ダイナミックレンジ拡張処理部４１０は、ガンマ調整部４１１、ＷＤＲ（Ｗｉｄｅ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）合成処理部４１２などを持ち、メモリ４２０に蓄えられた現像処理後の複数枚の画像を合成処理することで、ダイナミックレンジの広い画像を生成することができる。
【００１５】
次に図５を用いて、ビューワークライアント１２０の動作フローについて説明する。まず、Ｓ５０１において、カメラサーバー１１０でＷＤＲ用の撮影をしＷＤＲ合成処理した合成画像をビューワークライアント１２０において表示する。ＷＤＲ用の撮影の方法に関しては後述する。本ステップ以降においてビューワ―クライアント１２０から調整指示がカメラサーバー１１０にコマンドとして発行される。発行された調整の指示コマンドをカメラサーバー１１０が受信すると、画像調整フローが開始される。一方で、カメラサーバー１１０の画像配信は図５のフローの開始に限らず続けられる。
まず、Ｓ５０２において、ユーザーがビューワークライアント１２０で表示部３０７に表示された画像を見ながらＷＤＲ調整を指定する。ＷＤＲ調整は、たとえば、複数の異なるカーブでガンマ変換するためのガンマテーブルを保持しておきそれらの中からガンマテーブルを選択することでＷＤＲの強度を輝度に応じて指定してもよい。あるいは、ｇａｉｎレベルなどの他のカメラパラメータも同時に変更するようにしてもよい。図６は、撮影シーンの一例を表示しているＵＩを示しており、網掛けで示す窓６０１は外と室内６０２を含む範囲が撮影された画像が表示されている。
【００１６】
窓６０１の枠の内側に示されている屋外の画像と窓６０１の枠の外側に示されている室内６０２、６０３の画像とは異なる光源の影響を受けており、窓６０１の枠の内側の画像領域と室内６０２，６０３の画像領域では輝度差が大きいとする。６０３は６０２に比べて６０１の外光の影響が少なく暗い環境である。また本ステップＳ５０２においては、ユーザーが図６（Ａ）または（Ｂ）に示すようなＧＵＩを用いてＷＤＲ調整レベルを選択する。ここで、選択の仕方は図６（Ａ）のようにＷＤＲのＯＮ、ＯＦＦスイッチをＯＮにして、ＷＤＲレベル調整用のスライドバーで調整の強弱を設定できるようにしてもよい。あるいは図６（Ｂ）のようなメニュー選択によって、ＷＤＲのＯＮ、ＯＦＦの選択や、ＷＤＲをＯＮした状態で、更にプルダウンメニュー等によって数段階のレベル設定の中から一つを選択してもよいがこれらの方法に限定されない。また、選択された調整レベルを通信部からコマンドとしてカメラサーバー１１０側へ送信する。
ここで、ＷＤＲの合成処理およびＷＤＲ調整について本実施例では図７〜９を用いて説明するが、これに限定されない。
本実施例では、露出アンダーの画像（アンダー露出画像）、適正な露出の画像（適正露出画像）、露出オーバーの画像（オーバー露出画像）の、３種類の露出の画像を３枚撮影したのちにこれらを合成している。それぞれの露出時間はＷＤＲ調整の強度に応じて変更可能となっている。
【００１７】
図７は、図６のシーンにおける各画像のヒストグラムを示している。アンダー露出画像のヒストグラムを７０１、適正露出画像のヒストグラムを７０２、オーバー露出画像のヒストグラムを７０３に示す。適正露出は、画像上で広い範囲を占める室内光に対して適正な露出となっている。また、オーバー露出は、図６の網掛けで示される窓の外に露出があっている。
図８は、合成処理を説明するブロック図である。前述のとおり露出の異なる３つの画像に対して、ガンマ補正部４０６において図９で後述するようなガンマ補正をそれぞれ行った後にいったん図４のメモリ４２０に保持される。保持された画像に対して、前述のＷＤＲ合成処理部４１２において、階調補正として所定値のオフセット加算もしくは階調の伸長処理を行う。次に、それぞれの画像が加算され合成される。合成されたのちに、前述のガンマ調整部４１１においてガンマ調整が行われ出力画像として出力される。
【００１８】
図９（Ａ）に露出の異なる３種類の画像にガンマ補正部４０６によってそれぞれ適用されるガンマ曲線を示す。ガンマ曲線は、入力輝度に対する出力輝度信号の入出力特性を示しており、アンダー露出画像に適用されるガンマ曲線９０１、適正露出画像に適用されるガンマ曲線９０２、オーバー露出画像に適用される９０３を示している。横軸の入力は、各画像の露出差を考慮した値になっている。縦軸は８ビットの出力値である。出力値の上限はこれに限らない。まず、ＷＤＲ調整がなされなかった場合の合成結果を図９（Ｂ）に示す。図９（Ａ）に示すガンマ曲線に対して、適正露出のガンマ曲線はオフセット加算によって２５６オフセット加算され、オーバー露出のガンマ曲線はオフセット加算によって５１２オフセットされ加算されることで、図９（Ｂ）において９１０に示す特性を示す。この特性では、オーバー露出の画像は出力輝度５１２〜７６７の範囲で出力される。この図９（Ｂ）に示される合成画像の再現域では、入力階調に対する出力階調の連続性が保たれている、一方、特にダイナミックレンジの狭い表示装置において明部が潰れてしまう場合がある。
【００１９】
次に、本実施例のＷＤＲ調整において、オーバー露出画像を調整する場合の合成結果を図９（Ｃ）に示す。もちろん、用意する所定の調整テーブルはこれに限らず、アンダー露出画像を対象とするもの、すべての露出画像を対象とするもの、またゲイン調整などを加えてテーブル作成してもよい。図９（Ａ）に示すガンマ曲線に対して、適正露出のガンマ曲線はオフセット加算によって２５６オフセット加算される（９２０のカーブ）。一方、オーバー露出画像は、オフセット加算ではなくガンマの伸長処理によって９２１のａ〜ｄに示すような特性を選択可能にしている。これにより、オーバー露出画像の明暗差が大きくなり、ダイナミックレンジの狭い表示装置においてもユーザーが選択したガンマ特性によって視認性を広げることができる。
本実施例では、撮影エリア全体を合成するが、これに限らず撮影される画像エリアの少なくとも一部でももちろんよい。また、合成方法に関しては、異なる露出の複数の画像を所定の露出の度合で分類し、暗部領域においては適性露出と露出オーバーの階調が足し合わされ、明部領域においては適性露出と露出アンダーの階調が足しあわされるようにしてもよい。
【００２０】
さらに、ビューワークライアント１２０はカメラサーバー１１０に対して指示を出して、ガンマ調整以外の画像処理をさせてもよい。例えば、ホワイトバランス調整、ノイズリダクション処理やシャープネス処理、コントラスト調整、彩度調整も異なる露出画像ごとに処理設定を変えてもよい。
また、本実施例ではビューワークライアント１２０はカメラサーバー１１０に対して指示を出すことによって、ＷＤＲ調整レベルに応じたテーブルを選択する。即ち図９（Ｃ）ａ〜ｄに示すようにガンマ調整部４１１でガンマレベルを変更するために所定の複数のガンマテーブルの中から一つのガンマテーブルを選択する。なお、合成前の画像への階調の伸長処理を行うテーブルを複数用意して選択するようにしてもよい。
次に、図５に戻り、Ｓ５０３で異常領域が有るか判定をする。そのために、ビューワークライアント１２０はヒストグラム解析処理部４０９に対して指示をすることによって、合成後の画像に対してヒストグラム解析を行う。本ステップでは、図１０のように合成画像に対してブロックで区切られた各ブロックのヒストグラムを作成する。本実施例において、解像度は、１９２０×１０８０であり、６４×３６のブロックに分割するが各ブロックの大きさはこの大きさより小さくても大きくてもよい。この分割したブロックのヒストグラム結果から異常領域を判定する。ここで、異常領域とは合成後の画像の各画素または分割したブロックに画像としての異常な情報が含まれる領域を意味する。例えば、白飛びのように輝度が極端に高い画素、または、黒潰れのように輝度が極端に低い画素は異常となる。一方、極端に高い輝度と極端に低い輝度との間の所定の適正範囲内の輝度を有する画素または分割ブロックは、有効な（異常でない）画素またはブロックと判断される。異常領域が検出されなければＳ５０６に移行する。
【００２１】
続いて、Ｓ５０４ではＳ５０３で異常領域が有ると判定された場合に、ビューワークライアント１２０で異常領域を強調して視認可能に表示しユーザーへ通知する。図１１にＵＩの表示例を示す。表示画面の画像上に前述のＳ５０３で異常領域と判定されたブロックの範囲を網掛けや斜線などで重畳する。あるいは点滅させて重畳画像と重畳無画像を切り替えて表示してもよいし、点線や赤色や太枠などの枠で異常領域を囲ってもよい、また、画像上または図１１の右側に示されるように、設定画面上に文字やメッセージで通知してもよい。さらに、ビューワークライアント１２０から警告音を発報してもよい。
Ｓ５０５では、Ｓ５０４において異常領域が表示、通知された場合に、表示された画像の状態を判断してユーザーがＯＫとするかＮＧとするかを判定する。ＮＧであればＳ５０２に戻りＷＤＲ調整レベルの設定を変更する。異常領域は存在するが注目したい領域が所望の適正状態で表示されていればＯＫと判断して、Ｓ５０６に進みＷＤＲ調整レベルの設定を変更せずに画像表示を行う。
これにより、ユーザーが異常領域を把握したうえで、ＷＤＲ調整レベルを適宜設定可能とすることで、異常領域がない所望の画像をユーザーが得ることができる。または、一部に異常領域があっても所望のダイナミックレンジの有する画像を得ることができる。したがって、ユーザーの必要としている輝度領域を適切に階調表現することができ監視に適した画像を提供できる。
【００２２】
＜第２実施例＞
次に、第２の実施例について図１２を用いて説明する。図５と同じステップは同じ動作をするものとする。
第１実施例では、ＷＤＲ調整レベルに応じて所定の複数のテーブルから１つのテーブルを選択する例を説明した。しかし、本実施例では輝度領域を表示し、その中からＷＤＲ調整用の領域を指定し、指定した領域の階調が優先的に広くなるようにＷＤＲ調整レベルを設定する。
【００２３】
Ｓ５０１０において、ＷＤＲ合成の際に取得する図７で示すヒストグラム結果から、複数の露出で撮影した画像を合成するための区分けされた輝度領域マップを画像上に重畳する。具体的には例えば図６の６０１，６０２，６０３のような輝度レベルに応じて区分けした輝度領域の表示をする。その状態において、Ｓ５０１１において、ユーザーが調整したいエリアの一点または矩形エリアでＷＤＲ調整用の領域を設定する。上記のように輝度領域を表示した状態で、ユーザーの設定したＷＤＲ調整用の矩形領域が複数のエリアにまたがる場合には、複数の輝度領域にまたがってしまっている事をユーザーへ通知する。更には、領域の選択のやり直しを促すようにしてもよい。通知はメッセージでもよいし、またがってしまっている両方の領域を点滅させたり色を変えさせたりさせるような強調表示をしてもよい。また、ユーザーが指定した矩形の中で複数のエリアにまたがらず最大の面積となる矩形を自動的に設定するように構成してもよい。
ここで、Ｓ５０１０で表示される画像は、図６に示すように合成後の画像を表示してもよいし、あるいは合成前の画像を表示してもよい。なお、本実施例では、露出アンダーの画像、適正な露出の画像、露出オーバーの画像の３種類の露出条件で撮影したのちにその３枚の画像を合成するものとする。
【００２４】
Ｓ５０１１で指定したＷＤＲ調整用の領域を優先したＷＤＲ調整レベルの方法に関しては第１実施例とほぼ同様な方法で処理する。更に、ガンマテーブルおよび他のカメラパラメータ設定によって、ユーザーが指定したエリアの階調を優先的に広げるように調整を行う。
これにより、ユーザーが所望の輝度領域に対して優先的に広いダイナミックレンジを割り当てることができ、画像調整することができる。しかもＷＤＲ調整をしつつ異常領域の発生の有無を確認することができる。
【００２５】
＜第３実施例＞
第１、第２実施例ではガンマテーブルの調整を中心に説明したが、更にＷＤＲ合成の元となる複数フレームの露出条件を調整してもよい。
即ち、ビューワークライアント１２０におけるＷＤＲ調整の強度変更があると、カメラサーバー１１０で複数種類の露出条件で複数画像を撮像させる際の前記それぞれの画像の露出条件（例えば露出時間や絞りや感度など）を変更する。あるいは複数の露出条件の組み合わせを変更したり、上記複数種類の露出の段差の重なり量など変更したりできるようにする。また前記ＷＤＲ調整用の領域の階調を優先的に広げるようにしたり、ガンマカーブもそれに合わせて変更したりする。なお、ＷＤＲ調整の強度変更に伴って、異なる露出の数を上記のように３種類ではなく４種類にしたり、逆に２種類にしたりして変更してもよい。
例えば図１３、図１４は入力階調のギャップについて説明した図である。図１３、図１４では長秒時の画像ａと短秒時の画像ａ´が４ビット分重なっている例を示している。また、長秒時の画像ｂと短秒時の画像ｂ´は２ビット分重なっている。一方長秒時の画像ｃと短秒時の画像ｃ´は重なっておらずギャップが生じている例を示している。図１４（Ａ）、図１４（Ｂ）、図１４（Ｃ）の順にＷＤＲ強度が強くなっている。そして上記のように撮像時の露出条件まで変更できるようにしてＷＤＲ調整の強度変更の範囲を広げた場合には、図１４（Ｃ）のように入力階調にギャップが生じる。したがって、これに伴って異常領域が生じたら、ビューワークライアント１２０側などで異常領域を枠や点滅などによって強調表示する。
【００２６】
＜第４実施例＞
図１５は第４実施例を説明するフローチャートであり、図１２と同じ符番のステップは同じ動作をする。図１５において、異常領域判定Ｓ５０３において、異常領域が検出され、Ｓ５０４で異常領域を表示した後、Ｓ５０５でユーザー判定がＯＫでなかった場合には、Ｓ５０２に戻る前にＳ５０５１でＷＤＲ調整指定を一つ前の状態に戻す。即ち、異常領域がなかった状態のＷＤＲ調整指定に一旦戻す。
＜第５実施例＞
図１６は第５実施例を説明するフローチャートであり、図１５と同じ符番のステップは同じ動作をする。図１６において、Ｓ５０１２はＷＤＲ調整可能な範囲を端から端までパラメータを変更しつつ事前に自動的にスキャンする。Ｓ５０１３で異常領域があるか否かをＳ５０３と同様に判断し、もし異常領域がなければＳ５０１４に進みＷＤＲ調整可能な範囲をフルレンジで表示し、ＷＤＲ調整の入力を受け付ける。一方Ｓ５０１３で異常領域があると判断された場合には、Ｓ５０１５に進み異常領域が発生しないＷＤＲ調整可能な範囲のみを表示するように制限し、その範囲のＷＤＲ調整の入力のみを受け付ける。
これにより、異常領域が発生しない設定パラメータをユーザーに表示することができ、ユーザーは安心してＳ５０２で設定パラメータを変更することができる。
なお、Ｓ５０２でＷＤＲ調整をした後、Ｓ５０３で再度異常領域があるか否かを判断しそれ以降第４実施例と同様の制御をするが、これは周囲の明るさが急に変動した場合に備えたフローである。
【００２７】
なお、以上の実施例等においては、ユーザー側に合成画像を表示し、その表示内容に基づきＷＤＲ調整をし、露出条件やガンマ等の指定をコマンドによってビューワークライアント１２０からカメラサーバー１１０へ通知していた。それにより、コマンドの内容を反映したＷＤＲ調整後の合成画像をカメラサーバー１１０からビューワークライアント１２０へ配信し、ビューワークライアント１２０で表示していた。すなわちカメラサーバー１１０の装置内に合成処理部を配置していた。しかしカメラサーバー１１０から合成前の画像をビューワークライアント１２０に配信し、ビューワークライアント１２０において表示させてから、ビューワークライアント１２０において合成処理を行うように構成してもよい。あるいはビューワークライアント１２０において合成処理をしてから表示させるようにしてもよい。即ちビューワークライアント１２０の装置内に合成処理部を配置してもよい。この場合コマンドの通信の手間が省けるため、ユーザーの選択結果を短い時間で確認することが可能となる。
【００２８】
上述の実施例では、説明の簡便のため３つの輝度領域についてマップを作成する例を主体として説明しているが、３つに限らないことは言うまでもない。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施例の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００２９】
１１０  カメラサーバー
１２０  ビューワークライアント
２０１  撮像光学系
２０２  撮像素子部
２０７  画像処理部
４００  現像処理部
４１０  ダイナミックレンジ拡張処理部
４１１  ガンマ調整部
４１２  ＷＤＲ合成処理部
【図１】
2020048159.tif 000003
【図２】
2020048159.tif 000004
【図３】
2020048159.tif 000005
【図４】
2020048159.tif 000006
【図５】
2020048159.tif 000007
【図６】
2020048159.tif 000008
【図７】
2020048159.tif 000009
【図８】
2020048159.tif 000010
【図９】
2020048159.tif 000011
【図１０】
2020048159.tif 000012
【図１１】
2020048159.tif 000013
【図１２】
2020048159.tif 000014
【図１３】
2020048159.tif 000015
【図１４】
2020048159.tif 000016
【図１５】
2020048159.tif 000017
【図１６】
2020048159.tif 000018