(57)【要約】【課題】  コストを抑制しつつ、デイモード、ナイトモード、遠景モードを切り替え可能な撮像装置を提供すること。【解決手段】  本発明の撮像装置は、撮像光学系と、前記撮像光学系により結像した被写体像を電気映像信号に変換する撮像素子と、前記撮像素子の画素毎に異なる波長の可視光を透過するカラーフィルタと、赤外線カットフィルタの挿抜手段と、前記撮像素子から得られた信号から撮像画像を生成する現像処理手段と、を備え、前記カラーフィルタは可視光に加えて、赤外光を透過し、前記現像処理手段は、前記挿抜手段により前記赤外線カットフィルタを光路上から退避させた状態で、前記カラーフィルタのうち最も長波長の可視光を透過する画素のみを用いて撮像画像を生成する、ことを特徴とした。【選択図】  図１
2019102894.tif 000002
【特許請求の範囲】
【請求項１】
撮像光学系と、
それぞれが異なる波長の光成分を透過するカラーフィルタのいずれかにより覆われた複数の画素を有し、前記撮像光学系により結像した被写体像を電気信号に変換する撮像素子と、
所定範囲の波長の光成分を遮断する赤外カットフィルタと、
前記赤外カットフィルタを前記撮像光学系の光路上に挿抜する挿抜手段と、
前記電気信号から画像を生成する現像処理手段と、
前記挿抜手段および前記現像処理手段を制御する制御手段と、を有し、
前記制御手段は、前記赤外カットフィルタが前記撮像光学系の光路上から抜去された状態で、前記撮像素子が有する複数の画素のうち、前記赤外カットフィルタにより遮断される所定範囲の波長を含む光成分を透過するカラーフィルタに覆われた画素から取得した信号から画像を生成することを特徴とする撮像装置。
【請求項２】
前記画像のサイズを任意の大きさに変更するサイズ変更手段、をさらに有し、
前記変更手段は、前記現像処理手段により特定の画素から取得した信号から画像を生成した後で前記画像を任意の大きさに変更することを特徴とする請求項１に記載の撮像装置。
【請求項３】
撮影モードを選択できる選択手段、をさらに有し、
前記撮影モードが遠景を鮮明に撮影することを目的とするモードになっている場合に、
前記制御手段は、前記赤外カットフィルタが前記撮像光学系の光路上から抜去された状態で、前記撮像素子が有する複数の画素のうち、前記赤外カットフィルタにより遮断される所定範囲の波長を含む光成分を透過するカラーフィルタに覆われた画素から変換された信号を用いて画像を生成することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
画像に対してコントラスト強調処理を行う画像処理手段、をさらに有し、
前記画像処理手段は、所定範囲の波長を含む光成分を透過するカラーフィルタに覆われた画素から変換された信号を用いて生成された前記画像のコントラスト強調処理を行うことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記被写体の照度を取得する照度取得手段、をさらに有し、
前記制御手段は、前記被写体の照度が所定より小さい場合に、前記赤外カットフィルタが前記撮像光学系の光路上から抜去された状態で、前記撮像素子が有する複数の画素のうち、前記赤外カットフィルタにより遮断される所定範囲の波長を含む光成分を透過するカラーフィルタに覆われた画素から変換された信号を用いて画像を生成することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記画像に含める被写体像の領域を変更する画角変更手段、とをさらに有し、
前記画角変更手段は、前記領域内の被写体像を出力する画素数が多くなるように前記撮像光学系を操作することで拡大を行い、
そのあと、前記現像処理手段による現像処理と、前記サイズ変更手段による画像サイズの変更を行うことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記カラーフィルタは、Ｒ，Ｇ，Ｂのベイヤ配列のカラーフィルタであることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記制御手段が現像処理に用いる信号は、前記ベイヤ配列のうちのＲ画素から生成された信号であることを特徴とする請求項７に記載の撮像装置。
【請求項９】
撮像光学系と、
それぞれが異なる波長の光成分を透過するカラーフィルタのいずれかにより覆われた複数の画素を有し、前記撮像光学系により結像した被写体像を電気信号に変換する撮像素子と、
前記撮像光学系の光路上に挿抜可能であって所定範囲の波長の光成分を遮断する赤外カットフィルタと、を有する撮像装置の制御方法であって、
前記赤外カットフィルタを前記撮像光学系の光路上から抜去するステップと、
前記撮像素子が有する複数の画素のうち、前記赤外カットフィルタにより遮断される所定範囲の波長を含む光成分を透過するカラーフィルタに覆われた画素から変換された信号を用いて画像を生成するステップと、
を有することを特徴とする撮像装置の制御方法。
【請求項１０】
請求項９に記載の各ステップをコンピュータによって実行させるためのコンピュータプログラム。
【請求項１１】
請求項１０に記載のプログラムを記載したコンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、その制御方法、およびプログラムに関し、特に撮影モードに応じて適切な撮像データを生成することができる撮像装置に関するものである。
【背景技術】
【０００２】
従来から、防犯手段の一つとしてネットワークカメラが利用されている。ネットワークカメラは、様々な環境下に設置され、視認性の高い映像を提供することが望まれている。しかし、ネットワークカメラの撮影環境において、遠景を撮影するときには大気の影響により、被写体のコントラストが低下し、視認性に欠けた画像となってしまう場合がある。
【０００３】
波長の短い青色の光は波長の長い赤色の光よりも散乱強度が強いことが知られている。換言すると、波長の長い赤色の光や赤外光は波長の短い青色の光よりも散乱しにくく、大気に対する透過性が高いことが知られている。
【０００４】
この特徴を用いて、特許文献１には、赤外光に対して感光するフィルムや、可視光の短波長成分を除去するフィルタを用いることで、遠景を鮮明に撮像する（遠景モード）撮像装置について記載されている。
【０００５】
また特許文献２においては、赤外線カットフィルタ（ＩＲＣＦ）などの光学フィルタを光路上から挿抜することにより撮影環境に適した撮影モードに切り替えを行い、フィルタの挿抜に伴うピント位置の補正を行う技術が開示されている。ＩＲＣＦを抜いて赤外光を取り込むことで低照度環境下でも明るい映像を撮像できるモード（ナイトモード）と、ＩＲＣＦを挿入して赤外光を取り込まないようにすることで人の知覚に近い色のカラー映像を撮像できるモード（デイモード）がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−５１５９２号公報
【特許文献２】特開２０１４−１２０９２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述の特許文献１では、遠景を鮮明に撮像すること（遠景モード）を実現するために、特殊なフィルタやフィルムを用いなければならない。また特許文献２に開示されているデイモード、ナイトモードを切り替える構成に、遠景モードを追加してそれぞれ独立に実現してしまうと追加のフィルタ駆動機構等を必要とし構造が複雑化してしまう。
【０００８】
そこで、本発明の目的は、簡易な構成でデイモード、ナイトモード、遠景モードを切り替えて撮像可能な撮像装置を提供することである。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明は、撮像光学系と、それぞれが異なる波長の光成分を透過するカラーフィルタのいずれかにより覆われた複数の画素を有し、前記撮像光学系により結像した被写体像を電気信号に変換する撮像素子と、所定範囲の波長の光成分を遮断する赤外カットフィルタと、前記赤外カットフィルタを前記撮像光学系の光路上に挿抜する挿抜手段と、前記電気信号から画像を生成する現像処理手段と、前記挿抜手段および前記現像処理手段を制御する制御手段と、を有し、前記制御手段は、前記赤外カットフィルタが前記撮像光学系の光路上から抜去された状態で、前記撮像素子が有する複数の画素のうち、前記赤外カットフィルタにより遮断される所定範囲の波長を含む光成分を透過するカラーフィルタに覆われた画素から変換された信号を用いて画像を生成することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、簡易な構成でデイモード、ナイトモード、遠景モードを切り替えて撮像することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１の実施形態に係る撮像装置の構成例を示す図
【図２】本発明の第１の実施形態に係る撮像装置の光学ユニットの構成例を示す図
【図３】本発明の第１の実施形態に係る撮影モードの切り替え処理を示すフローチャート
【図４】本発明の第１の実施形態に係る遠景モードと非遠景モードの撮像画像の例を示す模式図
【図５】本発明の第２の実施形態に係る表示画像サイズを変更する処理を示すフローチャート
【図６】本発明の第３の実施形態に係る撮像装置の構成例を示す図
【図７】本発明の第４の実施形態に係る撮像装置の構成例を示す図
【図８】従来の撮像装置に係る光学ユニットの構成例を示す図
【発明を実施するための形態】
【００１２】
従来の監視カメラ（ネットワークカメラ）において、デイモード、ナイトモード、遠景モードといった撮影モード（フィルタ）を切り替える構成について、図８を用いて説明する。各撮影モードの詳細を下記する。
・デイモード：十分照度下において可視光を取り込んで人の知覚に近い色のカラー映像を撮像できるモード
・ナイトモード：赤外光を取り込むことで低照度環境下でも明るい映像を撮像できるモード
・遠景モード：遠景を鮮明に撮像することを目的とした撮像モード（従来は、可視光をカットして赤外光を取り込むことで実現している）
【００１３】
図８はデイモード、ナイトモード、遠景モードの３モードを切り替え可能な従来の撮像装置に係る光学ユニットの構成例を示す図である。光学ユニット４０１は、レンズ群１０１１、ＩＲＣＦ（赤外カットフィルタ）１０１２、ガラス１０１３、赤外バンドパスフィルタ（ＩＲＢＰＦ）４０１５、撮像素子１０１４から構成される。光学ユニット４０１は、フィルタ駆動部１０４の指示に基づき、ＩＲＣＦ（赤外カットフィルタ）１０１２、ガラス１０１３、赤外バンドパスフィルタ（ＩＲＢＰＦ）４０１５のいずれかを光路上に挿入することで撮影モードを切り替える。ＩＲＢＰＦは所定範囲の赤外波長の赤外光成分のみ透過するフィルタである。
【００１４】
このような光学ユニット４０１を用いた従来の撮像装置は、デイモード時はＩＲＣＦ１０１２を、ナイトモード時はガラス１０１３を、遠景モード時はＩＲＢＰＦ４０１５を光路上に挿入する。そのため、ＩＲＣＦ（赤外カットフィルタ）、ガラス、赤外バンドパスフィルタ（ＩＲＢＰＦ）の３つのフィルタ、および、３つの状態に切り替える機構を設ける必要があり、構造が複雑になってしまう。また、機構が大型化することで監視カメラ（ネットワークカメラ）全体が大きくなってしまう可能性もある。
【００１５】
（第１の実施形態）
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。以下では、撮像装置として監視用カメラを用いる場合を例に説明するが、撮像装置の用途は監視に限定されない。
【００１６】
以下、図１を参照して、本発明の第１の実施形態に係る撮像装置について説明する。図１は、本発明の実施形態に係る撮像システムの構成例を示すブロック図である。図１に示す撮像システムは、画像を撮像および画像処理する装置として、監視カメラ１０００と、ＩＰネットワーク網を介して相互に通信可能な状態で接続されるクライアント装置２０００とから構成されている。監視カメラ１０００は、光学ユニット、現像処理部、画像処理部などを含む撮像部１００が被写体像から画像を生成して出力し、通信部１１３がネットワークを介してクライアント装置２０００へ配信する。
【００１７】
撮像部１００は、光学ユニット１０１、モード設定部１０２、照度取得部１０３、フィルタ駆動部１０４、現像処理部１０５、画角設定部１０６を有する。光学ユニット１０１は、フィルタ駆動部１０４からの指示に応じて、赤外光を含む光か、または、赤外光を含まない光を画像信号（ＲＡＷ画像）に変換し、現像処理部１０５に出力する。
【００１８】
図２を参照して、光学ユニット１０１をより詳細に説明する。図２は、本発明の第１の実施形態に係る撮像装置の光学ユニットの構成例を示す図である。
【００１９】
光学ユニット１０１は、レンズ群１０１１、ＩＲＣＦ（赤外カットフィルタ）１０１２、ガラス１０１３、撮像素子１０１４から構成される。ＩＲＣＦ（赤外カットフィルタ）１０１２およびガラス１０１３は、不図示の駆動機構を駆動させることで、撮像光学系の光路上に挿抜可能である。光学ユニット１０１は、フィルタ駆動部１０４の指示に基づき、駆動機構を駆動させてＩＲＣＦ１０１２か、または、ガラス１０１３を光路上に挿入する。
【００２０】
撮像光学系であるレンズ群１０１１は、フィルタ駆動部１０４からの指示に応じて、ＩＲＣＦ１０１２、または、ガラス１０１３を通過する光を撮像素子上に結像させる。
【００２１】
ＩＲＣＦ１０１２は可視光の波長領域の光を透過させ、赤外光の波長領域の光成分を遮断するフィルタである。可視光と比較して赤外光が透過しにくい特性をもつ。
【００２２】
ガラス１０１３は可視光も赤外光も透過する。ガラス１０１３はフィルタ切換えによるフィルタの厚みに応じたピント変動を抑えるために用いられる。ガラス１０１３を配置せずに、フィルタの厚みに応じたピント位置補正などの制御により、ピント変動を抑えるための処理を行うことも可能である。
【００２３】
撮像素子１０１４は、それぞれが異なる波長の光成分を透過するＲ，Ｇ，Ｂのベイヤ配列のカラーフィルタと、複数の画素から成る。撮像素子１０１４は、レンズ群１０１１を介して、ＩＲＣＦ１０１２、または、ガラス１０１３を通過して結像された被写体像（光）を電気信号に変換し画像信号を出力する。複数の画素はそれぞれ、Ｒ，Ｇ，Ｂのいずれかのカラーフィルタにより覆われており、被写体像（光）はＲ，Ｇ，Ｂごとに分離されて光電変換される。
【００２４】
ここで図１に戻り、モード設定部１０２は、デイモード、ナイトモード、あるいは、遠景モードの何れかのモードに設定され、モード設定情報をフィルタ駆動部１０４、現像処理部１０５、画角設定部１０６、画像処理部１０８に対して出力する。どのモードに設定するかは、例えば、撮影画像から撮影環境を判定して切り替えてもよいし、ユーザが選択可能な構成としてもよい。
【００２５】
照度取得部１０３は、撮影環境の照度を取得し、フィルタ駆動部１０４に出力する。照度の取得方法は、例えば、照度センサを用いて検出してもよいし、あるいは、撮像装置の露出情報と撮像画像の明るさ情報とから照度値を算出するようにしてもよい。
【００２６】
フィルタ駆動部１０４は、モード設定部１０２から取得したモード情報と、照度取得部１０３から取得した照度情報とに基づいてフィルタを駆動させるように、光学ユニット１０１に駆動指示を出力する。例えば、照度が所定値よりも小さい場合、ＩＲＣＦを光路上から抜去することで赤外光を取り込むことで、低照度下でも明るく撮影できるように制御する。そのとき、フィルタの厚みの変化によりピント位置が変わってしまうことを防ぐために、ガラス１０１３を光路上に挿入するように駆動指示を出力する構成としてもよい。一方、例えば、照度が所定値以上の場合には、ＩＲＣＦ１０１２を光路上に挿入して赤外光を除去してカラー撮影を行うように駆動指示を出力する。
【００２７】
現像処理部１０５は、入力されたＲＡＷ画像データに対して現像処理を行い、現像処理した画像データを画角変更部１０７に出力する。本実施形態においては、モード設定部１０２から取得したモード設定情報に応じた現像処理を行う。例えば、遠景モード時は撮像素子が備える赤色のカラーフィルタの位置に相当する画素（Ｒ画素）のデータのみ用いて現像処理を行う。一方、非遠景モード時、即ち、デイモード、または、ナイトモードである場合は全ての画素（ＲＧＢ画素）のデータを用いて現像処理を行う。なお、遠景モード時は出力する画像データの解像度（画素数）は、非遠景モード時の４分の１になる。
【００２８】
画角設定部１０６は、本発明の撮像装置が出力する画像を表示装置などに表示する際の表示画像サイズが設定されていて、画角変更部１０７に対してその設定されている表示画像サイズを出力する。画角設定部１０６に設定される表示画像サイズは、ユーザ操作により、又は、撮影モードに応じて、変更され得る。また、現像処理部１０５が出力した画像データの一部をトリミングして出力する場合、当該トリミング領域の位置を表す座標情報を出力する。さらに、モード設定部１０２から取得したモード設定情報に応じて、例えば、遠景モード時の座標情報は、非遠景モード時の座標情報の２分の１になるように補正する。なお、画像サイズは、例えば、画像データの水平方向の画素数、および、垂直方向の画素数で表される。
【００２９】
画角変更部１０７は、現像処理部１０５から取得した画像データの画像サイズを、画角設定部１０６から取得した表示画像サイズに変更し、画像サイズ変更後の画像データを画像処理部１０８に出力する。また、画角設定部１０６からトリミング領域の位置を表す座標情報を取得した場合、その領域に相当する画像データの画像サイズを画角設定部１０６から取得した表示画像サイズに変更して画像データを出力する。
【００３０】
画像処理部１０８は、画角変更部１０７から取得した画像に対して、例えばコントラスト強調処理などの画像処理を行う。本実施形態においては、モード設定部１０２から取得したモード情報に応じた画像処理を実行する。
【００３１】
制御部１０９は、撮像装置１０００の全体を制御し、撮像や画像処理、映像出力、などの制御を行う。ＣＰＵ１１０（コンピュータ）、メモリ（ＲＯＭ１１１、ＲＡＭ１１２）を有し、ＣＰＵ１１０はメモリ（ＲＯＭ１１１、ＲＡＭ１１２）からロードしたプログラムに従い、撮像装置１０００の各機能ブロックの制御およびそのために必要な演算を行う。例えば、撮像部１００内の撮像素子１０１４の露光時間（蓄積時間）制御、画像処理部１０８内の画像処理を制御する。また、光学ユニット１０１内のレンズ群１０１１のズーム動作やフォーカス動作や絞り等の制御、およびＩＲＣＦ１０１２およびガラス１０１３の挿抜を行う。
【００３２】
通信部１１３は、画像処理部１０８で処理を施された画像信号をクライアント装置２０００（情報処理装置）などの外部端末へ送信する。画像信号の出力先、映像の配信先はカメラに内蔵されているディスプレイや撮像装置とは別体の独立している外部のディスプレイでもよい。また、画像信号から複数の映像ストリームを生成し出力してもよい。また、通信部１１３は、外部ネットワークに接続された外部端末としてのクライアント装置２０００に、本システムの状態や処理結果などを出力し、または本システムの動作を制御するための制御情報などを入力するために用いられる。制御部１０９が、通信部１１３を介して入力された情報を取得し、その情報に基づいて各機能ブロックの制御を行う。
【００３３】
クライアント装置２０００は、監視カメラ１０００から配信された画像情報の映像を表示する。また、クライアント装置２０００は、ユーザからの操作を入力可能であり、ユーザ操作により、ネットワークを介して監視カメラ１０００の撮像方向の変更、焦点距離の変更、ＡＦ／ＭＦの切り替え、映像の切り出し、などの制御が可能である。本実施形態では、画像処理装置として監視カメラを用いるが、監視カメラ１０００で取得した画像信号をそのままクライアント装置２０００へ送信し、クライアント装置２０００側で画像処理を行う構成としてもよい。
【００３４】
本実施形態に係る撮像装置のモード切替の処理フローの一例について、図３、図４を用いて説明する。
【００３５】
図３は、本発明の第１の実施形態に係る撮影モードの切り替え処理を示すフローチャートである。図３のフローチャートは、ＣＰＵ１１０によって、各処理ブロックを制御し実行される処理手順を図示したものである。ＣＰＵ１１０が有するメモリ（ＲＯＭ１１１又はＲＡＭ１１２）に格納されているプログラムを展開し、ＣＰＵ１１０が実行することにより実現される。
【００３６】
まず、ステップＳ０１では、フィルタ駆動部１０４が、モード設定部１０２で遠景モードに設定されているか否かを判定する。遠景モードに設定されている場合はステップＳ０２へ進み、遠景モードに設定されていない場合にはステップＳ０４へ進む。
【００３７】
ステップＳ０１において遠景モードに設定されていると判定された場合に、ステップＳ０２へ進む。ステップＳ０２では、フィルタ駆動部１０４がＩＲＣＦ１０１２を光路上から抜き取り、ガラス１０１３を光路上に挿入するように光学ユニット１０１に指示する。
【００３８】
その後、ステップＳ０３へ進み、現像処理部１０５が赤色のカラーフィルタの位置に相当する画素（Ｒ画素）のみ用いて撮像画像データを生成する。すなわち、ステップＳ０１〜Ｓ０３で、撮影モードが遠景モードに設定されているときには、ＩＲＣＦ１０１２を光路上から抜去して赤外光を取り込んで撮像し、Ｒ画素のみを用いて現像処理を行う。
【００３９】
ステップＳ０１へ戻り、遠景モードに設定されていない場合には、ステップＳ０４へ進み、フィルタ駆動部１０４が、照度取得部１０３で取得した照度値が所定値以上であるか否かを判定する。照度値が所定未満の場合はステップＳ０２へ進み、フィルタ駆動部１０４がＩＲＣＦ１０１２を光路上から抜き取り、ガラス１０１３を光路上に挿入するように光学ユニット１０１に指示する。
【００４０】
その後、ステップＳ０６へ進み、現像処理部１０５はＲＧＢ画素を用いて撮像画像データを生成する。
【００４１】
ステップＳ０４へ戻り、照度値が所定値より小さいと判定された場合は、ステップＳ０５へ進む。ステップＳ０５では、フィルタ駆動部１０４がガラス１０１３を光路上から抜き取り、ＩＲＣＦ１０１２を光路上に挿入するように光学ユニット１０１に指示する。
【００４２】
その後、ステップＳ０６へ進み、現像処理部１０５が全ての色の画素（ＲＧＢ画素）を用いて撮像画像データを生成する。照度が所定以上の場合には、赤外光をカットして可視光を取り込み、ＲＧＢすべての画素を使って現像を行うことで、カラー画像を出力可能である。
【００４３】
ここで、図４は、本発明の第１の実施形態に係る遠景モードと非遠景モードの撮像画像の例を示す模式図である。非遠景モード（デイモードなど）において大気による光の散乱などの影響で遠景がぼやけてしまっている場合でも、遠景モードに切り替えると光の散乱の影響を抑制されて遠景が鮮明になる。
【００４４】
以上、本発明の第１の実施形態では、遠景モード時に赤外バンドパスフィルタ（ＩＲＢＰＦ）を使う代わりに、Ｒ画素のみ用いて撮像画像データを形成する。そのため、従来例（図８）のように赤外バンドパスフィルタ（ＩＲＢＰＦ）を設ける必要がない。２つのフィルタを切り替える機構によって３つのモードを実現できるため、３つのフィルタを切り替える機構に比べて簡単な構造で、３つの撮影モードを切り替える構成が実現可能である。
【００４５】
また、遠景モード時には、可視光を取り込んでＲ画素のみ用いて撮像画像データを形成する。波長の長い光は散乱しにくく大気中での透過性が高い。可視光を取り込んでいても、光散乱の影響が少ない波長の長い光（Ｒ画素）のみ用いて撮像画像データを形成することで、遠景をより鮮明に撮像することができる。
【００４６】
（第２の実施形態）
以下、図５を参照して第２の実施形態について詳細に説明する。図５は、本発明の第１の実施形態に係る表示画像サイズを変更する処理を示すフローチャートである。図５のフローチャートは、ＣＰＵ１１０によって、各処理ブロックを制御し実行される処理手順を図示したものである。ＣＰＵ１１０が有するメモリ（ＲＯＭ１１１又はＲＡＭ１１２）に格納されているプログラムを展開し、ＣＰＵ１１０が実行することにより実現される。
【００４７】
まず、ステップＳ１１では、画角設定部１０６が、撮像装置が撮像画像データの一部をトリミング（切り出し）して出力するように設定されているか否かを判定する。トリミングの設定がある場合はステップＳ１２へ進み、トリミングの設定がない場合にはこの後のステップの処理を行わず、ステップＳ１５へ進む。
【００４８】
次のステップＳ１２では、画角設定部１０６が、モード設定部１０２で撮影モードが遠景モードに設定されているか否かを判定する。遠景モードに設定されている場合は次のステップＳ１３へ進み、遠景モードに設定されていない場合にはステップＳ１３の処理を行わずステップＳ１４へ進む。
【００４９】
ステップＳ１３では、画角設定部１０６が、トリミング領域の座標情報を補正する。設定されている表示画像サイズに基づいて、生成した画像データの一部をトリミングして出力する場合、当該トリミング領域の位置を表す座標情報を出力する。ステップＳ１２で取得したモード設定情報に応じて、遠景モード時の座標情報は、遠景モードでない場合の座標情報の２分の１になるように補正する。これは、遠景モード時はＲ画素のみ、非遠景モード時はＲＧＢ画素を用いて画像を生成しているので、水平方向および垂直方向のサイズは、遠景モード時は非遠景モード時の２分の１になるためである。なお、画像サイズは、例えば、画像データの水平方向の画素数、および、垂直方向の画素数で表される。なお、遠景モード時は出力する画像データ全体の解像度（画素数）は、非遠景モード時の４分の１になる。
【００５０】
ステップＳ１４では、画角変更部１０７が、画角設定部１０６から取得した座標情報に相当する領域の画像データを切り出す、トリミング処理をする。画角変更部１０７は、現像処理部１０５から取得した画像データの画像サイズを所定の表示画像サイズに変更し、画像サイズ変更後の画像データを画像処理部１０８に出力する。ステップＳ１３で補正したトリミング領域の位置を表す座標情報を取得し、その座標情報に基づく領域に相当する画像データを抽出する。
【００５１】
その後、ステップＳ１５では、画角変更部１０７が、画角設定部１０６から取得した画像サイズ情報に応じて、画像を拡大、あるいは、縮小し、画像サイズを変更し、所定の表示画像サイズに変換して出力する。
【００５２】
本実施形態では、現像処理の後で、モード設定情報に応じて、画像サイズや画角、トリミング座標を変更する。監視カメラなどの場合、複数のカメラの画像を１つのモニタに表示するなど、カメラの撮像画素数よりも少ない画素数で表示するユースケースが多々存在する。また、ハイビジョン映像信号のフォーマットに合わせて、カメラの撮像素子の画素数よりも少ないＦｕｌｌＨＤ、４Ｋなどの画素数で出力するケースが存在する。この場合、画像を縮小する処理が必要になるが、画像を縮小してから、本発明のようにＲ画素のみ用いて撮像画像データを生成する処理を行うと、縮小する段階でＲ画素のオリジナルデータが失われるおそれがある。つまり、縮小やトリミング処理を行うならば、Ｒ画素以外の使用しない画素を優先的に間引く方が、Ｒ画素のみで撮像画像データを生成する場合に、Ｒ画素の情報を多く用いることができる。すなわち、Ｒ画素のみで撮像画像データを生成した後に、表示画像サイズに合わせて画像サイズを変更する処理を行った方が、画像情報の劣化を抑制することができる。
【００５３】
（第３の実施形態）
以下、図６を参照して、本発明の第３の実施形態に係る表示装置及びその制御方法について説明する。第１の実施形態において、遠景モード時にＲ画素のみ使用する例を説明したが、本実施形態においては、照度に応じてＧ、Ｂ画素も使用する例を説明する。
【００５４】
図６は、本発明の第３の実施形態に係る撮像装置の構成例を示す図である。なお、第１の実施形態（図１）と同じ機能部には同じ符号を付し、その説明は省略する。
【００５５】
照度取得部２０３は、撮影環境の照度を取得し、フィルタ駆動部１０４、および、現像処理部２０５に出力する。照度の取得方法は、例えば、照度センサを用いて検出してもよいし、あるいは、撮像装置の露出情報と撮像画像の明るさ情報とから照度値を算出するようにしてもよい。
【００５６】
現像処理部２０５は、入力されたＲＡＷ画像データに対して現像処理を行い、現像処理した画像データを画角変更部１０７に出力する。このとき、本実施形態においては、モード設定部１０２から取得したモード設定情報と、照度取得部２０３から取得した照度に応じて現像処理を行う。より具体的には、遠景モード時は照度値に応じて、現像処理に用いる画素の色を選択する。
【００５７】
照度値が所定値よりも大きい場合は第１の実施形態と同様にＲ画素のみ用いて撮像画像データを生成する。一方、照度値が所定値以下の場合はＲ画素以外の画素も用いて撮像画像データを生成する。例えば、遠景モード時であっても、照度値が所定値以下の場合は全ての画素（ＲＧＢ画素）のデータを用いて現像処理を行う。
【００５８】
一方、照度が小さい低照度環境の場合には、全ての画素（ＲＧＢ画素）のデータを用いて現像処理を行う。照度が小さい低照度環境の場合には、撮像装置に入力される光に含まれる可視光成分は少なく、Ｇ、Ｂ画素を透過する光についても赤外光成分が支配的である。赤外成分の光は長波長であるので、大気による散乱がしにくい。そのため、Ｇ、Ｂ画素の信号を用いて撮像画像データを生成しても、散乱のために画像がぼやけてしまう程度は小さく、鮮明な遠景の撮像データが得られる。ＲＧＢ画素の信号を用いて撮像データを生成することで、Ｒ画素のみを用いて画像データを生成する場合より、解像度、または、感度を向上することができる。
【００５９】
非遠景モード（デイモード、または、ナイトモード）の場合は、従来および第１の実施形態と同様に、全ての画素（ＲＧＢ画素）のデータを用いて現像処理を行う。
【００６０】
以上、第３の実施形態によれば、照度が小さい環境下においては、遠景モードにおいても全画素（ＲＧＢ画素）を用いて現像処理することで、第１の実施形態よりも、高解像度、あるいは、高感度な画質を維持しつつ、遠景を鮮明に撮像することが可能である。
【００６１】
（第４の実施形態）
以下、図７を参照して、本発明の第４の実施形態に係る表示装置及びその制御方法について説明する。本実施例では遠景モード時と非遠景モード時とで、レンズを駆動することで撮像画角を変える例を説明する。より具体的には、遠景モード時は非遠景モード時よりも光学ズームにより拡大する（画角としては小さくなる）例を説明する。
【００６２】
図７は、本発明の第４の実施形態に係る撮像装置の構成例を示す図である。なお、第１の実施形態と同様の機能部には同じ符号を付し、詳細な説明は省略する。
【００６３】
光学ユニット３０１は、レンズ群、ＩＲＣＦ（赤外カットフィルタ）、ガラス、撮像素子から構成される。光学ユニット３０１は、フィルタ駆動部１０４の指示に基づき、不図示の駆動機構を駆動させＩＲＣＦ（赤外カットフィルタ）か、または、ガラスを光路上に挿入する。また、後述するモード設定部３０２、画角設定部３０６から取得したモード設定情報および表示画像サイズ情報に基づき、レンズ群１０１１を駆動して、撮像する画角を変更する。
【００６４】
モード設定部３０２は、デイモード、ナイトモード、あるいは、遠景モードの何れかのモードに設定され、モード設定情報を光学ユニット３０１、フィルタ駆動部１０４、現像処理部１０５、画角設定部３０６、画像処理部１０８に対して出力する。どのモードに設定するかは、例えば、撮影画像から撮影環境を判定して切り替えてもよいし、ユーザが選択可能な構成としてもよい。
【００６５】
画角設定部３０６は、モード設定部３０２から取得したモード設定情報に基づき、設定された表示画像サイズ情報を補正し、補正後の表示画像サイズ情報を、光学ユニット３０１、画角変更部３０７に出力する。より具体的には、画角設定部３０６は、遠景モードに設定され、かつ、撮像画像をトリミングすることで表示画像の画素数が撮像素子の画素数よりも少なくなる場合に、光学ズームにより拡大するように、光学ユニット３０１に指示する。また、当該トリミング領域に相当する表示画像サイズ情報を、光学ズームによる拡大率の分だけ拡大するように補正する。ただし、光学ズームによる拡大率は４倍を超えない範囲とする。
【００６６】
第４の実施形態においては、遠景モード時、かつ、撮像画像をトリミングした画像を出力する場合には、トリミング領域が撮像画角内に収まる範囲内で、光学ズームにより拡大する（撮像画角を小さくする）。トリミング領域も同様に拡大する。光学ズームにより光学的に画角を制限する場合、電子的にトリミングする場合と比較して、同じ領域に対してより多くの画素を用いて画像データを生成することができる。
【００６７】
第１の実施形態に記載の撮像装置は遠景モード時にＲ画素のみ用いて撮像画像を生成するため、一般的なカラーフィルタの配列であるベイヤ配列であれば、遠景モード時の撮像画像は、非遠景モード時と比べて、解像度が４分の１に低下する。また、予め光学ズームで４倍に拡大しておけば被写体の解像度低下を防止できるが、画角が狭くなってしまう。
【００６８】
一方、本実施形態においては、遠景モード時に、撮像画像の一部をトリミングした画像を出力する場合に、電子的なトリミングに代えて、光学的にその領域が撮像画角内に収まる範囲内で拡大する。換言すると、撮影したい被写体領域が撮像画角よりも狭い場合、撮影したい被写体領域と撮像画角が近づくように、予め光学ズームによる拡大を行う。そのため、トリミング領域内の被写体を、解像度を落とすことなく撮像することができる。光学ズームで拡大することで、トリミング領域内の被写体が大きく撮像され、予め設定していたトリミング領域をはみ出してしまうことが考えられる。そのため、光学ズームの拡大率に応じてトリミング領域も拡大することで、光学ズーム前のトリミング領域内の被写体が光学ズーム後のトリミング領域内に含まれるように、光学ズーム後のトリミング領域を設定する。その結果、光学ズーム後のトリミング領域の解像度は増加し、その画像からＲ画素のみ用いて生成した撮像画像の解像度も増加する。トリミングした撮像範囲（画角）を出力する場合に、光学ズームを用いて撮像範囲（画角）を切り出すことで、Ｒ画素のみ用いて撮像画像を生成することによる解像度の低下を抑制することができる。
【００６９】
以上、本実施形態によれば、遠景モード時、かつ、撮像画像をトリミングした画像を出力する場合に、トリミング領域を光学ズームにより拡大してから、Ｒ画素のみ抽出して撮像画像データを生成する。そのため、トリミング領域において、Ｒ画素のみ抽出したことに起因する解像度低下を防止できる。
【００７０】
なお、トリミング領域設定時は自動的に非遠景モードに設定されるように制御してもよい。前述のとおり、本実施例では、遠景モード時に光学ズームを行うため撮像画角が狭くなる。トリミング領域の設定作業は通常、俯瞰的視点の撮影画像から行われるため、トリミング領域設定時は広角撮影する方が利便性は高い。従って、トリミング領域設定時は自動的に非遠景モードに設定されるように制御することで、利便性を損なうことなく、遠景モード時の解像度低下を防止できる。
【００７１】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。上記実施形態に限定されるものではなく、対象となる回路形態により適時変更されて適応するべきものである。例えば、上述した実施形態で、撮像装置として説明したカメラは、デジタルスチルカメラやデジタルビデオカメラに適用することができる。
【００７２】
また、本発明は、例えばシステム、装置、方法、コンピュータプログラムもしくは記録媒体などとしての実施形態も可能であり、具体的には、１つの装置で実現しても、複数の装置からなるシステムに適用してもよい。本実施形態に係る撮像装置を構成する各手段および撮像装置の制御方法の各ステップは、コンピュータのメモリなどに記憶されたプログラムが動作することによっても実現できる。このコンピュータプログラムおよびこのプログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
【００７３】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７４】
１０１  光学ユニット
１０２  モード設定部
１０３  照度取得部
１０４  フィルタ駆動部
１０５  現像処理部
１０６  画角設定部
１０７  画角変更部
１０８  画像処理部
【図１】
2019102894.tif 000003
【図２】
2019102894.tif 000004
【図３】
2019102894.tif 000005
【図４】
2019102894.tif 000006
【図５】
2019102894.tif 000007
【図６】
2019102894.tif 000008
【図７】
2019102894.tif 000009
【図８】
2019102894.tif 000010