(57)【要約】【課題】ユーザが煩雑な操作を行うことなく、暗部や高輝度部が正確に描写されている画像を保存することができるようにする。【解決手段】動き検出部１０により被写体の動きが検出されない場合、第１のメモリ４に保存されている長時間露光の画像を示す画像信号及び第２のメモリ５に保存されている短時間露光の画像を示す画像信号を画像合成部８に転送し、動き検出部１０により被写体の動きが検出された場合、第１のメモリ４に保存されている長時間露光の画像を示す画像信号及び第２のメモリ５に保存されている短時間露光の画像を示す画像信号を外部記憶装置７に転送する切り換え部６を設ける。【選択図】図１
2012084983.tif 000002
【特許請求の範囲】
【請求項１】
長時間露光の画像及び短時間露光の画像を撮影する画像撮影手段と、上記画像撮影手段により撮影された長時間露光の画像を保存する第１のメモリと、上記画像撮影手段により撮影された短時間露光の画像を保存する第２のメモリと、上記第１のメモリに保存されている長時間露光の画像と上記第２のメモリに保存されている短時間露光の画像とを合成することで、ダイナミックレンジを拡大する画像合成手段と、上記画像合成手段による合成後の画像を示す映像信号を外部に出力する映像信号出力手段とを備えた撮像装置において、
上記画像合成手段による合成後の画像を解析して被写体の動きを検出する動き検出手段と、
上記動き検出手段により被写体の動きが検出されない場合、上記第１及び第２のメモリに保存されている画像を上記画像合成手段に転送し、上記動き検出手段により被写体の動きが検出された場合、上記第１及び第２のメモリに保存されている画像を外部記憶装置に転送する画像転送手段とを設けたことを特徴とする撮像装置。
【請求項２】
長時間露光の画像及び短時間露光の画像を撮影する画像撮影手段と、上記画像撮影手段により撮影された長時間露光の画像を保存する第１のメモリと、上記画像撮影手段により撮影された短時間露光の画像を保存する第２のメモリと、上記第１のメモリに保存されている長時間露光の画像と上記第２のメモリに保存されている短時間露光の画像とを合成することで、ダイナミックレンジを拡大する画像合成手段と、上記画像合成手段による合成後の画像を示す映像信号を外部に出力する映像信号出力手段とを備えた撮像装置において、
上記画像合成手段による合成後の画像を解析して被写体の動きを検出する動き検出手段と、
上記動き検出手段により被写体の動きが検出されない場合、上記第１及び第２のメモリに保存されている画像を上記画像合成手段に転送し、上記動き検出手段により被写体の動きが検出された場合、上記第１及び第２のメモリに保存されている画像を上記画像合成手段及び外部記憶装置に転送する画像転送手段とを設け、
上記画像合成手段が長時間露光の画像と短時間露光の画像とを合成する際の合成比率が、上記動き検出手段により被写体の動きが検出された場合と動きが検出されない場合とで異なることを特徴とする撮像装置。
【請求項３】
画像合成手段は、動き検出手段により被写体の動きが検出された場合、映像信号出力手段から長時間露光の画像を示す映像信号と、短時間露光の画像を示す映像信号とが順番に所定時間外部に出力されるように、長時間露光の画像に対する合成比率と短時間露光の画像に対する合成比率を順番に所定時間零値にすることを特徴とする請求項２記載の撮像装置。
【請求項４】
画像撮影手段が長時間露光の画像及び短時間露光の画像を撮影する画像撮影処理ステップと、画像合成手段が上記画像撮影処理ステップで撮影された長時間露光の画像と短時間露光の画像とを合成することで、ダイナミックレンジを拡大する画像合成処理ステップと、映像信号出力手段が上記画像合成処理ステップで合成された画像を示す映像信号を外部に出力する映像信号出力処理ステップとを備えた画像撮像方法において、
動き検出手段が上記画像合成処理ステップで合成された画像を解析して被写体の動きを検出する動き検出処理ステップと、
画像転送手段が上記動き検出処理ステップで被写体の動きが検出されない場合、上記画像撮影処理ステップで撮影された長時間露光の画像と短時間露光の画像を上記画像合成手段に転送し、上記動き検出処理ステップで被写体の動きが検出された場合、上記画像撮影処理ステップで撮影された長時間露光の画像と短時間露光の画像を外部記憶装置に転送する画像転送処理ステップとを設けたことを特徴とする画像撮像方法。
【請求項５】
画像撮影手段が長時間露光の画像及び短時間露光の画像を撮影する画像撮影処理ステップと、画像合成手段が上記画像撮影処理ステップで撮影された長時間露光の画像と短時間露光の画像とを合成することで、ダイナミックレンジを拡大する画像合成処理ステップと、映像信号出力手段が上記画像合成処理ステップで合成された画像を示す映像信号を外部に出力する映像信号出力処理ステップとを備えた画像撮像方法において、
動き検出手段が上記画像合成処理ステップで合成された画像を解析して被写体の動きを検出する動き検出処理ステップと、
画像転送手段が上記動き検出処理ステップで被写体の動きが検出されない場合、上記画像撮影処理ステップで撮影された長時間露光の画像と短時間露光の画像を上記画像合成手段に転送し、上記動き検出処理ステップで被写体の動きが検出された場合、上記画像撮影処理ステップで撮影された長時間露光の画像と短時間露光の画像を上記画像合成手段及び外部記憶装置に転送する画像転送処理ステップとを設け、
上記画像合成処理ステップが長時間露光の画像と短時間露光の画像とを合成する際の合成比率が、上記動き検出処理ステップで被写体の動きが検出された場合と動きが検出されない場合とで異なることを特徴とする画像撮像方法。
【請求項６】
画像合成処理ステップは、動き検出処理ステップで被写体の動きが検出された場合、映像信号出力手段から長時間露光の画像を示す映像信号と、短時間露光の画像を示す映像信号とが順番に所定時間外部に出力されるように、長時間露光の画像に対する合成比率と短時間露光の画像に対する合成比率を順番に所定時間零値にすることを特徴とする請求項５記載の画像撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、長時間露光の画像と短時間露光の画像とを合成することで、ダイナミックレンジを拡大する機能を備えている撮像装置及び画像撮像方法に関するものである。
【背景技術】
【０００２】
近年、長時間露光の画像と短時間露光の画像を撮影し、両画像を合成することで、ダイナミックレンジを拡大する機能を備えている撮像装置が開発されている。
ただし、長時間露光の画像と短時間露光の画像との合成画像であるワイドダイナミックレンジ合成画像は、画像全体としてはダイナミックレンジが拡大しているが、画像出力段のビット数が決まっているため、画像の合成時に階調の圧縮処理を行う必要がある。
そのため、細部の描写（例えば、中間階調など）が不自然になるケースがある。
また、撮像条件によっては、通常の輝度制御で撮影した画像の方が、露光状態が良好に撮影されるケースもある。
【０００３】
上記の問題を解決している撮像装置が、以下の特許文献１に開示されている。
この撮像装置では、通常の輝度制御による撮影画像データと、ワイドダイナミックレンジ撮影によるワイドダイナミックレンジ撮影画像データとを生成して、それらの撮影画像データが示す画像とヒストグラムを表示するようにしている。
そして、この撮像装置では、画像とヒストグラムを見たユーザが、保存対象の撮影画像データとして、通常の輝度制御による撮影画像データ又はワイドダイナミックレンジ撮影画像データを選択するためのユーザインタフェースを備えるようにしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−６０６７６号公報（段落番号［０００７］、図２）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の撮像装置は以上のように構成されているので、ユーザが画像とヒストグラムを確認して、保存対象の撮影画像データとして、通常の輝度制御による撮影画像データ又はワイドダイナミックレンジ撮影画像データを選択する必要がある。このため、ユーザの操作が煩雑になる課題があった。
また、保存対象の撮影画像データが、通常の輝度制御による撮影画像データ又はワイドダイナミックレンジ撮影画像データのいずれか一方であるため、暗部や高輝度部が正確に描写されている画像（黒つぶれや白飛びが少ない画像）を保存することができないことがある課題があった。
【０００６】
この発明は上記のような課題を解決するためになされたもので、ユーザが煩雑な操作を行うことなく、暗部や高輝度部が正確に描写されている画像を保存することができる撮像装置及び画像撮像方法を得ることを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る撮像装置は、画像合成手段による合成後の画像を解析して被写体の動きを検出する動き検出手段と、その動き検出手段により被写体の動きが検出されない場合、第１のメモリに保存されている長時間露光の画像及び第２のメモリに保存されている短時間露光の画像を画像合成手段に転送し、その動き検出手段により被写体の動きが検出された場合、第１のメモリに保存されている長時間露光の画像及び第２のメモリに保存されている短時間露光の画像を外部記憶装置に転送する画像転送手段とを設けるようにしたものである。
【発明の効果】
【０００８】
この発明によれば、画像合成手段による合成後の画像を解析して被写体の動きを検出する動き検出手段と、その動き検出手段により被写体の動きが検出されない場合、第１のメモリに保存されている長時間露光の画像及び第２のメモリに保存されている短時間露光の画像を画像合成手段に転送し、その動き検出手段により被写体の動きが検出された場合、第１のメモリに保存されている長時間露光の画像及び第２のメモリに保存されている短時間露光の画像を外部記憶装置に転送する画像転送手段とを設けるように構成したので、ユーザが煩雑な操作を行うことなく、暗部や高輝度部が正確に描写されている画像を保存することができる効果がある。
【図面の簡単な説明】
【０００９】
【図１】この発明の実施の形態１による撮像装置を示す構成図である。
【図２】この発明の実施の形態１による撮像装置がワイドダイナミックレンジモードで露光動作を実施して、長時間露光の画像と短時間露光の画像を撮影する際の処理内容を示すフローチャートである。
【図３】ルックアップテーブルの一例を示す説明図である。
【図４】この発明の実施の形態２による撮像装置を示す構成図である。
【図５】この発明の実施の形態２による撮像装置がワイドダイナミックレンジモードで露光動作を実施して、長時間露光の画像と短時間露光の画像を撮影する際の処理内容を示すフローチャートである。
【図６】動き無し用のルックアップテーブルの一例を示す説明図である。
【図７】動き有り用のルックアップテーブルの一例を示す説明図である。
【発明を実施するための形態】
【００１０】
実施の形態１．
図１はこの発明の実施の形態１による撮像装置を示す構成図である。
図１において、レンズ１は撮像部２の前段に設けられており、入射光を撮像部２に結像する。
撮像部２はレンズ１により結像された入射光を光電変換する固体撮像素子（例えば、ＣＣＤやＣＭＯＳセンサなど）から構成されており、マイクロプロセッサ１１の指示の下、通常露光モード又はワイドダイナミックレンジモードで露光動作を行う。
因みに、通常露光モードは、マイクロプロセッサ１１から指示される被写体輝度に対応する所定の露光時間で１フィールド毎に露光を行うモードである。
一方、ワイドダイナミックレンジモードは、マイクロプロセッサ１１から指示される長時間の露光と短時間の露光を１フィールド毎に交互に繰り返すモードである。
【００１１】
カメラ信号処理部３は撮像部２から出力された画像信号（例えば、長時間露光の画像を示す画像信号、短時間露光の画像を示す画像信号）に対する各種の信号処理を実施する処理部である。
即ち、カメラ信号処理部３はＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ）、アンプ、Ａ／Ｄ変換器、デジタル信号処理部及び検波処理部などから構成されており、カメラ信号処理部３のＣＤＳは撮像部２から出力された画像信号に重畳されているノイズを除去する処理を実施する。
また、カメラ信号処理部３のアンプはＣＤＳの出力信号を増幅する処理を実施し、Ａ／Ｄ変換器はアンプによる増幅後の信号をアナログ信号からデジタル信号に変換する処理を実施する。
また、カメラ信号処理部３のデジタル信号処理部はＡ／Ｄ変換器から出力されたデジタル信号に対して、センサの欠陥や光学系のばらつきに伴う誤差を補正する処理を実施し、検波処理部は画像の輝度情報を生成する検波処理を実施する。
なお、レンズ１、撮像部２及びカメラ信号処理部３から画像撮影手段が構成されている。
【００１２】
第１のメモリ４はカメラ信号処理部３による処理後の画像信号のうち、長時間露光の画像を示す画像信号を保存する記録媒体である。
第２のメモリ５はカメラ信号処理部３による処理後の画像信号のうち、短時間露光の画像を示す画像信号を保存する記録媒体である。
【００１３】
切り換え部６は例えば画像データの転送経路を切り換える切換スイッチなどから構成されており、マイクロプロセッサ１１から画像信号の転送先が画像合成部８である旨の指示を受けると、第１及び第２のメモリ４，５に保存されている画像信号を画像合成部８に転送し、マイクロプロセッサ１１から画像信号の転送先が外部記憶装置７である旨の指示を受けると、第１及び第２のメモリ４，５に保存されている画像信号を外部記憶装置７に転送する処理を実施する。なお、切り換え部６は画像転送手段を構成している。
【００１４】
外部記憶装置７は例えばＳＤメモリカードなどの挿抜可能な外部記録媒体であり、切り換え部６により転送された長時間露光の画像を示す画像信号と短時間露光の画像を示す画像信号とを記録する。
画像合成部８は切り換え部６により転送された長時間露光の画像を示す画像信号と短時間露光の画像を示す画像信号とを合成することで、ダイナミックレンジを拡大する処理を実施する。なお、画像合成部８は画像合成手段を構成している。
【００１５】
画像信号処理部９は画像合成部８による合成後の画像に対して、画質を改善するための各種の画像処理（例えば、ガンマ補正、色補正、解像感の補正など）を実施する。
動き検出部１０は画像信号処理部９による画像処理後の画像を解析して被写体の動きを検出する処理を実施する。なお、動き検出部１０は動き検出手段を構成している。
【００１６】
マイクロプロセッサ１１はカメラの各種制御を司る制御部であり、外部からＩ／Ｆ部（図示しない）を介してコマンドを入力し、そのコマンドの内容を判別してカメラ内の各ブロックを制御する（カメラの動作を決定する）。
例えば、マイクロプロセッサ１１は、ワイドダイナミックレンジモードを選択する旨を示すコマンドを入力すると、動き検出部１０により被写体の動きが検出されなければ、画像信号の転送先が画像合成部８である旨を切り換え部６に指示し、動き検出部１０により被写体の動きが検出されれば、画像信号の転送先が外部記憶装置７である旨を切り換え部６に指示する処理を実施する。
なお、マイクロプロセッサ１１は画像転送手段を構成している。
【００１７】
第３のメモリ１２は画像信号処理部９による画像処理後の画像を示す画像信号を１フィールド分保存する記録媒体である。
映像信号出力部１３は第３のメモリ１２に保存されている画像信号を映像信号として、適切な表示レートで外部に出力する処理を実施する。なお、映像信号出力部１３は映像信号出力手段を構成している。
【００１８】
図１の例では、撮像装置の構成要素である撮像部２、カメラ信号処理部３、切り換え部６、画像合成部８、画像信号処理部９、動き検出部１０、マイクロプロセッサ１１及び映像信号出力部１３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路やワンチップマイコン、あるいは、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）など）で構成されているものを想定しているが、撮像装置の一部がコンピュータで構成される場合、撮像部２、カメラ信号処理部３、切り換え部６、画像合成部８、画像信号処理部９、動き検出部１０、マイクロプロセッサ１１及び映像信号出力部１３の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図２はこの発明の実施の形態１による撮像装置がワイドダイナミックレンジモードで露光動作を実施して、長時間露光の画像と短時間露光の画像を撮影する際の処理内容を示すフローチャートである。
【００１９】
次に動作について説明する。
この実施の形態１では、マイクロプロセッサ１１の指示の下、ワイドダイナミックレンジモードで露光動作を行う際の処理内容を説明する。
【００２０】
マイクロプロセッサ１１は、外部からＩ／Ｆ部（図示しない）を介して、ワイドダイナミックレンジモードを選択する旨を示すコマンドを入力すると、例えば、カメラ信号処理部３に実装されている検波処理部から画像の輝度情報を収集し、その輝度情報を参照して、長時間露光時のシャッタスピードと短時間露光時のシャッタスピードを決定する（ステップＳＴ１）。
ここでは、画像の輝度情報を参照して、長時間露光時のシャッタスピードと短時間露光時のシャッタスピードを決定するものについて示したが、例えば、初期動作時等には、予め設定されている既定のスピードをシャッタスピードに決定するようにしてもよい。
【００２１】
撮像部２は、マイクロプロセッサ１１が長時間露光時のシャッタスピードと短時間露光時のシャッタスピードを決定すると、長短時間露光時のシャッタスピードで露光動作を行うことで長時間露光の画像（１フィールド分の画像）を撮影する。
カメラ信号処理部３は、撮像部２が長時間露光の画像を撮影すると、その画像を示す画像信号に対する各種の信号処理（例えば、ノイズを除去する処理、信号増幅処理、Ａ／Ｄ変換処理、センサの欠陥や光学系のばらつきに伴う誤差を補正する処理、画像の輝度情報を生成する処理など）を実施し、その信号処理後の画像信号を第１のメモリ４に保存する（ステップＳＴ２）。
【００２２】
撮像部２は、長時間露光の画像の撮影を終えると、マイクロプロセッサ１１により決定された短時間露光時のシャッタスピードで露光動作を行うことで短時間露光の画像（１フィールド分の画像）を撮影する。
カメラ信号処理部３は、撮像部２が短時間露光の画像を撮影すると、その画像を示す画像信号に対する各種の信号処理を実施（長時間露光の画像信号に対する信号処理と同様の処理を実施）し、その信号処理後の画像信号を第２のメモリ５に保存する（ステップＳＴ３）。
【００２３】
切り換え部６は、マイクロプロセッサ１１から画像信号の転送先が画像合成部８である旨の指示を受けると、第１及び第２のメモリ４，５に保存されている画像信号を画像合成部８に転送し、マイクロプロセッサ１１から画像信号の転送先が外部記憶装置７である旨の指示を受けると、第１及び第２のメモリ４，５に保存されている画像信号を外部記憶装置７に転送する。
ただし、この段階では、説明の便宜上、後述する動き検出部１０が被写体の動きを検出しておらず（動き検出フラグ＝０）、マイクロプロセッサ１１から画像信号の転送先が画像合成部８である旨の指示を受けているものとする（ステップＳＴ４，ＳＴ５）。
したがって、切り換え部６は、第１及び第２のメモリ４，５に保存されている画像信号を画像合成部８に転送する（ステップＳＴ６）。
【００２４】
画像合成部８は、切り換え部６から長時間露光の画像を示す画像信号と短時間露光の画像を示す画像信号とを受けると、例えば、図３に示すようなルックアップテーブル（ＬＵＴ：Ｌｏｏｋ  Ｕｐ  Ｔａｂｌｅ）を参照して、長時間露光の画像と短時間露光の画像との合成比率を決定する。
例えば、ＬＵＴには、図３（Ａ）に示すように、長時間露光の画像の輝度Ｌ１と短時間露光の画像の輝度Ｌ２との加算結果に対応する長時間露光画像用の合成比率Ａ（０．０〜１．０）が記録されている形態が考えられる。
このような場合には、画像合成部８が長時間露光の画像の輝度Ｌ１と、短時間露光の画像の輝度Ｌ２とを特定して（例えば、カメラ信号処理部３に実装されている検波処理部から画像の輝度情報を収集することで、輝度Ｌ１，Ｌ２を特定する）、輝度Ｌ１と輝度Ｌ２を加算し、図３（Ａ）のＬＵＴから加算結果（Ｌ１＋Ｌ２）に対応する長時間露光画像用の合成比率Ａ（０．０〜１．０）を取得する。
短時間露光画像用の合成比率Ｂ（０．０〜１．０）は、下記に示すように、長時間露光画像用の合成比率Ａから算出することができるが、図３（Ｂ）に示すようなＬＵＴを内蔵するようにしてもよい。
合成比率Ｂ＝１−合成比率Ａ
【００２５】
画像合成部８は、長時間露光画像用の合成比率Ａと、短時間露光画像用の合成比率Ｂとを決定すると、長時間露光の画像を示す画像信号に対して合成比率Ａを乗算するとともに、短時間露光の画像を示す画像信号に対して合成比率Ｂを乗算し、双方の乗算結果を足し合わせることで、長時間露光の画像と短時間露光の画像との合成を行う（ステップＳＴ７）。
これにより、長時間露光の画像と短時間露光の画像との合成画像であるワイドダイナミックレンジ合成画像は、画像全体としてダイナミックレンジが拡大される。
ただし、画像出力段のビット数が決まっているため、画像合成部８において、画像の合成時に階調の圧縮処理が行われる。
【００２６】
画像信号処理部９は、画像合成部８が画像の合成処理を行うと、合成後の画像に対して、画質を改善するための各種の画像処理（例えば、ガンマ補正、色補正、解像感の補正など）を実施する（ステップＳＴ８）。
動き検出部１０は、画像信号処理部９が各種の画像処理を実施すると、画像処理後の画像を示す画像信号を解析して、被写体の動きを検出する処理を実施する（ステップＳＴ９）。
例えば、画像信号処理部９から前回出力された画像信号と、画像信号処理部９から今回出力された画像信号との差分を求め、その差分が所定の閾値より大きければ、被写体の動きがある旨を示す動き検出フラグ＝１をマイクロプロセッサ１１に出力する。
一方、その差分が所定の閾値以下であれば、被写体の動きがない旨を示す動き検出フラグ＝０をマイクロプロセッサ１１に出力する。
動き検出部１０は、被写体の動き検出処理が終了すると、画像信号処理部９から今回出力された画像信号を第３のメモリ１２に保存する（ステップＳＴ１０）。
【００２７】
映像信号出力部１３は、第３のメモリ１２に保存されている画像信号を映像信号として、適切な表示レートで外部に出力する（ステップＳＴ１１）。
これにより、外部の表示装置等では、撮像装置の映像信号出力部１３から出力された映像信号にしたがって合成画像を表示する。
この撮像装置では、動き検出部１０により被写体の動きが検出されない限り、ステップＳＴ１〜ＳＴ１１の処理が繰り返されるため、ワイドダイナミック化された映像が動画として再生される。
【００２８】
マイクロプロセッサ１１は、動き検出部１０により被写体の動きが検出されて、動き検出部１０から、被写体の動きがある旨を示す動き検出フラグ＝１を受けると（ステップＳＴ４）、画像信号の転送先が外部記憶装置７である旨を切り換え部６に指示する（ステップＳＴ１２）。
切り換え部６は、マイクロプロセッサ１１から画像信号の転送先が外部記憶装置７である旨の指示を受けると、第１及び第２のメモリ４，５に保存されている画像信号を外部記憶装置７に転送する（ステップＳＴ１３）。
【００２９】
外部記憶装置７は、例えばＳＤメモリカードなどの挿抜可能な外部記録媒体であり、切り換え部６により転送された長時間露光の画像を示す画像信号と短時間露光の画像を示す画像信号とを記録する（ステップＳＴ１４）。
これにより、被写体が動いている状況化（撮像装置が、例えば、監視カメラとして利用されているような場合、被写体が動いている状況は監視する上で極めて重要な状況である）では、画像合成部８による圧縮処理の影響を受けておらず、白飛びや黒つぶれが少ない画像を示す画像信号、即ち、長時間露光の画像を示す画像信号と、短時間露光の画像を示す画像信号とを外部記憶装置７に保存することができる。
したがって、外部記憶装置７に保存されている画像信号を後日解析すれば、被写体の存在等を正確に確認することができる。
【００３０】
マイクロプロセッサ１１は、外部記憶装置７に対する切り換え部６の画像信号の転送処理が完了すると、あるいは、画像信号の転送先が外部記憶装置７である旨を切り換え部６に指示してから所定時間が経過すると、動き検出フラグを“０”に戻す指示を動き検出部１０に出力する（ステップＳＴ１５）。
映像信号出力部１３は、第３のメモリ１２に保存されている画像信号を映像信号として、適切な表示レートで外部に出力する（ステップＳＴ１６）。
ただし、第３のメモリ１２に保存されている画像信号は、動き検出部１０により被写体の動きが検出される前の画像信号（動き検出部１０により被写体の動きが検出されると、画像信号が画像合成部８に転送されず、第３のメモリ１２に保存されている画像信号が更新されない為）であり、映像信号出力部１３から前回と同じ映像信号が外部に出力される。
【００３１】
以上で明らかなように、この実施の形態１によれば、画像合成部８による合成後の画像を示す画像信号を解析して被写体の動きを検出する動き検出部１０と、その動き検出部１０により被写体の動きが検出されない場合、第１のメモリ４に保存されている長時間露光の画像を示す画像信号及び第２のメモリ５に保存されている短時間露光の画像を示す画像信号を画像合成部８に転送し、その動き検出部１０により被写体の動きが検出された場合、第１のメモリ４に保存されている長時間露光の画像を示す画像信号及び第２のメモリ５に保存されている短時間露光の画像を示す画像信号を外部記憶装置７に転送する切り換え部６とを設けるように構成したので、ユーザが煩雑な操作を行うことなく、暗部や高輝度部が正確に描写されている画像を示す画像信号を外部記憶装置７に保存することができる効果を奏する。
【００３２】
実施の形態２．
図４はこの発明の実施の形態２による撮像装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
切り換え部２１は例えば画像データの転送経路を切り換える切換スイッチなどから構成されており、マイクロプロセッサ２３から画像信号の転送先が画像合成部２２である旨の指示を受けると、第１及び第２のメモリ４，５に保存されている画像信号を画像合成部２２に転送し、マイクロプロセッサ２３から画像信号の転送先が画像合成部２２及び外部記憶装置７である旨の指示を受けると、第１及び第２のメモリ４，５に保存されている画像信号を画像合成部２２及び外部記憶装置７に転送する処理を実施する。なお、切り換え部２１は画像転送手段を構成している。
【００３３】
画像合成部２２は動き無し用のＬＵＴ２２ａと動き有り用のＬＵＴ２２ｂを内蔵しており、動き検出部１０により被写体の動きが検出されない場合、動き無し用のＬＵＴ２２ａを参照して画像の合成比率を決定し、その合成比率を用いて、切り換え部２１により転送された長時間露光の画像を示す画像信号と短時間露光の画像を示す画像信号とを合成することで、ダイナミックレンジを拡大する処理を実施する。
一方、動き検出部１０により被写体の動きが検出された場合、動き有り用のＬＵＴ２２ｂを参照して画像の合成比率を決定し、その合成比率を用いて、切り換え部２１により転送された長時間露光の画像を示す画像信号と短時間露光の画像を示す画像信号とを合成することで、ダイナミックレンジを拡大する処理を実施する。
なお、画像合成部２２は画像合成手段を構成している。
【００３４】
マイクロプロセッサ２３はカメラの各種制御を司る制御部であり、外部からＩ／Ｆ部（図示しない）を介してコマンドを入力し、そのコマンドの内容を判別してカメラ内の各ブロックを制御する（カメラの動作を決定する）。
例えば、マイクロプロセッサ２３は、ワイドダイナミックレンジモードを選択する旨を示すコマンドを入力すると、動き検出部１０により被写体の動きが検出されなければ、画像信号の転送先が画像合成部２２である旨を切り換え部２１に指示し、動き検出部１０により被写体の動きが検出されれば、画像信号の転送先が画像合成部２２及び外部記憶装置７である旨を切り換え部２１に指示する処理を実施する。
なお、マイクロプロセッサ２３は画像転送手段を構成している。
【００３５】
図４の例では、撮像装置の構成要素である撮像部２、カメラ信号処理部３、切り換え部２１、画像合成部２２、画像信号処理部９、動き検出部１０、マイクロプロセッサ２３及び映像信号出力部１３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路やワンチップマイコン、あるいは、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）など）で構成されているものを想定しているが、撮像装置の一部がコンピュータで構成される場合、撮像部２、カメラ信号処理部３、切り換え部２１、画像合成部２２、画像信号処理部９、動き検出部１０、マイクロプロセッサ２３及び映像信号出力部１３の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図５はこの発明の実施の形態２による撮像装置がワイドダイナミックレンジモードで露光動作を実施して、長時間露光の画像と短時間露光の画像を撮影する際の処理内容を示すフローチャートである。
【００３６】
次に動作について説明する。
この実施の形態２では、マイクロプロセッサ２３の指示の下、ワイドダイナミックレンジモードで露光動作を行う際の処理内容を説明する。
【００３７】
マイクロプロセッサ２３は、外部からＩ／Ｆ部（図示しない）を介して、ワイドダイナミックレンジモードを選択する旨を示すコマンドを入力すると、図１のマイクロプロセッサ１１と同様に、例えば、カメラ信号処理部３に実装されている検波処理部から画像の輝度情報を収集し、その輝度情報を参照して、長時間露光時のシャッタスピードと短時間露光時のシャッタスピードを決定する（ステップＳＴ２１）。
ここでは、画像の輝度情報を参照して、長時間露光時のシャッタスピードと短時間露光時のシャッタスピードを決定するものについて示したが、例えば、初期動作時等には、予め設定されている既定のスピードをシャッタスピードに決定するようにしてもよい。
【００３８】
撮像部２は、マイクロプロセッサ２３が長時間露光時のシャッタスピードと短時間露光時のシャッタスピードを決定すると、上記実施の形態１と同様に、長短時間露光時のシャッタスピードで露光動作を行うことで長時間露光の画像（１フィールド分の画像）を撮影する。
カメラ信号処理部３は、撮像部２が長時間露光の画像を撮影すると、上記実施の形態１と同様に、その画像を示す画像信号に対する各種の信号処理（例えば、ノイズを除去する処理、信号増幅処理、Ａ／Ｄ変換処理、センサの欠陥や光学系のばらつきに伴う誤差を補正する処理、画像の輝度情報を生成する処理など）を実施し、その信号処理後の画像信号を第１のメモリ４に保存する（ステップＳＴ２２）。
【００３９】
撮像部２は、長時間露光の画像の撮影を終えると、マイクロプロセッサ２３により決定された短時間露光時のシャッタスピードで露光動作を行うことで短時間露光の画像（１フィールド分の画像）を撮影する。
カメラ信号処理部３は、撮像部２が短時間露光の画像を撮影すると、上記実施の形態１と同様に、その画像を示す画像信号に対する各種の信号処理を実施（長時間露光の画像信号に対する信号処理と同様の処理を実施）し、その信号処理後の画像信号を第２のメモリ５に保存する（ステップＳＴ２３）。
【００４０】
切り換え部２１は、マイクロプロセッサ２３から画像信号の転送先が画像合成部２２である旨の指示を受けると、第１及び第２のメモリ４，５に保存されている画像信号を画像合成部２２に転送し、マイクロプロセッサ２３から画像信号の転送先が画像合成部２２及び外部記憶装置７である旨の指示を受けると、第１及び第２のメモリ４，５に保存されている画像信号を画像合成部２２及び外部記憶装置７に転送する。
ただし、この段階では、説明の便宜上、後述する動き検出部１０が被写体の動きを検出しておらず（動き検出フラグ＝０）、切り換え部２１は、マイクロプロセッサ２３から画像信号の転送先が画像合成部２２である旨の指示を受けているものとする（ステップＳＴ２４，ＳＴ２５）。このとき、画像合成部２２には、マイクロプロセッサ２３から動き無し用のＬＵＴ２２ａを使用する旨の指示が出力される（ステップＳＴ２６）。
したがって、切り換え部２１は、第１及び第２のメモリ４，５に保存されている画像信号を画像合成部２２に転送する（ステップＳＴ２７）。
【００４１】
画像合成部２２は、切り換え部２１から長時間露光の画像を示す画像信号と短時間露光の画像を示す画像信号とを受けて、マイクロプロセッサ２３から動き無し用のＬＵＴ２２ａを使用する旨の指示を受けると、動き無し用のＬＵＴ２２ａを参照して、長時間露光の画像と短時間露光の画像との合成比率を決定する。
例えば、動き無し用のＬＵＴ２２ａには、図６（Ａ）に示すように、長時間露光の画像の輝度Ｌ１と短時間露光の画像の輝度Ｌ２との加算結果に対応する長時間露光画像用の合成比率Ａ（０．０〜１．０）が記録されている形態が考えられる。
このような場合には、画像合成部２２が長時間露光の画像の輝度Ｌ１と、短時間露光の画像の輝度Ｌ２とを特定して（例えば、カメラ信号処理部３に実装されている検波処理部から画像の輝度情報を収集して輝度Ｌ１，Ｌ２を特定する）、輝度Ｌ１と輝度Ｌ２を加算し、図６（Ａ）のＬＵＴから加算結果（Ｌ１＋Ｌ２）に対応する長時間露光画像用の合成比率Ａ（０．０〜１．０）を取得する。
短時間露光画像用の合成比率Ｂ（０．０〜１．０）は、下記に示すように、長時間露光画像用の合成比率Ａから算出することができるが、図６（Ｂ）に示すようなＬＵＴを内蔵するようにしてもよい。
合成比率Ｂ＝１−合成比率Ａ
【００４２】
画像合成部２２は、長時間露光画像用の合成比率Ａと、短時間露光画像用の合成比率Ｂとを決定すると、長時間露光の画像を示す画像信号に対して合成比率Ａを乗算するとともに、短時間露光の画像を示す画像信号に対して合成比率Ｂを乗算し、双方の乗算結果を足し合わせることで、長時間露光の画像と短時間露光の画像との合成を行う（ステップＳＴ２８）。
これにより、長時間露光の画像と短時間露光の画像との合成画像であるワイドダイナミックレンジ合成画像は、画像全体としてダイナミックレンジが拡大される。
ただし、画像出力段のビット数が決まっているため、画像合成部８において、画像の合成時に階調の圧縮処理が行われる。
【００４３】
画像信号処理部９は、画像合成部２２が画像の合成処理を行うと、上記実施の形態１と同様に、合成後の画像に対して、画質を改善するための各種の画像処理（例えば、ガンマ補正、色補正、解像感の補正など）を実施する（ステップＳＴ２９）。
動き検出部１０は、画像信号処理部９が各種の画像処理を実施すると、上記実施の形態１と同様に、画像処理後の画像を示す画像信号を解析して被写体の動きを検出する処理を実施する（ステップＳＴ３０）。
動き検出部１０は、被写体の動き検出処理が終了すると、画像信号処理部９から今回出力された画像信号を第３のメモリ１２に保存する（ステップＳＴ３１）。
【００４４】
映像信号出力部１３は、第３のメモリ１２に保存されている画像信号を映像信号として、適切な表示レートで外部に出力する（ステップＳＴ３２）。
これにより、外部の表示装置等では、撮像装置の映像信号出力部１３から出力された映像信号にしたがって合成画像を表示する。
この撮像装置では、動き検出部１０により被写体の動きが検出されない限り、ステップＳＴ２１〜ＳＴ３２の処理が繰り返されるため、ワイドダイナミック化された映像が動画として再生される。
【００４５】
マイクロプロセッサ２３は、動き検出部１０により被写体の動きが検出されて、動き検出部１０から、被写体の動きがある旨を示す動き検出フラグ＝１を受けると（ステップＳＴ２４）、画像信号の転送先が画像合成部２２及び外部記憶装置７である旨を切り換え部２１に指示する（ステップＳＴ３３）。
また、マイクロプロセッサ２３は、動き有り用のＬＵＴ２２ｂを使用する旨を画像合成部２２に指示する（ステップＳＴ３４）。
【００４６】
切り換え部２１は、マイクロプロセッサ２３から画像信号の転送先が画像合成部２２及び外部記憶装置７である旨の指示を受けると、第１及び第２のメモリ４，５に保存されている画像信号を画像合成部２２に転送するとともに、その画像信号を外部記憶装置７に転送する（ステップＳＴ３５）。
【００４７】
外部記憶装置７は、切り換え部２１により転送された長時間露光の画像を示す画像信号と短時間露光の画像を示す画像信号とを記録する（ステップＳＴ３６）。
これにより、被写体が動いている状況化（撮像装置が、例えば、監視カメラとして利用されているような場合、被写体が動いている状況は監視する上で極めて重要な状況である）では、画像合成部２２による圧縮処理の影響を受けておらず、白飛びや黒つぶれが少ない画像を示す画像信号、即ち、長時間露光の画像を示す画像信号と、短時間露光の画像を示す画像信号とを外部記憶装置７に保存することができる。
したがって、外部記憶装置７に保存されている画像信号を後日解析すれば、被写体の存在等を正確に確認することができる。
【００４８】
画像合成部２２は、切り換え部２１から長時間露光の画像を示す画像信号と短時間露光の画像を示す画像信号とを受けて、マイクロプロセッサ２３から動き有り用のＬＵＴ２２ｂを使用する旨の指示を受けると、動き有り用のＬＵＴ２２ｂを参照して、長時間露光の画像と短時間露光の画像との合成比率を決定する。
動き有り用のＬＵＴ２２ｂに記録されている合成比率と、動き無し用のＬＵＴ２２ａに記録されている合成比率とは異なっており、映像信号出力部１３から長時間露光の画像を示す映像信号と、短時間露光の画像を示す映像信号とが順番に所定時間外部に出力されるようにするために、例えば、図７に示す動き有り用のＬＵＴ２２ｂにおいては、長時間露光画像用の合成比率Ａが１．０である時間帯では、短時間露光画像用の合成比率Ｂが０．０である。
一方、長時間露光画像用の合成比率Ａが０．０である時間帯では、短時間露光画像用の合成比率Ｂが１．０である。
【００４９】
画像合成部２２は、長時間露光画像用の合成比率Ａと、短時間露光画像用の合成比率Ｂとを決定すると、長時間露光の画像を示す画像信号に対して合成比率Ａを乗算するとともに、短時間露光の画像を示す画像信号に対して合成比率Ｂを乗算し、双方の乗算結果を足し合わせることで、長時間露光の画像と短時間露光の画像との合成を行う（ステップＳＴ３７）。
ただし、長時間露光画像用の合成比率Ａ又は短時間露光画像用の合成比率Ｂのいずれか一方が零値であるため、長時間露光の画像を示す画像信号又は短時間露光の画像を示す画像信号のいずれか一方が合成画像を示す画像信号として、画像信号処理部９に出力される。
この場合、いずれか一方の合成比率が零値であるため、実際には画像の合成が行われておらず、画像の合成時に階調の圧縮処理が行われることもない。
【００５０】
画像信号処理部９は、画像合成部２２が画像の合成処理を行うと、合成後の画像に対して、画質を改善するための各種の画像処理（例えば、ガンマ補正、色補正、解像感の補正など）を実施する（ステップＳＴ３８）。
動き検出部１０は、画像信号処理部９が各種の画像処理を実施すると、上記実施の形態１と同様に、画像処理後の画像を示す画像信号を解析して被写体の動きを検出する処理を実施する（ステップＳＴ３９）。
動き検出部１０は、被写体の動き検出処理が終了すると、画像信号処理部９から今回出力された画像信号を第３のメモリ１２に保存する（ステップＳＴ４０）。
【００５１】
映像信号出力部１３は、第３のメモリ１２に保存されている画像信号を映像信号として、適切な表示レートで外部に出力する（ステップＳＴ４１）。
これにより、被写体の動きが検出された場合、外部の表示装置等では、撮像装置の映像信号出力部１３から出力された映像信号にしたがって、長時間露光の画像と短時間露光の画像とを所定時間ずつ順番に表示する。
【００５２】
以上で明らかなように、この実施の形態２によれば、画像合成部２２が、動き検出部１０により被写体の動きが検出された場合、映像信号出力部１３から長時間露光の画像を示す映像信号と、短時間露光の画像を示す映像信号とが順番に所定時間外部に出力されるように、長時間露光の画像を示す画像信号に対する合成比率Ａと、短時間露光の画像を示す画像信号に対する合成比率Ｂとを順番に所定時間零値にするように構成したので、上記実施の形態１と同様の効果を奏する他に、白飛びや黒つぶれが少ない画像をリアルタイムに確認することができる効果を奏する。
【００５３】
なお、本願発明はその範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【００５４】
１  レンズ（画像撮影手段）、２  撮像部（画像撮影手段）、３  カメラ信号処理部（画像撮影手段）、４  第１のメモリ、５  第２のメモリ、６  切り換え部（画像転送手段）、７  外部記憶装置、８  画像合成部（画像合成手段）、９  画像信号処理部、１０  動き検出部（動き検出手段）、１１  マイクロプロセッサ（画像転送手段）、１２  第３のメモリ、１３  映像信号出力部（映像信号出力手段）、２１  切り換え部（画像転送手段）、２２  画像合成部（画像合成手段）、２２ａ  動き無し用のＬＵＴ、２２ｂ  動き有り用のＬＵＴ、２３  マイクロプロセッサ（画像転送手段）。
【図１】
2012084983.tif 000003
【図２】
2012084983.tif 000004
【図３】
2012084983.tif 000005
【図４】
2012084983.tif 000006
【図５】
2012084983.tif 000007
【図６】
2012084983.tif 000008
【図７】
2012084983.tif 000009