(57)【特許請求の範囲】
【請求項１】
第１露光時間で撮像された第１画像の画像信号に、第２露光時間で撮像された第２画像の画像信号を合成し、新たな画像となる合成画像信号を生成する第１合成手段と、
前記第１および第２露光時間よりも長い第３露光時間で前記第１画像の撮像および前記第２画像の撮像の間に撮像された第３画像の画像信号に前記合成画像信号を合成する第２合成手段とを備え、
前記第１合成手段は、前記第３露光時間が短いほど、前記第１画像および前記第２画像の合成にあたって、前記第１画像の輝度に対して前記第２画像の輝度の比率を縮小する比率変更手段を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、前記第１合成手段は、前記第１画像の輝度と前記第２画像の輝度とを平均化する平均化手段を備えることを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置を備えることを特徴とする撮像装置。
【請求項４】
第１露光時間で撮像された第１画像の画像信号に、第２露光時間で撮像された第２画像の画像信号を合成し、合成画像信号を生成する手順と、
前記第１および第２露光時間よりも長い第３露光時間で前記第１画像の撮像および前記第２画像の撮像の間に撮像された第３画像の画像信号に前記合成画像信号を合成する手順とを備え、
前記第１画像および前記第２画像の合成にあたって、前記第３露光時間が短いほど、前記第１画像の輝度に対して前記第２画像の輝度の比率を縮小する
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置や、それを用いた撮像装置に関する。
【背景技術】
【０００２】
撮像装置の分野ではいわゆるハイダイナミックレンジ合成（ＨＤＲ）は一般に知られる。ＨＤＲでは比較的に短い第１露光時間の撮像で高い輝度の被写体が鮮明に撮像される。一方で、第１露光時間に比べて長い第２露光時間の撮像で低い輝度の被写体が鮮明に撮像される。鮮明に撮像された高い輝度の被写体と低い輝度の被写体とが合成されると、全体として高い輝度にも低い輝度にも対応した鮮明な画像が得られる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１９４４４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば蛍光灯などの点滅光源の下では露光時間が短いほどフリッカが生じやすい。特許文献１では、フリッカの補正にあたって、輝度が足りないと判断されると、ゲインが上げられる。反対に、輝度が高いと判断されると、ゲインが下げられる。こうした特許文献１に記載の補正は、画面全体が均一に点滅光源で照らされた環境下では有効に機能するものの、部分的に点滅光源に照らされる場合には却ってフリッカを増長する。すなわち、点滅光源に照らされない領域、あるいは点滅しない光源に照らされている領域でゲインの変更に応じて画像が明るくなったり暗くなったりしてしまう。魚眼レンズの様な広角レンズでは点滅光源で照らされた部分と、点滅しない光源で照らされる部分が同時に撮像される可能性が高くなり、この現象は顕著となる。
【０００５】
本発明のいくつかの態様によれば、画面が部分的に点滅光源で照らされる場合でも効果的にフリッカを抑制することができる画像処理装置は提供されることができる。
【課題を解決するための手段】
【０００６】
本発明の一形態は、第１露光時間で撮像された第１画像の画像信号に、第２露光時間で撮像された第２画像の画像信号を合成し、新たな画像となる合成画像信号を生成する第１合成手段と、前記第１および第２露光時間よりも長い第３露光時間で前記第１画像の撮像および前記第２画像の撮像の間に撮像された第３画像の画像信号に前記合成画像信号を合成する第２合成手段とを備える画像処理装置に関する。
【０００７】
第１画像および第２画像は第１露光時間および第２露光時間で撮像されるので、第１画像および第２画像では高い輝度の被写体が鮮明に映される。第３画像は第１および第２露光時間よりも長い第３露光時間で撮像されるので、第３画像では低い輝度の被写体が鮮明に映される。第３露光時間に比べて短い第１および第２露光時間の撮像では画像ごとに輝度のばらつき（いわゆるフリッカ）が生じやすい。一般に、蛍光灯といった光源の点滅の周期と撮像の周期とはずれることから、第１画像および第２画像のいずれか一方で他方よりも高い輝度は確保される。したがって、第１画像および第２画像から合成画像信号が形成されると、合成画像信号では低い輝度は高い輝度に基づき補正されることができる。こうして合成画像信号の画像ではフリッカは抑制される。その結果、第３画像に合成画像信号の画像が合成されても、違和感は解消される。
【０００８】
特に、前記第１合成手段は、前記第３露光時間が短いほど、前記第１画像および前記第２画像の合成にあたって、前記第１画像の輝度に対して前記第２画像の輝度の比率を縮小する比率変更手段を備える。第３画像の輝度が高まれば、第３露光時間は短縮される。露光時間が短縮されるほど、画像ごとに輝度のばらつきが生じやすい。このとき、第３画像の輝度の変動は例えば第１画像の輝度の変動に追従する。したがって、第１画像に合成される第２画像の比率が小さいほど、第３画像に合成画像信号の画像が合成されても違和感は生じにくい。第３画像の輝度が高まっても、第３画像と合成画像信号の画像との間でぶれの差は縮小されることができる。撮像は、第１画像、第３画像および第２画像の順番で実施されてもよく、第２画像、第３画像および第１画像の順番に実施されてもよい。
【０００９】
前記第１合成手段は、前記第１画像の輝度と前記第２画像の輝度とを平均化する平均化手段を備えてもよい。こうして第１画像と第２画像とは均等に取り扱われる。第２画像に比べて第１画像の輝度が低くても、反対に第１画像に比べて第２画像の輝度が低くても、平均化手段は単純に輝度を平均化する。
【００１０】
画像処理装置は撮像装置に組み込まれて利用されることができる。このとき、撮像装置は画像処理装置を備えればよい。その他、画像処理装置は、車載カメラや運転支援装置、ナビゲーション装置、テレビドアホン、監視カメラ、テレビ会議システム、その他の機器に組み込まれて利用されることができる。
【００１１】
本発明の他の態様は、第１露光時間で撮像された第１画像の画像信号に、第２露光時間で撮像された第２画像の画像信号を合成し、合成画像信号を生成する手順と、前記第１および第２露光時間よりも長い第３露光時間で前記第１画像の撮像および前記第２画像の撮像の間に撮像された第３画像の画像信号に前記合成画像信号を合成する手順とを備え、前記第１画像および前記第２画像の合成にあたって、前記第３露光時間が短いほど、前記第１画像の輝度に対して前記第２画像の輝度の比率を縮小する画像処理方法に関する。
【図面の簡単な説明】
【００１２】
【図１】一実施形態に係る車両すなわち自動車の全体像を概略的に示す斜視図である。
【図２】運転支援装置の構成を概略的に示すブロック図である。
【図３】第１合成部の構造を概略的に示すブロック図である。
【図４】第２合成部の構造を概略的に示すブロック図である。
【図５】ハイダイナミックレンジ合成の撮像動作を概略的に示すタイムチャートである。
【図６】蛍光灯の明るさの時間変化を概略的に示すグラフである。
【図７】蛍光灯の光に曝される撮像素子の出力の時間変化を概略的に示すグラフである。
【図８】フレームごとにＲＡＷ画像の輝度を示すグラフである。
【図９】正規化された輝度のグラフである。
【図１０】短露光時間の長さごとに最大輝度に対して最小輝度の比率を示すグラフである。
【図１１】点灯の開始と撮像の開始との時間差ごとに最大輝度に対して最小輝度の比率を示すグラフである。
【図１２】一実施形態に係るテレビドアホンを概略的に示す図である。
【図１３】一実施形態に係る監視カメラを概略的に示す図である。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照しつつ本発明の一実施形態を説明する。
【００１４】
図１は一実施形態に係る車両すなわち自動車１１を概略的に示す。自動車１１の車体１２には運転支援装置１３が搭載される。運転支援装置１３はナビゲーション装置１４を備える。ナビゲーション装置１４はディスプレイパネル１５を有する。ディスプレイパネル１５は例えばダッシュボードに組み込まれることができる。ディスプレイパネル１５の表示画面には地図その他の情報が表示されることができる。
【００１５】
運転支援装置１３はカメラ装置１６を備える。カメラ装置１６は例えば車体１２の後部に設置される。カメラ装置１６は例えばリアバンパーの上方に取り付けられる。カメラ装置１６の光軸１７は例えば水平面に対して所定の角度に設定される。光軸１７は、車体１２から後方に離れるにつれて地面に近づくように傾斜する。カメラ装置１６は車体１２後方を撮像する。ここでは、光軸１７に対して水平方向および垂直方向にいずれも少なくとも±９０°の画角範囲で被写体の撮像画像は取得される。
【００１６】
カメラ装置１６は撮像画像に基づき表示画像の画像信号（以下「表示用画像信号」という）を生成する。表示用画像信号は車体後方に関してカメラ視点の画像や地面の俯瞰画像を特定する。カメラ視点の画像や地面の俯瞰画像は任意に切り替えられればよい。カメラ装置１６はナビゲーション装置１４に接続される。ナビゲーション装置１４にはカメラ装置１６から表示用画像信号が供給される。ディスプレイパネル１５の表示画面には表示用画像信号に基づき車体１２後方の映像が表示されることができる。この運転支援装置１３では、例えば駐車場で駐車スペースに後進で進入する際に運転手は車体１２の後方を確認することができる。こうして運転支援装置１３は運転手の後方確認を支援することができる。
【００１７】
図２に示されるように、カメラ装置１６は魚眼レンズ２１を備える。被写体から反射する光は、光軸１７に対して水平方向および垂直方向にいずれも少なくとも±９０°の画角範囲で入射する。被写体の画像は円形の輪郭で仕切られる。画像では円の中心から外側に遠ざかるにつれて被写体は縮小する。
【００１８】
カメラ装置１６は撮像素子２２を備える。撮像素子２２は、魚眼レンズ２１から投影される被写体の画像を電気信号に変換する。撮像素子２２はマトリクス状に配置された画素を備える。撮像素子２２の撮像面に設定される二次元座標系に従って個々の画素の位置は特定される。例えばベイヤー配列ではＲＧＧＢ（赤緑緑青）の電気信号で被写体の色が表現される。
【００１９】
カメラ装置１６は画像処理部２３を備える。画像処理部２３は撮像素子２２に電気的に接続される。画像処理部２３は画素の位置すなわちアドレスを順次指定しながら画素の電気信号を読み出す。画像処理部２３はデジタルの撮像信号すなわち撮像データを出力する。撮像データは画素ごとに画像情報を特定する。
【００２０】
画像処理部２３は撮像素子２２の露光時間を設定する。ここでは、ハイダイナミックレンジ合成（ＨＤＲ）の処理手順に従って映像の１フレームごとに短露光時間（第１露光時間および第２露光時間）と長露光時間（第３露光時間）とが設定される。撮像される順番は第１露光時間で撮像、第３露光時間で撮像、続いて第２露光時間で撮像となる。短露光時間は長露光時間に比べて短い時間に設定される。短露光時間は、画面内で相対的に高い輝度を有する被写体を鮮明に撮像する時間長さであればよい。長露光時間は、画面内で相対的に低い輝度を有する被写体を鮮明に撮像する時間長さであればよい。短露光時間および長露光時間は例えばＡＧＣ（自動ゲイン制御）の働きでフレームごと（あるいは複数のフレームを含む１セットごと）に調整される。画面全体の輝度が高まるほど、短露光時間および長露光時間は短縮されればよい。画像処理部２３の働きで撮像素子２２では短露光時間の撮像と長露光時間の撮像とが交互に繰り返される。
【００２１】
カメラ装置１６には画像処理装置２４が組み込まれる。画像処理装置２４はプリント基板上の電子回路で構成されることができる。画像処理装置２４は第１合成部（第１合成手段）２６を備える。第１合成部２６にはフレームごとに画像処理部２３から短露光時間で撮像された画像（以下「短露光画像」という）の画像信号が供給される。第１合成部２６には第１バッファメモリ（バッファ手段）２７が接続される。第１バッファメモリ２７には短露光画像の画像信号が格納される。格納にあたって第１バッファメモリ２７では画素ごとにアドレスが指定される。第１合成部２６は、時間軸で相前後する短露光画像の画像信号を相互に合成し合成画像信号を生成する。
【００２２】
画像処理装置２４は第２バッファメモリ２８を備える。第２バッファメモリ２８にはフレームごとに画像処理部２３から長露光時間で撮像された画像（以下「長露光画像」という）の画像信号が供給される。第２バッファメモリ２８には第２合成部２９が接続される。第２合成部２９は第１合成部２６に接続される。第２合成部２９は長露光画像の画像信号に第１合成部２６の合成画像信号を合成し表示用画像信号を生成する。
【００２３】
ナビゲーション装置１４は演算処理部３１を備える。演算処理部３１は画像処理装置２４に電気的に接続される。演算処理部３１は例えばＭＰＵ（マイクロプロセッサユニット）およびメモリを有することができる。例えばメモリに格納されるソフトウェアに従ってＭＰＵは動作することができる。演算処理部３１はナビゲーション装置１４のナビゲーション動作と運転支援動作とを切り替えることができる。例えば自動車１１のギアがバックに入れられると、演算処理部３１は経路案内を行うナビゲーション動作から車両後方を映し出す運転支援動作にナビゲーション装置１４を切り替えることができる。演算処理部３１は、例えばナビゲーション装置１４の操作に応じて、通常画像および俯瞰画像のいずれか一方または両者の画像を選択することができる。
【００２４】
ディスプレイパネル１５は演算処理部３１に電気的に接続される。ディスプレイパネル１５には演算処理部３１から画像情報が入力される。入力される画像情報に応じてディスプレイパネル１５の表示画面には地図や車体１２後方の映像が映し出されることができる。
【００２５】
図３に示されるように、第１合成部２６は第１取得部３３および第２取得部３４を備える。第１取得部３３は画像処理部２３に接続される。第１取得部３３はリアルタイムで画像処理部２３から短露光画像（第１露光時間で撮像される画像）の画像信号を取得する。ここでは、第１取得部３３で特定される短露光画像を「第１画像」という。第２取得部３４は第１バッファメモリ２７に接続される。第２取得部３４は第１バッファメモリ２７から短露光画像（第２露光時間で撮像される画像）の画像信号を取得する。ここでは、第１バッファメモリ２７で特定される短露光画像を「第２画像」という。画像信号は輝度情報を提供する。
【００２６】
第１合成部２６は書き込み部３５を備える。書き込み部３５は第１取得部３３に接続される。第１取得部３３から書き込み部３５に第１画像の画像信号が供給される。書き込み部３５は第１バッファメモリ２７に接続される。書き込み部３５は画素ごとに指定されたアドレスに輝度の値を書き込む。
【００２７】
第１合成部２６は輝度合成部３６を備える。輝度合成部３６には第１取得部３３および第２取得部３４が接続される。輝度合成部３６には第１取得部３３および第２取得部３４から時間軸で相前後する２つの短露光画像（第１画像および第２画像）の輝度が供給される。輝度合成部３６は画素ごとに２つの輝度の値を足し合わせ二分割する。したがって、２つの輝度の値がそのまま使用される場合には、輝度合成部３６は２つの短露光画像の間で平均値を特定する。こうして輝度合成部３６で第１画像および第２画像の輝度に基づき合成画像信号は生成される。輝度の値にはＲＧＢ値が用いられてもよくＹＵＶ値が用いられてもよい。
【００２８】
第１合成部２６は比率変更部（比率変更手段）３７を備える。比率変更部３７は輝度合成部３６に接続される。比率変更部３７は輝度合成部３６に比率情報信号を供給する。比率情報信号は輝度の値の足し合わせにあたって第１画像の輝度と第２画像の輝度との比率を特定する。比率の特定にあたって比率変更部３７には長露光時間の時間情報が供給される。比率変更部３７は長露光時間の長さに応じて第１画像の輝度に対して第２画像の輝度の比率を変更する。ここでは、比率変更部３７は、長露光時間が短いほど、短露光画像の合成にあたって第１画像の輝度に対して第２画像の輝度の比率を縮小する。
【００２９】
図４に示されるように、第２合成部２９は第１取得部３９および第２取得部４１を備える。第１取得部３９は第２バッファメモリ２８に接続される。第１取得部３９は第２バッファメモリ２８から長露光画像の画像信号を取得する。第２取得部４１は第１合成部２６に接続される。第２取得部４１は第１合成部２６の輝度合成部３６から合成画像信号を取得する。
【００３０】
第２合成部２９は画像合成部４２を備える。画像合成部４２には第１取得部３９および第２取得部４１が接続される。画像合成部４２には第１取得部３９および第２取得部４１から長露光画像の画像信号と合成画像信号とが供給される。画像合成部４２は、高輝度の被写体部分については短露光画像を採用し、低輝度の被写体の部分については長露光画像を採用するハイダイナミックレンジ合成の手順に従って、長露光画像の画像信号に合成画像信号を合成する。こうして画像合成部で表示用画像信号は生成される。ハイダイナミックレンジ合成の実施にあたって画像合成部４２は画素単位で輝度のばらつきを検出する。したがって、画素ごとにフリッカの影響は縮小される。
【００３１】
次に運転支援装置１３の動作を簡単に説明する。自動車１１のギアがバックギアに入れられると、演算処理部３１は自動車１１からギアがバックに入ったという信号を受けてナビゲーション動作から運転支援動作にナビゲーション装置１４を切り替える。撮像素子２２で被写体の画像は電気信号に変換される。画像処理部２３はハイダイナミックレンジ合成を実施する。したがって、図５に示されるように、画像処理部２３の働きで撮像素子２２では短露光時間Ｓｎの撮像と長露光時間Ｌｎの撮像とが交互に繰り返される。
【００３２】
例えばフレームＮの画像の生成にあたって画像処理装置２４の第１合成部２６ではフレームＮ＋１の短露光画像の輝度とフレームＮの短露光画像の輝度とが平均化される。平均化にあたって第１合成部２６はリアルタイムで画像処理部２３からフレームＮ＋１の画像信号を取得する。同時に、第１合成部２６は第１バッファメモリ２７からフレームＮの画像信号を取得する。第１バッファメモリ２７からフレームＮの画像信号が読み出されると、当該画像信号が記憶されていたメモリ領域は空く。書き込み部３５は当該画像信号のアドレスにフレームＮ＋１の画像信号を書き込む。こうして空いたアドレスにフレームＮ＋１の画像信号は書き込まれる。こうした処理が繰り返されて、ハイダイナミックレンジ合成（ＨＤＲ）の映像は作り出される。ここでは、フレームごとに交互に画像を取り込むために２つのメモリが採用される場合に比べて、バッファメモリの容量は縮小されることができる。
【００３３】
短露光画像では相対的に低輝度の領域で撮像素子２２の画素ごとに十分に電荷が蓄積されることができない。したがって、画面上の低輝度の領域でいわゆる黒潰れが生じる。被写体は黒く塗り潰される。その一方で、短露光画像では相対的に高輝度の領域で画素ごとに電荷の飽和が抑制され、輝度の高低差が明確に記録される。画面上の高輝度の領域では鮮明に被写体が撮像される。
【００３４】
続いて画像処理装置２４の第２合成部２９ではハイダイナミックレンジ合成(ＨＤＲ)の手順に従ってフレームＮの長露光画像の画像信号と合成画像信号（短露光画像）とが合成される。長露光画像では低輝度の領域で撮像素子２２の画素ごとに十分に電荷が蓄積される。したがって、画面上の低輝度の領域では鮮明に被写体が映される。その一方で、長露光画像では高輝度の領域で画素ごとに電荷が飽和してしまう。画面上の高輝度の領域では白飛びが引き起こされる。ここでは、例えば長露光画像中で白飛びの画素は合成画像信号の画素で置き換えられる。その結果、長露光画像の高輝度の領域で鮮明な被写体が描かれることができる。こうして幅広いダイナミックレンジの画像は作成される。
【００３５】
例えば太陽光線や白熱電球といった連続光源の環境下でＨＤＲの撮像が実施されると、露光時間が短縮されてもフリッカは生じない。フレームＮ＋１の短露光画像の画像信号とフレームＮの短露光画像の画像信号との間で輝度は変化しないと考えてよい。したがって、第１合成部２６でフレームＮ＋１の短露光画像の輝度とフレームＮの短露光画像の輝度とが平均化されても、輝度はほとんど変化しない。合成画像信号にはフレームＮの輝度がそのまま用いられることに等しい。その結果、違和感ない合成画像が得られる。
【００３６】
その一方で、例えば蛍光灯や、全波整流で駆動される安価なＬＥＤ灯といった点滅光源の下でカメラ装置１６を用いてＨＤＲの撮像が実施されると、短露光画像でフリッカが生じやすい。フレームＮの短露光画像の画像信号とフレームＮ−１の短露光画像の画像信号との間で輝度は変化すると考えられる。このとき、輝度の変化は点滅光源の電源の周波数とカメラ装置１６のフレームレートとの関係に基づき定義されることができる。一般に、蛍光灯といった光源の点滅の周期と撮像の周期とはずれることから、フレームＮの短露光画像およびフレームＮ−１の短露光画像のいずれか一方で他方よりも高い輝度は確保される。したがって、フレームＮの短露光画像およびフレームＮ−１の短露光画像から輝度合成部３６で合成画像信号が形成されると、合成画像信号では低い輝度は高い輝度に基づき補正される。すなわち、合成画像の輝度は平均化されて低輝度および高輝度の間の輝度になる。こうして合成画像信号の画像ではフリッカは抑制される。その結果、画像合成部４２で長露光画像に合成画像信号の画像が合成されても、違和感は解消される。
【００３７】
本実施形態では輝度合成部３６は２つの短露光画像の間で単純に輝度の平均値を算出する。フレームＮ＋１の短露光画像とフレームＮの短露光画像とは均等に取り扱われる。フレームＮ＋１の短露光画像に比べてフレームＮの短露光画像の輝度が低くても、反対にフレームＮの短露光画像に比べてフレームＮ＋１の短露光画像の輝度が低くても、輝度合成部３６は単純に輝度を平均化する。したがって、例えばフレームＮの短露光画像およびフレームＮ＋１の短露光画像の間で輝度の高低が特定される場合に比べて画像信号の処理は簡素化されることができる。なお、こうして単純に平均値が算出されるだけであれば、第１合成部２６で比率変更部３７は省略されることができる。
【００３８】
輝度の合成にあたって比率変更部３７は輝度合成部３６に比率情報信号を提供してもよい。このとき、比率変更部３７は長露光時間の最大値でフレームＮ＋１の輝度とフレームＮの輝度との比率を１：１に設定する。長露光時間が短いほど、フレームＮ＋１の短露光画像およびフレームＮの短露光画像の合成にあたってフレームＮの輝度に対してフレームＮ＋１の輝度の比率は縮小される。言い換えると、長露光時間の最小値で比率変更部３７はフレームＮ＋１の輝度の比率を「０（ゼロ）」に設定する。長露光時間の最大値と最小値との間で長露光時間と比率との間には比例関係が確立されればよい。
【００３９】
長露光画像の輝度が高まれば、画像処理部２３により長露光時間は短縮される。長露光時間が短縮された場合、長露光で撮像されるタイミングとその後の短露光で撮像されるタイミングの時間差は大きくなる。時間的に離れたタイミングで撮像された画像を合成すると、合成の境界上で動く物体にズレが生じる。これを軽減するためフレームＮの短露光画像に合成されるフレームＮ＋１の短露光画像の比率を小さくする。こうすることによって長露光画像に合成画像信号の画像が合成されてもズレは生じにくくなる。
【００４０】
本発明者はシミュレーションに基づき本実施形態の実効性を検証した。検証にあたって、図６に示されるように、本発明者は蛍光灯の明るさを考察した。最大の明るさを「１」としたときの明るさの時間変化が特定された。時刻ｔの明るさＬは電源の周波数ｇに依存し、次式で特定される。
【数１】
0006338062.tif 000002
電源の周波数ｇは５０Ｈｚに設定されたことから、明るさＬは１００Ｈｚで脈動する。
【００４１】
本発明者は輝度の算出にあたって画素の出力を規格化した。明るさ「１」の光に１秒間露光された際に「１」という輝度を出力する撮像素子の画素が想定された。この撮像素子が前述の蛍光灯に露光され続けると、その輝度Ｄは次式で表される。
【数２】
0006338062.tif 000003
図７に示されるように、時刻ｔ１の輝度Ｄと時刻ｔ０の輝度Ｄとの差分が時刻ｔ０から時刻ｔ１まで露光された撮像素子の出力（＝輝度）に相当する。
【００４２】
図８は時間軸に沿ってフレームごとにゲイン１倍のＲＡＷ画像の輝度を示す。電源の周波数は５０Ｈｚに設定された。フレームレートは６０ｆｐｓに設定された。短露光時間は４．１７×１０−４秒（１フレームの時間の０．０２５倍）に設定された。蛍光灯の点灯と同時に撮像は開始された。非ＨＤＲでは１フレームの全期間で露光が実施された際の輝度が算出された。図８に示されるように、長露光画像の輝度と非ＨＤＲの輝度とは概ね同様に変化する。図９に示されるように、画像信号ごとに輝度の最大値に対してフレームごとに輝度が正規化されると、短露光画像の輝度変化は点線で示され、輝度は時間軸に沿って周期的に変動することが確認された。また、短露光画像の輝度変化（点線）と比較し合成画像の輝度変化（太線）は小さく短露光画像に比べて合成画像信号の画像でフリッカが抑制されることが確認された。
【００４３】
図１０に示されるように、本発明者は短露光時間の長さを変化させて本実施形態の実効性を検証した。短露光時間ごとに、最大の輝度に対して最小の輝度の比率が算出された。電源の周波数は５０Ｈｚに設定された。フレームレートは６０ｆｐｓに設定された。蛍光灯の点灯と同時に撮像は開始された。短露光時間の長さに拘わらず、短露光画像の最小の輝度（点線）と合成画像の最小の輝度（太線）との比較により、合成画像の方が最小の輝度の値が大きくフリッカにより暗くなる程度が少なくなることがわかる。したがって、短露光画像に比べて合成画像信号の画像でフリッカが抑制されることが確認された。短露光時間が短縮されるほど、輝度のばらつきが増大することが確認された。
【００４４】
図１１に示されるように、本発明者は蛍光灯の点灯の開始と撮像の開始との間で時間差を変化させながら本実施形態の実効性を検証した。点灯の開始と撮像の開始との時間差ごとに、最大の輝度に対して最小の輝度の比率が算出された。電源の周波数は５０Ｈｚに設定された。フレームレートは６０ｆｐｓに設定された。短露光時間は４．１７×１０−４秒（１フレームの時間の０．０２５倍）に設定された。点灯の開始と撮像の開始の時間差がどのようであっても最大の輝度に対する最小の輝度の比率は短露光画像（点線）よりも合成画像（太線）の方が常に１に近く、短露光画像に比べて合成画像信号の画像でフリッカが抑制されることが確認された。
【００４５】
図１２は一実施形態に係るテレビドアホン４５の構成を概略的に示す。テレビドアホン４５はモニタ親機４６および玄関子機４７を備える。モニタ親機４６はディスプレイパネル４８を有する。モニタ親機４６にはマイクやスピーカ、操作ボタンが組み込まれる。モニタ親機４６は台所や居間といった室内の壁面に固定されればよい。玄関子機４７は玄関扉に隣接する外壁に固定されればよい。
【００４６】
玄関子機４７にはカメラ装置４９が組み込まれる。カメラ装置４９は玄関の外側を撮像する。カメラ装置４９はモニタ親機４６に電気的に接続される。ディスプレイパネル４８にはカメラ装置４９から表示画像の画像信号が供給される。カメラ装置４９は前述のカメラ装置１６と同様に構成されればよい。カメラ装置４９はカメラ装置１６と同様にハイダイナミックレンジ合成（ＨＤＲ）の映像を作り出すことができる。
【００４７】
図１３は一実施形態に係る監視カメラ５１の構成を概略的に示す。監視カメラ５１は例えば室内の天井に固定される。監視カメラ５１にはカメラ装置５２が組み込まれる。カメラ装置５２は任意のモニタディスプレイに表示画像の画像信号を供給する。カメラ装置５２は前述のカメラ装置１６と同様に構成されればよい。カメラ装置５２はカメラ装置１６と同様にハイダイナミックレンジ合成（ＨＤＲ）の映像を作り出すことができる。
【００４８】
その他、前述のようなカメラ装置１６はドアスコープカメラやテレビ会議システム向けのカメラとして利用されてもよい。ハイダイナミックレンジ合成の実現にあたって、個々のフレーム内では、前述のように短露光画像の撮像に続いて長露光画像の撮像が実施されるだけでなく、長露光画像の撮像に続いて短露光画像の撮像が実施されてもよい。あるいは、個々のフレーム内で、第１短露光画像の撮像、長露光画像の撮像および第２短露光画像の撮像が確立されてもよい。
【符号の説明】
【００４９】
１６  撮像装置（カメラ装置）、２４  画像処理装置、２６  第１合成手段（第１合成部）、２７  バッファ手段（第１バッファメモリ）、２９  第２合成手段（第２合成部）、３５  書き込み手段（書き込み部）、３６  平均化手段（輝度合成部）、３７  比率変更手段（比率変更部）、４９  撮像装置（カメラ装置）、５２  撮像装置（カメラ装置）。
【図１】
0006338062.tif 000004
【図２】
0006338062.tif 000005
【図３】
0006338062.tif 000006
【図４】
0006338062.tif 000007
【図５】
0006338062.tif 000008
【図６】
0006338062.tif 000009
【図７】
0006338062.tif 000010
【図８】
0006338062.tif 000011
【図９】
0006338062.tif 000012
【図１０】
0006338062.tif 000013
【図１１】
0006338062.tif 000014
【図１２】
0006338062.tif 000015
【図１３】
0006338062.tif 000016