(57)【要約】【課題】複数のフレーム画像が合成されて生成される広ダイナミックレンジ映像を伝送する際に迅速な伝送が可能であり、帯域幅を低減して回路負荷を減少させることが可能な画像処理装置及び画像処理方法を提供する。【解決手段】撮像素子から出力された映像信号を可逆圧縮処理する圧縮部と、圧縮処理された映像信号を蓄積する記憶部と、圧縮処理され記憶部に蓄積された映像信号を伸長処理する伸長部と伸長処理された映像信号に基づく複数のフレーム画像を一つのフレーム画像に合成する合成部とを備える。【選択図】図１
2011119868.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子から出力された映像信号を可逆圧縮処理する圧縮部と、
前記圧縮処理された映像信号を蓄積する記憶部と、
前記圧縮処理され前記記憶部に蓄積された映像信号を伸長処理する伸長部と
前記伸長処理された映像信号に基づく複数のフレーム画像を一つのフレーム画像に合成する合成部と
を備える、撮像装置。
【請求項２】
前記圧縮部は、前記撮像素子から出力され不可逆圧縮処理する前の前記映像信号を可逆圧縮処理する、請求項１に記載の撮像装置。
【請求項３】
前記圧縮部は、前記映像信号のうち注目画素の画素値と他の画素値の差分情報と、前記差分情報を表すビットのビット数とに基づいて、前記映像信号を可逆圧縮処理する、請求項１又は２に記載の撮像装置。
【請求項４】
前記伸長部の数は、前記合成部で合成する複数のフレーム画像の数と同一である、請求項１〜３のいずれか１項に記載の撮像装置。
【請求項５】
撮像素子から出力され、複数のフレーム画像が一つのフレーム画像に合成された映像信号を可逆圧縮処理する圧縮部と、
前記圧縮処理された映像信号を蓄積する記憶部と、
前記圧縮処理され前記記憶部に蓄積された映像信号を伸長処理し、現在の映像信号を画像処理する画像処理部に前記伸長処理された映像信号を出力する伸長部と
を備える、撮像装置。
【請求項６】
前記圧縮部は、前記撮像素子から出力され不可逆圧縮処理する前の前記映像信号を可逆圧縮処理する、請求項５に記載の撮像装置。
【請求項７】
前記圧縮部が圧縮処理する前記映像信号は浮動小数点形式である、請求項５又は６に記載の撮像装置。
【請求項８】
前記圧縮部は、前記浮動小数点形式の映像信号を指数部と仮数部に分けてそれぞれ圧縮処理する、請求項７に記載の撮像装置。
【請求項９】
前記圧縮部は、前記映像信号のうち注目画素の画素値の指数部と他の画素値の指数部の比較情報と、前記画素値の指数部を表すビットのビット数とに基づいて、前記映像信号を可逆圧縮処理する、請求項８に記載の撮像装置。
【請求項１０】
前記圧縮部は、前記映像信号のうち注目画素の画素値の仮数部と他の画素値の仮数部の差分情報と、前記差分情報を表すビットのビット数とに基づいて、前記映像信号を可逆圧縮処理する、請求項８又は９に記載の撮像装置。
【請求項１１】
圧縮部が撮像素子から出力された映像信号を可逆圧縮処理するステップと、
記憶部が前記圧縮処理された映像信号を蓄積するステップと、
伸長部が前記圧縮処理され前記記憶部に蓄積された映像信号を伸長処理するステップと、
合成部が前記伸長処理された映像信号に基づく複数のフレーム画像を一つのフレーム画像に合成するステップと
を備える、撮像方法。
【請求項１２】
圧縮部が撮像素子から出力され、複数のフレーム画像が一つのフレーム画像に合成された映像信号を可逆圧縮処理するステップと、
記憶部が前記圧縮処理された映像信号を蓄積するステップと、
伸長部が前記圧縮処理され前記記憶部に蓄積された映像信号を伸長処理し、現在の映像信号を画像処理する画像処理部に前記伸長処理された映像信号を出力するステップと
を備える、撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
デジタルスチルカメラ、ビデオカメラ等の撮像装置を使用した撮影では、通常、環境光に応じて露出が制御され、撮影された画像がユーザーにとって見やすいものになるように調整される。ところが、画像内に他の領域に比べて部分的に明るい領域や暗い領域があると、白飛びや黒潰れが生じやすい。そこで、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子を使用した撮像装置において、ダイナミックレンジを拡大するため、異なる複数の露光時間で複数のフレーム画像を撮影し、これらの画像を合成する技術がある。また、特許文献１〜６でも、ダイナミックレンジを拡大する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１５１０６９号公報
【特許文献２】特開２００７−２１４８３２号公報
【特許文献３】特開２００８−０９９１５８号公報
【特許文献４】特開２００８−２２７６９７号公報
【特許文献５】特開２００８−２７１２８０号公報
【特許文献６】特開２００８−２９４６９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ダイナミックレンジが拡大された映像（以下、「広ダイナミックレンジ映像」ともいう。）は、複数のフレーム画像を撮影することから、１回の撮影に必要なデータ量は、通常の映像に比べて多くなる。また、複数のフレーム画像を合成するため、フレームメモリが必要であり、回路負荷が大きくなる。更に、広ダイナミックレンジ映像をメモリに対して読み書きする場合や外部に出力する場合、大きい帯域幅を必要とする。
【０００５】
一方で、撮像装置における広ダイナミックレンジ映像の伝送は、リアルタイムに実現できることが望ましい。また、上述の問題は、画質が高画質、高精細になるほど顕在化する。
【０００６】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、複数のフレーム画像が合成されて生成される広ダイナミックレンジ映像を伝送する際に迅速な伝送が可能であり、帯域幅を低減して回路負荷を減少させることが可能な、新規かつ改良された画像処理装置及び画像処理方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある観点によれば、撮像素子から出力された映像信号を可逆圧縮処理する圧縮部と、圧縮処理された映像信号を蓄積する記憶部と、圧縮処理され記憶部に蓄積された映像信号を伸長処理する伸長部と伸長処理された映像信号に基づく複数のフレーム画像を一つのフレーム画像に合成する合成部とを備える撮像装置が提供される。
【０００８】
上記圧縮部は、撮像素子から出力され不可逆圧縮処理する前の映像信号を可逆圧縮処理してもよい。
【０００９】
上記圧縮部は、映像信号のうち注目画素の画素値と他の画素値の差分情報と、差分情報を表すビットのビット数とに基づいて、映像信号を可逆圧縮処理してもよい。
【００１０】
上記伸長部の数は、合成部で合成する複数のフレーム画像の数と同一であってもよい。
【００１１】
また、上記課題を解決するために、本発明の別の観点によれば、撮像素子から出力され、複数のフレーム画像が一つのフレーム画像に合成された映像信号を可逆圧縮処理する圧縮部と、圧縮処理された映像信号を蓄積する記憶部と、圧縮処理され記憶部に蓄積された映像信号を伸長処理し、現在の映像信号を画像処理する画像処理部に伸長処理された映像信号を出力する伸長部とを備える撮像装置が提供される。
【００１２】
上記圧縮部は、撮像素子から出力され不可逆圧縮処理する前の映像信号を可逆圧縮処理してもよい。
【００１３】
上記圧縮部が圧縮処理する映像信号は浮動小数点形式であってもよい。
【００１４】
上記圧縮部は、浮動小数点形式の映像信号を指数部と仮数部に分けてそれぞれ圧縮処理してもよい。
【００１５】
上記圧縮部は、映像信号のうち注目画素の画素値の指数部と他の画素値の指数部の比較情報と、画素値の指数部を表すビットのビット数とに基づいて、映像信号を可逆圧縮処理してもよい。
【００１６】
上記圧縮部は、映像信号のうち注目画素の画素値の仮数部と他の画素値の仮数部の差分情報と、差分情報を表すビットのビット数とに基づいて、映像信号を可逆圧縮処理してもよい。
【００１７】
また、上記課題を解決するために、本発明の別の観点によれば、圧縮部が撮像素子から出力された映像信号を可逆圧縮処理するステップと、記憶部が圧縮処理された映像信号を蓄積するステップと、伸長部が圧縮処理され記憶部に蓄積された映像信号を伸長処理するステップと、合成部が伸長処理された映像信号に基づく複数のフレーム画像を一つのフレーム画像に合成するステップとを備える撮像方法が提供される。
【００１８】
また、上記課題を解決するために、本発明の別の観点によれば、圧縮部が撮像素子から出力され、複数のフレーム画像が一つのフレーム画像に合成された映像信号を可逆圧縮処理するステップと、記憶部が圧縮処理された映像信号を蓄積するステップと、伸長部が圧縮処理され記憶部に蓄積された映像信号を伸長処理し、現在の映像信号を画像処理する画像処理部に伸長処理された映像信号を出力するステップとを備える撮像方法が提供される。
【発明の効果】
【００１９】
以上説明したように本発明によれば、複数のフレーム画像が合成されて生成される広ダイナミックレンジ映像を伝送する際に迅速な伝送が可能であり、帯域幅を低減して回路負荷を減少させることができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施形態に係る撮像装置１００を示すブロック図である。
【図２】同実施形態に係る広ダイナミックレンジ映像合成部１１０を示すブロック図である。
【図３】同実施形態に係る広ダイナミックレンジ映像処理部１２０を示すブロック図である。
【図４】同実施形態に係る広ダイナミックレンジ合成前映像信号の圧縮処理を示すフローチャートである。
【図５】同実施形態に係る広ダイナミックレンジ合成前映像信号の伸長処理を示すフローチャートである。
【図６】同実施形態に係る広ダイナミックレンジ合成前映像信号の圧縮係数算出処理に関するブロック図である。
【図７】同実施形態に係る広ダイナミックレンジ浮動小数点形式映像信号指数部の圧縮処理を示すフローチャートである。
【図８】同実施形態に係る広ダイナミックレンジ浮動小数点形式映像信号仮数部の圧縮処理を示すフローチャートである。
【図９】同実施形態に係る広ダイナミックレンジ浮動小数点形式映像信号指数部の伸長処理を示すフローチャートである。
【図１０】同実施形態に係る広ダイナミックレンジ浮動小数点形式映像信号仮数部の伸長処理を示すフローチャートである。
【図１１】広ダイナミックレンジ合成前映像信号の圧縮例を示すグラフである。
【図１２】広ダイナミックレンジ合成前映像信号の圧縮例を示すグラフである。
【図１３】広ダイナミックレンジ合成前映像信号の圧縮例を示すグラフである。
【図１４】広ダイナミックレンジ合成前映像信号の圧縮例を示すグラフである。
【図１５】広ダイナミックレンジ合成前映像信号の圧縮例を示すグラフである。
【図１６】広ダイナミックレンジ合成前映像信号の圧縮例を示すグラフである。
【発明を実施するための形態】
【００２１】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２２】
なお、説明は以下の順序で行うものとする。
１．一実施形態の構成
２．一実施形態の動作
【００２３】
＜１．一実施形態の構成＞
［撮像装置１００］
まず、本発明の一実施形態に係る撮像装置１００について説明する。図１は、本実施形態に係る撮像装置１００を示すブロック図である。撮像装置１００は、例えばデジタルスチルカメラ、ビデオカメラ等であり、本実施形態では特にダイナミックレンジを拡大させた撮影が可能な広ダイナミックレンジ撮影機能を有する。
【００２４】
撮像装置１００は、例えば、光学系１０２と、広ダイナミックレンジイメージセンサ１０４と、広ダイナミックレンジ映像合成部１１０と、メモリ１１８と、広ダイナミックレンジ映像処理部１２０と、メモリ１２８と、ＣＰＵ１３２と、圧縮回路１３４と、表示部１３６と、操作部１３８と、フレームメモリ１４２と、記憶部１４４などからなる。
【００２５】
光学系１０２は、被写体からの光を透過させて、広ダイナミックレンジイメージセンサに光を照射する。
【００２６】
広ダイナミックレンジイメージセンサ１０４は、例えばＣＭＯＳ撮像素子又はＣＣＤ撮像素子等である。広ダイナミックレンジイメージセンサ１０４は、映像信号を順次出力する。広ダイナミックレンジイメージセンサ１０４は、広ダイナミックレンジ撮影時には、複数の異なる露光条件で複数のフレーム画像を撮影する。そして、後段の広ダイナミックレンジ映像合成部１１０にて、複数のフレーム画像が合成されることで、ダイナミックレンジが拡大した画像が得られる。広ダイナミックレンジイメージセンサ１０４は、フレーム画像を例えば１２０ｆｐｓで出力する。
【００２７】
広ダイナミックレンジ映像合成部１１０は、広ダイナミックレンジイメージセンサ１０４から出力された映像信号を受けて、複数のフレーム画像を合成する。その際、広ダイナミックレンジ映像合成部１１０は、映像信号を圧縮してメモリ１１８に書き込みつつ、以前に書き込んだ映像信号をメモリ１１８から読み出して伸長処理をしてから、映像信号を合成する。広ダイナミックレンジ映像合成部１１０は、４枚のフレーム画像を１組として合成する場合、１２０ｆｐｓで送られてくるフレーム画像を合成して、合成後のフレーム画像を３０ｆｐｓで出力する。
【００２８】
広ダイナミックレンジ映像処理部１２０は、広ダイナミックレンジ映像合成部１１０から出力された合成後の映像信号を受けて、映像信号に対してノイズ低減等の各種画像処理を施す。広ダイナミックレンジ映像処理部１２０が受ける広ダイナミックレンジ映像信号は、広ダイナミックレンジの特徴を残しつつビット数を抑えるため、浮動小数点形式である。広ダイナミックレンジ映像処理部１２０は、浮動小数点形式の広ダイナミックレンジ映像信号を可逆圧縮してメモリ１２８に書き込みつつ、以前に書き込んだ映像信号をメモリ１２８から読み出して伸長処理してから、現在の映像信号と合わせて画像処理する。
【００２９】
広ダイナミックレンジ映像合成部１１０や広ダイナミックレンジ映像処理部１２０は、例えばＦＰＧＡ又はＡＳＩＣである。メモリ１１８やメモリ１２８は、例えばＤＤＲ−ＳＤＲＡＭである。
【００３０】
ＣＰＵ１３２は、制御装置又は演算装置であり、例えば撮像装置１００の各機能ブロックを制御する。ＣＰＵ１３２は、記憶部１４４に記録されたプログラムを読み出してプログラムを実行する。
【００３１】
圧縮回路１３４は、広ダイナミックレンジ映像処理部１２０から出力された、合成後かつ画像処理後の映像信号をＪＰＥＧ形式、ＭＰＥＧ形式などの圧縮ファイル形式に圧縮する。この圧縮は、不可逆圧縮処理であることが一般的である。
【００３２】
表示部１３６は、撮像装置１００の筐体に設けられた液晶ディスプレイ、有機ＥＬディスプレイなどである。表示部１３６は、映像信号に基づいて、撮影時の被写体像や、撮影後の映像を表示する。また、表示部１３６は、撮像装置１００の設定メニューなどを表示する。
【００３３】
操作部１３８は、例えば撮像装置１００の筐体に設けられたボタン、表示部１３６に設けられたタッチパネル、リモートコントローラなどである。操作部１３８は、ユーザーの操作を受け付けて操作信号を生成する。操作部１３８は、生成した操作信号をＣＰＵ１３２等に送る。
【００３４】
フレームメモリ１４２は、広ダイナミックレンジ映像処理部１２０から出力された、合成後かつ画像処理後の映像信号を蓄積する。フレーム１４２に蓄積された映像信号は、圧縮回路１３４における圧縮処理などに使用される。
【００３５】
記憶部１４４は、圧縮処理された映像信号を圧縮ファイルとして蓄積する。また、記憶部１４４は、ＣＰＵ１３２で実行されるプログラム等を記憶する。
【００３６】
［広ダイナミックレンジ映像合成部１１０］
次に、図２を参照して、本実施形態に係る広ダイナミックレンジ映像合成部１１０について説明する。図２は、本実施形態に係る広ダイナミックレンジ映像合成部１１０を示すブロック図である。
【００３７】
広ダイナミックレンジ映像合成部１１０は、例えば、圧縮回路１１１と、メモリ書き込み回路１１２と、広ダイナミックレンジ映像合成制御回路１１３と、複数のメモリ読み出し回路１１４と、複数の伸長回路１１５と、広ダイナミックレンジ映像合成回路１１６などからなる。
【００３８】
圧縮回路１１１は、後述する圧縮アルゴリズムによって、映像信号を可逆圧縮処理する。１２０ｆｐｓでフレーム画像を受ける場合、圧縮回路１１１は、圧縮済みの映像信号を１２０ｆｐｓで出力する。
【００３９】
メモリ書き込み回路１１２は、圧縮済みの映像信号をメモリ１１８に書き込む。１２０ｆｐｓでフレーム画像を受ける場合、メモリ書き込み回路１１２は、圧縮済みの映像信号を１２０ｆｐｓで出力する。
【００４０】
広ダイナミックレンジ映像合成制御回路１１３は、メモリ書き込み回路からフレームのタイミングを受ける。また、広ダイナミックレンジ映像合成制御回路１１３は、フレームのタイミングに基づいて、メモリ読み出し回路１１４における映像信号の読み出しを制御し、広ダイナミックレンジ映像合成回路１１６における合成処理を制御する。
【００４１】
メモリ読み出し回路１１４は、伸長回路１１５の数と同数設けられ、それぞれがメモリ１１８に書き込まれた圧縮済みの映像信号を読み出す。広ダイナミックレンジイメージセンサ１０４から１２０ｆｐｓでフレーム画像が出力され、伸長回路１１５が４つである場合、メモリ読み出し回路１１４は、圧縮済みの映像信号を３０ｆｐｓで読み出す。
【００４２】
伸長回路１１５は、広ダイナミックレンジ映像合成回路１１６で合成する複数のフレームの数と同数設けられる。例えば、４枚を１組として、４枚のフレーム画像を合成して１枚の合成フレームを生成する場合、伸長回路１１４は、４つ設けられる。伸長回路１１５は、メモリ１１８から読み出された圧縮済みの映像信号を伸長処理する。広ダイナミックレンジイメージセンサ１０４から１２０ｆｐｓでフレーム画像が出力され、伸長回路１１５が４つである場合、伸長回路１１５は、伸長後の映像信号を３０ｆｐｓで出力する。
【００４３】
広ダイナミックレンジ映像合成回路１１６は、伸長処理された映像信号に基づく複数のフレーム画像を一つのフレーム画像に合成する。合成後のフレーム画像は、広ダイナミックレンジの映像である。広ダイナミックレンジ映像合成回路１１６は、合成後の広ダイナミックレンジ映像信号を広ダイナミックレンジ映像処理部１２０に出力する。合成後の広ダイナミックレンジ映像信号の各画素のビット数は、広ダイナミックレンジイメージセンサ１０４から出力される各画素のビット数よりも大きくなる。よって、広ダイナミックレンジ映像信号は、浮動小数点形式である。
【００４４】
［広ダイナミックレンジ映像処理部１２０］
次に、図３を参照して、本実施形態に係る広ダイナミックレンジ映像処理部１２０について説明する。図３は、本実施形態に係る広ダイナミックレンジ映像処理部１２０を示すブロック図である。
【００４５】
広ダイナミックレンジ映像処理部１２０は、例えば、圧縮回路１２１と、メモリ書き込み回路１２２と、メモリ読み出し回路１２４と、伸長回路１２５と、画像処理回路１２６などからなる。
【００４６】
圧縮回路１２１は、後述する圧縮アルゴリズムによって、浮動小数点形式の広ダイナミックレンジ映像信号を可逆圧縮処理する。圧縮回路１２１は、浮動小数点形式の広ダイナミックレンジ映像信号を指数部と仮数部に分けてそれぞれ圧縮処理する。
【００４７】
メモリ書き込み回路１２２は、圧縮済みの映像信号をメモリ１２８に書き込む。メモリ読み出し回路１２４は、メモリ１２８に書き込まれた圧縮済みの映像信号を読み出す。伸長回路１２５は、メモリ１２８から読み出された圧縮済みの映像信号を伸長処理する。
【００４８】
画像処理回路１２６は、伸長処理した過去の映像信号を受けて、現在の映像信号を画像処理する。画像処理回路１２６は、３次元ノイズ低減処理などの画像処理をする。画像処理回路１２６は、浮動小数点形式の広ダイナミックレンジ映像信号を処理する。
【００４９】
＜２．一実施形態の動作＞
［広ダイナミックレンジ合成前映像信号の圧縮処理］
次に、図４を参照して、圧縮回路１１１における広ダイナミックレンジ合成前映像信号の圧縮処理を説明する。図４は、本実施形態に係る広ダイナミックレンジ合成前映像信号の圧縮処理を示すフローチャートである。
【００５０】
まず、注目画素ｐ［ｉ］と一つ前の画素ｐ［ｉ−１］との画素値レベルの差分情報Ｄを求める（ステップＳ１０１〜Ｓ１０５）。ステップＳ１０１のＡは、注目画素ｐ［ｉ］と一つ前の画素ｐ［ｉ−１］との画素値レベルの差分である。Ａが０未満である場合は（ステップＳ１０２）、ＢをＡのビット反転と決定し（「~Ａ」は、Ａのビット反転を表す。）、Ｃを１と決定する（ステップＳ１０３）。Ａが０以上である場合は（ステップＳ１０２）、ＢをＡと決定し、Ｃを０と決定する（ステップＳ１０４）。そして、差分情報Ｄは、Ｂを１ビット左シフトし、１番右にＣを付加した値とする。そして、差分情報Ｄがｘビット以下で表すことができる場合（ステップＳ１０６）、その差分情報Ｄにフラグ情報を追加した値Ｅを出力する（ステップＳ１０７，Ｓ１０９）。一方、差分情報Ｄがｘビット以下で表すことができない場合は、画素値レベルｐ［ｉ］そのものにフラグ情報を追加した値Ｅを出力する（ステップＳ１０８，Ｓ１０９）。
【００５１】
ここで、画素値レベルｐ［］は、入力映像信号によって指し示すものが変わる。例えば、入力映像信号がベイヤー配列のままであった場合、圧縮回路１１１を２つ用意し、それぞれの系列をｐ［］として独立に処理する。入力映像信号が、ＲＧＢならば、圧縮回路を３つ用意し、ＲＧＢそれぞれをｐ［］として独立に処理する。
【００５２】
圧縮係数ｘは、一般的に映像の時間方向のフレーム間の相関が高いことを利用して、図６に示すように、前フレームで最も圧縮率の良かった値が使用される。図６は、本実施形態に係る広ダイナミックレンジ合成前映像信号の圧縮係数算出処理に関するブロック図である。
【００５３】
圧縮係数ｘ出力ビット数算出部１５２は、圧縮係数ｘごとに設けられ、圧縮出力ビット数を出力する。最適圧縮係数選択部１５４は、前フレームで最も圧縮率の良かった圧縮出力ビット数を出力して、その圧縮係数ｘは次のフレームに使用される。
【００５４】
図５は、本実施形態に係る広ダイナミックレンジ合成前映像信号の伸長処理を示すフローチャートである。図４の圧縮処理によって圧縮された映像信号を伸長する処理を示している。図５において、ｑ［ｊ：ｊ］は、圧縮済みデータのｊビット目の１ビットを表し、ｑ［ｊ＋１：ｊ＋３］は、圧縮済みデータの（ｊ＋１）ビットから（ｊ＋３）ビットまでの３ビットを表す。「~Ｂ」は、Ｂのビット反転を表す。
【００５５】
本実施形態では、圧縮回路１１１が簡単であるため、圧縮係数ｘが異なる複数の圧縮回路を単純に並べても、回路規模がそれほど増えない。回路規模をなるべく少なくしたい場合は、圧縮係数ｘに固定の定数値を用いることもできる。また、図４のフローチャートには書かれていないが、圧縮係数ｘは、フレーム先頭に出力しておく。
【００５６】
この圧縮アルゴリズムの変形として、図４のＡ＝ｐ［ｉ−１］−ｐ［ｉ］という計算のうち、ｐ［ｉ−１］を、一つ前のラインの全画素の平均値に代えて計算してもよい。また、ｐ［ｉ−１］を、直前の数画素の平均値や、近傍画素の平均値に代えて計算してもよい。
【００５７】
［広ダイナミックレンジ浮動小数点形式映像信号指数部の圧縮処理］
次に、図７を参照して、圧縮回路１２１における広ダイナミックレンジ浮動小数点形式映像信号指数部の圧縮処理を説明する。図７は、本実施形態に係る広ダイナミックレンジ浮動小数点形式映像信号指数部の圧縮処理を示すフローチャートである。
【００５８】
注目画素ｐ［ｉ］．ｅと一つ前の画素の画素値レベル指数部ｐ［ｉ−１］．ｅを比較して、ｐ［ｉ−１］．ｅがｐ［ｉ］．ｅと同じであれば（ステップＳ１２１）（「！＝」は、左右の値が異なることを表す。）、フラグ１を出力する（ステップＳ１２２，Ｓ１２４）。ｐ［ｉ−１］．ｅがｐ［ｉ］．ｅと同じでない場合は（ステップＳ１２１）、ｐ［ｉ］．ｅにフラグ情報を追加した値Ａを出力する（ステップＳ１２３，Ｓ１２４）。
【００５９】
この圧縮アルゴリズムの変形として、図７のｐ［ｉ−１］．ｅ！＝ｐ［ｉ］．ｅの判断におけるｐ［ｉ−１］．ｅを、一つ前のラインの全画素の平均値に代えて計算してもよい。また、ｐ［ｉ−１］．ｅを、直前の数画素の平均値や、近傍画素の平均値に代えて計算してもよい。
【００６０】
図９は、本実施形態に係る広ダイナミックレンジ浮動小数点形式映像信号指数部の伸長処理を示すフローチャートである。図７の圧縮処理によって圧縮された映像信号を伸長する処理を示している。図９において、ｑ［ｊ：ｊ］は、圧縮済みデータのｊビット目の１ビットを表し、ｑ［ｊ＋１：ｊ＋３］は、圧縮済みデータの（ｊ＋１）ビットから（ｊ＋３）ビットまでの３ビットを表す。
【００６１】
［広ダイナミックレンジ浮動小数点形式映像信号仮数部の圧縮処理］
図８は、本実施形態に係る広ダイナミックレンジ浮動小数点形式映像信号仮数部の圧縮処理を示すフローチャートである。広ダイナミックレンジ浮動小数点形式映像信号仮数部の圧縮処理は、図４で示した広ダイナミックレンジ合成前映像信号圧縮アルゴリズムと同じである。圧縮アルゴリズムの変形も広ダイナミックレンジ合成前映像信号の場合と同じである。
【００６２】
図１０は、本実施形態に係る広ダイナミックレンジ浮動小数点形式映像信号仮数部の伸長処理を示すフローチャートである。図８の圧縮処理によって圧縮された映像信号を伸長する処理を示している。図１０において、ｑ［ｊ：ｊ］は、圧縮済みデータのｊビット目の１ビットを表し、ｑ［ｊ＋１：ｊ＋３］は、圧縮済みデータの（ｊ＋１）ビットから（ｊ＋３）ビットまでの３ビットを表す。「~Ｂ」は、Ｂのビット反転を表す。
【００６３】
＜３．広ダイナミックレンジ合成前映像信号の圧縮例＞
図１１〜図１６は、広ダイナミックレンジ合成前映像信号の圧縮例を示すグラフである。図１１〜図１６は、エントランス、太陽直視、夜間における車のハイライト、室内、室内における本の５種類のシーンを撮影して得られた画像データによる圧縮例である。
【００６４】
映像信号（画素ビット数ｎ＝１０）に対して、圧縮係数ｘがｘ＝０からｘ＝１０までの場合の圧縮率を計算した結果である。図１１は、各シーンのフレーム平均値を示している。図１２はエントランス、図１３は太陽直視、図１４は夜間における車のハイライト、図１５は室内、図１６は室内における本のシーンの圧縮係数毎の圧縮率である。また、図１２〜図１６では、露出条件毎（長蓄、短蓄（長）、短蓄（中）、短蓄（短））に圧縮率を示している。
【００６５】
撮影シーンと圧縮係数によって圧縮率は異なるが、本実施形態は簡単なアルゴリズムでありながら、３８％〜６５％程度の圧縮率を実現している。
【００６６】
本実施形態のアルゴリズムで、広ダイナミックレンジ映像を圧縮、伸長すると、映像をメモリに格納する場合であれば、メモリ帯域の使用量を減らすことができる。また、メモリ格納以外にも、別の信号処理ＩＣへ映像を送る等で外部のバスに出力する場合でも、バス帯域の使用量を減らすことができる。
【００６７】
更に、デバイスのメモリに格納されている合成前の広ダイナミックレンジ映像を、ＣＰＵ等で読み出したい場合に、圧縮したまま読み出せば読み出し時間を短縮できる。そして、本実施形態の圧縮処理は可逆圧縮なので、映像信号の劣化が無い。また更に、本実施形態では、簡単なアルゴリズムを採用しているため、ハードウェアで実装すれば、リアルタイムに圧縮、伸長できるため、伝送においてリアルタイム性が実現でき、遅延がほとんど無い。また、本実施形態のアルゴリズムは、ソフトウェアによる処理でも負荷が小さい。そして、規模の小さいＬＳＩやＦＰＧＡにも実装できる。なお、本アルゴリズムは、一般的な映像に対してはあまり効果がない簡単なものであるが、広ダイナミックレンジ映像のデータの特徴を利用したものであり、効果的な圧縮率を実現できる。
【００６８】
また、使用できる回路規模に合わせて、圧縮係数を固定値にする等で、ある程度スケーラブル、即ち規模の大小を可変にして実装できる。
【００６９】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００７０】
１００      撮像装置
１０２      光学系
１０４      広ダイナミックレンジイメージセンサ
１１０      広ダイナミックレンジ映像合成部
１１１      圧縮回路
１１２      メモリ書き込み回路
１１３      広ダイナミックレンジ映像合成制御回路
１１４      メモリ読み出し回路
１１５      伸長回路
１１６      広ダイナミックレンジ映像合成回路
１１８      メモリ
１２０      広ダイナミックレンジ映像処理部
１２１      圧縮回路
１２２      メモリ書き込み回路
１２４      メモリ読み出し回路
１２５      伸長回路
１２６      画像処理回路
１２８      メモリ
１３２      ＣＰＵ
１３４      圧縮回路
１３６      表示部
１３８      操作部
１４２      フレームメモリ
１４４      記憶部
１５２      圧縮係数ｘ出力ビット数算出部
１５４      最適圧縮係数選択部
【図１】
2011119868.tif 000003
【図２】
2011119868.tif 000004
【図３】
2011119868.tif 000005
【図４】
2011119868.tif 000006
【図５】
2011119868.tif 000007
【図６】
2011119868.tif 000008
【図７】
2011119868.tif 000009
【図８】
2011119868.tif 000010
【図９】
2011119868.tif 000011
【図１０】
2011119868.tif 000012
【図１１】
2011119868.tif 000013
【図１２】
2011119868.tif 000014
【図１３】
2011119868.tif 000015
【図１４】
2011119868.tif 000016
【図１５】
2011119868.tif 000017
【図１６】
2011119868.tif 000018