(57)【要約】【課題】  異なる露出で撮像された複数の画像を高階調且つ少ないデータ量で記録できるようにする。【解決手段】  周期的に露出を変化させて撮像された複数の画像データを階調の圧縮を行わずにフレーム間予測符号化する。この際に、最も低い露出以外のフレームであって、参照元フレームとの露出の差が最も小さいフレームを参照先フレームに設定する。また、フレーム内予測符号化を行うフレーム（ピクチャ）が出現する周期を、露出を変更する周期の整数倍にする。また、参照先フレームの明るさと参照元フレームの明るさを合わせる。【選択図】  図１
2015023498.tif 000002
【特許請求の範囲】
【請求項１】
複数の露出で撮像された複数のフレームの画像データについて、フレーム間予測符号化方式またはフレーム内予測符号化方式を用いて符号化する符号化手段を有する画像符号化装置であって、
前記符号化手段は、前記フレームにおける露出に応じて、前記フレーム間予測符号化方式における符号化対象となる参照元フレームに対する参照先フレームを決定することと、前記参照元フレームおよび前記参照先フレームの明るさを合わせることと、の少なくともいずれかを実行することを特徴とする画像符号化装置。
【請求項２】
前記符号化手段は、前記複数の露出のうち、所定の基準よりも高い露出で得られたフレームを、前記参照元フレームに対する前記参照先フレームとして決定することを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記符号化手段は、前記複数の露出のうち、最も低い露出と異なる露出で撮像されたフレームを、前記参照元フレームに対する前記参照先フレームとして決定することを特徴とする請求項２に記載の画像符号化装置。
【請求項４】
前記符号化手段は、前記参照元フレームが得られたときの露出に対し、所定の基準よりも近い露出で得られたフレームを、当該参照元フレームに対する前記参照先フレームとして決定することを特徴とする請求項１〜３の何れか１項に記載の画像符号化装置。
【請求項５】
前記符号化手段は、前記参照元フレームが得られたときの露出に最も近い露出で得られたフレームを、当該参照元フレームに対する前記参照先フレームとして決定することを特徴とする請求項４に記載の画像符号化装置。
【請求項６】
前記符号化手段は、前記参照元フレームと、前記参照元フレームが得られたときの露出に最も近い露出で得られたフレームとの時間的な差が所定時間よりも長くなる場合には、前記参照元フレームとの時間的な差が所定時間内のフレームを、当該参照元フレームに対する前記参照先フレームとして決定することを特徴とする請求項５に記載の画像符号化装置。
【請求項７】
前記複数の露出は、周期的に繰り返し変更され、
前記フレーム内予測符号化方式を用いて符号化するフレームが出現する周期は、前記露出を変更する周期の整数倍であることを特徴とする請求項１〜６の何れか１項に記載の画像符号化装置。
【請求項８】
前記符号化手段は、前記参照元フレームおよび前記参照先フレームの明るさを合わせた後に、当該参照先フレームを用いて、当該参照元フレームに対するフレーム間予測符号化を行うことを特徴とする請求項１〜７の何れか１項に記載の画像符号化装置。
【請求項９】
前記符号化手段は、前記参照元フレームが得られたときの露出と、前記参照先フレームが得られたときの露出の差に応じて、前記参照元フレームおよび前記参照先フレームの明るさを合わせることを特徴とする請求項８に記載の画像符号化装置。
【請求項１０】
前記符号化手段は、前記参照元フレームが得られたときの露出と、前記参照先フレームが得られたときの露出との差に応じて、前記参照先フレームの画素値に対する増幅率を決定し、決定した増幅率を前記参照元フレームに掛けることにより、前記参照先フレームの明るさを前記参照元フレームの明るさに合わせることを特徴とする請求項９に記載の画像符号化装置。
【請求項１１】
前記参照元フレームおよび前記参照先フレームのデータは、ガンマ処理が行われていないデータ、または、入力が１のときに出力が１になるガンマ特性でガンマ処理を行う場合よりも階調の圧縮率が低くなるように階調の圧縮が行われたデータであることを特徴とする請求項１〜１０の何れか１項に記載の画像符号化装置。
【請求項１２】
複数の露出で撮像された複数のフレームの画像データについて、フレーム間予測符号化方式またはフレーム内予測符号化方式を用いて符号化する符号化工程を有する画像符号化方法であって、
前記符号化工程は、前記フレームにおける露出に応じて、前記フレーム間予測符号化方式における符号化対象となる参照元フレームに対する参照先フレームを決定することと、前記参照元フレームおよび前記参照先フレームの明るさを合わせることと、の少なくともいずれかを実行することを特徴とする画像符号化方法。
【請求項１３】
前記符号化工程は、前記複数の露出のうち、所定の基準よりも高い露出で得られたフレームを、前記参照元フレームに対する前記参照先フレームとして決定することを特徴とする請求項１２に記載の画像符号化方法。
【請求項１４】
前記符号化工程は、前記複数の露出のうち、最も低い露出と異なる露出で撮像されたフレームを、前記参照元フレームに対する前記参照先フレームとして決定することを特徴とする請求項１３に記載の画像符号化方法。
【請求項１５】
前記符号化工程は、前記参照元フレームが得られたときの露出に対し、所定の基準よりも近い露出で得られたフレームを、当該参照元フレームに対する前記参照先フレームとして決定することを特徴とする請求項１２〜１４の何れか１項に記載の画像符号化方法。
【請求項１６】
前記符号化工程は、前記参照元フレームが得られたときの露出に最も近い露出で得られたフレームを、当該参照元フレームに対する前記参照先フレームとして決定することを特徴とする請求項１５に記載の画像符号化方法。
【請求項１７】
前記符号化工程は、前記参照元フレームと、前記参照元フレームが得られたときの露出に最も近い露出で得られたフレームとの時間的な差が所定時間よりも長くなる場合には、前記参照元フレームとの時間的な差が所定時間内のフレームを、当該参照元フレームに対する前記参照先フレームとして決定することを特徴とする請求項１６に記載の画像符号化方法。
【請求項１８】
前記複数の露出は、周期的に繰り返し変更され、
前記フレーム内予測符号化方式を用いて符号化するフレームが出現する周期は、前記露出を変更する周期の整数倍であることを特徴とする請求項１２〜１７の何れか１項に記載の画像符号化方法。
【請求項１９】
前記符号化工程は、前記参照元フレームおよび前記参照先フレームの明るさを合わせた後に、当該参照先フレームを用いて、当該参照元フレームに対するフレーム間予測符号化を行うことを特徴とする請求項１２〜１８の何れか１項に記載の画像符号化方法。
【請求項２０】
前記符号化工程は、前記参照元フレームが得られたときの露出と、前記参照先フレームが得られたときの露出の差に応じて、前記参照元フレームおよび前記参照先フレームの明るさを合わせることを特徴とする請求項１９に記載の画像符号化方法。
【請求項２１】
前記符号化工程は、前記参照元フレームが得られたときの露出と、前記参照先フレームが得られたときの露出との差に応じて、前記参照先フレームの画素値に対する増幅率を決定し、決定した増幅率を前記参照元フレームに掛けることにより、前記参照先フレームの明るさを前記参照元フレームの明るさに合わせることを特徴とする請求項２０に記載の画像符号化方法。
【請求項２２】
前記参照元フレームおよび前記参照先フレームのデータは、ガンマ処理が行われていないデータ、または、入力が１のときに出力が１になるガンマ特性でガンマ処理を行う場合よりも階調の圧縮率が低くなるように階調の圧縮が行われたデータであることを特徴とする請求項１２〜２１の何れか１項に記載の画像符号化方法。
【請求項２３】
請求項１２〜２２の何れか１項に記載の画像符号化方法の各工程をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化装置、画像符号化方法およびプログラムに関し、特に、画像を符号化するために用いて好適なものである。
【背景技術】
【０００２】
近年、複数枚の画像を合成し、合成した画像を記録可能なデジタルカメラといった撮像装置が数多く製品化されている。このような撮像装置として、被写体の明るさが適正となる露出よりも低い露出で撮像した画像と当該露出よりも高い露出（被写体の明るさが適正となる露出等）で撮像した画像とを合成することにより、白飛びや暗部のノイズを改善する機能を持つ撮像装置がある。このような機能は、ハイダイナミックレンジ機能と呼ばれている（以下、ハイダイナミックレンジをＨＤＲと称する）。一般的に、撮像素子のダイナミックレンジは、自然界のダイナミックレンジよりも狭い。したがって、例えば、逆光シーンで撮影すると、白飛びが発生してしまう場合がある。また、より低い露出で撮影すると、全体的に暗く撮像されるため、白飛びは抑制することが可能となるが、黒潰れが発生してしまう。
【０００３】
ＨＤＲ機能では、露出の異なる複数の画像を撮像し、明るい領域には白飛びしていない低露出画像に重みを掛け、逆に、暗い領域には黒潰れしていない高露出画像に重みを掛けて合成することにより、明部も暗部も階調豊かな画像を作成することができる。このように、高階調な画像を作成できることがＨＤＲの特徴である。ところで、階調をユーザの好みの階調に調整してＨＤＲ画像を作成したいというニーズがある。この場合、撮影しながら階調を調整してＨＤＲ画像を作成するとなると、シャッターチャンスを逃してしまう恐れがある。特に、動画像の撮影時には、撮影しながら階調をマニュアルで調整することは困難である。そのため、ＨＤＲ画像を作成するために必要な、異なる露出で撮像した画像を一旦記録し、撮影後に階調を調整しながらＨＤＲ画像を作成する方法が有効である。また、低階調な画像に対し、例えば、暗部の階調を持ち上げたりすると、疑似輪郭が発生してしまう恐れがある。そのため、ＨＤＲ画像を作成するためには、異なる露出で撮像した画像を高階調のまま記録することが必要である。
【０００４】
異なる露出で撮像した画像を記録するための技術として特許文献１に記載の技術がある。特許文献１に記載の技術は、異なる露出で撮像した各フレームの画像を符号化する際に、各フレームの画像が撮像されたときの露出に応じて、フレーム毎に符号化圧縮率を変更するという技術である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−３３０２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前述のように、撮影後に階調を調整しながらＨＤＲ画像を作成する際には、異なる露出で撮像した複数の画像を一旦記録する必要がある。このような複数の画像を記録するためには、多くのデータ量のデータを記録しなければならない。また、動画像のように長時間の画像データを記録する場合のデータ量は、より膨大となってしまう。
これに対して、特許文献１に記載の技術では、適性露出でない画像（低露出画像等）の圧縮率を高めることによりデータ量の圧縮をしている。しかしながら、適性露光でない画像には、白飛びや黒潰れの階調表現情報が多く含まれており、それらを一様に高い圧縮率で圧縮してしまうと、一画素に十分なビット数を割当てられなくなり、ユーザが求める階調表現を実現できなくなる可能性が高まる。
本発明は、このような問題点に鑑みてなされたものであり、異なる露出で撮像された複数の画像を高階調且つ少ないデータ量で記録できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像符号化装置は、複数の露出で撮像された複数のフレームの画像データについて、フレーム間予測符号化方式またはフレーム内予測符号化方式を用いて符号化する符号化手段を有する画像符号化装置であって、前記符号化手段は、前記フレームにおける露出に応じて、前記フレーム間予測符号化方式における符号化対象となる参照元フレームに対する参照先フレームを決定することと、前記参照元フレームおよび前記参照先フレームの明るさを合わせることと、の少なくともいずれかを実行することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、異なる露出で撮像された複数の画像を高階調且つ少ないデータ量で記録することができる。
【図面の簡単な説明】
【０００９】
【図１】撮像装置の構成を示す図である。
【図２】異なる露出で撮像した場合の入射光量と信号レベルの関係を示す図である。
【図３】高露出画像、中露出画像および低露出画像を概念的に示す図である。
【図４】撮像するフレームとそのフレームが撮像された露出の関係を示す図である。
【図５】符号化部の詳細な構成を示す図である。
【図６】フレーム間予測符号化処理を行う際に参照するフレームを示す図である。
【図７】画像データの明るさを合わせる方法を説明する図である。
【図８】撮像装置の処理を説明するフローチャートである。
【発明を実施するための形態】
【００１０】
以下、図面を参照しながら、本発明の一実施形態について説明する。
図１は、本実施形態による画像符号化装置を適用可能な撮像装置の構成の一例を示すブロック図である。本実施形態における撮像装置１００は、異なる露出条件で撮像した複数の画像を高階調、且つ少ないデータ量で記録する撮像装置である。
【００１１】
撮像装置１００は、レンズ１０１、絞り部１０２、撮像部１０３、Ａ／Ｄ変換部１０４、カメラ信号処理部１０５、撮像条件決定部１０６、フレーム間予測方法決定部１０７、符号化部１０８、および画像記録部１０９を有する。
レンズ１０１は、被写体光を、絞り部１０２および撮像部１０３に導く。また、レンズ１０１は、複数のレンズ群を備えて構成される。レンズ１０１は、後述の撮像条件決定部１０６から出力されるフォーカス情報に基づき、撮像装置１００から或る距離の被写体像をボケることなく撮像部１０３に結像できるようにレンズ間の距離を変化させる。絞り部１０２は、後述の撮像条件決定部１０６から出力される絞り情報に基づき、レンズ１０１から導かれた被写体光の一部を遮ることにより撮像部１０３に入光する光の光量を制限する。
【００１２】
撮像部１０３は、後述の撮像条件決定部１０６から出力される露光時間情報に基づき、決められた露光時間の被写体光を、ＣＣＤやＣＭＯＳ等の撮像素子を使って撮像し、撮像した被写体光を電気信号に変換してＡ／Ｄ変換部１０４に出力する。Ａ／Ｄ変換部１０４は、所定の増幅率に従って、撮像部１０３から出力された電気信号（アナログ信号）を増幅し、ディジタル信号に変換する。
【００１３】
カメラ信号処理部１０５は、Ａ／Ｄ変換部１０４より出力されたディジタル信号に対して、ホワイトバランスやガンマ処理、輪郭強調等の画像処理を行い、映像信号を出力する。また、カメラ信号処理部１０５は、フォーカス位置や露出といった撮像条件を決めるための評価値を撮像条件決定部１０６に出力する。フォーカス位置を決めるための評価値としては、例えば、画像に対してバンドパスフィルタ処理を行うことにより得られるコントラスト情報（画像のコントラストを示す情報）が挙げられる。また、露出を決めるための評価値としては、例えば、画像に対する輝度平均を算出することにより得られる明るさ情報（画像の明るさを示す情報である）が挙げられる。
【００１４】
撮像条件決定部１０６は、カメラ信号処理部１０５から出力されたコントラスト情報および明るさ情報に応じて、撮像する条件を決定する。具体的に説明すると、撮像条件決定部１０６は、レンズ１０１に対しては、コントラスト情報からフォーカス位置を決めるためのフォーカス情報を生成して出力する。また、撮像条件決定部１０６は、明るさ情報から露出を決め、絞り部１０２および撮像部１０３に対して、絞り情報および露光時間情報（シャッタースピード）を出力する。
【００１５】
フレーム間予測方法決定部１０７は、後述の符号化部１０８で行うフレーム間符号化のフレーム間予測方法を決定し、決定したフレーム間予測方法を示すフレーム間予測方法情報を符号化部１０８に出力する。
符号化部１０８は、カメラ信号処理部１０５から出力された映像信号に対して、フレーム内符号化またはフレーム間符号化を行い、符号化ストリームを出力する。フレーム間符号化を行う場合、符号化部１０８は、フレーム間予測方法決定部１０７により決定されたフレーム間予測方法に基づきフレーム間符号化を行う。
画像記録部１０９は、符号化部１０８から出力された符号化ストリームを記録する。
【００１６】
尚、通常、カメラ信号処理部１０５において、画像に対してガンマ処理を行うことにより階調を圧縮する。しかし、本実施形態では、異なる露出で撮像した「階調特性の異なる複数の画像」に対し、階調を十分に保持したまま記録するため、階調圧縮により階調情報を失うことは望ましくない。そのため、ガンマ処理による階調の圧縮は行わない、若しくは、最低限の階調の圧縮に留めることが必要となる。尚、以下の実施形態では、カメラ信号処理部１０５において、階調の圧縮を行わない場合を例に挙げて説明する。ここで、最低限の階調の圧縮を行うとは、例えば、入力が１のときに出力が１になるガンマ特性でガンマ処理を行う場合よりも階調の圧縮率が低くなるガンマ特性に基づいてガンマ処理を行うことをいう。このようなガンマ特性の一例としては、いわゆるｌｏｇガンマ（入力が高輝度になっても出力が白とびしないようなカーブ形状になっているガンマ特性）がある。
【００１７】
次に、撮像条件決定部１０６、符号化部１０８、およびフレーム間予測方法決定部１０７について詳しく説明する。
（撮像条件決定部１０６）
まず、撮像条件決定部１０６について図２および図３を参照して詳しく説明する。
撮像条件決定部１０６は、カメラ信号処理部１０５から出力されたコントラスト情報および明るさ情報に応じて、撮像する条件を決定する。以下、ＨＤＲ画像を作成するために必要な画像の撮像条件の決定方法の一例について詳しく説明する。
【００１８】
ＨＤＲ画像を作成するためには、まず、階調特性が異なる複数の画像を得るため、異なる露出で撮像することが必要となる。そのために撮像条件決定部１０６は、異なる複数の露出を決定する。本実施形態では、露出を変える方法として、撮像部１０３の露光時間（シャッタースピード）を変化する方法を例に挙げて説明する。ただし、露出を変える方法は、露光時間を変化させる方法に限ったものではない。例えば、絞り部１０２の絞り値を変化させてもよい。
【００１９】
図２に、異なる露光時間（露出）で撮像した場合の入射光量と撮像部１０３の信号レベルとの関係の一例を示す。
図２において、グラフＥHは、露光時間が最も長い高露出画像の入射光量と信号レベルとの関係を示す。グラフＥMは、露光時間が２番目に長い中露出画像の入射光量と信号レベルとの関係を示す。グラフＥLは、露光時間が最も短い低露出画像の入射光量と信号レベルとの関係を示す。
また、図３に高露出画像、中露出画像および低露出画像の絵柄の一例を概念的に示す。具体的に、図３（ａ）に高露出画像、図３（ｂ）に中露出画像、図３（ｃ）に低露出画像の絵柄をそれぞれ示す。
高露出画像では、入射光量が小さくて暗い被写体の信号レベルは高いが、或る入射光量ＬH以上の明るい被写体の信号レベルは飽和してしまう（図２を参照）。つまり、高露出画像は、他の中露出画像や低露出画像よりも白飛びし易いく、黒潰れし難いといった階調特性がある。そのため、図３（ａ）に示す高露出画像３１０では、先頭の暗い車３１１は明るく撮像されているが、最後尾の明るい車３１２は白飛びしてしまっている。尚、高露出画像３１０では、説明の都合上、この白飛びしている車３１２を破線で示す。
【００２０】
一方、低露出画像では、入射光量が小さくて暗い被写体の信号レベルは低いが、信号レベルが飽和する入射光量ＬLが最も大きい（図２を参照）。つまり、低露出画像は、他の高露出画像や中露出画像よりも白飛びし難く、黒潰れし易いといった階調特性がある。そのため、図３（ｃ）に示す低露出画像３３０では、先頭の暗い車３３１は黒潰れしてしまっているが、最後尾の明るい車３３２は白飛びすることなく、撮像されている。
中露出画像の階調特性は、高露出画像と低露出画像の中間である。そのため、図３（ｂ）に示す中露出画像３２０では、先頭の暗い車３２１はやや黒潰れしており、最後尾の明るい車３２２はやや白飛びしている。
ＨＤＲ画像を作成するためには、このように異なる階調特性を持つ複数の画像が必要である。
【００２１】
さらに、撮像条件決定部１０６は、このように異なる階調特性を持つ複数の画像を連続的に撮像するために、周期的に露出を変化させる。周期的に露出を変化させ、撮像を行うシーケンスについて、図４を参照して説明する。
図４は、撮像するフレームとそのフレームが撮像された露出との関係の一例を示す図である。
撮像条件決定部１０６は、フレーム毎に露出を、例えば、高露出、中露出、低露出、高露出、中露出、・・・と周期的に変化させ連続的に撮像を行う。このように露出を周期的に変化させ、撮像することにより、露出の異なる複数のフレームを動画的に撮像することが可能となる。
このように異なる階調特性を持つ画像を用いることにより、ＨＤＲ画像の作成は可能となる。しかしながら、前述したように、これらの画像は、カメラ信号処理部１０５におけるガンマ処理による階調圧縮が行われていないため、膨大なデータ量となってしまう。この膨大なデータ量を持つ画像を、高階調のまま、高画質、且つ、少ないデータ量で記録するために、本実施形態では、以降説明する符号化処理を行う。
【００２２】
（符号化部１０８）
次に、符号化部１０８について図５を参照して詳しく説明する。図５は、符号化部１０８の詳細な構成の一例を示すブロック図である。
符号化部１０８は、フレーム並替部５０１、減算器５０２、直交変換部５０３、量子化部５０４、算術符号化部５０５、逆量子化部５０６、逆直交変換部５０７、加算器５０８およびフレームメモリ５０９、５１３を有する。さらに、符号化部１０８は、フレーム内予測部５１０、スイッチ５１１、５１７、デブロッキングフィルタ５１２、明るさ合わせ部５１４、フレーム間予測部５１５および動き検出部５１６を有する。
【００２３】
符号化部１０８は、異なる露出の複数の画像を入力し、フレーム内符号化処理またはフレーム間予測符号化処理を行い、符号化ストリームを出力する。フレーム間予測符号化処理に関しては、フレーム間予測方法決定部１０７より出力されたフレーム間予測方法情報に基づきフレーム間予測符号化処理が行われる。尚、本実施形態では、符号化方式として、Ｈ．２６４符号化方式を採用した場合を例に挙げて説明を行う。しかしながら、符号化方式は、フレーム間予測符号化を行う他の符号化方式でも良い。例えば、ＭＰＥＧ符号化方式でも良い。
【００２４】
続いて、符号化処理について説明する。まず、フレーム並替部５０１は、表示順で入力された異なる露出の画像を符号化順に並び替える。以下の説明では、符号化部１０８に入力された画像データを必要に応じて入力画像データと称する。
減算器５０２は、フレーム並替部５０１で並び替えられた入力画像データから、スイッチ５１７を介して提供される予測画像データを減算したものを画像残差データとして直交変換部５０３に出力する。尚、予測画像データの生成方法の一例については後述する。
直交変換部５０３は、減算器５０２から出力された画像残差データに対して直交変換処理をして変換係数を出力する。
量子化部５０４は、直交変換部５０３から出力された変換係数を所定の量子化パラメータを用いて量子化する。
【００２５】
算術符号化部５０５は、直交変換部５０３による直交変換処理と、量子化部５０４による量子化とを経た変換結果である量子化済みの変換係数を算術符号化して符号化ストリームとして出力する。量子化部５０４で量子化された変換係数は、前述した予測画像データの生成にも使われる。
逆量子化部５０６は、量子化部５０４で量子化された変換係数を逆量子化する。
逆直交変換部５０７は、逆量子化部５０６による逆量子化で得られた変換係数を逆直交変換したものを復号画像残差データとして出力する。
加算器５０８は、逆直交変換部５０７より出力された復号画像残差データと、予測画像データとを加算したものを局所復号化画像データとして出力する。局所復号化画像データの出力先は、フレームメモリ５０９とスイッチ５１１である。
【００２６】
フレームメモリ５０９は、加算器５０８から出力された局所復号化画像データを記録する。
スイッチ５１１は、加算器５０８から出力された局所復号化画像データに対してデブロッキングフィルタ処理を施すか否かを切り替える。局所復号化画像データに対してデブロッキングフィルタ処理を施す場合、デブロッキングフィルタ５１２がデブロッキングフィルタ処理を行う。
フレームメモリ５１３は、局所復号化画像データを記録する。デブロッキングフィルタ処理を施す場合、フレームメモリ５１３は、デブロッキングフィルタ処理が施された局所復号化画像データを記録する。一方、デブロッキングフィルタ処理を施さない場合、フレームメモリ５１３は、デブロッキングフィルタ５１２を介さずにスイッチ５１１から出力された局所復号化画像データを直接記録する。局所復号化画像データの中で、以降のフレーム間予測で参照されるデータは、フレームメモリ５１３に保存される。尚、フレームメモリ５１３に保存すべき局所符号化画像データと、動き検出部５１６およびフレーム間予測部５１５が参照すべき局所復号化画像データは、フレーム間予測方法情報に含まれる参照先フレーム情報に基づき選択される。
【００２７】
フレーム内予測部５１０は、フレームメモリ５０９に記録された局所復号化画像データを用いてフレーム内予測処理を行い、予測画像データを生成する。
明るさ合わせ部５１４は、後述のフレーム間予測部５１５および動き検出部５１６で用いられる局所復号化画像データを、フレーム間予測方法情報に含まれる増幅率情報に従い増幅し、入力画像データと明るさを合わせる。フレーム間予測方法情報に含まれる増幅率情報は、算術符号化部５０５に出力され、符号化ストリームのヘッダ情報として算術符号化される。
【００２８】
フレーム間予測部５１５は、明るさを合わせた局所復号化画像データを用いて、動き検出部５１６により検出された動きベクトル情報に基づくフレーム間予測処理を行い、予測画像データを生成する。
動き検出部５１６は、明るさを合わせた局所復号画像データを参照して、フレーム並替部５０１から出力された画像データにおける動きベクトルを既知のブロックマッチング方式に基づき検出する。ブロックマッチング方式とは、画像をブロック毎に分割し、符号化対象となる参照元の入力画像データ（参照元フレーム）と参照先の局所復号化画像データ（参照先フレーム）との画素差分絶対値の総和が最小となるような位置を動きベクトルとする方式である。動き検出部５１６は、検出した動きベクトルを示す動きベクトル情報を算術符号化部５０５およびフレーム間予測部５１５にそれぞれ出力する。
【００２９】
尚、明るさ合わせ部５１４により、局所復号化画像データと入力画像データとの明るさを合わせる必要がある理由は、フレーム間予測符号化効率を向上させるためである。異なる露出で撮像された画像は、図２や図３に示すように、それぞれ明るさが異なる。参照先の局所復号化画像データと参照元の入力画像データの明るさが合っていない場合、ブロックマッチング方式の画素差分絶対値の総和の値が大きくなる。このため、動き検出部５１６で算出される動きベクトルの精度が悪化してしまう。したがって、動き検出部５１６は、入力画像データと明るさを合わせた局所復号化画像データを用いて、動きベクトルを算出するのが好ましい。
【００３０】
また、動き検出部５１６と同様に、フレーム間予測部５１５で作成される予測画像データも入力画像データと明るさを合わせる必要がある。予測画像データと入力画像データとの明るさが合っていないと減算器５０２が出力する画像残差データが大きくなり、フレーム間予測符号化効率が落ちてしまう。そのため、フレーム間予測部５１５は、入力画像データと明るさを合わせた局所復号化画像データを用いて、予測画像データを生成するのが好ましい。
【００３１】
スイッチ５１７は、予測画像データとして、フレーム内予測部５１０で生成された予測画像データと、フレーム間予測部５１５で生成された予測画像データと、のどちらを用いるかを選択する。すなわち、スイッチ５１７は、フレーム内予測と、フレーム間予測と、のどちらを用いるのか選択するための選択部である。例えば、スイッチ５１７は、Ｉピクチャであれば、フレーム内予測部５１０からの出力を選択し、Ｐピクチャであれば、フレーム内予測部５１０またはフレーム間予測部５１５の出力のうち、予測精度の高い方を選択する。また、フレーム間予測方法情報により、フレーム間予測を行わない場合、スイッチ５１７は、フレーム内予測部５１０の出力を選択する。スイッチ５１７により選択された予測画像データは減算器５０２、加算器５０８に出力される。
以上が本実施形態における符号化部１０８に関する説明である。
【００３２】
（フレーム間予測方法決定部１０７）
次に、フレーム間予測方法決定部１０７について図３、図６、図７を参照して詳しく説明する。
フレーム間予測方法決定部１０７は、符号化部１０８で行われるフレーム間符号化のフレーム間予測方法を決定し、決定したフレーム間予測方法を示すフレーム間予測方法情報を符号化部１０８に出力する。本実施形態では、フレーム間予測方法情報には、次の３つの情報が含まれる。１つ目は、フレーム間予測部５１５および動き検出部５１６で参照するフレームを選択する参照先フレーム情報である。２つ目は、フレーム間予測符号化を行うか否かを選択するフレーム間予測可否情報である。３つ目は、明るさ合わせ部５１４で用いる増幅率情報である。
【００３３】
まず、参照先フレーム情報について、図３および図６を参照して説明する。
図６は、周期的に露出を変更して撮像された連続するフレームに対してフレーム間予測符号化処理を行う際に参照するフレームを示す図である。尚、図６においてフレームを表示順で示している。
図６において、２つのフレームに付されている矢印は、フレームの参照関係を示す。当該矢印の先が、参照先である局所符号化画像データ（参照先フレーム）を示し、当該矢印の元が、参照元である入力画像データ（参照音フレーム）を示す。
【００３４】
フレーム間予測方法決定部１０７は、参照フレーム情報として、図６における矢印の先が指し示す参照先フレームのフレーム番号を符号化部１０８に出力する。
また、フレームの下に書き記されているＩ、ＰおよびＢは、符号化されるフレームのピクチャタイプを示す情報である。フレーム間予測符号化方式による符号化を行う場合は、Ｐピクチャ若しくはＢピクチャとして符号化され、フレーム間予測符号化方式による符号化ではなくフレーム内予測符号化方式による符号化を行う場合は、Ｉピクチャとして符号化される。
フレーム間予測方法決定部１０７は、フレーム間予測可否情報を符号化部１０８に出力する。符号化部１０８は、フレーム間予測可否情報に基づいて、フレーム内予測符号化方式による符号化とフレーム間予測符号化方式による符号化との何れを行うかを判断し、スイッチ５１７を切り替える。
【００３５】
図６に示すようなフレーム間予測符号化を行う際のフレームの参照関係は、符号化効率を向上させることにより、高画質、且つ、少ないデータ量の符号化ストリームを得るため、以下の（Ａ）および（Ｂ）の２つの規則に基づき決定される。
（Ａ）最も低い露出以外のフレームを参照先フレームに設定する。
（Ｂ）最も露出の差が小さいフレームを参照先フレームに設定する。
【００３６】
（Ａ）の規則の理由について説明する。
最も低い露出の画像は、露光時間が短いためショットノイズにより画像のＳ／Ｎ比が悪く、符号化難易度が高い。つまり、局所復号化画像データに符号化ノイズが発生しやすい。符号化ノイズが発生している局所復号化画像データを参照して、動きベクトルを算出すると、符号化ノイズにより画素差分絶対値の総和の値が悪影響を受け、動きベクトルの精度は低下してしまう。また、符号化ノイズが発生している局所復号化画像データを使ってフレーム間予測を行うことにより作成した予測画像データには符号化ノイズが含まれてしまう。このため、減算器５０２から出力される画像残差データは大きくなってしまう。以上の２つの要因により、符号化効率が低下してしまうのである。
【００３７】
次に、（Ｂ）の規則の理由について説明する。
例えば、参照元フレームを図３に示す低露出画像３３０とし、参照先フレームを高露出画像３１０としてフレーム間予測符号化処理を行うとする。すると、参照元フレームの低露出画像３３０には最後尾の車３３２が存在しているが、参照先フレームの高露出画像３１０には、最後尾の車３１２が存在しない（図３（ａ）では説明の都合上、車３１２を破線で示している）。最後尾の車３１２が明るいため、高露出画像３１０では白飛びしてしまっているためである。そのため、低露出画像３３０の最後尾の車３３２の動き検出を行う場合、参照先の高露出画像３１０には最後尾の車３１２が存在しないため、正確な動きベクトルを求めることができない。そのため、符号化効率が低下してしまうのである。
以上のような理由により、フレーム間予測符号化の参照関係は前述の２つの規則（Ａ）および（Ｂ）に基づき決定される。
【００３８】
図６（ａ）は、高露出画像、中露出画像、低露出画像の順番で周期的に露出を変化させ、撮像した場合のフレーム間予測符号化の参照関係の一例を示す図である。
フレーム間予測方法決定部１０７は、前述の２つの規則（Ａ）および（Ｂ）に基づき、以下のような参照関係になるよう、参照先フレーム情報を作成する。すなわち、フレーム間予測方法決定部１０７は、中露出画像（ＥM）を参照元フレームとしてフレーム間予測符号化処理を行う場合には、高露出画像（ＥH）を参照する関係になるようにする。また、フレーム間予測方法決定部１０７は、低露出画像（ＥL）を参照元フレームとしてフレーム間予測符号化処理を行う場合には、中露出画像（ＥM）を参照する関係になるようにする。
【００３９】
図６（ｂ）は、中露出画像、高露出画像、低露出画像の順番で周期的に露出を変化させ、撮像した場合のフレーム間予測符号化の参照関係の一例を示す図である。
フレーム間予測方法決定部１０７は、前述の２つの規則（Ａ）および（Ｂ）に基づき、以下のような参照関係になるよう、参照先フレーム情報を作成する。すなわち、フレーム間予測方法決定部１０７は、高露出画像（ＥH）を参照元フレームとしてフレーム間予測符号化処理を行う場合には、中露出画像（ＥM）を参照する関係になるようにする。また、フレーム間予測方法決定部１０７は、低露出画像（ＥL）を参照元フレームとしてフレーム間予測符号化処理を行う場合にも、中露出画像（ＥM）を参照する関係になるようにする。
【００４０】
図６（ｃ）は、高露出画像、低露出画像、中露出画像の順番で周期的に露出を変化させ、撮像した場合のフレーム間予測符号化の参照関係の一例を示す図である。
フレーム間予測方法決定部１０７は、前述の２つの規則（Ａ）および（Ｂ）に基づき、以下のような参照関係になるよう、参照先フレーム情報を作成する。すなわち、フレーム間予測方法決定部１０７は、低露出画像（ＥL）を参照元フレームとしてフレーム間予測符号化処理を行う場合には、中露出画像（ＥM）を参照する関係になるようにする。また、フレーム間予測方法決定部１０７は、中露出画像（ＥM）を参照元フレームとしてフレーム間予測符号化処理を行う場合には、高露出画像（ＥH）を参照する関係になるようにする。
【００４１】
尚、本実施形態では、露出条件が３つ（高露出、低露出、中露出）の場合を例に挙げて説明した。しかしながら、露出条件の数は、２つでも４つ以上でもよい。また、例えば露出条件の数が多く、最も低い露出以外のフレームでもショットノイズの影響がある場合には、１番目〜ｎ番目（ｎは露出条件の数未満の正の整数）に低い露出以外のフレームを参照先フレームとして決定してもよい。すなわち、所定の基準よりも高い露出で得られたフレームを参照先フレームとして決定することができる。また、参照元フレームの露出に最も近い露出のフレームを参照先フレームとするのが好ましいが、例えば露出条件の数が多く、参照元フレームの露出に最も近い露出のフレームでなくても、被写体を識別できるような場合には、必ずしもこのようにしなくてもよい。すなわち、参照元フレームが得られたときの露出に対し、所定の基準よりも近い露出で得られたフレームを、参照先フレームとして決定することができる。例えば、参照元フレームの露出に２番目に近い露出のフレームを参照先フレームとしてもよい。
【００４２】
前述の２つの規則（Ａ）および（Ｂ）を守った場合に、参照先フレームと参照元フレームとの時間的な差が所定時間よりも長くなる場合は、必ずしも前述の２つの規則を守らなくても良い。例えば、参照先フレームと参照元フレームとの時間的な差が所定値よりも大きい場合は、被写体の移動量が大きくなる可能性が高く、動きベクトルの精度が低下する恐れがある。そのため、このような場合は、フレーム間予測方法決定部１０７は、前述の２つの規則に関わらず、参照元フレームとの時間的な差が前記所定時間内のフレームを参照先フレームとして設定する。このとき、前記所定時間内のフレームの中で前述の２つの規則（Ａ）および（Ｂ）を満たすフレームを優先して選択することができる。
【００４３】
次に、フレーム間予測可否情報について、図６を参照して説明する。
前述の２つの規則（Ａ）および（Ｂ）の参照関係に関わる規則を符号化途中で破らないためには、露出の周期的な変化に連動してフレーム内符号化を行い、Ｉピクチャを設定する必要がある。例えば、図６（ａ）では、露出が３フレーム毎に周期的に変化しているのに対し、Ｉピクチャの設定も３フレーム毎に行われている。仮に、Ｉピクチャの設定が２フレーム毎になった場合、低露出画像（ＥL）がＩピクチャとして符号化され、高露出画像（ＥH）がＰピクチャとして符号化されるケースが発生する。その場合、高露出画像（ＥH）は低露出画像（ＥL）を参照してフレーム間予測符号化を行わざるを得なくなり、前述の２つの規則を守り続けることができない。そのため、前述の２つの規則を符号化中、常に守り続けるためには、露出が変化するフレーム周期に対し、整数倍のフレーム周期でＩピクチャを設定する必要がある。尚、図６（ａ）、図６（ｂ）および図６（ｃ）の例では、露出が変化するフレーム周期と同じフレーム周期（１倍）でＩピクチャを設定している。
以上のように、フレーム間予測方法決定部１０７は、露出の周期的な変化に連動してフレーム内予測符号化を行うフレームを設定するようなフレーム間予測符号化可否情報を作成する。
【００４４】
次に、図４および図７を参照して、符号化部１０８内の明るさ合わせ部５１４で用いる増幅率情報について説明する。図７は、入力画像データと局所復号化画像データの明るさを合わせる方法の一例を説明する図である。図７では、フレーム間予測部５１５および動き検出部５１６で参照する参照先フレームの局所復号化画像データが中露出画像（ＥM）であり、参照元フレームの入力画像データが高露出画像（ＥH）である場合にこれらの明るさを合わせる場合について示す。
【００４５】
図７に示すように、入射光量と信号レベルとが線形特性を持つ撮像素子においては、露光時間が２倍になると信号レベルも２倍になる特性がある。図７に示す例では、高露出画像（ＥH）の露光時間は、中露出画像（ＥM）の露光時間の２倍の時間である。そのため、高露出画像（ＥH）と中露出画像（ＥM）の明るさを合わせるためには、中露出画像（ＥM）の画素値を２倍にすればよい（図７のグラフＥM'を参照）。
以上のように、フレーム間予測方法決定部１０７は、参照先フレームの局所復号化画像データと参照元フレームの入力画像データとの明るさを合わせるために、参照先フレームと参照元フレームの露光時間（露出）の差に基づき、増幅率を算出する。撮像される露出は、図４に示すように周期的に変化するため、フレーム間予測方法決定部１０７は、露出に連動して増幅率を周期的に変化させる。符号化部１０８内の明るさ合わせ部５１４は、このように算出された増幅率を示す増幅率情報に応じて、フレーム間予測部５１５および動き検出部５１６で用いられる局所復号化画像データを増幅し、入力画像データと明るさを合わせる。
尚、明るさを合わせる方法としては、図７に示す例のように、必ずしも信号レベルを大きくする方式でなくとも良い。例えば、高露出画像（ＥH）の信号レベルを小さくし、中露出画像（ＥM）と明るさを合わせても良い。
【００４６】
次に、異なる露出で撮像した画像データを符号化する場合の撮像装置１００の処理の一例について、図８のフローチャートを参照して詳しく説明する。
ステップＳ８０１において、撮像条件決定部１０６は、カメラ信号処理部１０５から出力されたコントラスト情報および明るさ情報に応じて、フォーカス位置や露出等の撮像条件を決定する。この撮像条件のうち、露出に関しては、撮像フレーム毎に周期的に変化するよう決定される。
【００４７】
次に、ステップＳ８０２において、撮像装置１００は、撮像条件決定部１０６により決定された撮像条件に基づき、レンズ１０１、絞り１０２および撮像部１０３を制御し、撮像する。
次に、ステップＳ８０３において、フレーム間予測方法決定部１０７は、符号化部１０８で行うフレーム間符号化におけるフレーム間予測方法を決定し、決定したフレーム間予測方法を示すフレーム間予測方法情報を符号化部１０８に出力する。
【００４８】
次に、ステップＳ８０４において、符号化部１０８は、カメラ信号処理部１０５から出力された映像信号に対してフレーム内符号化またはフレーム間符号化を行い、符号化ストリームを出力する。フレーム間符号化を行う場合は、フレーム間予測方法決定部１０７により決定されたフレーム間予測方法に基づきフレーム間符号化を行う。
次に、ステップＳ８０５において、画像記録部１０９は、符号化部１０８から出力された符号化ストリームを記録する。
次に、ステップ８０６において、撮像装置１００は、最終フレームの符号化ストリームを記録したか否かを判定する。そして、ステップＳ８０１〜Ｓ８０５の処理を、撮影が終了して最終フレームの符号化ストリームを記録するまで繰り返す。
【００４９】
以上のように本実施形態では、周期的に露出を変化させて撮像された複数の画像データを階調の圧縮を行わずにフレーム間予測符号化する。この際に、最も低い露出以外のフレームであって、参照元フレームとの露出の差が最も小さいフレームを参照先フレームに設定する。また、フレーム内予測符号化を行うフレーム（ピクチャ）が出現する周期を、露出を変更する周期の整数倍にする。また、参照先フレームの明るさと参照元フレームの明るさを合わせるようにする。
このように周期的に露出を変化させることにより異なる階調特性を持つ複数の画像を撮像し、異なる階調特性に適したフレーム間予測方法で符号化を行うことにより、これらの画像を、高階調、且つ、少ないデータ量で記録することが可能となる。このような方法により記録された高階調の画像を用いることにより、撮像した画像を一旦記録し、撮影した後に、明部や暗部の階調を調整しながら高画質なＨＤＲ画像を作成することができ、ユーザが求める階調表現を実現することができる。
【００５０】
本実施形態では、符号化ストリームの中に、フレーム間符号化を挟み込む形態を例に挙げて説明した。しかしながら、フレーム間符号化をストリーム間で実現できるＭＶＣ符号化方式を活用するのであれば、以下のようにしてもよい。すなわち、参照元の符号化ストリームをメインストリームにして、メインストリームと露出の異なる符号化ストリームをサブストリームにし、前述の２つの規則に基づき参照関係を決定する様な形態も、本発明の他の実施形態となる。ようにしてもよい。
また、露出段差に応じて独立した符号化ストリームを生成させれば、増幅率情報は、ストリームのヘッダ情報にだけ含めればよく、フレーム毎に増幅率を切り替える処理を省くことが可能となる。
また、前述した理由から、規則（Ａ）および（Ｂ）の双方を満足するのが好ましいが、これらの何れか１つを満足させるようにしてもよい。
【００５１】
尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００５２】
（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。
【符号の説明】
【００５３】
１０５  カメラ信号処理部、１０６  撮像条件決定部、１０７  フレーム間予測方法決定部、１０８  符号化部
【図１】
2015023498.tif 000003
【図２】
2015023498.tif 000004
【図３】
2015023498.tif 000005
【図４】
2015023498.tif 000006
【図５】
2015023498.tif 000007
【図６】
2015023498.tif 000008
【図７】
2015023498.tif 000009
【図８】
2015023498.tif 000010