(57)【要約】  フレーム輝度検出部１５はフレーム毎のフレーム輝度値を検出し、フリッカースペクトル検出部１６は５１２フレーム分のフレーム輝度値から周波数１００Ｈｚ、２００Ｈｚ、３００Ｈｚなどのスペクトル値を検出し、輝度推定部１７はそれらのスペクトル値から光源の輝度推定値を推定する。符号化部１８は光源の輝度推定値の逆数を用いて参照フレームの決定及び当該逆数を評価関数の係数に用いて動きベクトルの検出を行い、動きベクトルの検出結果を用いて画像フレームの符号化を行う。
2009098741.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
光源のフリッカーの時間波形を検出する検出手段と、
前記検出手段による検出結果に基づいて、前記撮像手段により撮像された画像フレームの撮像時の光源の輝度を推定する推定手段と、
前記推定手段により推定された光源の輝度推定値に基づいて前記画像フレームの符号化に用いる符号化パラメータを決定する決定手段と、
前記決定手段により決定された符号化パラメータに基づいて前記画像フレームを符号化する符号化手段と、
を備える撮像装置。
【請求項２】
前記符号化パラメータは動き探索に用いる参照フレームであり、
前記符号化手段は、前記画像フレームと前記決定手段により符号化パラメータとして決定された参照フレームとの間で動きベクトルの検出を行って前記画像フレームの符号化を行う
請求項１記載の撮像装置。
【請求項３】
前記決定手段は、参照フレームの候補である複数の候補参照フレームの中から、前記画像フレームの撮像時の光源の輝度推定値に最も近い輝度推定値の候補参照フレームを参照フレームに決定する
請求項２記載の撮像装置。
【請求項４】
前記決定手段は、複数の候補参照フレームの中から、光源の輝度推定値が最も大きい候補参照フレームを参照フレームに決定する
請求項２記載の撮像装置。
【請求項５】
前記符号化パラメータは動き探索に用いる評価関数の前記画像フレーム及び参照フレームの夫々に対する輝度値を補正するための係数であり、
前記符号化手段は、前記決定手段により符号化パラメータとして決定された前記画像フレーム及び前記参照フレームの夫々に対する前記係数を用いて動き探索を行って前記画像フレームの符号化を行う
請求項１記載の撮像装置。
【請求項６】
前記符号化手段は、
並列して符号化を行う複数の副符号化手段と、
前記決定手段により決定された符号化パラメータに基づいて前記画像フレームを前記複数の副符号化手段の何れかへ出力する分配手段と、
を備え、
前記決定手段は、符号化パラメータとして、複数の前記副符号化手段の中から、前記画像フレームの符号化を行う副符号化手段を決定する
請求項１記載の撮像装置。
【請求項７】
光源のフリッカーの時間波形を検出する検出手段と、
前記検出手段による検出結果に基づいて、撮像手段により撮像された画像フレームの撮像時の光源の輝度を推定する推定手段と、
前記推定手段により推定された光源の輝度推定値に基づいて前記画像フレームの符号化に用いる符号化パラメータを決定する決定手段と、
前記決定手段により決定された符号化パラメータに基づいて前記画像フレームを符号化する符号化手段と、
を備える集積回路。
【請求項８】
撮像手順と、
光源のフリッカーの時間波形を検出する検出手順と、
前記検出手順における検出結果に基づいて、前記撮像手順において撮像された画像フレームの撮像時の光源の輝度を推定する推定手順と、
前記推定手順において推定された光源の輝度推定値に基づいて前記画像フレームの符号化に用いる符号化パラメータを決定する決定手順と、
前記決定手順において決定された符号化パラメータに基づいて前記画像フレームを符号化する符号化手順と、
を備える撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フリッカーがある環境下で高速度撮影された画像の符号化技術に関する。
【背景技術】
【０００２】
動画像符号化において、ＭＰＥＧ（Moving Picture Experts Group）方式などでは、動き探索に例えばマクロブロックと呼ばれる特定のサイズの矩形領域における輝度の絶対値差を評価関数として用いる。例えば、マクロブロックのサイズがｌ×ｍである場合、絶対値差ＳＡＤは下記の式（１）で表される。【０００３】
【数１】
2009098741.tif 000003
【０００４】
但し、｜  ｜は絶対値を表す記号である。また、ｆn（ｘ，ｙ）はフレーム番号ｎの画像フレーム（符号化対象の画像フレーム）における座標（ｘ，ｙ）の輝度値、ｆn-n'（ｘ，ｙ）はフレーム番号ｎ−ｎ’の画像フレーム（参照フレーム）における座標（ｘ，ｙ）の輝度値である。【０００５】
動き探索では、絶対値差ＳＡＤが最小となるｎ’、ｘ’、ｙ’の組み合わせを探索し、参照フレームの決定及び動きベクトルの検出を行う。なお、ＭＰＥＧ−４  ＡＶＣ（Ｈ．２６４）のようにｎ’をある程度任意に指定可能な方式や、ＭＰＥＧ−４  Ｓｉｎｐｌｅ  Ｐｒｏｆｉｌｅのように、ｎ’を１に固定する方式などがある。【０００６】
フレーム番号ｎの画像フレームとフレーム番号ｎ−ｎ’の画像フレームとで撮像時の光源の輝度値が異なれば、式（１）で求められる絶対値差が、本来の物体の動きに関係なく偶然輝度値の近い場所で最小値となり、圧縮率が低下する。【０００７】
蛍光灯フリッカー除去技術として、撮像手段で撮像した画像から二次以上のスペクトル分析を行い、画像を補正するものが提案されており（例えば、特許文献１参照。）、その概要について図１０を用いて説明する。【０００８】
撮像装置１００では、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサで構成される撮像部１０１で撮像された画像について、輝度検出部１０２はライン単位で輝度の計測を行う。フリッカースペクトル検出部１０３はフーリエ変換を用いて輝度値の周波数成分を分析して蛍光灯フリッカーの成分の抽出を行い、蛍光灯フリッカーの波形の推測を行う。続いて、輝度補正係数発生部１０４は推測された蛍光灯フリッカーの波形に基づいて蛍光灯フリッカーの成分を打ち消すように輝度補正係数を発生し、ゲイン調整部１０５は輝度補正係数に基づいて撮像された画像のゲイン調整を行い、輝度を補正する。撮像装置１００は、高速度撮影を対象とするものではないが、ＣＭＯＳイメージセンサの画素ごとの撮像タイミングのずれを考慮し、高い周波数成分までフリッカースペクトルを予測することで、より正確な輝度補正を可能にする。【０００９】
また、画像フレーム間における光源の輝度変化を考慮した動画像符号化技術として、符号化対象の画像フレームの輝度値と同じになるように参照フレームを輝度補正してから動き探索を行うものが提案されており（例えば、特許文献２参照。）、その概要について図１１を用いて説明する。【００１０】
撮像装置２００では、撮像部２０１で撮像された画像は入力画像フレーム記録部２０２に記録される。ゲイン検出部２０８は入力画像フレーム記録部２０２に記録されている画像フレームと参照画像フレーム記録部２０７に記録されている参照フレームとの輝度差を検出し、ゲイン調整部２０９は輝度差に基づいて参照フレームの輝度補正を行う。動き探索部２０３は画像フレームと輝度補正された参照フレームとの間で動き探索を行い、符号化部２０４は動き探索の結果得られた信号を符号化し、符号化データを記録部２０５に蓄積する。また、復号部２０６は符号化データを復号し、復号により得られた参照フレームを参照画像フレーム記録部２０７に記録する。撮像装置２００は、蛍光灯フリッカーなどの影響で画像フレームの輝度値が変化した場合においても、高い圧縮率を維持できる。【００１１】
なお、動画像符号化の並列化に関する技術水準を示すものとして、符号化部を並列動作させるものがあり（例えば、特許文献３参照。）、その概要について図１２を用いて説明する。撮像装置３００では、撮像部３０１によって撮像された画像は、分配部３０２によってフレーム単位で符号化部３０３，３０４，３０５に分配され、符号化部３０３，３０４，３０５によって符号化される。符号化部３０３，３０４，３０５から出力された符号化データは合成部３０６によって統合されて記録部３０７に蓄積される。この技術は、符号化の処理速度が向上するため、高速度撮影のような高い符号化演算能力が求められる用途に対して有用である。
【特許文献１】特開２００４−２２２２２８号公報（第３３頁、図４）
【特許文献２】特開２００１−２３１０４５号公報（第１０頁、図１）
【特許文献３】特開２００７−２０２０２６号公報（第１４頁、図１）
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかしながら、高速度撮影では、撮影のフレームレートが蛍光灯フリッカーの周波数より高いことがあり、この場合、蛍光灯フリッカーの輝度変化が畳み込まれることなく撮影される。このため、蛍光灯フリッカー除去技術のようにゲイン調整を施した場合、ゲイン調整によるＳ／Ｎ比の変化が画像フレーム間で大きく発生してしまい、画像フレーム毎に異なるＳ／Ｎ比が動画像符号化効率を劣化させてしまう。【００１３】
また、上述した画像フレーム間における光源の輝度変化を考慮した動画像符号化技術では、画像フレーム間で輝度補正するため、輝度の差が画像本来の変化に由来するものなのか、蛍光灯フリッカーに由来するものなのか判別できず、蛍光灯フリッカーがなく、画像本来の変化による輝度差が大きい場合に逆に圧縮率が低下してしまう。【００１４】
そこで、本発明は、蛍光灯フリッカーを撮影した映像でも効率よく符号化し、且つ、蛍光灯フリッカーのない環境でも従来通りの圧縮率を維持することが可能な撮像装置、集積回路及び撮像方法を提供することを目的とする。
【課題を解決するための手段】
【００１５】
上記目的を達成するために本発明の撮像装置は、撮像手段と、光源のフリッカーの時間波形を検出する検出手段と、前記検出手段による検出結果に基づいて、前記撮像手段により撮像された画像フレームの撮像時の光源の輝度を推定する推定手段と、前記推定手段により推定された光源の輝度推定値に基づいて前記画像フレームの符号化に用いる符号化パラメータを決定する決定手段と、前記決定手段により決定された符号化パラメータに基づいて前記画像フレームを符号化する符号化手段と、を備える。【００１６】
また、本発明の集積回路は、光源のフリッカーの時間波形を検出する検出手段と、前記検出手段による検出結果に基づいて、撮像手段により撮像された画像フレームの撮像時の光源の輝度を推定する推定手段と、前記推定手段により推定された光源の輝度推定値に基づいて前記画像フレームの符号化に用いる符号化パラメータを決定する決定手段と、前記決定手段により決定された符号化パラメータに基づいて前記画像フレームを符号化する符号化手段と、を備える。【００１７】
さらに、本発明の撮像方法は、撮像手順と、光源のフリッカーの時間波形を検出する検出手順と、前記検出手順における検出結果に基づいて、前記撮像手順において撮像された画像フレームの撮像時の光源の輝度を推定する推定手順と、前記推定手順において推定された光源の輝度推定値に基づいて前記画像フレームの符号化に用いる符号化パラメータを決定する決定手順と、前記決定手順において決定された符号化パラメータに基づいて前記画像フレームを符号化する符号化手順と、を備える。
【発明の効果】
【００１８】
上記撮像装置、集積回路及び撮像方法の夫々によれば、光源のフリッカーの時間波形を検出して画像フレームの撮像時の光源の輝度を推定し、光源の輝度推定値に基づいて符号化パラメータの決定を行い、決定した符号化パラメータに基づいて画像フレームの符号化を行う。このため、蛍光灯フリッカーを撮影した映像でも効率よく符号化し、且つ、蛍光灯フリッカーのない環境でも従来通りの圧縮率を維持することが可能である。【００１９】
上記の撮像装置において、前記符号化パラメータは動き探索に用いる参照フレームであり、前記符号化手段は、前記画像フレームと前記決定手段により符号化パラメータとして決定された参照フレームとの間で動きベクトルの検出を行って前記画像フレームの符号化を行うようにしてもよい。【００２０】
これによれば、光源の輝度推定値から参照フレームの決定を行うため、参照フレームとして光源の輝度の変化に応じて適切なものを用いることができる。【００２１】
上記の撮像装置において、前記決定手段は、参照フレームの候補である複数の候補参照フレームの中から、前記画像フレームの撮像時の光源の輝度推定値に最も近い輝度推定値の候補参照フレームを参照フレームに決定するようにしてもよい。【００２２】
これによれば、参照フレームとして画像フレームの撮像時の光源の輝度推定値に近い輝度推定値の候補参照フレームを用いるため、画質の向上が図られる。【００２３】
上記の撮像装置において、前記決定手段は、複数の候補参照フレームの中から、光源の輝度推定値が最も大きい候補参照フレームを参照フレームに決定するようにしてもよい。【００２４】
これによれば、Ｓ／Ｎ比の高い候補参照フレームを参照フレームとして用いることによって符号化効率の向上が図られる。【００２５】
上記の撮像装置において、前記符号化パラメータは動き探索に用いる評価関数の前記画像フレーム及び参照フレームの夫々に対する輝度値を補正するための係数であり、前記符号化手段は、前記決定手段により符号化パラメータとして決定された前記画像フレーム及び前記参照フレームの夫々に対する前記係数を用いて動き探索を行って前記画像フレームの符号化を行うようにしてもよい。【００２６】
これによれば、評価関数の係数を光源の輝度推定値に基づいて決定するため、光源の輝度の変化があっても動きベクトルの検出を精度よく行うことができる。【００２７】
上記の撮像装置において、前記符号化手段は、並列して符号化を行う複数の副符号化手段と、前記決定手段により決定された符号化パラメータに基づいて前記画像フレームを前記複数の副符号化手段の何れかへ出力する分配手段と、を備え、前記決定手段は、符号化パラメータとして、複数の前記副符号化手段の中から、前記画像フレームの符号化を行う副符号化手段を決定するようにしてもよい。【００２８】
これによれば、光源の輝度の変化がある状況においても符号化を効率よく並列して行うことができる。
【図面の簡単な説明】
【００２９】
【図１】第１の実施の形態の撮像装置の構成図。
【図２】図１の符号化部の構成図。
【図３】図１の撮像装置による画像処理の手順を示すフローチャート。
【図４】第２の実施の形態の撮像装置の構成図。
【図５】図４の符号化部の構成図。
【図６】図４の撮像装置による画像処理の手順を示すフローチャート。
【図７】第３の実施の形態の撮像装置の構成図。
【図８】図７の符号化部の構成図。
【図９】図７の撮像装置による画像処理の手順を示すフローチャート。
【図１０】従来のフリッカー除去機能を有する撮像装置の構成図。
【図１１】従来の画像フレーム間における光源の輝度変化を考慮した動画像符号化の機能を有する撮像装置の構成図。
【図１２】従来の動画像符号化を並列に実行する撮像装置の構成図。
【符号の説明】
【００３０】
１  撮像装置
２  ＣＣＤカメラモジュール
３  画像処理ユニット
４  ＤＲＡＭ
５  メモリカード
６  入力フレーム記憶領域
７ａ〜７ｄ  参照フレーム記憶領域
１１  プロセッサ
１２  ＤＲＡＭ制御部
１３  メモリカード制御部
１４  画像入力部
１５  フレーム輝度検出部
１６  フリッカースペクトル検出部
１７  輝度推定部
１８  符号化部
１９  内部バス
３１  動き探索部
３２  差分部
３３  ＤＣＴ部
３４  量子化部
３５  可変長符号化部
３６  逆量子化部
３７  ＩＤＣＴ部
【発明を実施するための最良の形態】
【００３１】
以下、本発明の実施の形態について図面を参照しつつ説明する。但し、本件書類における「符号化パラメータ」とは、符号化処理を行う際に設定又は選択し得る事項を意味する。なお、ゲイン調整などの画像補正処理は符号化対象の画像を実質的に変化させるものであり、符号化対象の画像を実質的に変化させてしまう画像補正パラメータは本件書類における「符号化パラメータ」に含まれない。【００３２】
≪第１の実施の形態≫
以下、本発明の第１の実施の形態について図面を参照しつつ説明する。但し、本実施の形態では、符号化パラメータは動き探索に用いる参照フレーム、及び動き探索に用いる後述する式（２）の評価関数における係数Ｇn，Ｇn-n'である。なお、第１から第３の各実施の形態では、撮像装置の使用地域が電源周波数５０Ｈｚの地域と電源周波数６０Ｈｚの地域との２地域であるとする。【００３３】
＜撮像装置の構成＞
本実施の形態の撮像装置の構成について図１を参照しつつ説明する。図１は本実施の形態の撮像装置の構成図である。【００３４】
撮像装置１は、ＣＣＤ（Charge Coupled Device）カメラモジュール２と、画像処理ユニット３と、ＤＲＡＭ（Dynamic Random Access Memory）４と、メモリカード５とを備える。撮像装置１は高速度撮影機能等を有し、設定されたフレームレートで撮影を行う。なお、撮像装置１に設定されたフレームレートが蛍光灯フリッカー周波数より高いことがある。【００３５】
ＣＣＤカメラモジュール２は、撮像した画像に係る８ビットの輝度値（Ｙ）及び色相値（Ｃｂ，Ｃｒ）のデータを交互に画像処理ユニット３の後述する画像入力部１４へ出力する。【００３６】
画像処理ユニット３は、ＣＣＤカメラモジュール２から入力される画像を符号化するためのものであって、その詳細は後述する。【００３７】
ＤＲＡＭ４の入力フレーム記憶領域６には、ＣＣＤカメラモジュール２によって撮像された画像を構成する各画像フレームの輝度値（Ｙ）及び色相値（Ｃｂ、Ｃｒ）のデータが画像処理ユニット３の画像入力部１４によって格納される。また、ＤＲＡＭ４の参照フレーム記憶領域７ａ〜７ｄには、画像処理ユニット３による画像フレームの符号化の際に得られる画像フレームが参照フレームの候補として格納される。なお、参照フレーム記憶領域７ａ〜７ｄに格納される画像フレームを「候補参照フレーム」と言うことにする。但し、本実施の形態では、後述するように、４枚分の候補参照フレームが１フレームずつ参照フレーム記憶領域７ａ〜７ｄに格納される。【００３８】
メモリカード５には、画像処理ユニット３による画像の符号化によって得られる符号化データが格納される。【００３９】
［画像処理ユニット３の構成］
画像処理ユニット３は、図１に示すように、プロセッサ１１と、ＤＲＡＭ制御部１２と、メモリカード制御部１３と、画像入力部１４と、フレーム輝度検出部１５と、フリッカースペクトル検出部１６と、輝度推定部１７と、符号化部１８と、内部バス１９とを備える。プロセッサ１１、ＤＲＡＭ制御部１２、メモリカード制御部１３、画像入力部１４、及び符号化部１８は、夫々、内部バス１９に接続されている。【００４０】
プロセッサ１１は、例えば、画像処理ユニット３内の各部の起動を内部バス１９を介して制御する。ＤＲＡＭ制御部１２は、ＤＲＡＭ４へのデータの書き込み、ＤＲＡＭ４からのデータの読み出しを行う。メモリカード制御部１３は、メモリカード５へのデータの書き込み、メモリカード５からのデータの読み出しを行う。【００４１】
画像入力部１４は、ＣＣＤカメラモジュール２から入力される輝度値（Ｙ）のデータをフレーム輝度検出部１５へ出力するとともに、ＣＣＤカメラモジュール２から入力される輝度値（Ｙ）のデータ及び色相値（Ｃｂ，Ｃｒ）のデータを内部バス１９を介してＤＲＡＭ制御部１２へ出力する。この輝度値（Ｙ）のデータ及び色相値（Ｃｂ，Ｃｒ）のデータによって構成される画像フレームはＤＲＡＭ制御部１２によって入力フレーム記憶領域６に格納される。【００４２】
フレーム輝度検出部１５は、３２ビットのカウンタを有する。フレーム輝度検出部１５は、フレーム単位で、１フレーム内の画素の輝度値をカウンタを用いて積算し、積算の結果得られた値（以下、「フレーム輝度値」と言う。）をフリッカースペクトル検出部１６へ出力する。【００４３】
フリッカースペクトル検出部１６は、フレーム輝度検出部１５から入力されるフレーム輝度値を格納するための３２ビットのバッファを５１２個有し、５１２フレーム分のフレーム輝度値を記憶することができるようになっている。【００４４】
フリッカースペクトル検出部１６は、フレーム輝度検出部１５から新たなフレーム輝度値が入力されると、バッファに格納されている最も古いフレーム輝度値を入力された新たなフレーム輝度値に置き換える。そして、フリッカースペクトル検出部１６は、５１２個のバッファに格納されているフレーム輝度値を時系列に５１２個サンプリングし、高速フーリエ変換（以下、「ＦＦＴ」と言う。）を実行して５１２個の３２ビットのスペクトル値を求める。【００４５】
続いて、フリッカースペクトル検出部１６は、電源周波数５０Ｈｚに由来する蛍光灯フリッカーの成分があるか、電源周波数６０Ｈｚに由来する蛍光灯フリッカーの成分があるかを判定するために、次の処理を行う。【００４６】
フリッカースペクトル検出部１６は、１００Ｈｚのスペクトル値と１２０Ｈｚのスペクトル値とを比較する。【００４７】
１００Ｈｚのスペクトル値が１２０Ｈｚのスペクトル値より大きい場合、フリッカースペクトル検出部１６は、１００Ｈｚのスペクトル値を閾値と比較し、１００Ｈｚのスペクトル値が閾値を超える場合には電源周波数５０Ｈｚに由来する蛍光灯フリッカーの成分があると判定し、超えない場合には蛍光灯フリッカーの成分がないと判定する。【００４８】
一方、１００Ｈｚのスペクトル値が１２０Ｈｚのスペクトル値より大きくない場合、フリッカースペクトル検出部１６は、１２０Ｈｚのスペクトル値を閾値と比較し、１２０Ｈｚのスペクトル値が閾値を超える場合には電源周波数６０Ｈｚに由来する蛍光灯フリッカーの成分があると判定し、超えない場合には蛍光灯フリッカーの成分がないと判定する。【００４９】
フリッカースペクトル検出部１６は、求めたスペクトル値と判定結果を示すフリッカー情報とを輝度推定部１７へ出力する。【００５０】
但し、上記の閾値を、例えば、センサによって特性が異なることを考慮して、予め蛍光灯フリッカーがある環境と蛍光灯フリッカーのない環境との夫々で撮像を行い、その撮像結果を用いて決定することが好ましい。【００５１】
輝度推定部１７は、フリッカースペクトル検出部１６から入力されるフリッカー情報の内容に応じて下記の処理を行って画像フレームの撮像時の光源の輝度を推定する。【００５２】
フリッカー情報が電源周波数５０Ｈｚに由来する蛍光灯フリッカーの成分があることを示す場合、輝度推定部１７は、フリッカースペクトル検出部１６から入力されるスペクトル値の中から、１００Ｈｚの倍数の１００Ｈｚ、２００Ｈｚ、３００Ｈｚ、・・・の各周波数のスペクトル値を取り出す。そして、輝度推定部１７は、取り出した各周波数のスペクトル値を用いて逆高速フーリエ変換（以下、「ＩＦＦＴ」と言う。）を実行して５１２フレーム分の輝度値を求め、求めた輝度値を光源の輝度推定値として符号化部１８の後述する動き探索部３１へ出力する。【００５３】
また、フリッカー情報が電源周波数６０Ｈｚに由来する蛍光灯フリッカーの成分があることを示す場合、輝度推定部１７は、フリッカースペクトル検出部１６から入力されるスペクトル値の中から、１２０Ｈｚの倍数の１２０Ｈｚ、２４０Ｈｚ、３６０Ｈｚ、・・・の各周波数のスペクトル値を取り出す。そして、輝度推定部１７は、取り出した各周波数のスペクトル値を用いてＩＦＦＴを実行して５１２フレーム分の輝度値を求め、求めた輝度値を光源の輝度推定値として符号化部１８の動き探索部３１へ出力する。【００５４】
上記の処理を行うことによって、蛍光灯フリッカーに関係しない周波数成分を除外し、５１２フレーム分夫々の蛍光灯フリッカーに由来する輝度変化のみ推定できる。【００５５】
さらに、フリッカー情報が蛍光灯フリッカーの成分がないことを示す場合、輝度推定部１７は、予め定められた固定値を光源の輝度推定値として符号化部１８の動き探索部３１へ出力する。【００５６】
なお、蛍光灯フリッカーは周期性があるので、継続する画像フレームも同様のパターンを示すことが予想されるため、ＦＦＴ演算及びＩＦＦＴ演算を毎画像フレーム行ってもよいし、ＦＦＴ演算及びＩＦＦＴ演算を一定間隔で間引いてもよい。【００５７】
符号化部１８は、ＣＣＤカメラモジュール２によって撮像され、入力フレーム記憶領域６に記憶されている画像フレームの符号化を、輝度推定部１７から入力される光源の輝度推定値を用いて行うものである。なお、本実施の形態では、符号化部１８はＭＰＥＧ−４  ＡＶＣに従う動画像符号化を行うものとする。【００５８】
（符号化部１８の構成）
図１の符号化部１８について図２を参照しつつ説明する。図２は図１の符号化部１８の構成図である。なお、図２では、図の簡略化のため、符号化部１８とＤＲＡＭ４との間にある内部バス１９及びＤＲＡＭ制御部１２を省略し、符号化部１８とメモリカード５との間にある内部バス１９及びメモリカード制御部１３を省略している。【００５９】
符号化部１８は、動き探索部３１と、差分部３２と、ＤＣＴ部３３と、量子化部３４と、可変長符号化部３５と、逆量子化部３６と、ＩＤＣＴ部３７とを備える。【００６０】
但し、ＭＰＥＧ−４  ＡＶＣにおける動画像符号化では、別の画像フレームを参照フレームとして使用することが可能である。そこで、本実施の形態では常に過去の４フレーム分の候補参照フレームをリングバッファ状に参照フレーム記憶領域７ａ〜７ｄに蓄積しておき、それらを参照フレームに利用できる構成にする。なお、リングバッファ構造の場合、符号化の開始からフレーム番号をカウントしておけばフレーム番号からメモリ位置を一意に特定できる。【００６１】
以下では、説明の便宜上、符号化部１８はフレーム番号ｎ−１の画像フレームまで符号化を完了しており、フレーム番号ｎの画像フレームを符号化する場合を例に挙げて記載する。【００６２】
入力フレーム記憶領域６に記憶されているフレーム番号ｎの画像フレームが、ＤＲＡＭ制御部１２によって読み出され、内部バス１９を介して動き探索部３１及び差分部３２に入力される。【００６３】
動き探索部３１は、輝度推定部１７から入力されるフレーム番号ｎの画像フレームの撮像時の輝度の輝度推定値Ｙnの逆数を算出し、輝度推定値Ｙnの逆数１／Ｙnをフレーム番号ｎの画像フレームの輝度補正係数Ｇnとして蓄積する。但し、動き探索部３１は、フレーム番号ｎ−ｉ（ｉ＝１，２，３，４）の画像フレームの符号化の際に、フレーム番号ｎ−ｉの画像フレームの撮像時の輝度推定値Ｙn-iの逆数を算出することによってフレーム番号ｎ−ｉの画像フレームの輝度補正係数Ｇn-i（＝１／Ｙn-i）を算出し、算出した輝度補正係数Ｇn-iを蓄積している。なお、この輝度補正係数Ｇn-iがフレーム番号ｎ−ｉ（ｉ＝１，２，３，４）の候補参照フレームの輝度補正係数である。【００６４】
続いて、動き探索部３１は、参照フレーム記憶領域７ａ〜７ｄに格納されている過去４フレーム分の候補参照フレームの中から、輝度補正係数Ｇnに最も近い輝度補正係数の候補参照フレームを参照フレームに決定する。そして、動き探索部３１は、参照フレームに決定した候補参照フレームを内部バス１９及びＤＲＡＭ制御部１２を介して参照フレーム記憶領域７ａ〜７ｄから取得する。以下、説明の便宜上、参照フレームに決定された候補参照フレームはフレーム番号ｎ−ｎ’の候補参照フレームであるとし、フレーム番号ｎ−ｎ’の候補参照フレームの輝度補正係数をＧn-n'と記載する。【００６５】
更に続いて、動き探索部３１は、矩形領域のサイズがｌ×ｍである各マクロブロックについて、参照フレームとして決定されたフレーム番号ｎ−ｎ’の候補参照フレームを用いて、下記の式（２）の絶対値差ＳＡＤが最小となるｘ’及びｙ’を探索することによって動きベクトルの検出を行う。そして、動き探索部３１は、検出した動きベクトルを用いて動き補償を行い、動き補償により得られた予測信号を差分部３２へ出力する。【００６６】
【数２】
2009098741.tif 000004
【００６７】
但し、｜  ｜は絶対値を表す記号である。また、ｆn（ｘ，ｙ）は符号化の対象であるフレーム番号ｎの画像フレームの座標（ｘ，ｙ）における輝度値、ｆn-n'（ｘ，ｙ）は参照フレームとして決定されたフレーム番号ｎ−ｎ’の候補参照フレームの座標（ｘ，ｙ）における輝度値である。【００６８】
差分部３２は、フレーム番号ｎの画像フレームの画像から動き探索部３１から入力される予測信号を減算して残差信号を生成する。ＤＣＴ部３３は、差分部３２から入力される残差信号を離散コサイン変換（以下、「ＤＣＴ」と言う。）することによってＤＣＴ係数を生成する。量子化部３４は、ＤＣＴ部３３から入力されるＤＣＴ係数を量子化することによって量子化値を算出する。可変長符号化部３５は、量子化部３４から入力される量子化値を可変長符号化することによってフレーム番号ｎの画像フレームに関する符号化データを生成し、生成した符号化データを内部バス１９及びメモリカード制御部１３を介してメモリカード５に格納する。【００６９】
逆量子化部３６は、量子化部３４から入力される量子化値を逆量子化することによって逆量子化値を算出し、ＩＤＣＴ部３７は、逆量子化部３６から入力される逆量子化値を逆離散コサイン変換（以下、「ＩＤＣＴ」と言う。）する。これらの処理によってフレーム番号ｎの画像フレームが復号される。ＩＤＣＴ部３７は、復号されたフレーム番号ｎの画像フレームを、フレーム番号ｎの候補参照フレームとして、最も古いフレーム番号の候補参照フレーム（ここでは、フレーム番号ｎ−４の候補参照フレーム）が格納されている参照フレーム記憶領域に、内部バス１９及びＤＲＡＭ制御部１２を介して格納する。これにより、フレーム番号ｎ＋１の画像フレームの符号化の際、参照フレーム記憶領域７ａ〜７ｄにはフレーム番号ｎ−３〜ｎの４フレーム分の候補参照フレームが格納されていることになる。【００７０】
＜撮像装置１の動作＞
以下、図１の撮像装置１の動作について図３を参照しつつ説明する。図３は図１の撮像装置１による画像処理の手順を示すフローチャートであり、１つの画像フレームに対する処理の流れを示す。【００７１】
ＣＣＤカメラモジュール２によって画像の撮像が行われ、撮像された画像の輝度値（Ｙ）のデータが画像入力部１４によってフレーム輝度検出部１５に入力され、当該画像の画像フレームを構成する輝度値（Ｙ）及び色相値（Ｃｂ，Ｃｒ）のデータが画像入力部１４によって内部バス１９及びＤＲＡＭ制御部１２を介して入力フレーム記憶領域６に格納される（ステップＳ１）。【００７２】
フレーム輝度検出部１５は、フレーム単位で、１フレーム内の画素の輝度値を積算してフレーム輝度値を算出する（ステップＳ２）。フリッカースペクトル検出部１６は、フレーム輝度検出部１５によって算出された５１２フレーム分のフレーム輝度値を用いて５１２個のスペクトル値を求める（ステップＳ３）。フリッカースペクトル検出部１６は、算出したスペクトル値に基づいて電源周波数５０Ｈｚに由来する蛍光灯フリッカーの成分があるか、電源周波数６０Ｈｚに由来する蛍光灯フリッカーの成分があるか、蛍光灯フリッカーの成分がないかを判定する（ステップＳ４）。【００７３】
電源周波数５０Ｈｚに由来する蛍光灯フリッカーの成分があると判定された場合（Ｓ４：電源５０Ｈｚ）、輝度推定部１７は、フリッカースペクトル検出部１６によって求められた１００Ｈｚ，２００Ｈｚ，３００Ｈｚ，・・・のスペクトル値を用いて５１２フレーム分の各画像フレームの撮像時の光源の輝度推定値を算出する（ステップＳ５）。また、電源周波数６０Ｈｚに由来する蛍光灯フリッカーの成分があると判定された場合（Ｓ４：電源６０Ｈｚ）、輝度推定部１７は、フリッカースペクトル検出部１６によって求められた１２０Ｈｚ，２４０Ｈｚ，３６０Ｈｚ，・・・のスペクトル値を用いて５１２フレーム分の各画像フレームの撮像時の光源の輝度推定値を算出する（ステップＳ６）。また、蛍光灯フリッカーの成分がないと判定された場合（Ｓ４：なし）、輝度推定部１７は、固定値を画像フレームの撮像時の光源の輝度推定値に決定する（ステップＳ７）。【００７４】
符号化対象の画像フレームが入力フレーム記憶領域６から動き探索部３１及び差分部３２にＤＲＡＭ制御部１２及び内部バス１９を介して入力される。動き探索部３１は、輝度推定部１７によって算出或いは決定された符号化対象の画像フレームの輝度推定値から上述したようにして当該画像フレームの輝度補正係数を求め、蓄積する。そして、動き探索部３１は、参照フレーム記憶領域７ａ〜７ｄに記憶されている過去４フレーム分の候補参照フレームの中から、符号化対象の画像フレームの輝度補正係数に最も近い輝度補正係数の候補参照画像フレームを参照フレームに決定する（ステップＳ８）。なお、過去４フレーム分の各画像フレームの符号化の際に各画像フレームの輝度補正係数が算出されて蓄積されており、この蓄積されている各輝度補正係数が過去４フレーム分の各候補参照フレームの輝度補正係数として用いられる。【００７５】
続いて、動き探索部３１は、参照フレームとして決定された候補参照フレームを参照フレーム記憶領域７ａ〜７ｄから内部バス１９及びＤＲＭＡ制御部１２を介して取得し、取得した候補参照フレームを用いて上記の式（２）の絶対値差ＳＡＤが最小となるｘ’及びｙ’を探索することによって動きベクトルの検出を行う（ステップＳ９）。【００７６】
動き探索部３１は検出した動きベクトルに基づいて動き補償を行って予測信号を生成する。そして、差分部３２は符号化対象の画像フレームの画像から予測信号を減算して残差信号を生成し、ＤＣＴ部３３、量子化部３４及び可変長符号化部３５は残差信号から符号化データを生成し、可変長符号化部３５は生成した符号化データを内部バス１９及びメモリカード制御部１３を介してメモリカード５に格納する。また、逆量子化部３６及びＩＤＣＴ部３７は量子化部３４から出力された量子化値から符号化対象の画像フレームを復号し、ＩＤＣＴ部３７は最も古いフレーム番号の候補参照フレームが格納されている参照フレーム記憶領域に復号した画像フレームを候補参照フレームとして内部バス１９及びＤＲＡＭ制御部１２を介して格納する（ステップＳ１０）。【００７７】
上述した実施の形態によれば、５１２フレーム分の画像フレームのフレーム輝度値から蛍光灯フリッカーの成分の分析を行い、光源の輝度を推定しているため、光源の輝度の高い推定精度が得られる。【００７８】
動き探索において、符号化対象の画像フレームの撮像時の光源の輝度推定値に最も近い輝度推定値の候補参照フレームを参照フレームに決定し、更に、符号化対象の画像フレームと参照フレームとして決定された候補参照フレームとの輝度差を係数補正しながら動きベクトルの検出を行う。これによって、撮影時の光源の輝度の変化に起因する動きベクトルの誤探索を軽減しつつ、効率の良い符号化を行うことができる。【００７９】
画像フレームそのものを輝度補正することなく画像フレームの符号化を行っているため、高速度撮影の場合、符号化データは蛍光灯フリッカーの現象自体の情報を含むことができ、蛍光灯フリッカーの現象自体を撮像対象とする用途にも適用することができる。【００８０】
図１１を用いて説明した従来技術のようにゲイン値を符号化データに含める必要がないため、他の符号化器との互換性を持たせることができる。【００８１】
≪第２の実施の形態≫
以下、本発明の第２の実施の形態について図面を参照しつつ説明する。但し、本実施の形態では、符号化パラメータは動き探索に用いる参照フレームである。【００８２】
第１の実施の形態の符号化部１８は、過去４フレーム分の候補参照フレームのうち符号化対象の画像フレームの輝度補正係数に最も近い輝度補正係数の候補参照フレームを参照フレームに決定し、補正されていない輝度値及び輝度補正係数を用いた動きベクトルの検出を行う。これに対して、本実施の形態の符号化部１８ａは、過去４フレーム分の候補参照フレームのうち最も小さい輝度補正係数の候補参照フレームを参照フレームに決定し、補正が行われた輝度値を用いた動きベクトルの検出を行う。【００８３】
＜撮像装置の構成＞
本実施の形態の撮像装置の構成について図４を参照しつつ説明する。図４は本実施の形態の撮像装置の構成図である。但し、本実施の形態において、第１の実施の形態の構成要素と実質的に同じ構成要素には同じ符号を付し、その説明が適用できるため本実施の形態ではその説明を省略する。【００８４】
撮像装置１ａは、ＣＣＤカメラモジュール２と、画像処理ユニット３ａと、ＤＲＡＭ４と、メモリカード５とを備える。【００８５】
画像処理ユニット３ａは、ＣＣＤカメラモジュール２から入力される画像を符号化するためのものであって、以下、画像処理ユニット３ａについて説明する。【００８６】
［画像処理ユニット３ａの構成］
画像処理ユニット３ａは、図４に示すように、プロセッサ１１と、ＤＲＡＭ制御部１２と、メモリカード制御部１３と、画像入力部１４と、フレーム輝度検出部１５と、フリッカースペクトル検出部１６と、輝度推定部１７と、ゲイン調整部５１と、符号化部１８ａと、内部バス１９とを備える。プロセッサ１１、ＤＲＡＭ制御部１２、メモリカード制御部１３、ゲイン調整部５１、及び符号化部１８ａは、夫々、内部バス１９に接続されている。なお、画像入力部１４は、画像の輝度値（Ｙ）のデータをフレーム輝度検出部１５へ出力し、画像の輝度値（Ｙ）及び色相値（Ｃｒ，Ｃｂ）のデータをゲイン調整部５１へ出力する。また、輝度推定部１７は画像フレームの撮像時の光源の輝度推定値をゲイン調整部５１及び符号化部１８ａの後述する動き探索部３１ａへ出力する。【００８７】
ゲイン調整部５１の説明の便宜上フレーム番号ｎの画像フレームを対象に説明するが、ゲイン調整部５１はフレーム番号ｎ以外のフレーム番号の画像フレームの場合も同様の処理を実行する。ゲイン調整部５１は、輝度推定部１７から入力されるフレーム番号ｎの画像フレームの輝度推定値Ｙnの逆数を算出し、算出した輝度推定値の逆数１／Ｙnを画像入力部１４から入力されるフレーム番号ｎの画像フレームを構成する輝度値（Ｙ）に乗算して輝度値（Ｙ）を補正する。そして、ゲイン調整部５１は、フレーム番号ｎの画像フレームを構成する輝度補正が施された輝度値（Ｙ）及び色相値（Ｃｂ，Ｃｒ）を内部バス１９を介してＤＲＡＭ制御部１２へ出力する。フレーム番号ｎの画像フレームを構成する輝度補正が施された輝度値（Ｙ）及び色相値（Ｃｂ，Ｃｒ）はＤＲＡＭ制御部１２によって入力フレーム記憶領域６に格納される。このように、本実施の形態において入力フレーム記憶領域６に記憶される画像フレームは、第１の実施の形態と異なり、輝度値（Ｙ）が輝度補正された画像フレームである。【００８８】
符号化部１８ａは、ＣＣＤカメラモジュール２によって撮像され、入力フレーム記憶領域６に記憶されている画像フレームの符号化を、輝度推定部１７から入力される光源の輝度推定値を用いて行うものである。なお、本実施の形態では、符号化部１８ａはＭＰＥＧ−４  ＡＶＣに従う動画像符号化を行うものとする。【００８９】
（符号化器１８ａの構成）
図４の符号化器１８ａについて図５を参照しつつ説明する。図５は図４の符号化部１８ａの構成図である。なお、図５では、図の簡略化のため、符号化部１８ａとＤＲＡＭ４との間にある内部バス１９及びＤＲＡＭ制御部１２を省略し、符号化部１８ａとメモリカード５との間にある内部バス１９及びメモリカード制御部１３を省略している。【００９０】
符号化部１８ａは、動き探索部３１ａと、差分部３２と、ＤＣＴ部３３と、量子化部３４と、可変長符号化部３５と、逆量子化部３６と、ＩＤＣＴ部３７とを備える。但し、本実施の形態においても、第１の実施の形態と同様、常に過去の４フレーム分の候補参照フレームをリングバッファ状に参照フレーム記憶領域７ａ〜７ｄに蓄積しておき、それらを参照フレームに利用できる構成にする。【００９１】
以下では、説明の便宜上、符号化部１８ａはフレーム番号ｎ−１の画像フレームまで符号化を完了しており、フレーム番号ｎの画像フレームを符号化する場合を例に挙げて記載する。【００９２】
動き探索部３１ａは、輝度推定部１７から入力されるフレーム番号ｎの画像フレームの撮像時の輝度推定値Ｙnの逆数を算出し、輝度推定値Ｙnの逆数１／Ｙnをフレーム番号ｎの画像フレームの輝度補正係数Ｇnとして蓄積する。但し、動き探索部３１ａは、フレーム番号ｎ−ｉ（ｉ＝１，２，３，４）の画像フレームの符号化の際に、フレーム番号ｎ−ｉの画像フレームの撮像時の輝度推定値Ｙn-iの逆数を算出することによってフレーム番号ｎ−ｉの画像フレームの輝度補正係数Ｇn-i（＝１／Ｙn-i）を算出し、算出した輝度補正係数Ｇn-iを蓄積している。なお、この輝度補正係数Ｇn-iがフレーム番号ｎ−ｉ（ｉ＝１，２，３，４）の候補参照フレームの輝度補正係数である。【００９３】
続いて、動き探索部３１ａは、参照フレーム記憶領域７ａ〜７ｄに格納されている過去４フレーム分の候補参照フレームの中から、最も小さい輝度補正係数の候補参照フレームを参照フレームに決定する。そして、動き探索部３１ａは、参照フレームに決定した候補参照フレームを内部バス１９及びＤＲＡＭ制御部１２を介して参照フレーム記憶領域７ａ〜７ｄから取得する。以下、説明の便宜上、参照フレームに決定された候補参照フレームはフレーム番号ｎ−ｎ’の候補参照フレームであるとする。【００９４】
更に続いて、動き探索部３１ａは、矩形領域のサイズがｌ×ｍである各マクロブロックについて、参照フレームとして決定されたフレーム番号ｎ−ｎ’の候補参照フレームを用いて、下記の式（３）の絶対値差ＳＡＤが最小となるｘ’及びｙ’を探索することによって動きベクトルの検出を行う。そして、動き探索部３１ａは、検出した動きベクトルを用いて動き補償を行い、動き補償により得られた予測信号を差分部３２へ出力する。【００９５】
【数３】
2009098741.tif 000005
【００９６】
但し、｜  ｜は絶対値を表す記号である。また、ｆn（ｘ，ｙ）は符号化の対象であるフレーム番号ｎの画像フレームの座標（ｘ，ｙ）における輝度値、ｆn-n'（ｘ，ｙ）は参照フレームとして決定されたフレーム番号ｎ−ｎ’の候補参照フレームの座標（ｘ，ｙ）における輝度値である。【００９７】
なお、ゲイン調整部５１によって輝度補正が施されていることを踏まえ、評価関数として従来例と同様のものを用いている。【００９８】
＜撮像装置１ａの動作＞
以下、図４の撮像装置１ａの動作について図６を参照しつつ説明する。図６は図４の撮像装置１ａによる画像処理の手順を示すフローチャートであり、１つの画像フレームに対する処理の流れを示す。【００９９】
ＣＣＤカメラモジュール２によって画像の撮像が行われ、撮像された画像の輝度値（Ｙ）のデータが画像入力部１４によってフレーム輝度検出部１５に入力され、当該画像の画像フレームを構成する輝度値（Ｙ）及び色相値（Ｃｂ，Ｃｒ）のデータがゲイン調整部５１に入力される（ステップＳ３１）。【０１００】
フレーム輝度検出部１５はステップＳ２と実質的に同じ処理を行い（ステップＳ３２）、フリッカースペクトル検出部１６はステップＳ３と実質的に同じ処理を行う（ステップＳ３３）。続いて、輝度推定部１７はステップＳ４〜Ｓ７と実質的に同じ処理を行う（ステップＳ３４〜Ｓ３７）。ゲイン調整部５１は、輝度推定部１７によって算出され或いは決定された輝度推定値の逆数を算出し、画像入力部１４から入力された同じフレーム番号の画像フレームの輝度値（Ｙ）に算出した輝度推定値の逆数を乗算して輝度値（Ｙ）を補正する。そして、ゲイン調整部５１は、輝度補正が施された輝度値（Ｙ）及び色相値（Ｃｂ，Ｃｒ）をそのフレーム番号の画像フレームのデータとして内部バス１９及びＤＲＡＭ制御部１２を介して入力フレーム記憶領域６に格納する（ステップＳ３８）。【０１０１】
符号化対象の画像フレームが入力フレーム記憶領域６から動き探索部３１ａ及び差分部３２にＤＲＡＭ制御部１２及び内部バス１９を介して入力される。動き探索部３１ａは、輝度推定部１７によって算出或いは決定された符号化対象の画像フレームの輝度推定値から上述したようにして当該画像フレームの輝度補正係数を求め、蓄積する。そして、動き探索部３１ａは、過去の４フレーム分の候補参照フレームの中から、最も小さい輝度補正係数の候補参照フレームを参照フレームに決定する（ステップＳ３９）。なお、過去４フレーム分の各画像フレームの符号化の際に各画像フレームの輝度補正係数が算出されて蓄積されており、この蓄積されている各輝度補正係数が過去４フレーム分の各候補参照フレームの輝度補正係数として用いられる。【０１０２】
続いて、動き探索部３１ａは、参照フレームとして決定された候補参照フレームを参照フレーム記憶領域７ａ〜７ｄから内部バス１９及びＤＲＡＭ制御部１２を介して取得し、取得した候補参照フレームを用いて上記の式（３）の絶対値差ＳＡＤが最小となるｘ’及びｙ’を探索することによって動きベクトルの検出を行う（ステップＳ４０）。【０１０３】
動き探索部３１ａは検出した動きベクトルに基づいて動き補償を行って予測信号を生成する。そして、差分部３２、ＤＣＴ部３３、量子化部３４、及び可変長符号化部３５は符号化処理を行い、逆量子化部３６及びＩＤＣＴ部３７は復号処理を行う（ステップＳ４１）。【０１０４】
上述した実施の形態によれば、参照フレームとして用いられる候補参照フレームは撮影時の光源の輝度が最も高かったもの、即ち、Ｓ／Ｎ比が最も高い高品質なものであるため、効率の良い符号化を行うことができる。【０１０５】
≪第３の実施の形態≫
以下、本発明の第３の実施の形態について図面を参照しつつ説明する。但し、本実施の形態では、符号化パラメータは符号化対象の画像フレームの符号化を行う符号化部である。【０１０６】
第１及び第２の実施の形態の撮像装置１，１ａは、１つの符号化部を用いて符号化を行う。これに対して、第３の実施の形態の撮像装置１ｂは、３つの符号化部を用いて並列して符号化を行う。【０１０７】
＜撮像装置の構成＞
本実施の形態の撮像装置の構成について図７を参照しつつ説明する。図７は本実施の形態の撮像装置の構成図である。但し、本実施の形態において、第１の実施の形態の構成要素と実質的に同じ構成要素には同じ符号を付し、その説明が適用できるため本実施の形態ではその説明を省略する。【０１０８】
撮像装置１ｂは、ＣＣＤカメラモジュール２と、画像処理ユニット３ｂと、ＤＲＡＭ４ｂと、メモリカード５とを備える。【０１０９】
ＤＲＡＭ４ｂには、画像処理ユニット３ｂ内の符号化部７２，７３，７４の各々に対応した参照フレーム記憶領域７２ａ，７３ａ，７４ａがあり、参照フレーム記憶領域７２ａ，７３ａ，７４ａには夫々１フレーム分の参照フレームが記憶される。【０１１０】
画像処理ユニット３ｂは、ＣＣＤカメラモジュール２から入力される画像を符号化するためのものであって、以下、画像処理ユニット３ｂについて説明する。【０１１１】
［画像処理ユニット３ｂの構成］
画像処理ユニット３ｂは、図７に示すように、プロセッサ１１と、ＤＲＡＭ制御部１２と、メモリカード制御部１３と、画像入力部１４と、フレーム輝度検出部１５と、フリッカースペクトル検出部１６と、輝度推定部１７と、分配部７１と、符号化部７２，７３，７４と、合成部７５と、内部バス１９とを備える。プロセッサ１１、ＤＲＡＭ制御部１２、メモリカード制御部１３、画像入力部１４、分配部７１、符号化部７２，７３，７４及び合成部７５は、夫々、内部バス１９に接続されている。なお、輝度推定部１７は光源の輝度推定値を分配部７１へ出力する。【０１１２】
分配部７１は、符号化部７２〜７４の夫々について、現時点で符号化を実行中の画像フレームの撮像時の光源の輝度推定値を、現時点で符号化を実行していなければ直近に符号化した画像フレームの撮像時の光源の輝度推定値を蓄積している。【０１１３】
分配部７１には輝度推定部１７から符号化対象の画像フレームの撮像時の光源の輝度推定値が入力される。分配部７１は、符号化処理を実行していない符号化部７２〜７４のうち、符号化対象の画像フレームの撮像時の光源の輝度推定値に直近に符号化した画像フレームの撮像時の光源の輝度推定値が最も近い符号化部を、符号化対象の画像フレームを符号化する符号化部に決定する。そして、分配部７１は、入力フレーム記憶領域６から内部バス１９及びＤＲＡＭ制御部１２を介して符号化対象の画像フレームを取得し、取得した符号化対象の画像フレーム及び当該符号化対象の画像フレームの撮像時の光源の輝度推定値を決定した符号化部へ出力する。これと共に、分配部７１は決定した符号化部に対応して蓄積していた光源の輝度推定値を符号化対象の画像フレームの撮像時の光源の輝度推定値に更新する。【０１１４】
符号化部７２，７３，７４は、夫々、ＣＣＤカメラモジュール２によって撮像され、分配部７１から入力された画像フレームの符号化を行い、符号化データを合成部７５へ出力するものであって、その詳細は後述する。なお、本実施の形態では、符号化部７２，７３，７４はＭＰＥＧ−４  ＡＶＣに従う動画像符号化を行うものとする。【０１１５】
合成部７５は、符号化部７２，７３，７４から入力される符号化データをフレーム番号の順番に従って一つの符号化データに連結し、連結した符号化データを内部バス１９を介してメモリカード制御部１３へ出力する。この連結された符号化データはメモリカード制御部１３によってメモリカード５に格納される。【０１１６】
（符号化部７２，７３，７４の構成）
図７の符号化部７２について図８を参照しつつ説明する。図８は図７の符号化部７２の構成図である。なお、図８では、図の簡略化のため、符号化部７２とＤＲＡＭ４との間にある内部バス１９及びＤＲＡＭ制御部１２を省略している。但し、本実施の形態では、符号化部７３，７４として符号化部７２と実質的に同じ構成及び同じ動作を行う符号化部を利用するものとし、この場合、符号化部７２の説明が適用できるため本実施の形態では符号化部７３，７４の説明を省略する。【０１１７】
符号化部７２は、動き探索部３１ｂと、差分部３２と、ＤＣＴ部３３と、量子化部３４と、可変長符号化部３５と、逆量子化部３６と、ＩＤＣＴ部３７とを備える。【０１１８】
以下において、符号化部７２がこれから符号化を行う画像フレームのフレーム番号をｎ、符号化部７２が直近に符号化を行った画像フレームのフレーム番号をｎ−ｎ’とする。【０１１９】
動き探索部３１ｂは、分配部７１から入力されるフレーム番号ｎの画像フレームの撮像時の光源の輝度推定値Ｙnの逆数を算出し、輝度推定値Ｙnの逆数１／Ｙnをフレーム番号ｎの画像フレームの輝度補正係数Ｇnとして蓄積する。なお、動き探索部３１ｂは、符号化部７２がフレーム番号ｎ−ｎ’の画像フレームを符号化する際にフレーム番号ｎ−ｎ’の画像フレームの撮像時の光源の輝度推定値Ｙn-n'の逆数を算出することによってフレーム番号ｎ−ｎ’の輝度補正係数Ｇn-n' （＝１／Ｙn-n'）を算出し、算出した輝度補正係数Ｇn-n'を蓄積している。なお、この輝度補正係数Ｇn-n'がフレーム番号ｎ−ｎ’の参照フレームの輝度補正係数である。【０１２０】
そして、動き探索部３１ｂは、参照フレーム記憶領域７２ａからフレーム番号ｎ−ｎ’の参照フレームをＤＲＡＭ制御部１２及び内部バス１９を介して取得する。続いて、動き探索部３１ｂは、矩形領域のサイズがｌ×ｍである各マクロブロックについて、取得したフレーム番号ｎ−ｎ’の参照フレームを用いて、上記の式（２）の絶対値差ＳＡＤが最小となるｘ’及びｙ’を探索することによって動きベクトルの検出を行う。そして、動き探索部３１ａは、検出した動きベクトルを用いて動き補償を行い、動き補償により得られた予測信号を差分部３２へ出力する。【０１２１】
なお、本実施の形態では、可変長符号化部３５は符号化データを合成部３５へ出力し、ＩＤＣＴ部３７は、復号されたフレーム番号ｎの画像フレームを参照フレームとして参照フレーム記憶領域７２ａに格納する。【０１２２】
＜撮像装置１ｂの動作＞
以下、図７の撮像装置１ｂの動作について図９を参照しつつ説明する。図９は図７の撮像装置１ｂによる画像処理の手順を示すフローチャートであり、１つの画像フレームに対する処理の流れを示す。【０１２３】
ＣＣＤカメラモジュール２及び画像入力部１４はステップＳ１と実質的に同じ処理を行う（ステップＳ５１）。【０１２４】
フレーム輝度検出部１５はステップＳ２と実質的に同じ処理を行い（ステップＳ５２）、フリッカースペクトル検出部１６はステップＳ３と実質的に同じ処理を行う（ステップＳ５３）。続いて、輝度推定部１７はステップＳ４〜Ｓ７と実質的に同じ処理を行う（ステップＳ５４〜Ｓ５７）。【０１２５】
分配部７１は、符号化部７２〜７４の中から画像フレームの符号化を行う符号化部の決定を上述したようにして行う（ステップＳ５８）。そして、分配部７１は、内部バス１９及びＤＲＡＭ制御部１２を介して入力フレーム記憶領域６から符号化対象の画像フレームを取得し、取得した符号化対象の画像フレーム及び当該符号化対象の画像フレームの撮像時の光源の輝度推定値を決定した符号化部へ出力する（ステップＳ５９）。なお、この際、分配部７１は決定した符号化部に対応して蓄積していた光源の輝度推定値を符号化対象の画像フレームの撮像時の光源の輝度推定値に更新する。【０１２６】
ステップＳ５８において決定された符号化部において、動き探索部３１ｂは、分配部７１から入力された符号化対象の画像フレームの輝度推定値から上述したようにして当該画像フレームの輝度補正係数を求め、蓄積する。そして、動き探索部３１ａは、参照フレーム記憶領域に記憶されている参照フレームを用いて、上記の式（２）の絶対値差ＳＡＤが最小となるｘ’及びｙ’を探索することによって動きベクトルの検出を行う（ステップＳ６０）。なお、参照フレームの輝度補正係数は当該参照フレームの元となった画像フレームの符号化の際に算出され、蓄積されている。【０１２７】
動き探索部３１ｂは検出した動きベクトルに基づいて動き補償を行って予測信号を生成する。そして、差分部３２、ＤＣＴ部３３、量子化部３４、及び可変長符号化部３５は符号化処理を行い、可変長符号化部３５は符号化データを合成部７５へ出力し、合成部７５は入力される符号化データを連結して内部バス１９及びメモリカード制御部１３を介してメモリカード５に格納する。また、逆量子化部３６及びＩＤＣＴ部３７は復号処理を行い、ＩＤＣＴ部３７は復号した画像フレームを参照フレームとして内部バス１９及びＤＲＡＭ制御部１２を介して自身の符号化部に対応する参照フレーム記憶領域に格納する（ステップＳ６１）。【０１２８】
上述した実施の形態によれば、符号化対象の画像フレームの撮像時の光源の輝度推定値に最も近い輝度推定値の画像フレームの符号化を行っていた符号化部を符号化対象の画像フレームの符号化を行う符号化部に決定し、更に、符号化対象の画像フレームと参照フレームとの輝度差を係数補正しながら動きベクトルの検出を行う。これによって、符号化部の並列化による符号化の処理速度の向上が図られるとともに、撮影時の光源の輝度の変化に起因する動きベクトルの誤探索を軽減しつつ、効率の良い符号化を行うことができる。【０１２９】
≪補足≫
本発明は上記の実施の形態に限られるものではなく、例えば、次のようなものであってもよい。【０１３０】
（１）上述した第１及び第３の各実施の形態では、動きベクトル検出部３１，３１ｂは動きベクトルの検出に式（２）の評価関数を用いている。しかしながら、動きベクトルの検出に用いる評価関数は上記の式（２）に限られるものではなく、例えば下記の式（４）、（５）の評価関数を用いてもよい。【０１３１】
【数４】
2009098741.tif 000006
【０１３２】
【数５】
2009098741.tif 000007
【０１３３】
また、上述した第２の実施の形態では、動きベクトル検出部３１ａは動きベクトルの検出に式（３）の評価関数を用いている。しかしながら、動きベクトルの検出に用いる評価関数は上記の式（３）に限られるものではなく、例えば下記の式（６）、（７）の評価関数を用いてもよい。【０１３４】
【数６】
2009098741.tif 000008
【０１３５】
【数７】
2009098741.tif 000009
【０１３６】
（２）上記の第１から第３の各実施の形態では、蛍光灯フリッカーの成分の有無を判定するために、フリッカースペクトル検出部１６は、１００Ｈｚのスペクトル値及び１２０Ｈｚのスペクトル値を用いているが、これに限られるものではない。例えば、フリッカースペクトル検出部１６は、電源周波数５０Ｈｚに由来する蛍光灯フリッカーの有無の判定のために、その２倍の周波数（１００Ｈｚ）の倍数（１倍を除く。）の周波数（２００Ｈｚ、３００Ｈｚ、・・・）成分のスペクトル値を用いてもよい。また、フリッカースペクトル検出部１６は、電源周波数６０Ｈｚに由来する蛍光灯フリッカーの有無の判定のために、その２倍の周波数（１２０Ｈｚ）の倍数（１倍を除く。）の周波数（２４０Ｈｚ、３６０Ｈｚ、・・・）成分のスペクトル値を用いてもよい。【０１３７】
（３）上記の第１及び第２の各実施の形態では、候補参照フレームが過去４フレーム分の画像フレームであるしているが、これに限られるものではなく、候補参照フレームが過去Ｎ（Ｎ＝２，３，５，６，・・・）フレーム分の画像フレームであってもよい。【０１３８】
また、上記の第３の実施の形態では、符号化部の数が３つであるが、これに限られるものではなく、例えば、符号化部の数はＮ（Ｎ＝２，４，５，・・・）であってもよい。【０１３９】
（４）上記の第１及び第２の各実施の形態では、参照フレームの決定に輝度補正係数を利用しているが、これに限られるものではなく、例えば、フレーム輝度値を用いて参照フレームの決定を行うようにしてもよい。この場合、第１の実施の形態では、動き探索部３１は過去の４フレーム分の候補参照フレームの中から符号化対象の画像フレームの撮像時のフレーム輝度値に最も近いフレーム輝度値の候補参照フレームを参照フレームに決定するようにすればよい。また、第２の実施の形態では、動き探索部３１ａは過去の４フレーム分の候補参照フレームの中から最もフレーム輝度値が大きい候補参照フレームを参照フレームに決定するようにすればよい。【０１４０】
また、上記の第３の実施の形態では、分配部７１は画像フレームの撮像時の光源の輝度推定値を用いて符号化対象の画像フレームの分配先を決定しているが、これに限られるものではなく、例えば分配部７１は符号化対象の画像フレームの分配先の決定に画像フレームの撮像時の光源の輝度推定値の逆数を用いてもよい。【０１４１】
（５）上記の第３の実施の形態の符号化部７２，７３，７４として、第１及び第２の実施の形態で説明した符号化部１８，１８ａを用いるようにしてもよく、他の一般的な構成の符号化部を用いるようにしてもよい。また、符号化部７２，７３，７４は、評価関数として輝度補正係数を含まない評価関数（例えば、式（３），（６），（７））を用いてもよい。【０１４２】
（６）上記の第１から第３の各実施の形態では、符号化部１８，１８ａ，７２，７３，７４はＭＰＥＧ−４  ＡＶＣに従う動画像符号化を行うものとしたが、これに限られるものではなく、過去の画像フレームを参照フレームとして利用する動画像符号化であれば方式は問わない。【０１４３】
（７）上記の第１から第３の各実施の形態では、フレーム輝度検出部１５、フリッカースペクトル検出部１６及び輝度推定部１７によって撮影時の光源の輝度を推定しているが、これに限られるものではなく、例えば、照度センサを撮像装置に設けて照度センサによって光源の輝度を推定するようにしてもよい。【０１４４】
（８）上記の第１から第３の各実施の形態では、フリッカーのスペクトル値の検出にＦＦＴを用いているが、これに限られるものではなく、フリッカーのスペクトル値を検出することができる手段であればよい。【０１４５】
（９）上記の第１の実施の形態では、フレーム輝度値に相当する輝度補正係数を用いて参照フレームの決定及び動きベクトルの検出の双方を行っているが、これに限られるものではなく、参照フレームの決定及び動きベクトルの検出の何れか一方にのみフレーム輝度値に相当する輝度補正係数を用いるようにしてもよい。但し、輝度補正係数を用いない方では輝度補正係数を固定値の１とみなすことによって従来の通常の符号化技術を適用することができる。何れか一方にのみ輝度補正係数を用いた場合、双方に輝度補正係数を用いた場合に比べ、符号化効率は低下するもののコストの削減が図られる。【０１４６】
（１０）上記の第１から第３の各実施の形態では、輝度値（Ｙ）及び色相値（Ｃｂ，Ｃｒ）を用いているが、これに限られるものではなく、例えばＲＧＢデータやベイヤデータなど輝度に相関があるデータを含むものであればそのまま或いは所定の変換を施すことによって第１から第３の各実施の形態の手法を適用可能である。【０１４７】
（１１）上記の第１から第３の各実施の形態では、ＣＣＤカメラモジュール２が輝度値（Ｙ）の算出を行うことを前提に説明したが、これに限られるものではなく、例えば、一般的な撮像装置同様、画像入力部１４が輝度値（Ｙ）の算出を行うようにしてもよい。この場合、画像入力部１４が多種のイメージセンサに対応することが難しくなるもののコストの削減が図られる。【０１４８】
（１２）上記の第１から第３の各実施の形態では、ＣＣＤカメラモジュール２を用いているが、これに限られるものではなく、ＣＣＤカメラモジュール２の代わりに、例えば、ＣＭＯＳイメージセンサなどの他の撮像デバイスを用いてもよい。【０１４９】
（１３）上記の第１から第３の各実施の形態で説明した撮像装置１，１ａ，１ｂに、各実施の形態で説明した符号化処理を実行するモードとその他の符号化処理（例えば、通常の符号化処理）を実行するモードとを切り替えるための機構と、ユーザがモードを選択するためのモード選択ボタンとを設けるようにしてもよい。【０１５０】
また、撮像装置１，１ａ，１ｂに、撮像のフレームレートに応じて、各実施の形態で説明した符号化処理を実行するモードとその他の符号化処理（例えば、通常の符号化処理）を実行するモードとを切り替えるための機構を設けるようにしてもよい。【０１５１】
（１４）上記の第１から第３の各実施の形態などの構成は、典型的には集積回路であるＬＳＩ（Large Scale Integration）として実現されてもよい。これらは、個別に１チップ化されてもよいし、各実施の形態の全ての構成または一部の構成を含むように１チップ化されてもよい。【０１５２】
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（Integrated Circuit）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。【０１５３】
また、集積回路化の手法はＬＳＩに限られるものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。【０１５４】
さらに、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応等が可能性としてあり得る。
【産業上の利用可能性】
【０１５５】
本発明は、蛍光灯フリッカーのスペクトル検出機能を有し、動画像符号化を行う撮像装置に利用でき、特に高速度撮影機能を有するデジタルビデオカメラやデジタルカメラなどの映像機器などの撮像装置に有用である。また、これらの撮像装置向けのＬＳＩ等の用途にも応用可能である。
【図１】
2009098741.tif 000010
【図２】
2009098741.tif 000011
【図３】
2009098741.tif 000012
【図４】
2009098741.tif 000013
【図５】
2009098741.tif 000014
【図６】
2009098741.tif 000015
【図７】
2009098741.tif 000016
【図８】
2009098741.tif 000017
【図９】
2009098741.tif 000018
【図１０】
2009098741.tif 000019
【図１１】
2009098741.tif 000020
【図１２】
2009098741.tif 000021
【手続補正書】
【提出日】平成21年3月13日(2009.3.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像手段と、
光源のフリッカーの時間波形を検出する検出手段と、
前記検出手段による検出結果に基づいて、前記撮像手段により撮像された画像フレームの撮像時の光源の輝度を推定する推定手段と、
前記推定手段により推定された光源の輝度推定値に基づいて、複数の候補参照フレームの中から参照フレームを決定する決定手段と、
前記決定手段により決定された参照フレームに基づいて符号化対象の画像フレームを符号化する符号化手段と、
を備える撮像装置。
【請求項２】
（削除）
【請求項３】
前記決定手段は、参照フレームの候補である複数の候補参照フレームの中から、前記符号化対象の画像フレームの撮像時の光源の輝度推定値に最も近い輝度推定値の候補参照フレームを参照フレームに決定する
請求項１記載の撮像装置。
【請求項４】
前記決定手段は、複数の候補参照フレームの中から、光源の輝度推定値が最も大きい候補参照フレームを参照フレームに決定する
請求項１記載の撮像装置。
【請求項５】
（削除）
【請求項６】
撮像手段と、
光源のフリッカーの時間波形を検出する検出手段と、
前記検出手段による検出結果に基づいて、前記撮像手段により撮像された画像フレームの撮像時の光源の輝度を推定する推定手段と、
並列して符号化を行う複数の副符号化手段と、
前記推定手段により推定された光源の輝度推定値に基づいて、複数の前記副符号化手段の中から、符号化対象の画像フレームの符号化を行う副符号化手段を決定する決定手段と、
前記決定手段により決定された前記副符号化手段へ前記符号化対象の画像フレームを出力する分配手段と、
を備える撮像装置。
【請求項７】
光源のフリッカーの時間波形を検出する検出手段と、
前記検出手段による検出結果に基づいて、撮像手段により撮像された画像フレームの撮像時の光源の輝度を推定する推定手段と、
前記推定手段により推定された光源の輝度推定値に基づいて、複数の候補参照フレームの中から参照フレームを決定する決定手段と、
前記決定手段により決定された参照フレームに基づいて符号化対象の画像フレームを符号化する符号化手段と、
を備える集積回路。
【請求項８】
撮像手順と、
光源のフリッカーの時間波形を検出する検出手順と、
前記検出手順における検出結果に基づいて、前記撮像手順において撮像された画像フレームの撮像時の光源の輝度を推定する推定手順と、
前記推定手順において推定された光源の輝度推定値に基づいて、複数の候補参照フレームの中から参照フレームを決定する決定手順と、
前記決定手順において決定された参照フレームに基づいて符号化対象の画像フレームを符号化する符号化手順と、
を備える撮像方法。
【手続補正書】
【提出日】平成21年12月21日(2009.12.21)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フリッカーがある環境下で高速度撮影された画像の符号化技術に関する。
【背景技術】
【０００２】
動画像符号化において、ＭＰＥＧ（Moving Picture Experts Group）方式などでは、動き探索に例えばマクロブロックと呼ばれる特定のサイズの矩形領域における輝度の絶対値差を評価関数として用いる。例えば、マクロブロックのサイズがｌ×ｍである場合、絶対値差ＳＡＤは下記の式（１）で表される。
【０００３】
【数１】
2009098741.tif 000022
【０００４】
但し、｜  ｜は絶対値を表す記号である。また、ｆn（ｘ，ｙ）はフレーム番号ｎの画像フレーム（符号化対象の画像フレーム）における座標（ｘ，ｙ）の輝度値、ｆn-n'（ｘ，ｙ）はフレーム番号ｎ−ｎ’の画像フレーム（参照フレーム）における座標（ｘ，ｙ）の輝度値である。
動き探索では、絶対値差ＳＡＤが最小となるｎ’、ｘ’、ｙ’の組み合わせを探索し、参照フレームの決定及び動きベクトルの検出を行う。なお、ＭＰＥＧ−４  ＡＶＣ（Ｈ．２６４）のようにｎ’をある程度任意に指定可能な方式や、ＭＰＥＧ−４  Ｓｉｍｐｌｅ  Ｐｒｏｆｉｌｅのように、ｎ’を１に固定する方式などがある。
【０００５】
フレーム番号ｎの画像フレームとフレーム番号ｎ−ｎ’の画像フレームとで撮像時の光源の輝度値が異なれば、式（１）で求められる絶対値差が、本来の物体の動きに関係なく偶然輝度値の近い場所で最小値となり、圧縮率が低下する。
蛍光灯フリッカー除去技術として、撮像手段で撮像した画像から二次以上のスペクトル分析を行い、画像を補正するものが提案されており（例えば、特許文献１参照。）、その概要について図１０を用いて説明する。
【０００６】
撮像装置１００では、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサで構成される撮像部１０１で撮像された画像について、輝度検出部１０２はライン単位で輝度の計測を行う。フリッカースペクトル検出部１０３はフーリエ変換を用いて輝度値の周波数成分を分析して蛍光灯フリッカーの成分の抽出を行い、蛍光灯フリッカーの波形の推測を行う。続いて、輝度補正係数発生部１０４は推測された蛍光灯フリッカーの波形に基づいて蛍光灯フリッカーの成分を打ち消すように輝度補正係数を発生し、ゲイン調整部１０５は輝度補正係数に基づいて撮像された画像のゲイン調整を行い、輝度を補正する。撮像装置１００は、高速度撮影を対象とするものではないが、ＣＭＯＳイメージセンサの画素ごとの撮像タイミングのずれを考慮し、高い周波数成分までフリッカースペクトルを予測することで、より正確な輝度補正を可能にする。
【０００７】
また、画像フレーム間における光源の輝度変化を考慮した動画像符号化技術として、符号化対象の画像フレームの輝度値と同じになるように参照フレームを輝度補正してから動き探索を行うものが提案されており（例えば、特許文献２参照。）、その概要について図１１を用いて説明する。
撮像装置２００では、撮像部２０１で撮像された画像は入力画像フレーム記録部２０２に記録される。ゲイン検出部２０８は入力画像フレーム記録部２０２に記録されている画像フレームと参照画像フレーム記録部２０７に記録されている参照フレームとの輝度差を検出し、ゲイン調整部２０９は輝度差に基づいて参照フレームの輝度補正を行う。動き探索部２０３は画像フレームと輝度補正された参照フレームとの間で動き探索を行い、符号化部２０４は動き探索の結果得られた信号を符号化し、符号化データを記録部２０５に蓄積する。また、復号部２０６は符号化データを復号し、復号により得られた参照フレームを参照画像フレーム記録部２０７に記録する。撮像装置２００は、蛍光灯フリッカーなどの影響で画像フレームの輝度値が変化した場合においても、高い圧縮率を維持できる。
【０００８】
なお、動画像符号化の並列化に関する技術水準を示すものとして、符号化部を並列動作させるものがあり（例えば、特許文献３参照。）、その概要について図１２を用いて説明する。撮像装置３００では、撮像部３０１によって撮像された画像は、分配部３０２によってフレーム単位で符号化部３０３，３０４，３０５に分配され、符号化部３０３，３０４，３０５によって符号化される。符号化部３０３，３０４，３０５から出力された符号化データは合成部３０６によって統合されて記録部３０７に蓄積される。この技術は、符号化の処理速度が向上するため、高速度撮影のような高い符号化演算能力が求められる用途に対して有用である。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００４−２２２２２８号公報（第３３頁、図４）
【特許文献２】特開２００１−２３１０４５号公報（第１０頁、図１）
【特許文献３】特開２００７−２０２０２６号公報（第１４頁、図１）
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、高速度撮影では、撮影のフレームレートが蛍光灯フリッカーの周波数より高いことがあり、この場合、蛍光灯フリッカーの輝度変化が畳み込まれることなく撮影される。このため、蛍光灯フリッカー除去技術のようにゲイン調整を施した場合、ゲイン調整によるＳ／Ｎ比の変化が画像フレーム間で大きく発生してしまい、画像フレーム毎に異なるＳ／Ｎ比が動画像符号化効率を劣化させてしまう。
【００１１】
また、上述した画像フレーム間における光源の輝度変化を考慮した動画像符号化技術では、画像フレーム間で輝度補正するため、輝度の差が画像本来の変化に由来するものなのか、蛍光灯フリッカーに由来するものなのか判別できず、蛍光灯フリッカーがなく、画像本来の変化による輝度差が大きい場合に逆に圧縮率が低下してしまう。
そこで、本発明は、蛍光灯フリッカーを撮影した映像でも効率よく符号化し、且つ、蛍光灯フリッカーのない環境でも従来通りの圧縮率を維持することが可能な撮像装置、集積回路及び撮像方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するために本発明の撮像装置は、撮像手段と、光源のフリッカーの時間波形を検出する検出手段と、前記検出手段による検出結果に基づいて、前記撮像手段により撮像された画像フレームの撮像時の光源の輝度を推定する推定手段と、前記推定手段により推定された光源の輝度推定値に基づいて前記画像フレームの符号化に用いる符号化パラメータを決定する決定手段と、前記決定手段により決定された符号化パラメータに基づいて前記画像フレームを符号化する符号化手段と、を備える。
【００１３】
また、本発明の集積回路は、光源のフリッカーの時間波形を検出する検出手段と、前記検出手段による検出結果に基づいて、撮像手段により撮像された画像フレームの撮像時の光源の輝度を推定する推定手段と、前記推定手段により推定された光源の輝度推定値に基づいて前記画像フレームの符号化に用いる符号化パラメータを決定する決定手段と、前記決定手段により決定された符号化パラメータに基づいて前記画像フレームを符号化する符号化手段と、を備える。
【００１４】
さらに、本発明の撮像方法は、撮像手順と、光源のフリッカーの時間波形を検出する検出手順と、前記検出手順における検出結果に基づいて、前記撮像手順において撮像された画像フレームの撮像時の光源の輝度を推定する推定手順と、前記推定手順において推定された光源の輝度推定値に基づいて前記画像フレームの符号化に用いる符号化パラメータを決定する決定手順と、前記決定手順において決定された符号化パラメータに基づいて前記画像フレームを符号化する符号化手順と、を備える。
【発明の効果】
【００１５】
上記撮像装置、集積回路及び撮像方法の夫々によれば、光源のフリッカーの時間波形を検出して画像フレームの撮像時の光源の輝度を推定し、光源の輝度推定値に基づいて符号化パラメータの決定を行い、決定した符号化パラメータに基づいて画像フレームの符号化を行う。このため、蛍光灯フリッカーを撮影した映像でも効率よく符号化し、且つ、蛍光灯フリッカーのない環境でも従来通りの圧縮率を維持することが可能である。
【００１６】
上記の撮像装置において、前記符号化パラメータは動き探索に用いる参照フレームであり、前記符号化手段は、前記画像フレームと前記決定手段により符号化パラメータとして決定された参照フレームとの間で動きベクトルの検出を行って前記画像フレームの符号化を行うようにしてもよい。
これによれば、光源の輝度推定値から参照フレームの決定を行うため、参照フレームとして光源の輝度の変化に応じて適切なものを用いることができる。
【００１７】
上記の撮像装置において、前記決定手段は、参照フレームの候補である複数の候補参照フレームの中から、前記画像フレームの撮像時の光源の輝度推定値に最も近い輝度推定値の候補参照フレームを参照フレームに決定するようにしてもよい。
これによれば、参照フレームとして画像フレームの撮像時の光源の輝度推定値に近い輝度推定値の候補参照フレームを用いるため、画質の向上が図られる。
【００１８】
上記の撮像装置において、前記決定手段は、複数の候補参照フレームの中から、光源の輝度推定値が最も大きい候補参照フレームを参照フレームに決定するようにしてもよい。
これによれば、Ｓ／Ｎ比の高い候補参照フレームを参照フレームとして用いることによって符号化効率の向上が図られる。
上記の撮像装置において、前記符号化パラメータは動き探索に用いる評価関数の前記画像フレーム及び参照フレームの夫々に対する輝度値を補正するための係数であり、前記符号化手段は、前記決定手段により符号化パラメータとして決定された前記画像フレーム及び前記参照フレームの夫々に対する前記係数を用いて動き探索を行って前記画像フレームの符号化を行うようにしてもよい。
【００１９】
これによれば、評価関数の係数を光源の輝度推定値に基づいて決定するため、光源の輝度の変化があっても動きベクトルの検出を精度よく行うことができる。
上記の撮像装置において、前記符号化手段は、並列して符号化を行う複数の副符号化手段と、前記決定手段により決定された符号化パラメータに基づいて前記画像フレームを前記複数の副符号化手段の何れかへ出力する分配手段と、を備え、前記決定手段は、符号化パラメータとして、複数の前記副符号化手段の中から、前記画像フレームの符号化を行う副符号化手段を決定するようにしてもよい。
【００２０】
これによれば、光源の輝度の変化がある状況においても符号化を効率よく並列して行うことができる。
【図面の簡単な説明】
【００２１】
【図１】第１の実施の形態の撮像装置の構成図。
【図２】図１の符号化部の構成図。
【図３】図１の撮像装置による画像処理の手順を示すフローチャート。
【図４】第２の実施の形態の撮像装置の構成図。
【図５】図４の符号化部の構成図。
【図６】図４の撮像装置による画像処理の手順を示すフローチャート。
【図７】第３の実施の形態の撮像装置の構成図。
【図８】図７の符号化部の構成図。
【図９】図７の撮像装置による画像処理の手順を示すフローチャート。
【図１０】従来のフリッカー除去機能を有する撮像装置の構成図。
【図１１】従来の画像フレーム間における光源の輝度変化を考慮した動画像符号化の機能を有する撮像装置の構成図。
【図１２】従来の動画像符号化を並列に実行する撮像装置の構成図。
【発明を実施するための形態】
【００２２】
以下、本発明の実施の形態について図面を参照しつつ説明する。但し、本件書類における「符号化パラメータ」とは、符号化処理を行う際に設定又は選択し得る事項を意味する。なお、ゲイン調整などの画像補正処理は符号化対象の画像を実質的に変化させるものであり、符号化対象の画像を実質的に変化させてしまう画像補正パラメータは本件書類における「符号化パラメータ」に含まれない。
【００２３】
≪第１の実施の形態≫
以下、本発明の第１の実施の形態について図面を参照しつつ説明する。但し、本実施の形態では、符号化パラメータは動き探索に用いる参照フレーム、及び動き探索に用いる後述する式（２）の評価関数における係数Ｇn，Ｇn-n'である。なお、第１から第３の各実施の形態では、撮像装置の使用地域が電源周波数５０Ｈｚの地域と電源周波数６０Ｈｚの地域との２地域であるとする。
【００２４】
＜撮像装置の構成＞
本実施の形態の撮像装置の構成について図１を参照しつつ説明する。図１は本実施の形態の撮像装置の構成図である。
撮像装置１は、ＣＣＤ（Charge Coupled Device）カメラモジュール２と、画像処理ユニット３と、ＤＲＡＭ（Dynamic RandomAccess Memory）４と、メモリカード５とを備える。撮像装置１は高速度撮影機能等を有し、設定されたフレームレートで撮影を行う。なお、撮像装置１に設定されたフレームレートが蛍光灯フリッカー周波数より高いことがある。
【００２５】
ＣＣＤカメラモジュール２は、撮像した画像に係る８ビットの輝度値（Ｙ）及び色相値（Ｃｂ，Ｃｒ）のデータを交互に画像処理ユニット３の後述する画像入力部１４へ出力する。
画像処理ユニット３は、ＣＣＤカメラモジュール２から入力される画像を符号化するためのものであって、その詳細は後述する。
【００２６】
ＤＲＡＭ４の入力フレーム記憶領域６には、ＣＣＤカメラモジュール２によって撮像された画像を構成する各画像フレームの輝度値（Ｙ）及び色相値（Ｃｂ、Ｃｒ）のデータが画像処理ユニット３の画像入力部１４によって格納される。また、ＤＲＡＭ４の参照フレーム記憶領域７ａ〜７ｄには、画像処理ユニット３による画像フレームの符号化の際に得られる画像フレームが参照フレームの候補として格納される。なお、参照フレーム記憶領域７ａ〜７ｄに格納される画像フレームを「候補参照フレーム」と言うことにする。但し、本実施の形態では、後述するように、４枚分の候補参照フレームが１フレームずつ参照フレーム記憶領域７ａ〜７ｄに格納される。
【００２７】
メモリカード５には、画像処理ユニット３による画像の符号化によって得られる符号化データが格納される。
［画像処理ユニット３の構成］
画像処理ユニット３は、図１に示すように、プロセッサ１１と、ＤＲＡＭ制御部１２と、メモリカード制御部１３と、画像入力部１４と、フレーム輝度検出部１５と、フリッカースペクトル検出部１６と、輝度推定部１７と、符号化部１８と、内部バス１９とを備える。プロセッサ１１、ＤＲＡＭ制御部１２、メモリカード制御部１３、画像入力部１４、及び符号化部１８は、夫々、内部バス１９に接続されている。
【００２８】
プロセッサ１１は、例えば、画像処理ユニット３内の各部の起動を内部バス１９を介して制御する。ＤＲＡＭ制御部１２は、ＤＲＡＭ４へのデータの書き込み、ＤＲＡＭ４からのデータの読み出しを行う。メモリカード制御部１３は、メモリカード５へのデータの書き込み、メモリカード５からのデータの読み出しを行う。
画像入力部１４は、ＣＣＤカメラモジュール２から入力される輝度値（Ｙ）のデータをフレーム輝度検出部１５へ出力するとともに、ＣＣＤカメラモジュール２から入力される輝度値（Ｙ）のデータ及び色相値（Ｃｂ，Ｃｒ）のデータを内部バス１９を介してＤＲＡＭ制御部１２へ出力する。この輝度値（Ｙ）のデータ及び色相値（Ｃｂ，Ｃｒ）のデータによって構成される画像フレームはＤＲＡＭ制御部１２によって入力フレーム記憶領域６に格納される。
【００２９】
フレーム輝度検出部１５は、３２ビットのカウンタを有する。フレーム輝度検出部１５は、フレーム単位で、１フレーム内の画素の輝度値をカウンタを用いて積算し、積算の結果得られた値（以下、「フレーム輝度値」と言う。）をフリッカースペクトル検出部１６へ出力する。
フリッカースペクトル検出部１６は、フレーム輝度検出部１５から入力されるフレーム輝度値を格納するための３２ビットのバッファを５１２個有し、５１２フレーム分のフレーム輝度値を記憶することができるようになっている。
【００３０】
フリッカースペクトル検出部１６は、フレーム輝度検出部１５から新たなフレーム輝度値が入力されると、バッファに格納されている最も古いフレーム輝度値を入力された新たなフレーム輝度値に置き換える。そして、フリッカースペクトル検出部１６は、５１２個のバッファに格納されているフレーム輝度値を時系列に５１２個サンプリングし、高速フーリエ変換（以下、「ＦＦＴ」と言う。）を実行して５１２個の３２ビットのスペクトル値を求める。
【００３１】
続いて、フリッカースペクトル検出部１６は、電源周波数５０Ｈｚに由来する蛍光灯フリッカーの成分があるか、電源周波数６０Ｈｚに由来する蛍光灯フリッカーの成分があるかを判定するために、次の処理を行う。
フリッカースペクトル検出部１６は、１００Ｈｚのスペクトル値と１２０Ｈｚのスペクトル値とを比較する。
【００３２】
１００Ｈｚのスペクトル値が１２０Ｈｚのスペクトル値より大きい場合、フリッカースペクトル検出部１６は、１００Ｈｚのスペクトル値を閾値と比較し、１００Ｈｚのスペクトル値が閾値を超える場合には電源周波数５０Ｈｚに由来する蛍光灯フリッカーの成分があると判定し、超えない場合には蛍光灯フリッカーの成分がないと判定する。
一方、１００Ｈｚのスペクトル値が１２０Ｈｚのスペクトル値より大きくない場合、フリッカースペクトル検出部１６は、１２０Ｈｚのスペクトル値を閾値と比較し、１２０Ｈｚのスペクトル値が閾値を超える場合には電源周波数６０Ｈｚに由来する蛍光灯フリッカーの成分があると判定し、超えない場合には蛍光灯フリッカーの成分がないと判定する。
【００３３】
フリッカースペクトル検出部１６は、求めたスペクトル値と判定結果を示すフリッカー情報とを輝度推定部１７へ出力する。
但し、上記の閾値を、例えば、センサによって特性が異なることを考慮して、予め蛍光灯フリッカーがある環境と蛍光灯フリッカーのない環境との夫々で撮像を行い、その撮像結果を用いて決定することが好ましい。
【００３４】
輝度推定部１７は、フリッカースペクトル検出部１６から入力されるフリッカー情報の内容に応じて下記の処理を行って画像フレームの撮像時の光源の輝度を推定する。
フリッカー情報が電源周波数５０Ｈｚに由来する蛍光灯フリッカーの成分があることを示す場合、輝度推定部１７は、フリッカースペクトル検出部１６から入力されるスペクトル値の中から、１００Ｈｚの倍数の１００Ｈｚ、２００Ｈｚ、３００Ｈｚ、・・・の各周波数のスペクトル値を取り出す。そして、輝度推定部１７は、取り出した各周波数のスペクトル値を用いて逆高速フーリエ変換（以下、「ＩＦＦＴ」と言う。）を実行して５１２フレーム分の輝度値を求め、求めた輝度値を光源の輝度推定値として符号化部１８の後述する動き探索部３１へ出力する。
【００３５】
また、フリッカー情報が電源周波数６０Ｈｚに由来する蛍光灯フリッカーの成分があることを示す場合、輝度推定部１７は、フリッカースペクトル検出部１６から入力されるスペクトル値の中から、１２０Ｈｚの倍数の１２０Ｈｚ、２４０Ｈｚ、３６０Ｈｚ、・・・の各周波数のスペクトル値を取り出す。そして、輝度推定部１７は、取り出した各周波数のスペクトル値を用いてＩＦＦＴを実行して５１２フレーム分の輝度値を求め、求めた輝度値を光源の輝度推定値として符号化部１８の動き探索部３１へ出力する。
【００３６】
上記の処理を行うことによって、蛍光灯フリッカーに関係しない周波数成分を除外し、５１２フレーム分夫々の蛍光灯フリッカーに由来する輝度変化のみ推定できる。
さらに、フリッカー情報が蛍光灯フリッカーの成分がないことを示す場合、輝度推定部１７は、予め定められた固定値を光源の輝度推定値として符号化部１８の動き探索部３１へ出力する。
【００３７】
なお、蛍光灯フリッカーは周期性があるので、継続する画像フレームも同様のパターンを示すことが予想されるため、ＦＦＴ演算及びＩＦＦＴ演算を毎画像フレーム行ってもよいし、ＦＦＴ演算及びＩＦＦＴ演算を一定間隔で間引いてもよい。
符号化部１８は、ＣＣＤカメラモジュール２によって撮像され、入力フレーム記憶領域６に記憶されている画像フレームの符号化を、輝度推定部１７から入力される光源の輝度推定値を用いて行うものである。なお、本実施の形態では、符号化部１８はＭＰＥＧ−４  ＡＶＣに従う動画像符号化を行うものとする。
【００３８】
（符号化部１８の構成）
図１の符号化部１８について図２を参照しつつ説明する。図２は図１の符号化部１８の構成図である。なお、図２では、図の簡略化のため、符号化部１８とＤＲＡＭ４との間にある内部バス１９及びＤＲＡＭ制御部１２を省略し、符号化部１８とメモリカード５との間にある内部バス１９及びメモリカード制御部１３を省略している。
【００３９】
符号化部１８は、動き探索部３１と、差分部３２と、ＤＣＴ部３３と、量子化部３４と、可変長符号化部３５と、逆量子化部３６と、ＩＤＣＴ部３７とを備える。
但し、ＭＰＥＧ−４  ＡＶＣにおける動画像符号化では、別の画像フレームを参照フレームとして使用することが可能である。そこで、本実施の形態では常に過去の４フレーム分の候補参照フレームをリングバッファ状に参照フレーム記憶領域７ａ〜７ｄに蓄積しておき、それらを参照フレームに利用できる構成にする。なお、リングバッファ構造の場合、符号化の開始からフレーム番号をカウントしておけばフレーム番号からメモリ位置を一意に特定できる。
【００４０】
以下では、説明の便宜上、符号化部１８はフレーム番号ｎ−１の画像フレームまで符号化を完了しており、フレーム番号ｎの画像フレームを符号化する場合を例に挙げて記載する。
入力フレーム記憶領域６に記憶されているフレーム番号ｎの画像フレームが、ＤＲＡＭ制御部１２によって読み出され、内部バス１９を介して動き探索部３１及び差分部３２に入力される。
【００４１】
動き探索部３１は、輝度推定部１７から入力されるフレーム番号ｎの画像フレームの撮像時の輝度の輝度推定値Ｙnの逆数を算出し、輝度推定値Ｙnの逆数１／Ｙnをフレーム番号ｎの画像フレームの輝度補正係数Ｇnとして蓄積する。但し、動き探索部３１は、フレーム番号ｎ−ｉ（ｉ＝１，２，３，４）の画像フレームの符号化の際に、フレーム番号ｎ−ｉの画像フレームの撮像時の輝度推定値Ｙn-iの逆数を算出することによってフレーム番号ｎ−ｉの画像フレームの輝度補正係数Ｇn-i（＝１／Ｙn-i）を算出し、算出した輝度補正係数Ｇn-iを蓄積している。なお、この輝度補正係数Ｇn-iがフレーム番号ｎ−ｉ（ｉ＝１，２，３，４）の候補参照フレームの輝度補正係数である。
【００４２】
続いて、動き探索部３１は、参照フレーム記憶領域７ａ〜７ｄに格納されている過去４フレーム分の候補参照フレームの中から、輝度補正係数Ｇnに最も近い輝度補正係数の候補参照フレームを参照フレームに決定する。そして、動き探索部３１は、参照フレームに決定した候補参照フレームを内部バス１９及びＤＲＡＭ制御部１２を介して参照フレーム記憶領域７ａ〜７ｄから取得する。以下、説明の便宜上、参照フレームに決定された候補参照フレームはフレーム番号ｎ−ｎ’の候補参照フレームであるとし、フレーム番号ｎ−ｎ’の候補参照フレームの輝度補正係数をＧn-n'と記載する。
【００４３】
更に続いて、動き探索部３１は、矩形領域のサイズがｌ×ｍである各マクロブロックについて、参照フレームとして決定されたフレーム番号ｎ−ｎ’の候補参照フレームを用いて、下記の式（２）の絶対値差ＳＡＤが最小となるｘ’及びｙ’を探索することによって動きベクトルの検出を行う。そして、動き探索部３１は、検出した動きベクトルを用いて動き補償を行い、動き補償により得られた予測信号を差分部３２へ出力する。
【００４４】
【数２】
2009098741.tif 000023
【００４５】
但し、｜  ｜は絶対値を表す記号である。また、ｆn（ｘ，ｙ）は符号化の対象であるフレーム番号ｎの画像フレームの座標（ｘ，ｙ）における輝度値、ｆn-n'（ｘ，ｙ）は参照フレームとして決定されたフレーム番号ｎ−ｎ’の候補参照フレームの座標（ｘ，ｙ）における輝度値である。
差分部３２は、フレーム番号ｎの画像フレームの画像から動き探索部３１から入力される予測信号を減算して残差信号を生成する。ＤＣＴ部３３は、差分部３２から入力される残差信号を離散コサイン変換（以下、「ＤＣＴ」と言う。）することによってＤＣＴ係数を生成する。量子化部３４は、ＤＣＴ部３３から入力されるＤＣＴ係数を量子化することによって量子化値を算出する。可変長符号化部３５は、量子化部３４から入力される量子化値を可変長符号化することによってフレーム番号ｎの画像フレームに関する符号化データを生成し、生成した符号化データを内部バス１９及びメモリカード制御部１３を介してメモリカード５に格納する。
【００４６】
逆量子化部３６は、量子化部３４から入力される量子化値を逆量子化することによって逆量子化値を算出し、ＩＤＣＴ部３７は、逆量子化部３６から入力される逆量子化値を逆離散コサイン変換（以下、「ＩＤＣＴ」と言う。）する。これらの処理によってフレーム番号ｎの画像フレームが復号される。ＩＤＣＴ部３７は、復号されたフレーム番号ｎの画像フレームを、フレーム番号ｎの候補参照フレームとして、最も古いフレーム番号の候補参照フレーム（ここでは、フレーム番号ｎ−４の候補参照フレーム）が格納されている参照フレーム記憶領域に、内部バス１９及びＤＲＡＭ制御部１２を介して格納する。これにより、フレーム番号ｎ＋１の画像フレームの符号化の際、参照フレーム記憶領域７ａ〜７ｄにはフレーム番号ｎ−３〜ｎの４フレーム分の候補参照フレームが格納されていることになる。
【００４７】
＜撮像装置１の動作＞
以下、図１の撮像装置１の動作について図３を参照しつつ説明する。図３は図１の撮像装置１による画像処理の手順を示すフローチャートであり、１つの画像フレームに対する処理の流れを示す。
ＣＣＤカメラモジュール２によって画像の撮像が行われ、撮像された画像の輝度値（Ｙ）のデータが画像入力部１４によってフレーム輝度検出部１５に入力され、当該画像の画像フレームを構成する輝度値（Ｙ）及び色相値（Ｃｂ，Ｃｒ）のデータが画像入力部１４によって内部バス１９及びＤＲＡＭ制御部１２を介して入力フレーム記憶領域６に格納される（ステップＳ１）。
【００４８】
フレーム輝度検出部１５は、フレーム単位で、１フレーム内の画素の輝度値を積算してフレーム輝度値を算出する（ステップＳ２）。フリッカースペクトル検出部１６は、フレーム輝度検出部１５によって算出された５１２フレーム分のフレーム輝度値を用いて５１２個のスペクトル値を求める（ステップＳ３）。フリッカースペクトル検出部１６は、算出したスペクトル値に基づいて電源周波数５０Ｈｚに由来する蛍光灯フリッカーの成分があるか、電源周波数６０Ｈｚに由来する蛍光灯フリッカーの成分があるか、蛍光灯フリッカーの成分がないかを判定する（ステップＳ４）。
【００４９】
電源周波数５０Ｈｚに由来する蛍光灯フリッカーの成分があると判定された場合（Ｓ４：電源５０Ｈｚ）、輝度推定部１７は、フリッカースペクトル検出部１６によって求められた１００Ｈｚ，２００Ｈｚ，３００Ｈｚ，・・・のスペクトル値を用いて５１２フレーム分の各画像フレームの撮像時の光源の輝度推定値を算出する（ステップＳ５）。また、電源周波数６０Ｈｚに由来する蛍光灯フリッカーの成分があると判定された場合（Ｓ４：電源６０Ｈｚ）、輝度推定部１７は、フリッカースペクトル検出部１６によって求められた１２０Ｈｚ，２４０Ｈｚ，３６０Ｈｚ，・・・のスペクトル値を用いて５１２フレーム分の各画像フレームの撮像時の光源の輝度推定値を算出する（ステップＳ６）。また、蛍光灯フリッカーの成分がないと判定された場合（Ｓ４：なし）、輝度推定部１７は、固定値を画像フレームの撮像時の光源の輝度推定値に決定する（ステップＳ７）。
【００５０】
符号化対象の画像フレームが入力フレーム記憶領域６から動き探索部３１及び差分部３２にＤＲＡＭ制御部１２及び内部バス１９を介して入力される。動き探索部３１は、輝度推定部１７によって算出或いは決定された符号化対象の画像フレームの輝度推定値から上述したようにして当該画像フレームの輝度補正係数を求め、蓄積する。そして、動き探索部３１は、参照フレーム記憶領域７ａ〜７ｄに記憶されている過去４フレーム分の候補参照フレームの中から、符号化対象の画像フレームの輝度補正係数に最も近い輝度補正係数の候補参照画像フレームを参照フレームに決定する（ステップＳ８）。なお、過去４フレーム分の各画像フレームの符号化の際に各画像フレームの輝度補正係数が算出されて蓄積されており、この蓄積されている各輝度補正係数が過去４フレーム分の各候補参照フレームの輝度補正係数として用いられる。
【００５１】
続いて、動き探索部３１は、参照フレームとして決定された候補参照フレームを参照フレーム記憶領域７ａ〜７ｄから内部バス１９及びＤＲＡＭ制御部１２を介して取得し、取得した候補参照フレームを用いて上記の式（２）の絶対値差ＳＡＤが最小となるｘ’及びｙ’を探索することによって動きベクトルの検出を行う（ステップＳ９）。
動き探索部３１は検出した動きベクトルに基づいて動き補償を行って予測信号を生成する。そして、差分部３２は符号化対象の画像フレームの画像から予測信号を減算して残差信号を生成し、ＤＣＴ部３３、量子化部３４及び可変長符号化部３５は残差信号から符号化データを生成し、可変長符号化部３５は生成した符号化データを内部バス１９及びメモリカード制御部１３を介してメモリカード５に格納する。また、逆量子化部３６及びＩＤＣＴ部３７は量子化部３４から出力された量子化値から符号化対象の画像フレームを復号し、ＩＤＣＴ部３７は最も古いフレーム番号の候補参照フレームが格納されている参照フレーム記憶領域に復号した画像フレームを候補参照フレームとして内部バス１９及びＤＲＡＭ制御部１２を介して格納する（ステップＳ１０）。
【００５２】
上述した実施の形態によれば、５１２フレーム分の画像フレームのフレーム輝度値から蛍光灯フリッカーの成分の分析を行い、光源の輝度を推定しているため、光源の輝度の高い推定精度が得られる。
動き探索において、符号化対象の画像フレームの撮像時の光源の輝度推定値に最も近い輝度推定値の候補参照フレームを参照フレームに決定し、更に、符号化対象の画像フレームと参照フレームとして決定された候補参照フレームとの輝度差を係数補正しながら動きベクトルの検出を行う。これによって、撮影時の光源の輝度の変化に起因する動きベクトルの誤探索を軽減しつつ、効率の良い符号化を行うことができる。
【００５３】
画像フレームそのものを輝度補正することなく画像フレームの符号化を行っているため、高速度撮影の場合、符号化データは蛍光灯フリッカーの現象自体の情報を含むことができ、蛍光灯フリッカーの現象自体を撮像対象とする用途にも適用することができる。
図１１を用いて説明した従来技術のようにゲイン値を符号化データに含める必要がないため、他の符号化器との互換性を持たせることができる。
【００５４】
≪第２の実施の形態≫
以下、本発明の第２の実施の形態について図面を参照しつつ説明する。但し、本実施の形態では、符号化パラメータは動き探索に用いる参照フレームである。
第１の実施の形態の符号化部１８は、過去４フレーム分の候補参照フレームのうち符号化対象の画像フレームの輝度補正係数に最も近い輝度補正係数の候補参照フレームを参照フレームに決定し、補正されていない輝度値及び輝度補正係数を用いた動きベクトルの検出を行う。これに対して、本実施の形態の符号化部１８ａは、過去４フレーム分の候補参照フレームのうち最も小さい輝度補正係数の候補参照フレームを参照フレームに決定し、補正が行われた輝度値を用いた動きベクトルの検出を行う。
【００５５】
＜撮像装置の構成＞
本実施の形態の撮像装置の構成について図４を参照しつつ説明する。図４は本実施の形態の撮像装置の構成図である。但し、本実施の形態において、第１の実施の形態の構成要素と実質的に同じ構成要素には同じ符号を付し、その説明が適用できるため本実施の形態ではその説明を省略する。
【００５６】
撮像装置１ａは、ＣＣＤカメラモジュール２と、画像処理ユニット３ａと、ＤＲＡＭ４と、メモリカード５とを備える。
画像処理ユニット３ａは、ＣＣＤカメラモジュール２から入力される画像を符号化するためのものであって、以下、画像処理ユニット３ａについて説明する。
［画像処理ユニット３ａの構成］
画像処理ユニット３ａは、図４に示すように、プロセッサ１１と、ＤＲＡＭ制御部１２と、メモリカード制御部１３と、画像入力部１４と、フレーム輝度検出部１５と、フリッカースペクトル検出部１６と、輝度推定部１７と、ゲイン調整部５１と、符号化部１８ａと、内部バス１９とを備える。プロセッサ１１、ＤＲＡＭ制御部１２、メモリカード制御部１３、ゲイン調整部５１、及び符号化部１８ａは、夫々、内部バス１９に接続されている。なお、画像入力部１４は、画像の輝度値（Ｙ）のデータをフレーム輝度検出部１５へ出力し、画像の輝度値（Ｙ）及び色相値（Ｃｒ，Ｃｂ）のデータをゲイン調整部５１へ出力する。また、輝度推定部１７は画像フレームの撮像時の光源の輝度推定値をゲイン調整部５１及び符号化部１８ａの後述する動き探索部３１ａへ出力する。
【００５７】
ゲイン調整部５１の説明の便宜上フレーム番号ｎの画像フレームを対象に説明するが、ゲイン調整部５１はフレーム番号ｎ以外のフレーム番号の画像フレームの場合も同様の処理を実行する。ゲイン調整部５１は、輝度推定部１７から入力されるフレーム番号ｎの画像フレームの輝度推定値Ｙnの逆数を算出し、算出した輝度推定値の逆数１／Ｙnを画像入力部１４から入力されるフレーム番号ｎの画像フレームを構成する輝度値（Ｙ）に乗算して輝度値（Ｙ）を補正する。そして、ゲイン調整部５１は、フレーム番号ｎの画像フレームを構成する輝度補正が施された輝度値（Ｙ）及び色相値（Ｃｂ，Ｃｒ）を内部バス１９を介してＤＲＡＭ制御部１２へ出力する。フレーム番号ｎの画像フレームを構成する輝度補正が施された輝度値（Ｙ）及び色相値（Ｃｂ，Ｃｒ）はＤＲＡＭ制御部１２によって入力フレーム記憶領域６に格納される。このように、本実施の形態において入力フレーム記憶領域６に記憶される画像フレームは、第１の実施の形態と異なり、輝度値（Ｙ）が輝度補正された画像フレームである。
【００５８】
符号化部１８ａは、ＣＣＤカメラモジュール２によって撮像され、入力フレーム記憶領域６に記憶されている画像フレームの符号化を、輝度推定部１７から入力される光源の輝度推定値を用いて行うものである。なお、本実施の形態では、符号化部１８ａはＭＰＥＧ−４  ＡＶＣに従う動画像符号化を行うものとする。
（符号化器１８ａの構成）
図４の符号化器１８ａについて図５を参照しつつ説明する。図５は図４の符号化部１８ａの構成図である。なお、図５では、図の簡略化のため、符号化部１８ａとＤＲＡＭ４との間にある内部バス１９及びＤＲＡＭ制御部１２を省略し、符号化部１８ａとメモリカード５との間にある内部バス１９及びメモリカード制御部１３を省略している。
【００５９】
符号化部１８ａは、動き探索部３１ａと、差分部３２と、ＤＣＴ部３３と、量子化部３４と、可変長符号化部３５と、逆量子化部３６と、ＩＤＣＴ部３７とを備える。但し、本実施の形態においても、第１の実施の形態と同様、常に過去の４フレーム分の候補参照フレームをリングバッファ状に参照フレーム記憶領域７ａ〜７ｄに蓄積しておき、それらを参照フレームに利用できる構成にする。
【００６０】
以下では、説明の便宜上、符号化部１８ａはフレーム番号ｎ−１の画像フレームまで符号化を完了しており、フレーム番号ｎの画像フレームを符号化する場合を例に挙げて記載する。
動き探索部３１ａは、輝度推定部１７から入力されるフレーム番号ｎの画像フレームの撮像時の輝度推定値Ｙnの逆数を算出し、輝度推定値Ｙnの逆数１／Ｙnをフレーム番号ｎの画像フレームの輝度補正係数Ｇnとして蓄積する。但し、動き探索部３１ａは、フレーム番号ｎ−ｉ（ｉ＝１，２，３，４）の画像フレームの符号化の際に、フレーム番号ｎ−ｉの画像フレームの撮像時の輝度推定値Ｙn-iの逆数を算出することによってフレーム番号ｎ−ｉの画像フレームの輝度補正係数Ｇn-i（＝１／Ｙn-i）を算出し、算出した輝度補正係数Ｇn-iを蓄積している。なお、この輝度補正係数Ｇn-iがフレーム番号ｎ−ｉ（ｉ＝１，２，３，４）の候補参照フレームの輝度補正係数である。
【００６１】
続いて、動き探索部３１ａは、参照フレーム記憶領域７ａ〜７ｄに格納されている過去４フレーム分の候補参照フレームの中から、最も小さい輝度補正係数の候補参照フレームを参照フレームに決定する。そして、動き探索部３１ａは、参照フレームに決定した候補参照フレームを内部バス１９及びＤＲＡＭ制御部１２を介して参照フレーム記憶領域７ａ〜７ｄから取得する。以下、説明の便宜上、参照フレームに決定された候補参照フレームはフレーム番号ｎ−ｎ’の候補参照フレームであるとする。
【００６２】
更に続いて、動き探索部３１ａは、矩形領域のサイズがｌ×ｍである各マクロブロックについて、参照フレームとして決定されたフレーム番号ｎ−ｎ’の候補参照フレームを用いて、下記の式（３）の絶対値差ＳＡＤが最小となるｘ’及びｙ’を探索することによって動きベクトルの検出を行う。そして、動き探索部３１ａは、検出した動きベクトルを用いて動き補償を行い、動き補償により得られた予測信号を差分部３２へ出力する。
【００６３】
【数３】
2009098741.tif 000024
【００６４】
但し、｜  ｜は絶対値を表す記号である。また、ｆn（ｘ，ｙ）は符号化の対象であるフレーム番号ｎの画像フレームの座標（ｘ，ｙ）における輝度値、ｆn-n'（ｘ，ｙ）は参照フレームとして決定されたフレーム番号ｎ−ｎ’の候補参照フレームの座標（ｘ，ｙ）における輝度値である。
なお、ゲイン調整部５１によって輝度補正が施されていることを踏まえ、評価関数として従来例と同様のものを用いている。
【００６５】
＜撮像装置１ａの動作＞
以下、図４の撮像装置１ａの動作について図６を参照しつつ説明する。図６は図４の撮像装置１ａによる画像処理の手順を示すフローチャートであり、１つの画像フレームに対する処理の流れを示す。
ＣＣＤカメラモジュール２によって画像の撮像が行われ、撮像された画像の輝度値（Ｙ）のデータが画像入力部１４によってフレーム輝度検出部１５に入力され、当該画像の画像フレームを構成する輝度値（Ｙ）及び色相値（Ｃｂ，Ｃｒ）のデータがゲイン調整部５１に入力される（ステップＳ３１）。
【００６６】
フレーム輝度検出部１５はステップＳ２と実質的に同じ処理を行い（ステップＳ３２）、フリッカースペクトル検出部１６はステップＳ３と実質的に同じ処理を行う（ステップＳ３３）。続いて、輝度推定部１７はステップＳ４〜Ｓ７と実質的に同じ処理を行う（ステップＳ３４〜Ｓ３７）。ゲイン調整部５１は、輝度推定部１７によって算出され或いは決定された輝度推定値の逆数を算出し、画像入力部１４から入力された同じフレーム番号の画像フレームの輝度値（Ｙ）に算出した輝度推定値の逆数を乗算して輝度値（Ｙ）を補正する。そして、ゲイン調整部５１は、輝度補正が施された輝度値（Ｙ）及び色相値（Ｃｂ，Ｃｒ）をそのフレーム番号の画像フレームのデータとして内部バス１９及びＤＲＡＭ制御部１２を介して入力フレーム記憶領域６に格納する（ステップＳ３８）。
【００６７】
符号化対象の画像フレームが入力フレーム記憶領域６から動き探索部３１ａ及び差分部３２にＤＲＡＭ制御部１２及び内部バス１９を介して入力される。動き探索部３１ａは、輝度推定部１７によって算出或いは決定された符号化対象の画像フレームの輝度推定値から上述したようにして当該画像フレームの輝度補正係数を求め、蓄積する。そして、動き探索部３１ａは、過去の４フレーム分の候補参照フレームの中から、最も小さい輝度補正係数の候補参照フレームを参照フレームに決定する（ステップＳ３９）。なお、過去４フレーム分の各画像フレームの符号化の際に各画像フレームの輝度補正係数が算出されて蓄積されており、この蓄積されている各輝度補正係数が過去４フレーム分の各候補参照フレームの輝度補正係数として用いられる。
【００６８】
続いて、動き探索部３１ａは、参照フレームとして決定された候補参照フレームを参照フレーム記憶領域７ａ〜７ｄから内部バス１９及びＤＲＡＭ制御部１２を介して取得し、取得した候補参照フレームを用いて上記の式（３）の絶対値差ＳＡＤが最小となるｘ’及びｙ’を探索することによって動きベクトルの検出を行う（ステップＳ４０）。
動き探索部３１ａは検出した動きベクトルに基づいて動き補償を行って予測信号を生成する。そして、差分部３２、ＤＣＴ部３３、量子化部３４、及び可変長符号化部３５は符号化処理を行い、逆量子化部３６及びＩＤＣＴ部３７は復号処理を行う（ステップＳ４１）。
【００６９】
上述した実施の形態によれば、参照フレームとして用いられる候補参照フレームは撮影時の光源の輝度が最も高かったもの、即ち、Ｓ／Ｎ比が最も高い高品質なものであるため、効率の良い符号化を行うことができる。
≪第３の実施の形態≫
以下、本発明の第３の実施の形態について図面を参照しつつ説明する。但し、本実施の形態では、符号化パラメータは符号化対象の画像フレームの符号化を行う符号化部である。
【００７０】
第１及び第２の実施の形態の撮像装置１，１ａは、１つの符号化部を用いて符号化を行う。これに対して、第３の実施の形態の撮像装置１ｂは、３つの符号化部を用いて並列して符号化を行う。
＜撮像装置の構成＞
本実施の形態の撮像装置の構成について図７を参照しつつ説明する。図７は本実施の形態の撮像装置の構成図である。但し、本実施の形態において、第１の実施の形態の構成要素と実質的に同じ構成要素には同じ符号を付し、その説明が適用できるため本実施の形態ではその説明を省略する。
【００７１】
撮像装置１ｂは、ＣＣＤカメラモジュール２と、画像処理ユニット３ｂと、ＤＲＡＭ４ｂと、メモリカード５とを備える。
ＤＲＡＭ４ｂには、画像処理ユニット３ｂ内の符号化部７２，７３，７４の各々に対応した参照フレーム記憶領域７２ａ，７３ａ，７４ａがあり、参照フレーム記憶領域７２ａ，７３ａ，７４ａには夫々１フレーム分の参照フレームが記憶される。
【００７２】
画像処理ユニット３ｂは、ＣＣＤカメラモジュール２から入力される画像を符号化するためのものであって、以下、画像処理ユニット３ｂについて説明する。
［画像処理ユニット３ｂの構成］
画像処理ユニット３ｂは、図７に示すように、プロセッサ１１と、ＤＲＡＭ制御部１２と、メモリカード制御部１３と、画像入力部１４と、フレーム輝度検出部１５と、フリッカースペクトル検出部１６と、輝度推定部１７と、分配部７１と、符号化部７２，７３，７４と、合成部７５と、内部バス１９とを備える。プロセッサ１１、ＤＲＡＭ制御部１２、メモリカード制御部１３、画像入力部１４、分配部７１、符号化部７２，７３，７４及び合成部７５は、夫々、内部バス１９に接続されている。なお、輝度推定部１７は光源の輝度推定値を分配部７１へ出力する。
【００７３】
分配部７１は、符号化部７２〜７４の夫々について、現時点で符号化を実行中の画像フレームの撮像時の光源の輝度推定値を、現時点で符号化を実行していなければ直近に符号化した画像フレームの撮像時の光源の輝度推定値を蓄積している。
分配部７１には輝度推定部１７から符号化対象の画像フレームの撮像時の光源の輝度推定値が入力される。分配部７１は、符号化処理を実行していない符号化部７２〜７４のうち、符号化対象の画像フレームの撮像時の光源の輝度推定値に直近に符号化した画像フレームの撮像時の光源の輝度推定値が最も近い符号化部を、符号化対象の画像フレームを符号化する符号化部に決定する。そして、分配部７１は、入力フレーム記憶領域６から内部バス１９及びＤＲＡＭ制御部１２を介して符号化対象の画像フレームを取得し、取得した符号化対象の画像フレーム及び当該符号化対象の画像フレームの撮像時の光源の輝度推定値を決定した符号化部へ出力する。これと共に、分配部７１は決定した符号化部に対応して蓄積していた光源の輝度推定値を符号化対象の画像フレームの撮像時の光源の輝度推定値に更新する。
【００７４】
符号化部７２，７３，７４は、夫々、ＣＣＤカメラモジュール２によって撮像され、分配部７１から入力された画像フレームの符号化を行い、符号化データを合成部７５へ出力するものであって、その詳細は後述する。なお、本実施の形態では、符号化部７２，７３，７４はＭＰＥＧ−４  ＡＶＣに従う動画像符号化を行うものとする。
合成部７５は、符号化部７２，７３，７４から入力される符号化データをフレーム番号の順番に従って一つの符号化データに連結し、連結した符号化データを内部バス１９を介してメモリカード制御部１３へ出力する。この連結された符号化データはメモリカード制御部１３によってメモリカード５に格納される。
【００７５】
（符号化部７２，７３，７４の構成）
図７の符号化部７２について図８を参照しつつ説明する。図８は図７の符号化部７２の構成図である。なお、図８では、図の簡略化のため、符号化部７２とＤＲＡＭ４との間にある内部バス１９及びＤＲＡＭ制御部１２を省略している。但し、本実施の形態では、符号化部７３，７４として符号化部７２と実質的に同じ構成及び同じ動作を行う符号化部を利用するものとし、この場合、符号化部７２の説明が適用できるため本実施の形態では符号化部７３，７４の説明を省略する。
【００７６】
符号化部７２は、動き探索部３１ｂと、差分部３２と、ＤＣＴ部３３と、量子化部３４と、可変長符号化部３５と、逆量子化部３６と、ＩＤＣＴ部３７とを備える。
以下において、符号化部７２がこれから符号化を行う画像フレームのフレーム番号をｎ、符号化部７２が直近に符号化を行った画像フレームのフレーム番号をｎ−ｎ’とする。
動き探索部３１ｂは、分配部７１から入力されるフレーム番号ｎの画像フレームの撮像時の光源の輝度推定値Ｙnの逆数を算出し、輝度推定値Ｙnの逆数１／Ｙnをフレーム番号ｎの画像フレームの輝度補正係数Ｇnとして蓄積する。なお、動き探索部３１ｂは、符号化部７２がフレーム番号ｎ−ｎ’の画像フレームを符号化する際にフレーム番号ｎ−ｎ’の画像フレームの撮像時の光源の輝度推定値Ｙn-n'の逆数を算出することによってフレーム番号ｎ−ｎ’の輝度補正係数Ｇn-n'（＝１／Ｙn-n'）を算出し、算出した輝度補正係数Ｇn-n'を蓄積している。なお、この輝度補正係数Ｇn-n'がフレーム番号ｎ−ｎ’の参照フレームの輝度補正係数である。
【００７７】
そして、動き探索部３１ｂは、参照フレーム記憶領域７２ａからフレーム番号ｎ−ｎ’の参照フレームをＤＲＡＭ制御部１２及び内部バス１９を介して取得する。続いて、動き探索部３１ｂは、矩形領域のサイズがｌ×ｍである各マクロブロックについて、取得したフレーム番号ｎ−ｎ’の参照フレームを用いて、上記の式（２）の絶対値差ＳＡＤが最小となるｘ’及びｙ’を探索することによって動きベクトルの検出を行う。そして、動き探索部３１ａは、検出した動きベクトルを用いて動き補償を行い、動き補償により得られた予測信号を差分部３２へ出力する。
【００７８】
なお、本実施の形態では、可変長符号化部３５は符号化データを合成部３５へ出力し、ＩＤＣＴ部３７は、復号されたフレーム番号ｎの画像フレームを参照フレームとして参照フレーム記憶領域７２ａに格納する。
＜撮像装置１ｂの動作＞
以下、図７の撮像装置１ｂの動作について図９を参照しつつ説明する。図９は図７の撮像装置１ｂによる画像処理の手順を示すフローチャートであり、１つの画像フレームに対する処理の流れを示す。
【００７９】
ＣＣＤカメラモジュール２及び画像入力部１４はステップＳ１と実質的に同じ処理を行う（ステップＳ５１）。
フレーム輝度検出部１５はステップＳ２と実質的に同じ処理を行い（ステップＳ５２）、フリッカースペクトル検出部１６はステップＳ３と実質的に同じ処理を行う（ステップＳ５３）。続いて、輝度推定部１７はステップＳ４〜Ｓ７と実質的に同じ処理を行う（ステップＳ５４〜Ｓ５７）。
【００８０】
分配部７１は、符号化部７２〜７４の中から画像フレームの符号化を行う符号化部の決定を上述したようにして行う（ステップＳ５８）。そして、分配部７１は、内部バス１９及びＤＲＡＭ制御部１２を介して入力フレーム記憶領域６から符号化対象の画像フレームを取得し、取得した符号化対象の画像フレーム及び当該符号化対象の画像フレームの撮像時の光源の輝度推定値を決定した符号化部へ出力する（ステップＳ５９）。なお、この際、分配部７１は決定した符号化部に対応して蓄積していた光源の輝度推定値を符号化対象の画像フレームの撮像時の光源の輝度推定値に更新する。
【００８１】
ステップＳ５８において決定された符号化部において、動き探索部３１ｂは、分配部７１から入力された符号化対象の画像フレームの輝度推定値から上述したようにして当該画像フレームの輝度補正係数を求め、蓄積する。そして、動き探索部３１ａは、参照フレーム記憶領域に記憶されている参照フレームを用いて、上記の式（２）の絶対値差ＳＡＤが最小となるｘ’及びｙ’を探索することによって動きベクトルの検出を行う（ステップＳ６０）。なお、参照フレームの輝度補正係数は当該参照フレームの元となった画像フレームの符号化の際に算出され、蓄積されている。
【００８２】
動き探索部３１ｂは検出した動きベクトルに基づいて動き補償を行って予測信号を生成する。そして、差分部３２、ＤＣＴ部３３、量子化部３４、及び可変長符号化部３５は符号化処理を行い、可変長符号化部３５は符号化データを合成部７５へ出力し、合成部７５は入力される符号化データを連結して内部バス１９及びメモリカード制御部１３を介してメモリカード５に格納する。また、逆量子化部３６及びＩＤＣＴ部３７は復号処理を行い、ＩＤＣＴ部３７は復号した画像フレームを参照フレームとして内部バス１９及びＤＲＡＭ制御部１２を介して自身の符号化部に対応する参照フレーム記憶領域に格納する（ステップＳ６１）。
【００８３】
上述した実施の形態によれば、符号化対象の画像フレームの撮像時の光源の輝度推定値に最も近い輝度推定値の画像フレームの符号化を行っていた符号化部を符号化対象の画像フレームの符号化を行う符号化部に決定し、更に、符号化対象の画像フレームと参照フレームとの輝度差を係数補正しながら動きベクトルの検出を行う。これによって、符号化部の並列化による符号化の処理速度の向上が図られるとともに、撮影時の光源の輝度の変化に起因する動きベクトルの誤探索を軽減しつつ、効率の良い符号化を行うことができる。
【００８４】
≪補足≫
本発明は上記の実施の形態に限られるものではなく、例えば、次のようなものであってもよい。
（１）上述した第１及び第３の各実施の形態では、動きベクトル検出部３１，３１ｂは動きベクトルの検出に式（２）の評価関数を用いている。しかしながら、動きベクトルの検出に用いる評価関数は上記の式（２）に限られるものではなく、例えば下記の式（４）、（５）の評価関数を用いてもよい。
【００８５】
【数４】
2009098741.tif 000025
【００８６】
【数５】
2009098741.tif 000026
【００８７】
また、上述した第２の実施の形態では、動きベクトル検出部３１ａは動きベクトルの検出に式（３）の評価関数を用いている。しかしながら、動きベクトルの検出に用いる評価関数は上記の式（３）に限られるものではなく、例えば下記の式（６）、（７）の評価関数を用いてもよい。
【００８８】
【数６】
2009098741.tif 000027
【００８９】
【数７】
2009098741.tif 000028
【００９０】
（２）上記の第１から第３の各実施の形態では、蛍光灯フリッカーの成分の有無を判定するために、フリッカースペクトル検出部１６は、１００Ｈｚのスペクトル値及び１２０Ｈｚのスペクトル値を用いているが、これに限られるものではない。例えば、フリッカースペクトル検出部１６は、電源周波数５０Ｈｚに由来する蛍光灯フリッカーの有無の判定のために、その２倍の周波数（１００Ｈｚ）の倍数（１倍を除く。）の周波数（２００Ｈｚ、３００Ｈｚ、・・・）成分のスペクトル値を用いてもよい。また、フリッカースペクトル検出部１６は、電源周波数６０Ｈｚに由来する蛍光灯フリッカーの有無の判定のために、その２倍の周波数（１２０Ｈｚ）の倍数（１倍を除く。）の周波数（２４０Ｈｚ、３６０Ｈｚ、・・・）成分のスペクトル値を用いてもよい。
【００９１】
（３）上記の第１及び第２の各実施の形態では、候補参照フレームが過去４フレーム分の画像フレームであるしているが、これに限られるものではなく、候補参照フレームが過去Ｎ（Ｎ＝２，３，５，６，・・・）フレーム分の画像フレームであってもよい。
また、上記の第３の実施の形態では、符号化部の数が３つであるが、これに限られるものではなく、例えば、符号化部の数はＮ（Ｎ＝２，４，５，・・・）であってもよい。
【００９２】
（４）上記の第１及び第２の各実施の形態では、参照フレームの決定に輝度補正係数を利用しているが、これに限られるものではなく、例えば、フレーム輝度値を用いて参照フレームの決定を行うようにしてもよい。この場合、第１の実施の形態では、動き探索部３１は過去の４フレーム分の候補参照フレームの中から符号化対象の画像フレームの撮像時のフレーム輝度値に最も近いフレーム輝度値の候補参照フレームを参照フレームに決定するようにすればよい。また、第２の実施の形態では、動き探索部３１ａは過去の４フレーム分の候補参照フレームの中から最もフレーム輝度値が大きい候補参照フレームを参照フレームに決定するようにすればよい。
【００９３】
また、上記の第３の実施の形態では、分配部７１は画像フレームの撮像時の光源の輝度推定値を用いて符号化対象の画像フレームの分配先を決定しているが、これに限られるものではなく、例えば分配部７１は符号化対象の画像フレームの分配先の決定に画像フレームの撮像時の光源の輝度推定値の逆数を用いてもよい。
（５）上記の第３の実施の形態の符号化部７２，７３，７４として、第１及び第２の実施の形態で説明した符号化部１８，１８ａを用いるようにしてもよく、他の一般的な構成の符号化部を用いるようにしてもよい。また、符号化部７２，７３，７４は、評価関数として輝度補正係数を含まない評価関数（例えば、式（３），（６），（７））を用いてもよい。
【００９４】
（６）上記の第１から第３の各実施の形態では、符号化部１８，１８ａ，７２，７３，７４はＭＰＥＧ−４  ＡＶＣに従う動画像符号化を行うものとしたが、これに限られるものではなく、過去の画像フレームを参照フレームとして利用する動画像符号化であれば方式は問わない。
（７）上記の第１から第３の各実施の形態では、フレーム輝度検出部１５、フリッカースペクトル検出部１６及び輝度推定部１７によって撮影時の光源の輝度を推定しているが、これに限られるものではなく、例えば、照度センサを撮像装置に設けて照度センサによって光源の輝度を推定するようにしてもよい。
【００９５】
（８）上記の第１から第３の各実施の形態では、フリッカーのスペクトル値の検出にＦＦＴを用いているが、これに限られるものではなく、フリッカーのスペクトル値を検出することができる手段であればよい。
（９）上記の第１の実施の形態では、フレーム輝度値に相当する輝度補正係数を用いて参照フレームの決定及び動きベクトルの検出の双方を行っているが、これに限られるものではなく、参照フレームの決定及び動きベクトルの検出の何れか一方にのみフレーム輝度値に相当する輝度補正係数を用いるようにしてもよい。但し、輝度補正係数を用いない方では輝度補正係数を固定値の１とみなすことによって従来の通常の符号化技術を適用することができる。何れか一方にのみ輝度補正係数を用いた場合、双方に輝度補正係数を用いた場合に比べ、符号化効率は低下するもののコストの削減が図られる。
【００９６】
（１０）上記の第１から第３の各実施の形態では、輝度値（Ｙ）及び色相値（Ｃｂ，Ｃｒ）を用いているが、これに限られるものではなく、例えばＲＧＢデータやベイヤデータなど輝度に相関があるデータを含むものであればそのまま或いは所定の変換を施すことによって第１から第３の各実施の形態の手法を適用可能である。
（１１）上記の第１から第３の各実施の形態では、ＣＣＤカメラモジュール２が輝度値（Ｙ）の算出を行うことを前提に説明したが、これに限られるものではなく、例えば、一般的な撮像装置同様、画像入力部１４が輝度値（Ｙ）の算出を行うようにしてもよい。この場合、画像入力部１４が多種のイメージセンサに対応することが難しくなるもののコストの削減が図られる。
【００９７】
（１２）上記の第１から第３の各実施の形態では、ＣＣＤカメラモジュール２を用いているが、これに限られるものではなく、ＣＣＤカメラモジュール２の代わりに、例えば、ＣＭＯＳイメージセンサなどの他の撮像デバイスを用いてもよい。
（１３）上記の第１から第３の各実施の形態で説明した撮像装置１，１ａ，１ｂに、各実施の形態で説明した符号化処理を実行するモードとその他の符号化処理（例えば、通常の符号化処理）を実行するモードとを切り替えるための機構と、ユーザがモードを選択するためのモード選択ボタンとを設けるようにしてもよい。
【００９８】
また、撮像装置１，１ａ，１ｂに、撮像のフレームレートに応じて、各実施の形態で説明した符号化処理を実行するモードとその他の符号化処理（例えば、通常の符号化処理）を実行するモードとを切り替えるための機構を設けるようにしてもよい。
（１４）上記の第１から第３の各実施の形態などの構成は、典型的には集積回路であるＬＳＩ（Large Scale Integration）として実現されてもよい。これらは、個別に１チップ化されてもよいし、各実施の形態の全ての構成または一部の構成を含むように１チップ化されてもよい。
【００９９】
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（Integrated Circuit）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限られるものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（FieldProgrammable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
【０１００】
さらに、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応等が可能性としてあり得る。
【産業上の利用可能性】
【０１０１】
本発明は、蛍光灯フリッカーのスペクトル検出機能を有し、動画像符号化を行う撮像装置に利用でき、特に高速度撮影機能を有するデジタルビデオカメラやデジタルカメラなどの映像機器などの撮像装置に有用である。また、これらの撮像装置向けのＬＳＩ等の用途にも応用可能である。
【符号の説明】
【０１０２】
１  撮像装置
２  ＣＣＤカメラモジュール
３  画像処理ユニット
４  ＤＲＡＭ
５  メモリカード
６  入力フレーム記憶領域
７ａ〜７ｄ  参照フレーム記憶領域
１１  プロセッサ
１２  ＤＲＡＭ制御部
１３  メモリカード制御部
１４  画像入力部
１５  フレーム輝度検出部
１６  フリッカースペクトル検出部
１７  輝度推定部
１８  符号化部
１９  内部バス
３１  動き探索部
３２  差分部
３３  ＤＣＴ部
３４  量子化部
３５  可変長符号化部
３６  逆量子化部
３７  ＩＤＣＴ部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像手段と、
光源のフリッカーの時間波形を検出する検出手段と、
前記検出手段による検出結果に基づいて、前記撮像手段により撮像された画像フレームの撮像時の光源の輝度を推定する推定手段と、
前記推定手段により推定された光源の輝度推定値に基づいて、複数の候補参照フレームの中から参照フレームを決定する決定手段と、
前記決定手段により決定された参照フレームに基づいて符号化対象の画像フレームを符号化する符号化手段と、
を備える撮像装置。
【請求項２】
前記決定手段は、参照フレームの候補である複数の候補参照フレームの中から、前記符号化対象の画像フレームの撮像時の光源の輝度推定値に最も近い輝度推定値の候補参照フレームを参照フレームに決定する
請求項１記載の撮像装置。
【請求項３】
前記決定手段は、複数の候補参照フレームの中から、光源の輝度推定値が最も大きい候補参照フレームを参照フレームに決定する
請求項１記載の撮像装置。
【請求項４】
撮像手段と、
光源のフリッカーの時間波形を検出する検出手段と、
前記検出手段による検出結果に基づいて、前記撮像手段により撮像された画像フレームの撮像時の光源の輝度を推定する推定手段と、
並列して符号化を行う複数の副符号化手段と、
前記推定手段により推定された光源の輝度推定値に基づいて、複数の前記副符号化手段の中から、符号化対象の画像フレームの符号化を行う副符号化手段を決定する決定手段と、
前記決定手段により決定された前記副符号化手段へ前記符号化対象の画像フレームを出力する分配手段と、
を備える撮像装置。
【請求項５】
光源のフリッカーの時間波形を検出する検出手段と、
前記検出手段による検出結果に基づいて、撮像手段により撮像された画像フレームの撮像時の光源の輝度を推定する推定手段と、
前記推定手段により推定された光源の輝度推定値に基づいて、複数の候補参照フレームの中から参照フレームを決定する決定手段と、
前記決定手段により決定された参照フレームに基づいて符号化対象の画像フレームを符号化する符号化手段と、
を備える集積回路。
【請求項６】
撮像手順と、
光源のフリッカーの時間波形を検出する検出手順と、
前記検出手順における検出結果に基づいて、前記撮像手順において撮像された画像フレームの撮像時の光源の輝度を推定する推定手順と、
前記推定手順において推定された光源の輝度推定値に基づいて、複数の候補参照フレームの中から参照フレームを決定する決定手順と、
前記決定手順において決定された参照フレームに基づいて符号化対象の画像フレームを符号化する符号化手順と、
を備える撮像方法。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2009098741.tif 000029
【図２】
2009098741.tif 000030
【図３】
2009098741.tif 000031
【図４】
2009098741.tif 000032
【図５】
2009098741.tif 000033
【図６】
2009098741.tif 000034
【図７】
2009098741.tif 000035
【図８】
2009098741.tif 000036
【図９】
2009098741.tif 000037
【図１０】
2009098741.tif 000038
【図１１】
2009098741.tif 000039
【図１２】
2009098741.tif 000040
【国際調査報告】
2009098741.tif 000041
2009098741.tif 000042