(57)【要約】      （修正有）【課題】ローカルデコード画像をメモリに格納する際の、メモリバスの帯域の逼迫と画質劣化の双方を抑制する。【解決手段】画像を符号化する機能を有する撮像装置１００は、動画像データにおける着目フレームが示す動き量を取得する取得部と、メモリを参照してフレーム間予測符号化を行って、動画像データの符号化データを生成する第１の符号化部１０９と、該第１の符号化部の符号化の過程で生成されるローカル復号画像データを、設定された圧縮率に従って符号化し、メモリに格納する第２の符号化部１１１と、メモリに格納された符号化データを復号して得た画像データをフレーム間予測符号化における参照画像データとして第１の符号化部に供給する第２の復号部１１２と、取得部により取得した着目フレームの動き量と予め設定された閾値とに基づいて第２の符号化部１１１がローカル復号画像データを符号化する際の圧縮率を設定する制御部１１４とを有する。【選択図】図１
2020057842.tif 000002
【特許請求の範囲】
【請求項１】
動画像データを符号化する画像符号化装置であって、
動画像データにおける着目フレームが示す動き量を取得する取得手段と、
メモリを参照してフレーム間予測符号化を行って、動画像データの符号化データを生成する第１の符号化手段と、
該第１の符号化手段の符号化の過程で生成されるローカル復号画像データを、設定された圧縮率に従って符号化し、得られた符号化データを前記メモリに格納する第２の符号化手段と、
前記メモリに格納された前記第２の符号化手段によって得られた符号化データを復号し、復号して得た画像データをフレーム間予測符号化における参照画像データとして前記第１の符号化手段に供給する第２の復号手段と、
前記取得手段により取得した動き量に基づいて前記第２の符号化手段が前記ローカル復号画像データを符号化する際の圧縮率を設定する制御手段とを有し、
前記制御手段は、
前記着目フレームの動き量と予め設定された閾値とを比較することで、前記着目フレームの動き量の大小を判定する判定手段と、
該判定手段の判定の結果が小を示すとき、前記第２の符号化手段に第１の圧縮率を設定し、
該判定手段で大と判定された場合には、前記第２の符号化手段に前記第１の圧縮率よりも高い圧縮率を示す第２の圧縮率を設定する設定手段とを有する
ことを特徴とする画像符号化装置。
【請求項２】
前記制御手段は、更に、
前記着目フレームの動き量と予め設定された第２の閾値とを比較することで、前記着目フレームの動き量の大小を判定する第２の判定手段と、
該第２の判定手段の判定の結果が小を示すとき、前記第２の復号手段が復号する参照画像の枚数を第１の枚数に設定し、
該第２の判定手段の判定の結果が大を示すとき、前記第２の復号手段が復号する参照画像の枚数を前記第１の枚数よりも多い第２の枚数に設定する第２の設定手段とを有する
ことを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記取得手段は、前記着目フレームと１つ前のフレーム間の動きベクトルを求め、当該動きベクトルから推定して着目フレームにおける動き量を取得する
ことを特徴とする請求項１又は２に記載の画像符号化装置。
【請求項４】
フォーカスエリアを少なくとも１つ有する撮像手段を更に有し、
前記取得手段は、前記撮像手段による前記フォーカスエリアによる合焦の程度を示す評価値を前記動き量として取得する
ことを特徴とする請求項１又は２に記載の画像符号化装置。
【請求項５】
動画像データを符号化する画像符号化装置の制御方法であって、
動画像データにおける着目フレームが示す動き量を取得する取得工程と、
メモリを参照してフレーム間予測符号化を行って、動画像データの符号化データを生成する第１の符号化工程と、
該第１の符号化工程の符号化の過程で生成されるローカル復号画像データを、設定された圧縮率に従って符号化し、得られた符号化データを前記メモリに格納する第２の符号化工程と、
前記メモリに格納された前記第２の符号化工程によって得られた符号化データを復号し、復号して得た画像データをフレーム間予測符号化における参照画像データとして前記第１の符号化工程に供給する第２の復号工程と、
前記取得工程により取得した動きに基づいて前記第２の符号化工程が前記ローカル復号画像データを符号化する際の圧縮率を設定する制御工程とを有し、
前記制御工程は、
前記着目フレームの動き量と予め設定された閾値とを比較することで、前記着目フレームの動き量の大小を判定する判定工程と、
該判定工程の判定の結果が小を示すとき、前記第２の符号化工程に第１の圧縮率を設定し、
該判定工程で大と判定された場合には、前記第２の符号化工程に前記第１の圧縮率よりも高い圧縮率を示す第２の圧縮率を設定する設定工程とを有する
ことを特徴とする画像符号化装置の制御方法。
【請求項６】
コンピュータが読み込み実行することで、前記コンピュータに、請求項５に記載の方法の各工程を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動画像の符号化技術に関するものである。
【背景技術】
【０００２】
近年、デジタルカメラやデジタルカムコーダーなどの撮像装置では、高解像度化、高フレームレート化、多ビット化が進み、要求される単位時間当たりのデータ処理量は増大している。このような画像データを扱う装置においては、画像データをメモリに記憶させて画像処理や符号化処理を行うことが一般的である。データ量の増大に伴いメモリへのアクセス量も増大し、メモリバスの帯域が逼迫してきている。
【０００３】
Ｈ．２６４やＨＥＶＣ（以降メイン符号化と呼称する）のように動き補償フレーム間予測を行う符号化装置において、ローカルデコード画像（以降参照画像と呼称する）をメモリに記憶する際に、そのデータを圧縮する符号化を行うことでメモリバスの帯域の逼迫を低減する技術が提案されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１６６３２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
動き補償フレーム間予測を行うための動きベクトルを検出する際に、既に符号化された参照画像を記憶部から読み出す際は、フレームの途中の画素位置からでもブロック単位で記憶部から読み出せることが求められる。そのため、ローカルデコード画像をメモリに格納する際の符号化では、ランダムアクセスが可能な符号化データを生成する必要がある。このため、ローカルデコード画像の符号化としては、固定長符号化を用いるのが一般的である。固定長符号化は、１ブロックの符号化データが固定長となるため、復号するブロックの位置から、その符号化データの所在位置を一義的に求めることができるためである。
【０００６】
またローカルデコード画像の符号化として、予測差分符号化方式を採用していたとする。この場合、符号化対象ブロックに平坦部とエッジが含まれる場合には、エッジ部分での差分が大きくなり、符号量が増大し、符号化対象ブロック内で使用可能な符号量のうち大半の符号量がエッジ部分で費やされることとなり、エッジ部分以外の画素において画質が劣化してしまう。
【０００７】
動きの小さい被写体の動画像では、１フレーム内の露光期間での被写体は実質的に静止していると見なせるので、その被写体の像のエッジは明瞭なものとなる。逆に、動きの大きい被写体の動画像の場合、１つのフレームの露光期間内でも動きがあるので、被写体の像はボケたものとなり、必然、エッジは無くなる傾向にある。
【０００８】
以上のことから固定長の予測差分符号化方式を用いて、ローカルデコード画像を符号化では、符号化対象画像の被写体の動きが少ない場合は、符号化効率が低減し、画質劣化が増加するため、その符号化の圧縮率を高くすることはできず、メモリバスの帯域の逼迫を抑制するのは困難となる。
【０００９】
本発明は上記課題に鑑みなされたものであり、動画像符号化におけるローカルデコード画像をメモリに格納する際の、メモリバスの帯域の逼迫と画質劣化の双方を抑制する技術を提供しようとするものである。
【課題を解決するための手段】
【００１０】
この課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
動画像データを符号化する画像符号化装置であって、
動画像データにおける着目フレームが示す動き量を取得する取得手段と、
メモリを参照してフレーム間予測符号化を行って、動画像データの符号化データを生成する第１の符号化手段と、
該第１の符号化手段の符号化の過程で生成されるローカル復号画像データを、設定された圧縮率に従って符号化し、得られた符号化データを前記メモリに格納する第２の符号化手段と、
前記メモリに格納された前記第２の符号化手段によって得られた符号化データを復号し、復号して得た画像データをフレーム間予測符号化における参照画像データとして前記第１の符号化手段に供給する第２の復号手段と、
前記取得手段により取得した動き量に基づいて前記第２の符号化手段が前記ローカル復号画像データを符号化する際の圧縮率を設定する制御手段とを有し、
前記制御手段は、
前記着目フレームの動き量と予め設定された閾値とを比較することで、前記着目フレームの動き量の大小を判定する判定手段と、
該判定手段の判定の結果が小を示すとき、前記第２の符号化手段に第１の圧縮率を設定し、
該判定手段で大と判定された場合には、前記第２の符号化手段に前記第１の圧縮率よりも高い圧縮率を示す第２の圧縮率を設定する設定手段とを有する。
【発明の効果】
【００１１】
本発明によれば、動画像符号化におけるローカルデコード画像をメモリに格納する際の、メモリバスの帯域の逼迫と画質劣化の双方を抑制することが可能になる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施形態における撮像装置のブロック構成図。
【図２】第１の実施形態における処理手順を示すフローチャート。
【図３】第１の実施形態における各フレーム内の動き量と、参照画像の読み書き時のメモリバス負荷との関係を示す図。
【図４】第２の実施形態における撮像装置のブロック構成図。
【図５】第２の実施形態における処理手順を示すフローチャート。
【発明を実施するための形態】
【００１３】
以下、添付図面に従って本発明に係る実施形態を詳細に説明する。なお、以下に示す実施形態における構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１４】
［第１の実施形態］
図１は、第１の実施形態の撮像装置１００のブロック構成図である。撮像装置１００は、画像処理部１０１、解析部１０２、メモリＩ／Ｆ部１０３、メモリ１０４、ブロック分割部１０５、加算器１０６及び１０８，変換／量子化部１０７、符号化部１０９、ループフィルタ部１１０、第２の符号化部１１１、第２の復号部１１２、予測画像生成部１１３、制御部１１４を有する。
【００１５】
制御部１１４は、ＣＰＵ、ＣＰＵが実行するプログラムを記憶保持するＲＯＭ、あたまのワークエリアとして使用するＲＡＭで構成される。そして、制御部１１４は、解析部１０２、ブロック分割部１０５、変換／量子化部１０７、符号化部１０９、ループフィルタ部１１０、第２の符号化部１１１、第２の復号部１１２、予測画像生成部１１３を制御する。
【００１６】
画像処理部１０１は、不図示のイメージセンサで得られた画像データに対し、デモザイク処理、ノイズ除去処理、光学歪補正処理、色補正処理等を実行し、それらの処理を経て得た画像データを解析部１０２に出力する。なお、イメージセンサは例えば３０フレーム／秒で撮像するとした場合、画像処理部１０１は上記の処理を１秒間に３０回行うことになる。
【００１７】
解析部１０２は、画像処理部１０１から入力した画像データをメモリＩ／Ｆ１０３を介してメモリ１０４に記憶する。解析部１０２は、メモリ１０４に記憶する際に、その画像データを解析し、符号化対象画像としてどのような特徴を有するのか画像を解析する。ここでは、解析部１０２は、符号化対象画像内の動きを解析し、動き量を制御部１１４に出力する。
【００１８】
解析部１０２は、符号化しようとしている着目フレームの画像と１フレーム前の画像から、１フレーム前の画像に対する着目フレームの画像の空間的な位置の差を示すグローバルベクトルを算出する。このグローバルベクトルから、着目フレーム内の被写体の動き量を推定可能である。つまり、フレーム間の動きが大きいほど、着目フレーム内の被写体もその動きぼけの程度が大きいと推定する。ここでは、各フレームの動き量が求まればよく、グローバルベクトルの算出方法については、既出の技術を用いる。
【００１９】
メモリＩ／Ｆ部１０３は、各処理部からのメモリへのアクセス要求を調停し、メモリ１０４に対するデータの読み出し、書き込み制御を行う。メモリ１０４は、撮像装置１００を構成する各処理部から出力される各種データを格納するための例えば揮発性メモリで構成される記憶領域である。
【００２０】
ブロック分割部１０５は、メモリＩ／Ｆ１０３を介し、メモリ１０４に記憶されている画像データを読み出し、画像データをメイン符号化で定義される符号化ブロック単位に分割し、符号化ブロック単位の画像データを後段の加算器１０６及び予測画像生成部１１３に出力する。
【００２１】
加算器１０６では符号化しようとする着目ブロックの画像データと後述する予測画像生成部１１３から入力される予測画像データの差分（減算）をとり、予測差分画像データを生成する。そして、加算器１０６は、その予測差分画像データを変換／量子化部１０７に出力する。
【００２２】
変換／量子化部１０７では、入力された予測差分画像データを直交変換、及び、量子化処理する。そして、変換／量子化部１０７は、量子化後の変換係数を符号化部１０９に出力する。また変換／量子化部１０７は量子化後の変換係数を逆量子化及び逆周波数変換することで得た予測差分画像データを加算器１０８に出力する。
【００２３】
符号化部１０９は、入力された量子化後の変換係数に対してエントロピー符号化し、符号化データを生成する。符号化部１０９は、生成した符号化データをメモリＩ／Ｆ１０３を介してメモリ１０４に格納する。メモリ１０４に格納された符号化データは、制御部１１４の制御下で、不図示の外部メディアにファイルとして書き込まれることになる。なお、符号化部１０９は、動画像データの符号化データを生成するものであるので、符号化部１０９が介在する符号化処理をメイン符号化と称する。
【００２４】
加算器１０８は、逆直交変換された予測差分画像データと、予測画像生成部１１３で生成された予測画像データを加算し、復号画像データ（ローカル復号画像データに相当する）を生成し、ループフィルタ部１１０に出力する。
【００２５】
ループフィルタ部１１０では、復号画像に対して適応的にフィルタ処理を行い、ブロック歪を低減するためにブロック境界にかけるフィルタや符号化対象画像により近づくように画像復元を行うフィルタである。そして、ループフィルタ部１１０は、フィルタ処理して得られた画像（メイン符号化のフレーム間予測符号化の参照画像として利用される）を、第２の符号化部１１１に供給する。
【００２６】
第２の符号化部１１１は、メイン符号化の過程で生成される、ループフィルタ部１１０から画像に対し、所定数の画素を符号化ブロックとして固定長の符号化を行う。そして、第２の符号化部１１１は、得られた符号データを、メモリＩ／Ｆ部１０３を介してメモリ１０４に格納する。
【００２７】
第２の復号部１１２は、メモリ１０４に記憶されている第２の符号化部で得られた符号データを、メモリＩ／Ｆ部１０３を介して読み出して復号する。そして、第２の復号部１１２は、復号して得られた画像を参照画像として予測画像生成部１１３に供給する。
【００２８】
予測画像生成部１１３は、現在符号化しようとしている画素ブロックと、参照画像を元に動きベクトルを検出し、動き補償を行って予測画像を生成し、加算器１０６と加算器１０８に出力する。
【００２９】
以上、実施形態における撮像装置１００の撮像画像の符号化について説明した。続いて撮像装置１００の制御部１１４における制御フローについて、図１及び図２に示すフローチャートを参照して説明する。同図の処理は、不図示の操作部から撮影記録指示があった場合に実行が開始されるものである。
【００３０】
Ｓ２０１にて、制御部１１４の制御下にて、画像処理部１０１は撮像センサから入力された画像に対して画像処理を行う。
【００３１】
Ｓ２０２にて、制御部１１４の制御下にて、解析部１０２は符号化しようとしている着目フレームの動き量を求める。
【００３２】
Ｓ２０３にて、制御部１１４は、メイン符号化対象の着目フレームがＩピクチャもしくはＰピクチャかを判断する。そして、制御部１１４は、着目フレームがＩ、Ｐピクチャのいずれかであると判定した場合、処理をＳ２０４に進め、着目フレームがＢピクチャである場合には処理をＳ２１２に進める。
【００３３】
Ｓ２０４にて、制御部１１４は、解析部１０２で求めた着目フレームの動き量と予め定めた閾値Ｔｈ＿ｒとを比較し、着目フレームの動き量の大小判定を行う。具体的には、制御部１１４は、着目フレームの動き量が閾値Ｔｈ＿ｒ以上かどうかを判断する。この閾値Ｔｈ＿ｒ及び後述するＴｈ＿ｎは予め設定されたものであるが、ユーザが操作部より設定するようにしても良い。制御部１１４は、動き量がＴｈ＿ｒ以上の場合には処理をＳ２０５に進め、閾値Ｔｈ＿ｒに満たない場合には処理をＳ２０６に進める。
【００３４】
着目フレームの動き量が閾値Ｔｈ＿ｒ以上である場合、着目フレーム内の被写体像に動きぼけが発生していると推定される。換言すれば、着目フレームは画像エッジが少なく、符号量を少なくなるようにしても、符号化そのものに起因する画質劣化は起きにくい。それ故、Ｓ２０５にて、制御部１１４は第２の符号化部１１１の圧縮率を“Ａ”として決定する。ここで、圧縮率“Ａ”は、例えば第２の符号化部１１１に入力される画像データの１画素が１０ビットで、符号化処理にて１画素を６ビットにまで圧縮したい場合は、Ａは６／１０となる。
【００３５】
着目フレームの動き量が、閾値Ｔｈ＿ｒ未満であった場合、着目フレーム内の被写体像に動きぼけが少ないと推定される。換言すれば、着目フレームは画像エッジが含み、画質維持のためには、或る程度以上の符号量となるのを許容せざるを得ない。それ故、Ｓ２０６にて、制御部１１４は、第２の符号化部１１１に対する圧縮率を“Ｂ”として決定する。圧縮率“Ｂ”は、圧縮率“Ａ”よりも低圧縮率である。例えば圧縮率“Ａ”が６／１０であれば、圧縮率“Ｂ”は８／１０とする。
【００３６】
次に、Ｓ２０７にて、制御部１１４が、着目フレームの動き量と予め設定された閾値Ｔｈ＿ｎとを比較し、着目フレームの動き量の大小を判定する。具体例としては、制御部１１４は、着目フレームの動き量が閾値Ｔｈ＿ｎ以上であるか否かを判定する。動き量がＴｈ＿ｎ以上であると判定した場合、制御部１１４は処理をＳ２０８に進める。動き量がＴｈ＿ｎに満たないと判定した場合、制御部１１４は処理をＳ２０９に進める。
【００３７】
Ｓ２０８にて、制御部１１４は、着目フレーム以降のメイン符号化におけるフレーム間予測符号化に用いる参照画像枚数をＮとして決定する。一方、動き量がＴｈ＿ｎ未満だった場合は、Ｓ２０９にて、制御部１１４は、着目フレーム以降のメイン符号化におけるフレーム間予測符号化の参照画像枚数をＭとして決定する。ここで、ＮとＭは、Ｎ＞Ｍを満たす整数である。また、設定される参照画像枚数は、着目フレームがＩ、Ｐピクチャとなるたびに更新される（同じになる場合もあり得る）。
【００３８】
そして、Ｓ２１０にて、制御部１１４は、Ｓ２０５又はＳ２０６で決定した圧縮率を、第２の符号化部１１１に設定する。
【００３９】
また、Ｓ２１１にて、制御部１１４は、Ｓ２０８又はＳ２０９で決定した参照画像数を、予測画像生成部１１３に設定する。この結果、予測画像生成部１１３は、設定された参照画像数の予測画像を生成することになる。
【００４０】
そして、Ｓ２１２にて、制御部１１４は、各種処理部を制御して、メイン符号化を行わせるとともに、参照画像データ（ローカル復号画像データ）の符号化処理を実行させる。
【００４１】
そして、Ｓ２１３にて、制御部１１４は全てのフレームに対する符号化を終えたか否か（ユーザが撮影記録停止を指示したか否か）を判定する。未符号化のフレームがある場合、制御部１１４は処理をＳ２０１に戻し、上記処理を繰り返す。また、符号化すべきフレームが無くなった場合、制御部１１４はこの処理を終了する。
【００４２】
次に、以上の制御によって得られる効果を、図３を参照して説明する。同図の上部は各フレームの表示順（撮像順）を示している。そして、フレーム内の記号は、メイン符号化におけるピクチャのタイプと符号化順を示している。例えば、“Ｉ０”はＩピクチャで、メイン符号化において０番目（最初）に符号化されるフレームであることを示している。同様に“Ｐ３”はＰピクチャで３番目に符号化されるフレームで、“Ｂ１”はＢピクチャで１番目に符号化されるフレームである。表示（撮像）されるフレーム順と、符号化するフレーム順が異なる点に注意されたい。
【００４３】
図３の下部のグラフは、各フレームにおける被写体の動き量と各フレームをメイン符号化で符号化する際に参照画像をメモリから読み出し、もしくは書き出す際のメモリバス負荷の関係を示している。以降、図２で示した圧縮率Ａを６／１０、圧縮率Ｂを８／１０、参照枚数Ｎを２、Ｍを１として説明する。
【００４４】
まず、圧縮率の設定について説明する。Ｉ０フレームでは動き量ＸがＸ≧Ｔｈ＿ｒではない。このため、第２の符号化部１１１に設定される圧縮率は８／１０となる。続くＰ３フレームでは、動き量ＸがＸ≧Ｔｈ＿ｒとなる。それ故、第２の符号化部１１１に設定される圧縮率は６／１０と設定する。Ｐ３フレーム以降Ｐ６及びＰ９フレームも同様に圧縮率が６／１０となる。動き量が大きいためメモリバス符号化の符号化効率が上がるため圧縮率を８／１０から６／１０に上げても、画質の劣化を抑えつつメモリバスの帯域の逼迫を抑制することができる。
【００４５】
続いて参照枚数の設定について説明する。Ｉ０フレームからＰ３、Ｐ６、Ｐ９フレームでの動き量Ｘは、Ｘ≧Ｔｈ＿ｎの関係にあるので、Ｂ１フレームからＢ１１フレームの符号化時に参照する参照画像枚数は２枚と設定される。
【００４６】
また、Ｐ１２フレームの動き量ＸがＸ≧Ｔｈ＿ｎではないため、Ｐ１２フレーム以降に符号化されるＢ１３、Ｂ１４、Ｂ１６、Ｂ１７フレームを符号化する際の参照画像枚数は１枚と設定される。メイン符号化における参照画像枚数が１枚に減っているが、フレーム内の被写体の動き量が少ないため画質への影響が少なく済む。
【００４７】
続いてメモリバス負荷の説明をする。Ｂ１、Ｂ２フレームでは、符号化する際に参照画像としてＩ０フレームをメモリから読み出すため、メモリバス負荷がかかる。Ｉ０フレームを符号化する際は、Ｉ０の参照画像をメモリに書き出すメモリバス負荷がかかる。次にＢ４、Ｂ５フレームを符号化する際に参照画像としてＩ０及びＰ３フレームを読み出すメモリバス負荷がかかる。Ｐ３フレームを符号化する際は、圧縮率８／１０で圧縮されたＩ０フレームの参照画像の読み出しと圧縮率６／１０で符号化されたＰ３フレームの参照画像の書き出しによるメモリバス負荷がかかる。Ｐ６フレームは圧縮率６／１０で符号化されたＰ３フレームの参照画像の読み出しと、圧縮率６／１０で符号化されたＰ６フレームの参照画像の書き出しによるメモリバス負荷がかかる。
【００４８】
Ｐ３フレームもＰ６フレームも同じＰフレームの符号化であるが、Ｐ３フレームの方がＩ０フレームよりも圧縮率が高いため参照画像を読み出す際のメモリバス負荷が低減される分、Ｐ６フレームの符号化時の方がメモリバス負荷が下がっている。
【００４９】
同様に圧縮率を上げたＰ３、Ｐ６を参照画像として読み出すＢ４、Ｂ５フレームの符号化時もメモリバス負荷が下がっている。
【００５０】
前述したように動き量が大きいためメモリバス符号化の圧縮率を上げても画質劣化は抑えられ、かつ圧縮率が上がったことによりメモリバス負荷を下げることができている。
【００５１】
Ｐ１２フレームの符号化時において、動き量がＴｈ＿ｎ未満となる。よってＰ１２を以降符号化されるＢ１３，Ｂ１４フレームでは参照する参照画像枚数が１枚となる。次のＰ１５フレームにおいても動き量がＴｈ＿ｎ未満となるためＢ１６、Ｂ１７フレームが参照する参照画像枚数も１枚となる。参照画像の枚数が１枚に減るためメモリバス負荷を低減することができている。
【００５２】
メイン符号化における参照画像枚数が１枚に減っているが、フレーム内の被写体の動き量が少ないため画質への影響が少なく済む。
【００５３】
続いてメモリバス負荷低減の効果を具体的な数値を用いて説明する。本件との比較のため、まず閾値による圧縮率及び参照画像枚数の増減がない場合のメモリバス負荷を求める。ここでは、メモリバス符号化の圧縮率は８／１０で、メイン符号化で使用する参照画像枚数は２枚とする。
【００５４】
またここで説明するメモリバス負荷の値は、圧縮されていない参照画像を１枚読み書きするときに発生するメモリバス負荷を仮に“１”と定義する。例えば全ての参照画像を８／１０で圧縮すると、枚の参照画像の読み書きに発生するメモリバス負荷は０．８となる。
【００５５】
以上のことを前提に符号化順に説明する。Ｉ０フレームは参照画像１枚を８／１０に圧縮し書き出すのでメモリバス負荷は０．８となる。次のＢ１フレームは８／１０に圧縮された参照画像（Ｉ０）を１枚読み出すのでメモリバス負荷は０．８。次のＢ２フレームも同様にメモリバス負荷は０．８となる。
【００５６】
次のＰ３フレームは８／１０で圧縮されたＩ０を参照画像として読み出し、また参照画像１枚を８／１０に圧縮して書き出すのでメモリバス負荷は０．８＋０．８＝１．６となる。次のＢ４フレームは、参照画像を２枚読み出すのでメモリバス負荷は１．６となる。以下同様にＢ１からＰ１５までのメモリバス負荷を加算すると２６．４となる。
【００５７】
次に本件の制御を適用した際のメモリバス負荷について説明する。符号化順に説明する。Ｉ０フレームは動き量がＴｈ＿ｒ未満のため参照画像を８／１０で圧縮して書き出すのでメモリバス負荷は０．８となる。次のＢ１，Ｂ２フレームは参照画像が１枚のため共に参照画像を読み出す際のメモリバス負荷は０．８となる。次のＰ３フレームは８／１０で圧縮されたＩ０を参照画像として読み出し、また動き量がＴｈ＿ｒ以上なのでＰ３の参照画像の圧縮率は６／１０となり、Ｐ３フレームの参照画像を書き出す際のメモリバス負荷は０．６となる。次のＢ４フレームでは、参照画像Ｉ０を読み出す際にメモリバス負荷０．８、参照画像Ｐ３を読み出す際にメモリバス負荷０．６となり合計１．４となる。同様にＢ５フレームでも参照画像を読み出す際のメモリバス負荷は１．４となる。Ｐ１２において動き量がＴｈ＿ｒ未満となるためＰ１２の参照画像は８／１０で圧縮され、書き出す際に０．８のメモリバス負荷となる。またＰ１２では動き量がＴｈ＿ｎ未満となるため参照枚数は１枚となる。よってＢ１３フレームは参照画像枚数が１枚となる。ここでは６／１０で圧縮されたＰ９を参照画像として読み出すためメモリバス負荷は０．６である。次のＢ１４フレームでも同様に参照画像枚数は１枚となる。Ｂ１４フレームでは８／１０で圧縮されたＰ１２を参照画像として読み出すためメモリバス負荷は０．８となる。以下同様にＢ１からＰ１５までのメモリバス負荷を加算すると１９．８となり、先程示した閾値による圧縮率及び参照画像枚数の増減がない場合の“２６．４”と比べて約２５％メモリバス負荷が低減される。
【００５８】
以上のように着目フレームがＩ，Ｐピクチャの場合には、その動き量に応じて圧縮率、それ以降のＢピクチャの参照画像枚数を制御することで、高画質を保ちつつメモリバス負荷を低減することが可能となる。
【００５９】
なお、上記実施形態では、画像符号化装置が、撮像装置に実装されるものとして説明したが、符号化対象の動画像データの発生源は特に問わない。例えば、未符号化動画像を記憶している記憶媒体でも構わないし、ネットワークのファイルサーバからダウンロードしてもよい。
【００６０】
［第２の実施形態］
第２の実施形態を説明する。図４は、本第２の実施形態における撮像装置４００のブロック構成図である。
【００６１】
本第２の実施形態の撮像装置４００は、第１の実施形態の撮像装置１００に対し、撮像部４０１を新たに加え、解析部１０２が削除されている点が異なり、それ以外の画像処理部１０１、メモリＩ／Ｆ部１０３、メモリ１０４、ブロック分割部１０５、加算器１０６及び１０８，変換／量子化部１０７、符号化部１０９、ループフィルタ部１１０、メモリバス符号化部１１１、メモリバス復号部１１２、予測画像生成部１１３、制御部１１４は図１と同じ構成であるので説明は省略する。
【００６２】
撮像部４０１は、光学レンズ、絞り、フォーカス制御及びレンズ駆動部を含む光学ズームが可能なレンズ光学系とレンズ光学系からの光情報を電気信号に変換するＣＣＤイメージセンサ又は、ＣＭＯＳセンサなどの撮像素子を含み、撮像素子により得られた電気信号をデジタル信号へ変換したＲＡＷデータを画像処理部１０１へ出力する。
【００６３】
撮像部４０１内ではフォーカス制御が行われる。フォーカス制御の方法としては位相差方式、コントラスト方式、またその両方を行うハイブリッドＡＦ方式等がある。
【００６４】
また撮像装置には、画像のどこにピントを合わせるかを示すエリアが多数用意されており、ここではフォーカスエリアと呼ぶ。フォーカス制御では、ピントを合わせるエリアに対し、上記方式で求めたピントが合うレンズ位置にレンズを駆動することでピントを合わせる。ここで撮像部４０１は、ピントが合っているかどうかを示す評価値を全てのフォーカスエリアにおいて算出し、各フォーカスエリアにおける評価値を制御部１１４に通知する。評価値は例えばコントラスト方式ではコントラストの値、位相差方式であれば２つの像のズレ量などから算出され、ここでは評価値が小さいほどピントが合っているとして説明する。
【００６５】
各フォーカスエリアにおける評価値の総和を用いれば、評価値総和が小さいほどフレーム全体のピントが合っており被写体のエッジが多いと推定される。よってメモリバス符号化にとっては符号化効率が下がる傾向になる。
【００６６】
逆に評価値総和が大きいほどフレーム全体のピントが合っておらず、全体にぼやけた画像であり、被写体のエッジは少ないと推定できる。よってメモリバス符号化にとっては符号化効率が上がる傾向となる。
【００６７】
第２の実施形態における制御部１１４の処理手順を図５に示す。第１の実施形態における図２との相違は、以下の３点であり、これ以外は図２と同じである。
（１）図２におけるＳ２０２の「動き量を解析」が、Ｓ５０１の「合焦評価値取得」で置き換わった点、
（２）図２のＳ２０４における動き量と閾値Ｔｈ＿ｒとの比較処理が、Ｓ５０２における評価値と閾値Ｔｈ＿ｒとの比較処理で置き換わった点、
（３）図２のＳ２０７における動き量と閾値Ｔｈ＿ｎとの比較処理が、Ｓ５０３の評価値と閾値Ｔｈ＿ｎ以上との比較処理で置き換わった点である。
【００６８】
図５において、制御部１１４は、Ｓ５０１にて、撮像部４０１からの各フォーカスエリアの評価値の総和を取得する。そして、制御部１１４は、Ｓ５０２において、取得した評価値と閾値Ｔｈ＿ｒとの比較処理を行う。なお、この閾値Ｔｈ＿ｒ及びＴｈ＿ｎは、第１の実施形態の同名を用いているが、比較対象の評価値に応じたものとなる点に注意されたい。また、閾値Ｔｈ＿ｒ及びＴｈ＿ｎは、操作部を介してユーザが適宜設定できるようにしても良い。
【００６９】
さて、Ｓ５０２にて、評価値がＴｈ＿ｒ以上であると判定した場合、着目フレームにはピントが合っていないフォーカスエリアが多く、全体的にぼやけた絵柄であると推定できる。つまり、着目フレームは圧縮率を高めに設定しても、符号化そのものに起因する画質劣化が小さくできることを意味する。それ故、制御部１１４は、Ｓ２０５にて、着目フレームに対する圧縮率を、Ｓ２０６よりも高圧縮となる圧縮率“Ａ”として決定する。
【００７０】
一方、評価値がＴｈ＿ｒ未満の場合は、ピントが合っているフォーカスエリアが多く、フレーム全体がシャープでエッジがある絵柄であると推定できる。つまり、圧縮率を高くすると、符号化に起因する画質劣化が大きくなる可能性が高い。そこで、Ｓ２０６にて、制御部は、着目フレームに対する圧縮率を、圧縮率Ａとよも低い圧縮率“Ｂ”として決定する。ここで、Ａ＜Ｂの関係にあるのは第１の実施形態と同じである。
【００７１】
Ｓ５０３にて、制御部１１４は、着目フレームの評価値が閾値Ｔｈ＿ｎ以上かどうかを判断する。評価値がＴｈ＿ｎ以上だった場合は、Ｓ２０８にて、制御部１１４は着目フレーム以降のメイン符号化のフレーム間予測符号化では、特に変更がない限り、参照画像枚数をＮに設定する。評価値が閾値Ｔｈ＿ｎ未満だった場合は、Ｓ２０９にて、制御部１１４は、着目フレーム以降のメイン符号化のフレーム間予測符号化では、特に変更がない限り、参照画像枚数をＭに設定する（Ｓ２０９）。ここでＮとＭの関係は、Ｎ＞Ｍを満たす正の整数である。
【００７２】
以降の制御は第１の実施形態で示した制御と同様であり、着目フレームの合焦具合を示す評価値に応じて制御することで、高画質を保ちつつメモリバス負荷を低減することが可能となる。
【００７３】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７４】
１００…撮像装置、１０１…画像処理部、１０２…ブロック分割部、１０３…メモリＩ／Ｆ部、１０４…メモリ、１０５…ブロック分割部、１０６、１０８…加算器、１０７…変換／量子化部、１０９…符号化部、１１０…ループフィルタ部、１１１…第２の符号化部、１１２…第２の復号部、１１３…予測画像生成部、１１４…制御部
【図１】
2020057842.tif 000003
【図２】
2020057842.tif 000004
【図３】
2020057842.tif 000005
【図４】
2020057842.tif 000006
【図５】
2020057842.tif 000007