(57)【特許請求の範囲】
【請求項１】
被写体光を光電変換し、映像信号を出力するカメラ部と、
前記映像信号を符号化する符号化手段と、
前記カメラ部の動作状況に関する情報を取得するカメラ情報取得手段と、
前記カメラ情報取得手段により取得された情報に基づいて、前記符号化手段の符号化動作の開始前に、前記符号化手段の最初の符号化動作のための符号化パラメータである初期パラメータを算出する演算手段と、を具備し、
前記符号化手段は、前記映像信号に対する符号量が目標符号量になるように符号量制御を行なうとともに、該符号量制御を可変ビットレート方式により行なうものであり、
前記初期パラメータは、可変ビットレート方式における短期目標ビットレートであり、
前記符号化手段は、前記短期目標ビットレートを目標収束ビットレートより低く設定し、所定の時間をかけて徐々に前記目標収束ビットレートに収束させる第１の符号量制御動作と、前記短期目標ビットレートを目標収束ビットレートより高く設定し、所定の時間をかけて徐々に前記目標収束ビットレートに収束させる第２の符号量制御動作とを行なうことが可能であり、前記演算手段は、前記カメラ情報取得手段により取得された情報に応じて、前記初期パラメータである前記短期目標ビットレートを前記目標収束ビットレートより高い値にするか低い値にするかを演算することを特徴とする撮像装置。
【請求項２】
前記演算手段により算出された初期パラメータを記憶する記憶手段をさらに具備し、前記符号化手段は、前記記憶手段から前記初期パラメータを読み出して、前記映像信号の符号化を行なうことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記カメラ情報取得手段によって取得される情報は、前記カメラ部の、フォーカス情報、手ぶれ情報、ズーム情報、パン及びチルト情報のうち少なくとも１つを含むことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記演算手段は、前記カメラ情報取得手段によって取得された情報が、前記カメラ部の、非合焦、手ブレあり、ズーム中、パン又はチルト中のうちの少なくとも１つに該当する場合は、前記初期パラメータである前記短期目標ビットレートを前記目標収束ビットレートより低い値として算出することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記演算手段は、前記短期目標ビットレートを演算する第１の演算部と、前記短期目標ビットレートから前記目標収束ビットレートに収束させるまでの収束時間を演算する第２の演算部とを備え、前記第２の演算部は、前記第１の演算部により設定された前記短期目標ビットレートに応じて前記収束時間を設定することを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記第１の演算部が前記短期目標ビットレートを前記目標収束ビットレートよりも低く設定した場合には、前記第２の演算部は、前記収束時間を標準的な収束時間よりも短く設定し、前記第１の演算部が前記短期目標ビットレートを前記目標収束ビットレートよりも高く設定した場合には、前記第２の演算部は、前記収束時間を前記標準的な収束時間よりも長く設定することを特徴とする請求項５に記載の撮像装置。
【請求項７】
被写体光を光電変換し、映像信号を出力するカメラ部と、前記映像信号を符号化する符号化手段とを備える撮像装置を制御する方法であって、
前記カメラ部の動作状況に関する情報を取得するカメラ情報取得工程と、
前記カメラ情報取得工程において取得された情報に基づいて、前記符号化手段の符号化動作の開始前に、前記符号化手段の最初の符号化動作のための符号化パラメータである初期パラメータを算出する演算工程と、を具備し、
前記符号化手段は、前記映像信号に対する符号量が目標符号量になるように符号量制御を行なうとともに、該符号量制御を可変ビットレート方式により行なうものであり、
前記初期パラメータは、可変ビットレート方式における短期目標ビットレートであり、
前記符号化手段は、前記短期目標ビットレートを目標収束ビットレートより低く設定し、所定の時間をかけて徐々に前記目標収束ビットレートに収束させる第１の符号量制御動作と、前記短期目標ビットレートを目標収束ビットレートより高く設定し、所定の時間をかけて徐々に前記目標収束ビットレートに収束させる第２の符号量制御動作とを行なうことが可能であり、前記演算工程では、前記カメラ情報取得工程により取得された情報に応じて、前記初期パラメータである前記短期目標ビットレートを前記目標収束ビットレートより高い値にするか低い値にするかを演算することを特徴とする撮像装置の制御方法。
【請求項８】
請求項７に記載の制御方法をコンピュータに実行させるためのプログラム。
【請求項９】
請求項８に記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラステータス情報を用いて画像符号化装置の符号化効率を向上させる技術に関するものである。
【背景技術】
【０００２】
画像を高能率符号化するための技術として、ＭＰＥＧ２（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ  Ｐｈａｓｅ  ２）といった符号化方式が確立されている。各メーカーはこのＭＰＥＧ２符号化方式を利用して画像を記録可能としたデジタルカメラやデジタルビデオカメラといった撮像装置或いはＤＶＤレコーダーなどを開発し、製品化している。そして、ユーザーはこれらの装置或いはパーソナルコンピュータやＤＶＤプレーヤーなどを用いて簡単に画像を視聴することが可能となっている。
【０００３】
このＭＰＥＧ２符号化方式の符号化効率を向上させるために様々な検討が行われている。そのうち、撮像装置においては、カメラ部の制御データより得られるカメラステータス情報に応じて、符号化処理の符号量制御で使用される目標符号量等の符号化パラメータを設定することにより符号化効率を向上させる技術が知られている（特許文献１）。
【０００４】
ここで、ＭＰＥＧ２符号化方式の符号量制御についてリファレンスソフトエンコーダーであるＴＭ５の例を挙げて説明する。ＴＭ５とは、”Ｔｅｓｔ Ｍｏｄｅｌ Ｅｄｉｔｉｎｇ Ｃｏｍｍｉｔｔｅｅ： “ＴｅｓｔＭｏｄｅｌ ５”， ＩＳＯ／ＩＥＣ， ＪＴＣ／ＳＣ２９／ＷＧ１１／ｎ０４００ （Ａｐｒ．１９９３）に記載されている。
【０００５】
ＴＭ５の符号量制御は以下の３つのステップに分けて考えられる。
【０００６】
（ステップ１）の処理では、ＧＯＰ内の各ピクチャに対する割り当て符号量を、割り当て対象ピクチャを含めＧＯＰ内でまだ符号化されていないピクチャに対して割り当てられる総符号量を基に配分する。この配分処理は、ＧＯＰ内の符号化ピクチャの順に繰り返される。
【０００７】
ここで、一般的な符号量制御について説明しておく。符号量制御に基づくデータ圧縮においては、２種類の符号化方式がある。１つは、発生符号量をほぼ一定に保つ固定ビットレート（ＣＢＲ）符号化である。また、もう１つは、符号化ビットレートの平均値を長期的な目標ビットレートに近づけながらも、動画の各フレームにおいては画像の複雑さや動きの激しさに応じて最適な符号量配分を行う可変ビットレート（ＶＢＲ）符号化である。
【０００８】
ＶＢＲ符号化の理想的な符号量配分は、符号化すべき動画全体に渡っての発生符号量見積もりと、実際の符号化の２パス構成となるため、従来はソフトウェアでのオフライン処理によって実現されてきた。近年、このＶＢＲ符号化をリアルタイムで行うハードウェアが開発され、現在のレコーダーでは画質に有利なリアルタイムＶＢＲ符号化が行われることが一般的になってきた。従来からのソフトウェアによる、動画全体に渡っての事前の符号量配分に基づく符号化を２パスエンコードと呼ぶのに対し、レコーダー等で用いられるこれらのリアルタイムのビットレート制御技術は１パスエンコードと呼ばれる。
【０００９】
１パスエンコードによるＶＢＲの符号化ビットレート制御は、動画のフレームごとの複雑さや動きの激しさといった局所的な特性に左右されず、２パスエンコードによる理想に近い符号量配分を実現する。そのために、短期的に目標とする符号化ビットレートで符号化した結果得られた実際の符号化ビットレートを平均し、その平均値を長期的に目標とする符号化ビットレートに合わせるよう、所定の期間をかけて徐々に符号量を制御していくことが一般的である。実際の符号化ビットレートの平均値を長期的に目標とする符号化ビットレートへ漸近させる制御の傾きによって目標とする収束符号化ビットレートへの収束時間が決定する。
【００１０】
図１３は、ビットレート制御の概略フローを示す図である。ステップＳ７０１は最大ビットレート保証処理であり、目標収束ビットレートとは別に、最大転送速度など記録上の上限を越えないための制限を現在の量子化スケールに対して行う。ステップＳ７０２はバッファ保証であり、ＭＰＥＧ２においてはＶＢＶと呼ばれる仮想バッファがオーバーフロー／アンダーフローを起こさないよう制御することによって、デコード時の破綻が起きないよう、符号化レートを制御するものである。これらステップＳ７０１、ステップＳ７０２での符号化制御処理は一般的なものであり詳細な説明は省略する。ステップＳ７０３は所定の収束時間に基づいて目標収束ビットレートに収束させるための制御処理である。以上のビットレート制御処理により決定された短期目標ビットレートに応じて量子化スケールを変更し発生符号量を制御する。
【００１１】
（ステップ２）の処理では、ステップ１で求められた各ピクチャに対する割り当て符号量と、実際の発生符号量を一致させるため、次のようにする。すなわち、Ｉ，Ｐ，Ｂの各ピクチャ毎に独立に設定した３種類の仮想バッファの容量を基に、量子化スケールコードを、マクロブロック単位のフィードバック制御で求める。
【００１２】
（ステップ３）の処理では、ステップ２で求められた量子化スケールコードを、視覚的に劣化の目立ち易い平坦部でより細かく量子化し、劣化の比較的目立ち難い絵柄の複雑な部分で粗く量子化する。そのために、１６×１６画素のマクロブロック毎のアクティビィティと呼ばれる変数によって量子化スケールを変化させ決定する。
【００１３】
（ステップ３）のアクティビティの算出方法及び量子化スケールの決定方法についてさらに詳しく説明する。
【００１４】
絵柄の複雑さを示すアクティビティは、次のように算出される。まず、１６×１６画素のマクロブロックをフィールド離散コサイン変換モードにおける４つの８×８画素ブロックと、フレーム離散コサイン変換モードにおける４つの８×８画素ブロックとの、合計８つのブロックに分ける。そして、それぞれのブロックにおける原画の輝度信号画素値Ｐｊの分散値ｖａｒ＿｛ｓｂｌｋ｝に基づきアクティビティを算出する。各８×８画素ブロックの分散値は式（１）で算出される。Ｐは８×８画素ブロックの輝度信号画素値Ｐｊの平均画素値である。
【００１５】
【数１】
0004817990.tif 000002
【００１６】
式（１）で求めた合計８つの分散値の中で最小の分散値を見つけ、式（２）に従いアクティビティを算出する。式（２）において分散値の最小値を利用するのは、マクロブロック内の一部だけでも平坦部分のある場合には量子化を細かく行うためである。
【００１７】
ａｃｔ＝１＋ｍｉｎ（ｖａｒ＿｛ｓｂｌｋ｝）        （２）
式（２）により算出されるアクティビティ値は、輝度信号画素値の分散が大きい複雑な絵柄の画像では大きい値となり、輝度信号画素値の分散が小さい平坦な画像では小さい値となる。更に、式（３）により、アクティビティ値が０．５〜２．０の範囲に収まるように正規化アクティビティＮ＿ａｃｔを求める。
【００１８】
Ｎ＿ａｃｔ＝（２×ａｃｔ＋ａｖｇ＿ａｃｔ）／（ａｃｔ＋２×ａｖｇ＿ａｃｔ）
（３）
ａｖｇ＿ａｃｔは１フレーム前に符号化したアクティビティａｃｔの平均を求めた平均アクティビティである。最初の１フレーム目を符号化する際には、ＴＭ５方式では平均アクティビティａｖｇ＿ａｃｔの初期値としてａｖｇ＿ａｃｔ＝４００としている。
【００１９】
アクティビティによる視覚特性を考慮した量子化スケールコードＭＱＵＡＮＴは、式（３）で算出された正規化アクティビティＮ＿ａｃｔとステップ２で得られた量子化スケールコードＱｓｃを基に次式（４）で与えられる。
【００２０】
ＭＱＵＡＮＴ＝Ｑｓｃ×Ｎ＿ａｃｔ                  （４）
すなわち、アクティビティの値が小さい平坦な画像では量子化スケールコードＭＱＵＡＮＴが小さくなるため細かく量子化され、アクティビティの値が大きい複雑な絵柄の画像では量子化スケールコードＭＱＵＡＮＴが大きくなるため粗く量子化される。
【００２１】
ＴＭ５方式における符号量制御は、以上説明した処理で行われる。
【特許文献１】特開２００２−３６９１４２号公報
【発明の開示】
【発明が解決しようとする課題】
【００２２】
特許文献１のような従来のカメラステータス情報を用いた目標符号量等の符号化パラメータ設定方法は、符号化部が動作し、符号化処理が実行されている期間のカメラステータス情報を用いて符号化時に使用される符号化パラメータを設定していた。そのため、符号化パラメータの初期値を決定するためには、実際に符号化データを記録する符号化部の本動作以前に符号化部を動作させて符号化処理を行い、符号化部の本動作時に使用される符号化パラメータの初期値を決定する必要があった。そのため、余分な符号化部の動作が発生し、消費電力の増加を招くという問題点があった。
【００２３】
一方、上記のＴＭ５方式では、式（３）に従い符号化処理開始直後の１フレーム目における正規化アクティビティＮ＿ａｃｔを演算する際は、ａｖｇ＿ａｃｔ＝４００の固定値として演算する。そのため、符号化部の本動作以前に符号化部を動作させなくとも符号化パラメータが自動的に一定値に設定されることになり、特許文献１の技術における問題点は解消される。しかしながら、１フレーム目の符号化における符号化パラメータを一定値に設定してしまうと、撮影される画像の状態によっては適切な符号化が行なわれない場合があり、また、消費電力の増加を招く場合もある。
【００２４】
従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、１フレーム目の映像の符号化をより適切に行ないつつ、符号化装置の消費電力を低減できるようにすることである。
【課題を解決するための手段】
【００２５】
上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、被写体光を光電変換し、映像信号を出力するカメラ部と、前記映像信号を符号化する符号化手段と、前記カメラ部の動作状況に関する情報を取得するカメラ情報取得手段と、前記カメラ情報取得手段により取得された情報に基づいて、前記符号化手段の符号化動作の開始前に、前記符号化手段の最初の符号化動作のための符号化パラメータである初期パラメータを算出する演算手段と、を具備し、前記符号化手段は、前記映像信号に対する符号量が目標符号量になるように符号量制御を行なうとともに、該符号量制御を可変ビットレート方式により行なうものであり、前記初期パラメータは、可変ビットレート方式における短期目標ビットレートであり、前記符号化手段は、前記短期目標ビットレートを目標収束ビットレートより低く設定し、所定の時間をかけて徐々に前記目標収束ビットレートに収束させる第１の符号量制御動作と、前記短期目標ビットレートを目標収束ビットレートより高く設定し、所定の時間をかけて徐々に前記目標収束ビットレートに収束させる第２の符号量制御動作とを行なうことが可能であり、前記演算手段は、前記カメラ情報取得手段により取得された情報に応じて、前記初期パラメータである前記短期目標ビットレートを前記目標収束ビットレートより高い値にするか低い値にするかを演算することを特徴とする。
【００２６】
また、本発明に係わる撮像装置の制御方法は、被写体光を光電変換し、映像信号を出力するカメラ部と、前記映像信号を符号化する符号化手段とを備える撮像装置を制御する方法であって、前記カメラ部の動作状況に関する情報を取得するカメラ情報取得工程と、前記カメラ情報取得工程において取得された情報に基づいて、前記符号化手段の符号化動作の開始前に、前記符号化手段の最初の符号化動作のための符号化パラメータである初期パラメータを算出する演算工程と、を具備し、前記符号化手段は、前記映像信号に対する符号量が目標符号量になるように符号量制御を行なうとともに、該符号量制御を可変ビットレート方式により行なうものであり、前記初期パラメータは、可変ビットレート方式における短期目標ビットレートであり、前記符号化手段は、前記短期目標ビットレートを目標収束ビットレートより低く設定し、所定の時間をかけて徐々に前記目標収束ビットレートに収束させる第１の符号量制御動作と、前記短期目標ビットレートを目標収束ビットレートより高く設定し、所定の時間をかけて徐々に前記目標収束ビットレートに収束させる第２の符号量制御動作とを行なうことが可能であり、前記演算工程では、前記カメラ情報取得工程により取得された情報に応じて、前記初期パラメータである前記短期目標ビットレートを前記目標収束ビットレートより高い値にするか低い値にするかを演算することを特徴とする。
【発明の効果】
【００２７】
本発明によれば、１フレーム目の映像の符号化をより適切に行ないつつ、符号化装置の消費電力を低減することが可能となる。
【発明を実施するための最良の形態】
【００２８】
以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。
【００２９】
（第１の実施形態）
図１は、本発明の画像符号化装置を内蔵する撮像装置の第１の実施形態の構成を示す図である。
【００３０】
図１において、１０１は撮影を行うカメラ部であり、非圧縮の映像信号及びカメラ部１０１の動作及び処理を示すカメラステータス情報を出力する。カメラステータス情報については後述する。１０３はカメラ部１０１からのカメラステータス情報に応じて符号化開始直後の符号化処理で使用される符号化パラメータの初期値を演算する符号化パラメータ初期値演算部である。１０２はカメラ部からの非圧縮映像信号を圧縮符号化する符号化部である。１０４は録画の開始及び停止を指示するための録画スイッチである。１０５はカメラ部１０１、符号化部１０２、符号化パラメータ初期値演算部１０３を制御する制御部である。符号化部１０２は符号化処理部１０６及び符号化パラメータ初期値記憶部１０７を備えている。
【００３１】
次に、カメラ部１０１、符号化部１０２、符号化パラメータ初期値演算部１０３について詳しく説明する。
【００３２】
まず、図２を参照してカメラ部１０１の構成について説明する。
【００３３】
カメラ部１０１は、レンズ２０１と、撮像部２０２と、Ａ／Ｄ変換部２０３と、カメラ信号処理部２０４と、カメラ制御部２０５とを備え、被写体像を撮像し、非圧縮の映像信号と、カメラステータス情報を出力する。
【００３４】
続いて、カメラ部１０１の動作について説明する。
【００３５】
まず、レンズ２０１は、被写体光を撮像部２０２に導く。レンズ２０１は、カメラ制御部２０５から出力される制御信号に対応してズーム動作や焦点合わせ動作などを行う。撮像部２０２は、ＣＣＤやＣＭＯＳ等を使って被写体光を電気信号に変換する。Ａ／Ｄ変換部２０３は、撮像部２０２から出力されるアナログ映像信号をデジタル映像信号に変換する。カメラ信号処理部２０４は、Ａ／Ｄ変換部２０３より出力されたデジタル映像信号に対して、γ補正、ホワイトバランス調整等の処理を行い、非圧縮映像信号を出力する。カメラ制御部２０５は、カメラ部１０１を制御しカメラステータス情報を出力する。このカメラステータス情報とは、カメラ部１０１を構成する各モジュールの制御データを解析することにより得られる動作及び処理を示す情報である。例えば、レンズ２０１の制御データからは、ズーム動作状況が得られ、カメラ信号処理部２０４の制御データからは合焦状態などのカメラステータス情報を得ることができる。以上がカメラ部１０１に関する説明である。
【００３６】
次に、図１及び図３を参照して符号化部１０２の構成について説明する。
【００３７】
符号化部１０２は、符号化処理部１０６及び符号化パラメータ初期値記憶部１０７を備えて構成される。本実施形態では、符号化処理部１０６としてＭＰＥＧ符号化方式を採用した例について説明するが、符号化方式はこれに限ったものではない。
【００３８】
図１の符号化処理部１０６は、図３に示すように、ブロック分割部３０１、減算器３０２、離散コサイン変換部３０３、量子化部３０４、可変長符号化部３０５、バッファ部３０６とを備える。また、逆量子化部３０７、逆離散コサイン変換部３０８、加算器３０９、フレームメモリ３１０、動き補償部３１１、動き検出部３１２、符号量制御部３１３も備える。そして、図１の符号化パラメータ初期値記憶部１０７に記憶されている符号化パラメータの初期値が符号化開始直前に符号化処理部１０６に入力される。そして、その入力された符号化パラメータ初期値に従い、カメラ部１０１から出力された非圧縮の映像信号をブロックに分割し、ブロック単位に符号化処理を行い符号化データを出力する。
【００３９】
続いて、符号化処理について図３を参照して説明する。
【００４０】
まず、ブロック分割部３０１は、入力された非圧縮の画像データを例えば１６×１６画素のブロックに分割する。減算器３０２は、入力画像データから予測画像データを減算し画像残差データを出力する。予測画像データの生成については後述する。
【００４１】
離散コサイン変換部３０３は、減算器３０２から出力された画像残差データを直交変換処理して変換係数を出力する。そして、量子化部３０４は上記変換係数を量子化スケールに基づき量子化する。可変長符号化部３０５には、量子化部３０４で量子化された変換係数が入力され、可変長符号化部３０５はこれを可変長符号化して符号化データとする。符号化データは一旦バッファ３０６に溜められた後、出力される。符号量制御部３１３は前述のＴＭ５等の方法によりバッファ３０６に溜められたデータがオーバーフローやアンダーフローを起こさないように量子化スケールを決定し、量子化部３０４に出力する。
【００４２】
一方、量子化部３０４で量子化された変換係数は予測画像データの生成にも使われる。逆量子化部３０７は、量子化部３０４で量子化された変換係数を逆量子化する。さらに、逆離散コサイン変換部３０８は逆量子化部３０７で逆量子化された変換係数を逆離散コサイン変換し、復号画像残差データとして出力する。加算器３０９は、復号画像残差データと予測画像データとを加算し、再構成画像データとして出力する。再構成画像データはフレームメモリ３１０に記録される。再構成画像データの中で、以降の予測で参照される可能性があるデータは、フレームメモリ３１０に暫くの期間保存される。
【００４３】
動き補償部３１１はフレームメモリ３１０に記録された再構成画像データを用いて動き検出部３１２によって検出された動きベクトル情報に基づいて動き補償を行い、予測画像データを生成する。動き検出部３１２は入力画像データにおける動きベクトルを検出し、検出した動きベクトル情報を動き補償部３１１と可変長符号化部３０５へ出力する。
【００４４】
図１の符号化パラメータ記憶部１０７は、後述の符号化パラメータ初期値演算部１０３により演算された符号化パラメータの初期値を記憶する。一方、符号化処理部１０６は、符号化処理開始直前に符号化パラメータ記憶部１０７に記憶されている符号化パラメータの初期値を取り込み、その符号化パラメータ初期値に従い符号化処理を開始する。以上が符号化部１０２に関する説明である。
【００４５】
次に、図１、図４及び図５を参照して符号化パラメータ初期値演算部１０３について説明する。
【００４６】
符号化パラメータ初期値演算部１０３は、カメラ部１０１よりカメラステータス情報を取り込んで符号化パラメータの初期値を演算する。ここでは具体的な符号化パラメータ初期値演算の例として、前述の式（３）の平均アクティビティａｖｇ＿ａｃｔの初期値演算について説明する。
【００４７】
まず初めに平均アクティビティについて図４を参照して説明する。
【００４８】
平均アクティビティａｖｇ＿ａｃｔは、符号化対象フレームの直前フレームにおけるアクティビティａｃｔの平均値であり、ＴＭ５方式では、その初期値はａｖｇ＿ａｃｔ＝４００に設定されている。つまり、ＴＭ５方式において式（３）に従い符号化処理開始直後の１フレーム目における正規化アクティビティＮ＿ａｃｔを演算する際は、ａｖｇ＿ａｃｔ＝４００の固定値として演算する。本実施形態では、上記のＴＭ５方式を踏襲しながらも、１フレーム目の符号化パラメータに適用するａｖｇ＿ａｃｔの値を、カメラ部１０１のステータスに応じて変化させるようにしている。これにより、１フレーム目の画像の符号化をより適切に行なうことを可能としている。
【００４９】
図４は式（３）におけるアクティビティａｃｔと正規化アクティビティＮ＿ａｃｔの関係を平均アクティビティａｖｇ＿ａｃｔ毎に示した図である。横軸がアクティビティ値を示し、縦軸が正規化アクティビティを示す。例えば、平均アクティビティａｖｇ＿ａｃｔの値が２００で、アクティビティａｃｔの値が６００の図４の点Ａ１における正規化アクティビティＮ＿ａｃｔの値は１．４である。図４より、同じアクティビティ値に対する正規化アクティビティ値（例えば、点Ａ１と点Ａ２）を比較すると、平均化アクティビティの値が小さい（点Ａ１）の方が式（３）で算出される正規化アクティビティの値は大きい値となる。そのため、粗く量子化される傾向にあると言える。逆に、平均化アクティビティの値が大きい（点Ａ２）の方が式（３）で算出される正規化アクティビティの値は小さい値となり、細かく量子化される傾向にあると言える。つまり、画像の複雑さを表すアクティビティ値が同じ場合、平均アクティビティ値が小さいほど粗く量子化が行われる傾向にある。
【００５０】
次に図５を参照して本実施形態の平均アクティビティの初期値を演算する動作について説明する。図５は、平均アクティビティの初期値演算の一例を示すタイミングチャートである。図５（ａ）はカメラ部１０１がアクティブ状態かスリープ状態かを示し、図５（ｂ）は符号化部１０２がアクティブ状態かスリープ状態かを示す。カメラ部１０１がアクティブの状態とは、例えば、カメラ部１０１が動作し、非圧縮映像信号及びカメラステータス情報を出力している状態を示す。また、符号化部１０２がアクティブの状態とは、例えば、符号化処理部１０６により符号化処理が実行され符号化データを出力している状態を示す。
【００５１】
カメラ部１０１又は符号化部１０２がスリープの状態とは、次のような状態である。すなわち、カメラ部１０１又は符号化処理部１０６に電源が供給されていないか、カメラ部１０１又は符号化処理部１０６へ入力されるクロックが停止している等の理由によりカメラ部１０１又は符号化処理部１０６が動作していない状態である。
【００５２】
カメラ部１０１がスリープ状態になると非圧縮映像信号及びカメラステータス情報を出力しない。符号化部１０２がスリープ状態になると符号化データを出力しないが、符号化パラメータ初期値記憶部１０７には符号化パラメータの初期値を記録することは可能である。
【００５３】
撮像装置においては、撮像装置の電源を投入した後は、消費電力を低減するために録画が開始されるまでカメラ部１０１のみ動作させ、符号化部１０２を停止する撮像装置が多い。カメラ部１０１がアクティブかつ符号化部１０２がスリープの状態、つまり、図５の時刻ｔ０〜ｔ１及び時刻ｔ３〜ｔ４の状態をスタンバイモードと呼ぶ。カメラ部１０１及び符号化部１０２の両方がアクティブの状態、つまり、図５の時刻ｔ１〜ｔ３及び時刻ｔ４以降の状態を録画モードと呼ぶ。
【００５４】
図５（ｃ）は録画スイッチ１０４の押下状態を示した図である。録画スイッチ１０４とは録画の開始及び終了を指示するスイッチであり、この例では、時刻ｔ１において録画スイッチ１０４が１回押下されることによりスタンバイモードから録画モードへ変更し、録画を開始している。時刻ｔ３において録画スイッチ１０４がもう一度押下されることにより、録画モードからスタンバインモードへと変更され録画を終了している。さらに、時刻ｔ４で録画スイッチ１０４が押下されることによりスタンバイモードから録画モードへ変更し、録画を開始している。
【００５５】
図５（ｄ）は符号化パラメータ初期値演算部１０３にカメラ部１０１から入力されたカメラステータス情報の一例であるフォーカス情報を示している。フォーカス情報とはカメラ信号処理部２０４から得られる合焦状態を示す情報である。図５（ｄ）では、焦点が合焦している状態を「ロー」、合焦していない状態を「ハイ」で示している。この例では、時刻ｔ０〜ｔ２では焦点が合焦していない。そのため、時刻ｔ０〜ｔ２の期間においてカメラ部１０１から符号化部１０２へと出力される非圧縮映像信号はボケた画像となる。また、時刻ｔ２以降では焦点が合焦している。そのため、時刻ｔ２以降においては、カメラ部１０１から符号化部１０２へはピントの合った非圧縮映像信号が出力される。
【００５６】
符号化パラメータ初期値演算部１０３は、スタンバイモードから録画モードに切り替わる直前、つまり録画スイッチ１０４が押下された瞬間の時刻ｔ１におけるカメラステータス情報を取り込む。そして、符号化パラメータの初期値を１度だけ演算し、その符号化パラメータの初期値を符号化パラメータ初期値記憶部１０７に出力し、記録する。その後、符号化処理部１０６は符号化パラメータ初期値記憶部１０７に記憶されている符号化パラメータの初期値に従い符号化処理を開始する。
【００５７】
図５の例では、時刻ｔ１で撮影者が録画スイッチ１０４を押下した瞬間のカメラステータス情報である図５（ｄ）のフォーカス情報は非合焦であるため、符号化処理部１０６に入力される画像はボケた画像である。ボケた画像の場合では、画像再生時に視聴者の注目度が低いため画像に対して与える符号量を少なくし、解像感を低下させたとしても影響は少ない。そこで、このような場合においては粗く量子化を行うように平均アクティビティの値を小さくする（例えば５０）。また、時刻ｔ４で撮影者が録画スイッチ１０４を押下した瞬間のフォーカス情報は合焦であるため、符号化処理部１０６に入力される画像はピントの合った画像である。ピントの合った画像の場合では、画像再生時に視聴者の注目度が高いため画像に符号量を多く与え、解像感を向上させた方がよい。そこで、このような場合においては細かく量子化を行うように平均アクティビティの値を大きくする（例えば４００）。
【００５８】
以上のように、符号化パラメータ初期値演算部１０３は、ボケた画像の場合では平均アクティビティの初期値を小さい値として出力し、ピントの合った画像の場合では平均アクティビティの初期値を大きい値として出力する。このことにより符号化開始直後のボケた画像は粗く量子化し、ピントの合った画像は細かく量子化することができる。
【００５９】
また、カメラステータス情報は手ぶれ情報、ズーム情報、パン・チルト情報でもよい。カメラステータス情報が手ぶれ情報の場合では、撮影者が録画スイッチ１０４を押下した瞬間に手ぶれが発生している場合は、映像が手ぶれにより振動しているため視聴者の注目度は低くなる。そこで、このような場合においては粗く量子化を行うように平均アクティビティの値を小さくする（例えば５０）。一方、撮影者が録画スイッチ１０４を押下した瞬間に手ぶれが発生していない場合は、映像が振動してないため視聴者の注目度は高くなる。そこで、このような場合においては細かく量子化を行うように平均アクティビティの値を大きくする（例えば４００）。
【００６０】
カメラステータス情報がズーム情報又はパン・チルト情報の場合では、撮影者が録画スイッチ１０４を押下した瞬間にズーム中又はパン・チルト中である場合は、映像の動きが速く視聴者の注目度は低くなる。そこで、このような場合においては粗く量子化を行うように平均アクティビティの値を小さくする（例えば５０）。一方、撮影者が録画スイッチ１０４を押下した瞬間の映像がズーム中又はパン・チルト中でない場合は、視聴者の注目度は高くなる。そこで、このような場合においては細かく量子化を行うように平均アクティビティの値を大きくする（例えば４００）。
【００６１】
次に、上述した本実施形態のカメラステータス情報に応じて符号化パラメータの初期値を演算し、その符号化パラメータの初期値に従い符号化を行う処理について図６のフローチャートを参照して説明する。
【００６２】
まず、ステップＳ６０１において、撮像装置本体の電源を投入する。撮像装置の電源を投入すると、ステップＳ６０２において撮像装置はスタンバイモードになり、カメラ部１０１がアクティブ状態、符号化部１０２がスリープ状態となる。
【００６３】
撮影者は撮像装置付属の図示しないファインダーや液晶モニタ等の表示装置により撮影したい構図の決定等の操作を行う。撮影したい構図が決定したら、ステップＳ６０３において撮影者は撮像装置の録画スイッチ１０４を押下し、録画の開始を指示する。ステップＳ６０３において録画スイッチ１０４が押下された瞬間に、符号化パラメータ初期値演算部１０３はステップＳ６０４においてカメラ部１０１よりカメラステータス情報を取り込む。そして、ステップＳ６０５において、前述の方法によってステップＳ６０４においてカメラ部１０１より取り込んだカメラステータス情報に応じて符号化パラメータの初期値を演算する。そして、ステップＳ６０６において演算した初期値を符号化パラメータ記憶部１０７へ出力し、記録する。
【００６４】
符号化パラメータの初期値が記録されると、ステップＳ６０７において録画モードへ移行し、カメラ部１０１及び符号化部１０２がアクティブ状態となる。ステップＳ６０８において、符号化処理部１０６はステップＳ６０６で符号化パラメータ記憶部１０７に記録された符号化パラメータの初期値を取り込み、その符号化パラメータ初期値に従い符号化処理を実行しステップＳ６０９において符号化データを出力する。
【００６５】
なお、録画スイッチ１０４が押下された直後の１フレーム目の映像データの符号化には、上記の符号化パラメータ初期値が用いられる。しかし、２フレーム目からはその直前のフレームにおける平均アクティビティの情報が得られるので、その情報を元に符号化パラメータが設定される。すなわち、２フレーム目からは映像のパターンに従って、符号化パラメータはリアルタイムに変化する。そして、この符号化処理はステップＳ６１０において撮影者により録画スイッチ１０４が再度押下され、録画が終了するまで実行される。ステップＳ６１０において録画を終了する場合は、ステップＳ６１１においてスタンバイモードとなり録画が終了する。
【００６６】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。ただし、第１の実施形態と同じ動作、処理を行うものには、第１の実施形態と同じ符号を付して、その説明を省略する。
【００６７】
また、本実施形態の撮像装置の外見的構成は図１に示した第１の実施形態の構成と同様であるので説明を省略する。
【００６８】
本実施形態における、カメラステータス情報に応じて符号化パラメータの初期値を演算し、その符号化パラメータの初期値に従って符号化を行う処理について図７のフローチャートを参照して説明する。
【００６９】
まず、ステップＳ７０１において、撮像装置本体の電源を投入する。撮像装置の電源を投入すると、ステップＳ７０２において撮像装置はスタンバイモードになり、カメラ部１０１がアクティブ状態、符号化部１０２がスリープ状態となる。
【００７０】
スタンバイモードの時に、符号化パラメータ初期値演算部１０３はステップＳ７０３においてカメラ部１０１よりカメラステータス情報を取り込んで、ステップＳ７０４において第１の実施形態と同様の処理により符号化パラメータ初期値を演算する。そして、ステップＳ７０５においてステップＳ７０４で演算した符号化パラメータ初期値を符号化パラメータ初期値記憶部１０７に記録する。
【００７１】
ステップＳ７０６において、ステップＳ７０２〜ステップＳ７０５までの処理を撮影者により録画スイッチ１０４が押下され、録画を開始するまで行い、符号化パラメータ初期値の演算及び記録を定期的に繰り返す。すなわち、符号化パラメータ初期値記憶部１０７に記録されている符号化パラメータの初期値を定期的に更新し続ける。
【００７２】
ステップＳ７０６において録画が開始されたら、ステップＳ７０７において録画モードへ移行する。そして、第１の実施形態の処理と同様に、ステップＳ７０８において符号化処理部１０６はステップＳ７０５で符号化パラメータ記憶部１０７に記録された符号化パラメータの初期値を取り込んで、その符号化パラメータ初期値に従い符号化処理を実行し、ステップＳ７０９において符号化データを出力する。そして、この符号化処理はステップＳ７１０において撮影者により録画スイッチ１０４が再度押下され、録画が終了するまで実行される。ステップＳ７１０において録画を終了する場合は、ステップＳ７１１においてスタンバイモードとなり録画が終了する。
【００７３】
（第３の実施形態）
次に本発明の第３の実施形態について説明する。
【００７４】
図８は、本発明の画像符号化装置を内蔵する撮像装置の第３の実施形態の構成を示す図である。以下、第３の実施形態について図８を参照して説明する。ただし、第１及び第２の実施形態と同じ動作、処理を行うものには、第１及び第２の実施形態と同じ符号を付して、その説明を省略する。
【００７５】
図８において、８０１はカメラ部から出力されるカメラステータス情報に対してフィルタ処理を行い、フィルタ処理されたカメラステータス情報を出力するフィルタ処理部である。フィルタ処理の例としては、ローパスフィルタ処理やハイパスフィルタ処理があるが、ここではローパスフィルタの例として時間的な平均値を算出する平滑化フィルタについて図９を参照して説明する。
【００７６】
図９（ｄ）は合焦状態を示すフォーカス情報を示す。図９（ｄ）のフォーカス情報の例は、時刻ｔ０〜ｔ１において合焦と非合焦を繰り返していることを示している。フィルタ部８０１は図９（ｄ）のように変化するフォーカス情報を定期的に取り込んで、平滑化処理を行う。そして、平滑化されたフォーカス情報を符号化パラメータ初期値演算部１０３に出力する。なお、図９（ａ）〜（ｃ）は、図５（ａ）〜（ｃ）と同様の内容を示している。
【００７７】
次に平滑化フィルタ処理されたカメラステータス情報に応じて符号化パラメータの初期値を定期的に演算し、その符号化パラメータの初期値に従い符号化を行う処理について図１０のフローチャートを参照して説明する。
【００７８】
まず、ステップＳ１００１において、撮像装置本体の電源を投入する。撮像装置の電源を投入すると、ステップＳ１００２において撮像装置はスタンバイモードになり、カメラ部１０１がアクティブ状態、符号化部１０２がスリープ状態となる。
【００７９】
ステップＳ１００３においてフィルタ部８０１はカメラ部１０１よりカメラステータス情報を取り込んで、ステップＳ１００４において平滑化フィルタ処理を行う。ステップＳ１００５において符号化パラメータ初期値演算部１０３はステップＳ１００４においてフィルタ部８０１より出力された平滑化カメラステータス情報を取り込む。そして、ステップＳ１００６において第１の実施形態と同様の処理により、平滑化されたカメラステータス情報に応じて符号化パラメータ初期値を演算する。さらに、ステップＳ１００７においてステップＳ１００６で演算した符号化パラメータ初期値を符号化パラメータ初期値記憶部１０７に記録する。
【００８０】
ステップＳ１００８において、ステップＳ１００２〜ステップＳ１００７までの処理を撮影者により録画スイッチ１０４が押下され、録画を開始するまで行い、符号化パラメータ初期値の演算及び記録を定期的に繰り返す。すなわち、符号化パラメータ初期値記憶部１０７に記録されている符号化パラメータの初期値を定期的に更新し続ける。
【００８１】
ステップＳ１００８において録画が開始されたら、ステップＳ１００９において録画モードへ移行する。そして、第１の実施形態の処理と同様に、ステップＳ１０１０において符号化処理部１０６はステップＳ１００７で符号化パラメータ記憶部１０７に記録された符号化パラメータの初期値を取り込み、その符号化パラメータ初期値に従い符号化処理を実行し、ステップＳ１０１１において符号化データを出力する。
【００８２】
なお、符号化パラメータ初期値演算部１０３は、定期的に符号化パラメータ初期値の演算を行なわないようにしてもよい。すなわち、第１の実施形態と同様に符号化パラメータの初期値をスタンバイモードから録画モードに移行する際に１度だけ演算し、符号化パラメータ初期値記憶部１０７に出力してもよい。そして、この符号化処理はステップＳ１０１２において撮影者により録画スイッチ１０４が再度押下され、録画が終了するまで実行される。ステップＳ１０１２において録画を終了する場合は、ステップＳ１０１３においてスタンバイモードとなり録画が終了する。
【００８３】
以上説明したように、上記の第１及び第３の実施形態によれば、符号化部が動作していないスタンバイモードから符号化処理を行う録画モードに移行する際に、符号化部を動作させることなくカメラステータス情報に応じて符号化パラメータの初期値を決定する。そのため、従来のような符号化処理の初期値を決定するために、実際に符号化データを記録する符号化部の本動作以前に符号化処理を実行しなければならない場合に比べ、符号化処理を実行しなくとも符号化パラメータの初期値を適切に設定できる。これにより、画像符号化装置の消費電力を低減することができる。
【００８４】
（第４の実施形態）
上記の第１乃至第３の実施形態では、符号化における符号量制御方式にＴＭ５方式を用いる場合について説明したが、この第４の実施形態では、符号量制御方式にＴＭ５方式とは異なる方式を用いている。
【００８５】
本実施形態では、撮像装置、カメラ部、符号化処理部の外見的構成は、図１乃至図３に示した第１の実施形態の構成と同じであるので、以下の説明では、図１乃至図３を援用して説明を行なう。
【００８６】
なお、図１及び図２については、まったく同一であるので説明を省略し、図３に示す符号化処理部については、各構成要素の内部処理が異なるので、符号化処理部１０６を含む符号化部１０２について図１及び図３を参照して説明する。
【００８７】
符号化部１０２は符号化処理部１０６及び符号化パラメータ初期値記憶部１０７を備えて構成される。本実施形態では、符号化処理部１０６の符号化方式としてＭＰＥＧ符号化方式を採用した例について説明するが符号化方式はこれに限ったものではない。
【００８８】
図１の符号化処理部１０６は図３に示すように、ブロック分割部３０１、減算器３０２、離散コサイン変換部３０３、量子化部３０４、可変長符号化部３０５、バッファ部３０６を備える。さらに、逆量子化部３０７、逆離散コサイン変換部３０８、加算器３０９、フレームメモリ３１０、動き補償部３１１、動き検出部３１２、符号量制御部３１３を備える。そして、符号化処理部１０６は、図１の符号化パラメータ初期値記憶部１０７に記憶されている符号化パラメータの初期値を符号化開始直前に取り込む。さらに、その符号化パラメータ初期値に従い、カメラ部１０１から出力された非圧縮の映像信号をブロックに分割し、ブロック単位に符号化処理を行い符号化データを出力する。
【００８９】
続いて、符号化処理について図３を参照して説明する。
【００９０】
まず、ブロック分割部３０１は、入力された非圧縮の画像データを例えば１６×１６画素のブロックに分割する。減算器３０２は、入力画像データから予測画像データを減算し画像残差データを出力する。
【００９１】
離散コサイン変換部３０３は、減算器３０２から出力された画像残差データを直交変換処理して変換係数を出力する。そして、量子化部３０４は上記変換係数を量子化スケールに基づき量子化する。この量子化スケールを変化させることによって量子化後の変換係数値は大きく変化し、これによって発生符号量が変化する。
【００９２】
可変長符号化部３０５は、量子化部３０４で量子化された変換係数を取り込み、これを可変長符号化して符号化データとする。符号化データは、符号化量制御のために一旦バッファ３０６に溜められた後、出力される。
【００９３】
符号量制御部３１３は次のような制御を行なう。バッファ３０６から得られる、発生符号量、バッファ占有率などの情報を用いて可変ビットレート（ＶＢＲ）方式に基づき、長期的に目標とする目標収束ビットレートに符号化ビットレートを収束させるための量子化スケール制御を量子化部３０４に対して行う。
【００９４】
一方、量子化部３０４で量子化された変換係数は予測画像データの生成にも使われる。逆量子化部３０７は、量子化部３０４で量子化された変換係数を逆量子化する。さらに、逆離散コサイン変換部３０８は逆量子化部３０７で逆量子化された変換係数を逆離散コサイン変換し、復号画像残差データとして出力する。加算器３０９は、復号画像残差データと予測画像データとを加算し、再構成画像データとして出力する。再構成画像データはフレームメモリ３１０に記録される。再構成画像データの中で、以降の予測で参照される可能性があるデータは、フレームメモリ３１０に暫くの期間保存される。
【００９５】
動き補償部３１１はフレームメモリ３１０に記録された再構成画像データを用いて動き検出部３１２によって検出された動きベクトル情報に基づいて動き補償を行い、予測画像データを生成する。動き検出部３１２は入力画像データにおける動きベクトルを検出し、検出した動きベクトル情報を動き補償部３１１と可変長符号化部３０５へ出力する。
【００９６】
図１の符号化パラメータ記憶部１０７は、後述の符号化パラメータ初期値演算部１０３により演算された符号化パラメータの初期値を記憶する。一方、符号量制御部３１３は符号化処理開始直前に符号化パラメータ記憶部１０７に記憶されている符号化パラメータの初期値を取り込み、その符号化パラメータ初期値に従い符号化処理を開始する。以上が符号化部１０２に関する説明である。
【００９７】
次に、図１、図５及び図１１を参照して符号化パラメータ初期値演算部１０３について説明する。
【００９８】
図１の符号化パラメータ初期値演算部１０３は、カメラ部１０１よりカメラステータス情報を取り込んで符号化パラメータの初期値を演算する。ここでは具体的な符号化パラメータ初期値演算の例として、可変ビットレート（ＶＢＲ）方式による符号量制御における短期目標ビットレートの初期値について説明する。
【００９９】
まず初めに可変ビットレート（ＶＢＲ）方式による符号量制御の符号化ビットレートについて図１１を参照して説明する。
【０１００】
図１１（ａ）及び図１１（ｂ）は、符号化ビットレート制御の様子を示す図である。Ｌ４０１及びＬ４０２は単位時間あたりの符号化ビットレート変化を示し、収束時間Ｔをかけて緩やかに目標収束ビットレートＢＲに収束している。
【０１０１】
前述のように可変ビットレート（ＶＢＲ）方式による符号量制御は、例えば、ピクチャ単位など短期的に目標とする符号化ビットレートを設定する。そして、符号化した結果得られた実際の符号化ビットレートを平均し、その平均値を長期的に目標とする目標収束ビットレートに近づけながらも、動画の各フレームにおいては画像の複雑さや動きの激しさに応じて最適な符号量配分を行う方式である。
【０１０２】
符号化した結果得られた実際の符号化ビットレートの平均値を目標収束ビットレートへ収束させる収束特性としては、２種類ある。１つは、図１１（ａ）のＬ４０１のように短期目標ビットレートの初期値を目標収束ビットレートよりも高いビットレートに設定し、所定の期間をかけて徐々に目標収束ビットレートに合わせるような収束特性である。もう一つは、図１１（ｂ）のＬ４０２のように短期目標ビットレートの初期値を目標収束ビットレートよりも低いビットレートに設定し、所定の期間をかけて徐々に目標収束ビットレートに合わせるような収束特性である。
【０１０３】
図１１（ａ）のＬ４０１に示すように短期目標ビットレートの初期値を目標収束ビットレートよりも高いビットレートに設定すると、符号化開始直後のピクチャにおいて割り当てる符号量が多くなるため画質の良好な画像が得られる。しかし、バッファの占有量が多いために突然複雑な絵柄の画像や動きの激しい画像が入力された時にその複雑な絵柄の画像や動きの激しい画像に対して十分な符号量が与えられず画質が劣化してしまう可能性がある。
【０１０４】
一方、図１１（ｂ）のＬ４０２に示すように短期目標ビットレートの初期値を目標収束ビットレートよりも低いビットレートに設定すると、符号化開始直後のピクチャにおいて割り当てる符号量が少なくなるため画質の良好な画像が得られ難い。しかし、バッファの占有量が少ないため突然複雑な絵柄の画像や動きの激しい画像が入力された時にその複雑な絵柄の画像や動きの激しい画像に対して十分な符号量を与えることができる。本実施形態ではこのような収束特性を後述のようにスタンバイモード時のカメラステータス情報に応じて変更する。
【０１０５】
次に図５を参照して本実施形態の可変ビットレート（ＶＢＲ）方式による符号量制御における符号化ビットレートの収束特性を変更する動作について説明する。
【０１０６】
まず、可変ビットレート（ＶＢＲ）方式による符号量制御における短期目標ビットレートの初期値演算の一例を示すタイミングチャートについて説明する。なお、このタイミングチャートは第１の実施形態における図５と同一であるので、図５を援用して説明する。
【０１０７】
図５（ａ）はカメラ部１０１がアクティブ状態かスリープ状態かを示し、図５（ｂ）は符号化部１０２がアクティブ状態かスリープ状態かを示す。カメラ部１０１がアクティブの状態とは、例えば、カメラ部１０１が動作し、非圧縮映像信号及びカメラステータス情報を出力している状態を示す。また、符号化部１０２がアクティブの状態とは、例えば、符号化処理部１０６により符号化処理が実行され符号化データを出力している状態を示す。
【０１０８】
カメラ部１０１又は符号化部１０２がスリープの状態とは、次のような状態である。すなわち、カメラ部１０１又は符号化処理部１０６に電源が供給されていないか、カメラ部１０１又は符号化処理部１０６へ入力されるクロックが停止している等の理由によりカメラ部１０１又は符号化処理部１０６が動作していない状態である。
【０１０９】
カメラ部１０１がスリープ状態になると非圧縮映像信号及びカメラステータス情報を出力しない。符号化部１０２がスリープ状態になると符号化データを出力しないが、符号化パラメータ初期値記憶部１０７には符号化パラメータの初期値を記録することは可能である。
【０１１０】
撮像装置においては、撮像装置の電源を投入した後は、消費電力を低減するために録画が開始されるまでカメラ部のみ動作させ、符号化部を停止する撮像装置が多い。カメラ部がアクティブかつ符号化部がスリープの状態、つまり、図５の時刻ｔ０〜ｔ１及び時刻ｔ３〜ｔ４の状態をスタンバイモードと呼ぶ。カメラ部及び符号化部の両方がアクティブの状態、つまり、図５の時刻ｔ１〜ｔ３及び時刻ｔ４以降の状態を録画モードと呼ぶ。
【０１１１】
図５（ｃ）は録画スイッチ１０４の押下状態を示した図である。録画スイッチ１０４とは録画の開始及び終了を指示するスイッチであり、この例では、時刻ｔ１において録画スイッチ１０４が１回押下されることによりスタンバイモードから録画モードへ変更し、録画を開始している。時刻ｔ３において録画スイッチ１０４がもう一度押下されることにより録画モードからスタンバインモードへと変更され録画を終了している。さらに、時刻ｔ４で録画スイッチ１０４が押下されることによりスタンバイモードから録画モードへ変更し、録画を開始している。
【０１１２】
図５（ｄ）は符号化パラメータ初期値演算部１０３がカメラ部１０１より取り込んだカメラステータス情報の一例であるフォーカス情報を示している。フォーカス情報とはカメラ信号処理部２０４から得られる合焦状態を示す情報である。図５（ｄ）では、焦点が合焦している状態を「ロー」、合焦していない状態を「ハイ」で示している。この例では、時刻ｔ０〜ｔ２では焦点が合焦していない。そのため、時刻ｔ０〜ｔ２の期間においてカメラ部１０１から符号化部１０２へと出力される非圧縮映像信号はボケた画像となる。また、時刻ｔ２以降では焦点が合焦している。そのため、時刻ｔ２以降においては、カメラ部１０１から符号化部１０２へはピントの合った非圧縮映像信号が出力される。
【０１１３】
符号化パラメータ初期値演算部１０３は、スタンバイモードから録画モードに切り替わる直前、つまり録画スイッチ１０４が押下された瞬間の時刻ｔ１におけるカメラステータス情報を取り込む。そして、符号化パラメータの初期値を少なくとも１回演算し、その符号化パラメータの初期値を符号化パラメータ初期値記憶部１０７に出力し、記録する。その後、符号量制御部３１３は符号化パラメータ初期値記憶部１０７に記憶されている符号化パラメータの初期値に従い符号量制御を行う。
【０１１４】
図５の例では、時刻ｔ１で撮影者が録画スイッチ１０４を押下した瞬間のカメラステータス情報である図５（ｄ）のフォーカス情報は非合焦であるため、符号化処理部１０６に入力される画像はボケた画像である。ボケた画像の場合では、画像再生時に視聴者の注目度が低いため画像に対して与える符号量を少なくし、解像感を低下させたとしても画質の劣化は目立たない。そこで、このような場合においては短期目標ビットレートの初期値を目標収束ビットレートよりも低いビットレートに設定する。また、時刻ｔ４で撮影者が録画スイッチ１０４を押下した瞬間のフォーカス情報は合焦であるため、符号化処理部１０６に入力される画像はピントの合った画像である。ピントの合った画像の場合では、画像再生時に視聴者の注目度が高いため画像に符号量を多く与え、解像感を向上させた方がよい。そこで、このような場合においては短期目標ビットレートの初期値を目標収束ビットレートよりも高いビットレートに設定する。
【０１１５】
以上のように、ボケた画像の場合では、短期目標ビットレートの初期値は目標収束ビットレートよりも低いビットレートに設定され、符号化ビットレートは例えば図１１（ｂ）のＬ４０２ように収束するよう制御される。一方、ピントの合った画像の場合では短期目標ビットレートの初期値は目標収束ビットレートよりも高いビットレートに設定され、符号化ビットレートは例えば図１１（ａ）のＬ４０１のように収束するよう制御される。
【０１１６】
このことにより、符号化開始直後の画像が注目度の低いボケた画像の場合は短期目標ビットレートが低く設定され、複雑な絵柄の画像や動きの激しい画像が突然入力された場合でも十分な符号量を与えることができる。また、符号化開始直後の画像が注目度の高いピントの合った画像の場合は短期目標ビットレートが高く設定され、注目度の高い画像に対して十分な符号量を与えることができる。
【０１１７】
尚、カメラステータス情報は、手ぶれ情報、ズーム情報又はパン・チルト情報でもよい。カメラステータス情報が手ぶれ情報の場合では、撮影者が録画スイッチ１０４を押下した瞬間に手ぶれが発生している場合は、映像が手ぶれにより振動しているため視聴者の注目度は低くなる。そこで、このような場合においては短期目標ビットレートの初期値は目標収束ビットレートよりも低いビットレートに設定され、符号化ビットレートは例えば図１１（ｂ）のＬ４０２ように収束するよう制御される。
【０１１８】
撮影者が録画スイッチ１０４を押下した瞬間に手ぶれが発生していない場合は、映像が振動してないため視聴者の注目度は高くなる。そこで、このような場合においては短期目標ビットレートの初期値は目標収束ビットレートよりも高いビットレートに設定され、符号化ビットレートは例えば図１１（ａ）のＬ４０１のように収束するよう制御される。
【０１１９】
カメラステータス情報がズーム情報又はパン・チルト情報の場合では、撮影者が録画スイッチ１０４を押下した瞬間にズーム中又はパン・チルト中である場合は、映像の動きが速く視聴者の注目度は低くなる。そこで、このような場合においては短期目標ビットレートの初期値は目標収束ビットレートよりも低いビットレートに設定され、符号化ビットレートは例えば図１１（ｂ）のＬ４０２のように収束するよう制御される。撮影者が録画スイッチ１０４を押下した瞬間の映像がズーム中又はパン・チルト中でない場合は、視聴者の注目度は高くなる。そこで、このような場合においては短期目標ビットレートの初期値は目標収束ビットレートよりも高いビットレートに設定され、符号化ビットレートは例えば図１１（ａ）のＬ４０１のように収束するよう制御される。
【０１２０】
次に、上述した本実施形態のカメラステータス情報に応じて短期目標ビットレートの初期値を演算し、その短期目標ビットレートの初期値に従い符号量制御を行う処理について図１２のフローチャートを参照して説明する。
【０１２１】
まず、ステップＳ１２０１において、撮像装置本体の電源を投入する。撮像装置の電源を投入するとステップＳ１２０２において撮像装置はスタンバイモードになり、カメラ部１０１がアクティブ状態、符号化部１０２がスリープ状態となる。
【０１２２】
撮影者は撮像装置付属の図示しないビューファインダーや液晶モニタ等の表示装置により撮影したい構図の決定等の操作を行う。撮影したい構図が決定したらステップＳ１２０３において撮影者は撮像装置の録画スイッチ１０４を押下し録画の開始を指示する。
【０１２３】
ステップＳ１２０３において録画の開始が指示されたら、符号化パラメータ初期値演算部１０３はステップＳ１２０４においてカメラ部１０１よりカメラステータス情報を取り込む。そして、ステップＳ１２０５において前述の方法によってステップＳ１２０４においてカメラ部１０１より取り込んだカメラステータス情報に応じて短期目標ビットレートの初期値を演算する。さらに、ステップＳ１２０６において演算した初期値を符号化パラメータ記憶部１０７へ出力し記録する。
【０１２４】
短期目標ビットレートの初期値が記録されるとステップＳ１２０７において録画モードへ移行し、カメラ部１０１及び符号化部１０２がアクティブ状態となる。ステップＳ１２０８において符号化処理部１０６が符号化処理を実行する。その際に符号量制御部３１３はステップＳ１２０６で符号化パラメータ記憶部１０７に記録された短期目標ビットレートの初期値を取り込み、その短期目標ビットレートの初期値に従い前述の方法により符号量を制御する。
【０１２５】
そして、ステップＳ１２０９において符号化データを出力する。この符号化処理はステップＳ１２１０において撮影者により録画スイッチ１０４が再度押下され、録画が終了するまで実行される。ステップＳ１２１０において録画を終了する場合は、ステップＳ１２１１においてスタンバイモードとなり録画が終了する。
【０１２６】
上記の第４の実施形態によれば、符号化部が動作していないスタンバイモードから符号化処理を行う録画モードに移行する際に、カメラステータス情報に応じて演算された短期目標ビットレートを符号量制御部が取り込む。これにより、その短期目標ビットレートを短期目標ビットレートの初期値として符号化処理を実行することができる。そのため、符号化パラメータの初期値を決定するためには前もって符号化処理を実行しなければならない従来例に比べ、符号化処理を実行しなくとも符号化パラメータの初期値を適切に設定でき、消費電力の低減及び符号化効率の向上を図ることができる。
【０１２７】
（第５の実施形態）
図１４は、本発明の画像符号化装置を内蔵する撮像装置の第５の実施形態の構成を示す図である。なお、図１４においては、第１の実施形態を示す図１と同一機能部分には同一符号を付している。
【０１２８】
図１４において、１０１は撮影を行うカメラ部であり、非圧縮の映像信号及びカメラ部１０１の動作及び処理を示すカメラステータス情報を出力する。カメラステータス情報については第１の実施形態で説明したとおりである。１０２はカメラ部からの非圧縮映像信号を圧縮符号化する符号化部である。１０８はカメラ部からのカメラステータス情報に応じて符号化開始直後の符号化処理で使用される符号化パラメータの初期値を演算する第１符号化パラメータ初期値演算部である。１０９は第１符号化パラメータ初期値演算部１０８が演算した第１の符号化パラメータの初期値に応じて第２の符号化パラメータの初期値を演算する第２符号化パラメータ初期値演算部である。１０４は録画の開始及び停止を指示するための録画スイッチである。１０５はカメラ部１０１、符号化部１０２、第１符号化パラメータ初期値演算部１０８、第２符号化パラメータ初期値演算部１０９、録画スイッチ１０４を制御する制御部である。符号化部１０２は符号化処理部１０６及び符号化パラメータ初期値記憶部１０７から構成される。
【０１２９】
なお、カメラ部１０１、符号化部１０２については、その構成及び動作は、第１の実施形態で図１乃至図３を参照して説明した内容と同様であるので、説明を省略する。
【０１３０】
次に、図５、図１１、及び図１４を参照して第１符号化パラメータ初期値演算部１０８について説明する。
【０１３１】
図１４の第１符号化パラメータ初期値演算部１０８はカメラ部１０１よりカメラステータス情報が入力されて符号化パラメータの初期値を演算する。ここでは具体的な符号化パラメータ初期値演算の例として、可変ビットレート（ＶＢＲ）方式による符号量制御における短期目標ビットレートの初期値について説明する。
【０１３２】
まず始めに、可変ビットレート（ＶＢＲ）方式による符号量制御の符号化ビットレートについて図１１を参照して説明する。
【０１３３】
図１１（ａ）及び図１１（ｂ）は符号化ビットレート制御の様子を示す図である。L４０１及びＬ４０２は単位時間あたりの符号化ビットレート変化を示し、収束時間Ｔをかけて緩やかに目標収束ビットレートＢＲに収束している。
【０１３４】
前述のように可変ビットレート（ＶＢＲ）方式による符号量制御は、例えば、ピクチャ単位など短期的に目標とする符号化ビットレートを設定する。そして、符号化した結果得られた実際の符号化ビットレートを平均し、その平均値を長期的に目標とする目標収束ビットレートに近づけながらも、動画の各フレームにおいては画像の複雑さや動きの激しさに応じて最適な符号量配分を行う。
【０１３５】
符号化した結果得られた実際の符号化ビットレートの平均値を目標収束ビットレートへ収束させる収束特性としては、次の２つのものがある。
【０１３６】
１つは、図１１（ａ）のＬ４０１のように短期目標ビットレートの初期値を目標収束ビットレートよりも高いビットレートに設定し、所定の期間をかけて徐々に目標収束ビットレートに合わせるものである。また、もう１つは、図１１（ｂ）のＬ４０２のように短期目標ビットレートの初期値を目標収束ビットレートよりも低いビットレートに設定し、所定の期間をかけて徐々に目標収束ビットレートに合わせるものである。
【０１３７】
図１１（ａ）のＬ４０１に示すように短期目標ビットレートの初期値を目標収束ビットレートよりも高いビットレートに設定すると、符号化開始直後のピクチャにおいて割り当てる符号量が多くなるため画質の良好な画像が得られる。しかし、バッファの占有量が多いために突然複雑な絵柄の画像や動きの激しい画像が入力された時にその複雑な絵柄の画像や動きの激しい画像に対して十分な符号量が与えられず画質が劣化してしまう可能性がある。
【０１３８】
一方、図１１（ｂ）のＬ４０２に示すように短期目標ビットレートの初期値を目標収束ビットレートよりも低いビットレートに設定すると、符号化開始直後のピクチャにおいて割り当てる符号量が少なくなるため画質の良好な画像が得られ難い。しかし、バッファの占有量が少ないため突然複雑な絵柄の画像や動きの激しい画像が入力された時に、その複雑な絵柄の画像や動きの激しい画像に対して十分な符号量を与えることができる。
【０１３９】
次に図５を参照して本実施形態の可変ビットレート（ＶＢＲ）方式による符号量制御の符号化ビットレートの収束特性を変更する動作について説明する。
【０１４０】
図５は可変ビットレート（ＶＢＲ）方式による符号量制御における短期目標ビットレートの初期値演算の一例を示すタイミングチャートである。図５（ａ）はカメラ部１０１がアクティブ状態かスリープ状態かを示し、図５（ｂ）は符号化部１０２がアクティブ状態かスリープ状態かを示す。
【０１４１】
カメラ部１０１がアクティブの状態とは、例えば、カメラ部１０１が動作し、非圧縮映像信号及びカメラステータス情報を出力している状態を示す。また、符号化部１０２がアクティブの状態とは、例えば、符号化処理部１０６により符号化処理が実行され符号化データを出力している状態を示す。カメラ部１０１又は符号化部１０２がスリープの状態とは、例えば、次のような状態である。即ち、カメラ部１０１又は符号化処理部１０６に電源が供給されていないか、カメラ部１０１又は符号化処理部１０６へ入力されるクロックが停止している等の理由によりカメラ部１０１又は符号化処理部１０６が動作していない状態である。
【０１４２】
カメラ部１０１がスリープ状態になると非圧縮映像信号及びカメラステータス情報を出力しない。符号化部１０２がスリープ状態になると符号化データを出力しないが、符号化パラメータ初期値記憶部１０７には符号化パラメータの初期値を記録することは可能である。
【０１４３】
撮像装置においては、撮像装置の電源を投入した後は、消費電力を低減するために録画が開始されるまでカメラ部のみ動作させ、符号化部を停止する撮像装置が多い。
【０１４４】
カメラ部１０１がアクティブかつ符号化部１０２がスリープの状態、つまり、図５の時刻ｔ０〜ｔ１及び時刻ｔ３〜ｔ４の状態をスタンバイモードと呼ぶ。
【０１４５】
カメラ部１０１及び符号化部１０２の両方がアクティブの状態、つまり、図５の時刻ｔ１〜ｔ３及び時刻ｔ４以降の状態を録画モードと呼ぶ。
【０１４６】
図５（ｃ）は録画スイッチ１０４の押下状態を示したものである。録画スイッチ１０４とは録画の開始及び終了を指示するスイッチであり、この例では、時刻ｔ１において録画スイッチが１回押下されることによりスタンバイモードから録画モードへ変更し、録画を開始している。時刻ｔ３において録画スイッチ１０４がもう一度押下されることにより録画モードからスタンバインモードへと変更され録画を終了している。さらに、時刻ｔ４で録画スイッチが押下されることによりスタンバイモードから録画モードへ変更し、録画を開始している。
【０１４７】
図５（ｄ）は第１符号化パラメータ初期値演算部１０８にカメラ部１０１より入力されたカメラステータス情報の一例であるフォーカス情報を示している。フォーカス情報とはカメラ信号処理部２０４から得られる合焦状態を示す情報である。図５（ｄ）では、焦点が合焦している状態を「ロー」、合焦していない状態を「ハイ」で示している。この例では、時刻ｔ０〜ｔ２では焦点が合焦していない。そのため、時刻ｔ０〜ｔ２の期間においてカメラ部１０１から符号化部１０２へと出力される非圧縮映像信号はボケた画像となる。また、時刻ｔ２以降では焦点が合焦している。そのため、時刻ｔ２以降においては、カメラ部１０１から符号化部１０２へはピントの合った非圧縮映像信号が出力される。
【０１４８】
第１符号化パラメータ初期値演算部１０８は、スタンバイモードから録画モードに切り替わる直前、つまり録画スイッチ１０４が押下された瞬間の時刻ｔ１におけるカメラステータス情報を取り込む。そして、第１の符号化パラメータの初期値を少なくとも１回演算し、この第１符号化パラメータの初期値を第２符号化パラメータ初期値演算部１０９及び符号化パラメータ初期値記憶部１０７に出力する。そして、第１符号化パラメータの初期値は、後述する第２符号化パラメータ初期値演算部１０９によって演算された第２符号化パラメータの初期値と共に符号化パラメータ初期値記憶部１０７に記録される。その後、符号量制御部３１３は符号化パラメータ初期値記憶部１０７に記憶されている第１の符号化パラメータの初期値及び第２の符号化パラメータの初期値に従い符号量制御を行う。
【０１４９】
図５の例では、時刻ｔ１で撮影者が録画スイッチ１０４を押下した瞬間のカメラステータス情報である図５（ｄ）のフォーカス情報は非合焦であるため、符号化処理部１０６に入力される画像はボケた画像である。ボケた画像の場合では、画像再生時に視聴者の注目度が低いため、画像に対して与える符号量を少なくし、解像感を低下させたとしても画質の劣化は目立たない。そこで、このような場合においては短期目標ビットレートの初期値を目標収束ビットレートよりも低いビットレートに設定する。
【０１５０】
また、時刻ｔ４で撮影者が録画スイッチ１０４を押下した瞬間のフォーカス情報は合焦であるため、符号化処理部１０６に入力される画像はピントの合った画像である。ピントの合った画像の場合では、画像再生時に視聴者の注目度が高いため、画像に符号量を多く与え、解像感を向上させた方がよい。そこで、このような場合においては短期目標ビットレートの初期値を目標収束ビットレートよりも高いビットレートに設定する。
【０１５１】
以上のように、ボケた画像の場合では、短期目標ビットレートの初期値は目標収束ビットレートよりも低いビットレートに設定される。そして、符号化ビットレートは目標収束時間が標準目標収束時間Ｔだとすると例えば図１１（ｂ）のＬ４０２ように収束するよう制御される。
【０１５２】
一方、ピントの合った画像の場合では、短期目標ビットレートの初期値は目標収束ビットレートよりも高いビットレートに設定される。そして、符号化ビットレートは目標収束時間が標準目標収束時間Ｔだとすると例えば図１１（ａ）のＬ４０１のように収束するよう制御される。
【０１５３】
このことにより、符号化開始直後の画像が注目度の低いボケた画像の場合は短期目標ビットレートが低く設定され、複雑な絵柄の画像や動きの激しい画像が突然入力された場合でも十分な符号量を与えることができる。また、符号化開始直後の画像が注目度の高いピントの合った画像の場合は短期目標ビットレートが高く設定され、注目度の高い画像に対して十分な符号量を与えることができる。
【０１５４】
尚、カメラステータス情報は、手ぶれ情報、ズーム情報又はパン・チルト情報でもよい。カメラステータス情報が手ぶれ情報の場合では、撮影者が録画スイッチを押下した瞬間に手ぶれが発生している時は、映像が手ぶれにより振動しているため視聴者の注目度は低くなる。そこで、このような場合においては短期目標ビットレートの初期値は目標収束ビットレートよりも低いビットレートに設定され、符号化ビットレートは目標収束時間が標準目標収束時間Ｔだとすると例えば図１１（ｂ）のＬ４０２ように収束するよう制御される。撮影者が録画スイッチを押下した瞬間に手ぶれが発生していない時は、映像が振動してないため視聴者の注目度は高くなる。そこで、このような場合においては短期目標ビットレートの初期値は目標収束ビットレートよりも高いビットレートに設定され、符号化ビットレートは目標収束時間が標準目標収束時間Ｔだとすると例えば図１１（ａ）のＬ４０１のように収束するよう制御される。
【０１５５】
カメラステータス情報がズーム情報又はパン・チルト情報の場合では、撮影者が録画スイッチを押下した瞬間にズーム中又はパン・チルト中である時は、映像の動きが速く視聴者の注目度は低くなる。そこで、このような場合においては短期目標ビットレートの初期値は目標収束ビットレートよりも低いビットレートに設定され、符号化ビットレートは目標収束時間が標準目標収束時間Ｔだとすると例えば図１１（ｂ）のＬ４０２のように収束するよう制御される。撮影者が録画スイッチを押下した瞬間の映像がズーム中又はパン・チルト中でない時は、視聴者の注目度は高くなる。そこで、このような場合においては短期目標ビットレートの初期値は目標収束ビットレートよりも高いビットレートに設定され、符号化ビットレートは目標収束時間が標準目標収束時間Ｔだとすると例えば図１１（ａ）のＬ４０１のように収束するよう制御される。
【０１５６】
以上が、カメラステータス情報に応じて短期目標ビットレートの初期値を演算し、その短期目標ビットレートの初期値に従って行う符号量制御の説明である。
【０１５７】
次に、本実施形態の特徴である第２符号化パラメータ初期値演算部１０９について詳しく説明する。
【０１５８】
ここでは、第１の符号化パラメータの初期値として短期目標ビットレートの初期値、第２の符号化パラメータの初期値として目標収束時間の初期値を一例とする。そして、前述の方法により第１符号化パラメータ初期値演算部１０８で設定された短期目標ビットレートの初期値に応じて、第２符号化パラメータ初期値演算部１０９で目標収束時間の初期値を変更する方法について説明する。
【０１５９】
第２符号化パラメータ初期値演算部１０９は、前述の方法により録画スイッチが押下された瞬間に第１符号化パラメータ初期値演算部１０８により演算された短期目標ビットレートの初期値に応じて目標収束時間の初期値を演算する。そして、符号化パラメータ初期値記憶部１０７に出力し、短期目標ビットレートの初期値と共に記録する。その後、符号量制御部３１３は、第１符号化パラメータ初期値演算部１０８によって演算された短期目標ビットレートに加え、さらに第２符号化パラメータ初期値演算部１０９によって演算された目標収束時間を符号化パラメータの初期値として符号量制御を行う。
【０１６０】
第２符号化パラメータ初期値演算部１０９が目標収束時間の初期値を演算するタイミングは図５を用いて前述した第１符号化パラメータ初期値演算部１０８と同一のタイミングであり説明は省略する。
【０１６１】
本実施形態は、徐々に画質が悪くなっていく映像の方が徐々に画質が良くなっていく映像よりも画質の変化を認識しやすいという人間の視覚特性に応じて目標収束時間を適応的に変更しようとするものである。以下、図１１及び図１５を参照して具体的に説明する。  前述のように、第１符号化パラメータ初期値演算部１０８によりカメラステータス情報に応じて演算された短期目標ビットレートの初期値に応じて可変ビットレート（ＶＢＲ）方式における符号量制御の符号化ビットレートの収束特性が変化する。その収束特性には、２通りのものがある。１つは、図１１（ａ）のＬ４０１のように短期目標ビットレートの初期値を目標収束ビットレートよりも高く設定し、徐々に目標収束ビットレートに合わせるような収束特性である。もう１つは、図１１（ｂ）のＬ４０２のように短期目標ビットレートの初期値を目標収束ビットレートよりも低く設定し徐々に目標収束ビットレートに合わせるような収束特性である。
【０１６２】
図１１（ａ）のＬ４０１のような収束特性の場合は、符号化ビットレートが徐々に低くなっていくため徐々に画質は悪くなっていくと考えられる。また、図１１（ｂ）のＬ４０２のような収束特性の場合は、符号化ビットレートが徐々に高くなっていくため徐々に画質は良くなっていくと考えられる。従って、第２符号化パラメータ初期値演算部１０９は、第１符号化パラメータ初期値演算部１０８により短期目標ビットレートの初期値が目標収束ビットレートよりも高く設定された場合は、次のようにする。即ち、図１５（ａ）のように目標収束時間Ｔ１を標準目標収束時間Ｔよりも長く設定する。一方、短期目標ビットレートの初期値が目標収束ビットレートよりも低く設定された場合は、図１５（ｂ）のように目標収束時間Ｔ２を標準目標収束時間Ｔよりも短く設定する。つまり、目標収束時間Ｔ１、Ｔ２の関係は、Ｔ１＞Ｔ２となる。
【０１６３】
このことにより、前述の視覚特性を考慮すると、短期目標ビットレートの初期値を目標収束ビットレートよりも高いビットレートに設定した場合でも、目標収束時間Ｔ１が長く、符号化ビットレートが緩やかに低下していく。そのため、画質の劣化が目立ち難くなると言える。
【０１６４】
次に、上述した本実施形態のカメラステータス情報に応じて演算された短期目標ビットレートの初期値と短期目標ビットレートの初期値に応じて演算された目標収束時間の初期値に従い符号量制御を行う処理について図１６のフローチャートを参照して説明する。
【０１６５】
まず、ステップＳ１７０１において、撮像装置本体の電源を投入する。
【０１６６】
撮像装置の電源を投入するとステップＳ１７０２において撮像装置はスタンバイモードになり、カメラ部１０１がアクティブ状態、符号化部１０２がスリープ状態となる。
【０１６７】
撮影者は撮像装置付属の図示しないビューファインダーや液晶モニタ等の表示装置により撮影したい構図の決定等の操作を行う。
【０１６８】
撮影したい構図が決定したらステップＳ１７０３において撮影者は撮像装置の録画スイッチ１０４を押下し録画を開始する。
【０１６９】
ステップＳ１７０３において録画が開始されたら、第１符号化パラメータ初期値演算部１０８はステップＳ１７０４においてカメラ部１０１よりカメラステータス情報を取り込む。
【０１７０】
そして、ステップＳ１７０５において前述の方法によってステップＳ１７０４にてカメラ部１０１より取り込んだカメラステータス情報に応じて短期目標ビットレートの初期値を演算する。
【０１７１】
ステップＳ１７０６において、ステップＳ１７０５にて演算された短期目標ビットレートの初期値が目標収束ビットレートよりも高い場合は、ステップＳ１７０７に進む。
【０１７２】
ステップＳ１７０７においては、可変ビットレート（ＶＢＲ）方式による符号量制御における目標収束時間の初期値を標準目標収束時間よりも長く設定する。
【０１７３】
一方、ステップＳ１７０６において、ステップＳ１７０５にて演算された短期目標ビットレートの初期値が目標収束ビットレートよりも低い場合は、ステップＳ１７０８に進む。
【０１７４】
ステップＳ１７０８においては、可変ビットレート（ＶＢＲ）方式による符号量制御における目標収束時間の初期値を標準目標収束時間よりも短く設定する。
【０１７５】
ステップＳ１７０９において、ステップＳ１７０５にて演算された短期目標ビットレートの初期値とステップＳ１７０７又はステップＳ１７０８にて演算された目標収束時間の初期値を符号化パラメータ記憶部１０７へ出力し記録する。
【０１７６】
短期目標ビットレートの初期値及び目標収束時間の初期値が記録されるとステップＳ１７１０において録画モードへ移行し、カメラ部１０１及び符号化部１０２がアクティブとなる。
【０１７７】
ステップＳ１７１１において符号化処理部１０６が符号化処理を実行する。その際に符号量制御部３１３はステップＳ１７０９で符号化パラメータ記憶部１０７に記録された短期目標ビットレートの初期値及び目標収束時間の初期値を取り込み、短期目標ビットレートの初期値及び目標収束時間の初期値に従い前述の方法で符号量を制御する。
【０１７８】
そして、ステップＳ１７１２において符号化データを出力する。
【０１７９】
この符号化処理はステップＳ１７１３において撮影者により録画スイッチ１０４が再度押下され、録画が終了するまで実行される。
【０１８０】
ステップＳ１７１３において録画を終了する場合は、ステップＳ１７１４においてスタンバイモードとなり録画が終了する。
【０１８１】
以上説明したように、本実施形態では、符号化部の動作を制限したスタンバイモードから符号化処理を行う録画モードに移行する際に、短期目標ビットレートの初期値に応じて符号量制御の収束時間を変更する。即ち、カメラステータス情報に応じて演算された短期目標ビットレートの初期値に応じて可変ビットレート（ＶＢＲ）方式による符号量制御の収束時間を変更する。これにより、入力画像及び人間の視覚特性に適した符号量制御ができる。そのため、符号化パラメータの初期値を決定するためには前以って符号化処理を実行しなければならない従来例に比べ、符号化処理を実行しなくとも符号化パラメータの初期値を設定でき、消費電力の低減及び符号化効率の向上といった効果が得られる。
【０１８２】
（他の実施形態）
また、各実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
【０１８３】
さらに、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
【０１８４】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【０１８５】
【図１】本発明の画像符号化装置を内蔵する撮像装置の第１の実施形態の構成を示す図である。
【図２】カメラ部の構成を示す図である。
【図３】符号化部の構成を示す図である。
【図４】平均アクティビティ毎のアクティビティと正規化アクティビティの関係を示す説明図である。
【図５】符号化パラメータ初期値演算部の動作を示すタイミングチャートである。
【図６】第１の実施形態の動作を示すフローチャートである。
【図７】第２の実施形態の動作を示すフローチャートである。
【図８】本発明の画像符号化装置を内蔵する撮像装置の第３の実施形態の構成を示す図である。
【図９】符号化パラメータ初期値演算部の動作を示すタイミングチャートである。
【図１０】第３の実施形態の動作を示すフローチャートである。
【図１１】符号化ビットレートの収束特性を示す図である。
【図１２】第４の実施形態の動作を示すフローチャートである。
【図１３】可変ビットレート（ＶＢＲ）符号量制御を示すフローチャートである。
【図１４】本発明の画像符号化装置を内蔵する撮像装置の第５の実施形態の構成を示す図である。
【図１５】収束時間の異なる符号化ビットレートの収束特性を示す図である。
【図１６】短期目標ビットレートの初期値と目標収束時間の初期値に応じた符号量制御による符号化処理を示すフローチャートである。
【符号の説明】
【０１８６】
１０１  カメラ部
１０２  符号化部
１０３  符号化パラメータ初期値演算部
１０４  録画スイッチ
１０５  制御部
１０６  符号化処理部
１０７  符号化パラメータ記憶部
１０８  第１符号化パラメータ初期値演算部
１０９  第２符号化パラメータ初期値演算部
２０１  レンズ
２０２  撮像部
２０３  Ａ／Ｄ変換部
２０４  カメラ信号処理部
２０５  カメラ制御部
３０１  ブロック分割部
３０２  減算器
３０３  離散コサイン変換部
３０４  量子化部
３０５  可変長符号化部
３０６  バッファ部
３０７  逆量子化部
３０８  逆離散コサイン変換部
３０９  加算器
３１０  フレームメモリ
３１１  動き補償部
３１２  動き検出部
３１３  符号量制御部
【図１】
0004817990.tif 000003
【図２】
0004817990.tif 000004
【図３】
0004817990.tif 000005
【図４】
0004817990.tif 000006
【図５】
0004817990.tif 000007
【図６】
0004817990.tif 000008
【図７】
0004817990.tif 000009
【図８】
0004817990.tif 000010
【図９】
0004817990.tif 000011
【図１０】
0004817990.tif 000012
【図１１】
0004817990.tif 000013
【図１２】
0004817990.tif 000014
【図１３】
0004817990.tif 000015
【図１４】
0004817990.tif 000016
【図１５】
0004817990.tif 000017
【図１６】
0004817990.tif 000018