(57)【要約】【課題】  ユーザの嗜好を反映させた状態で撮像画像を符号化する。【解決手段】  撮像時の画像に含まれる顔領域を判定し、判定した顔領域に対してＩＤをつける。再生中に顔領域が出現すると、当該顔領域のＩＤに対するＩＤカウント値を増加させる。このＩＤカウント値の増加は、１回の再生で１回だけ行われる。再生方法が通常再生である場合には、ＩＤカウント値として「１」を採用する。再生方法がコマ送り再生又はスロー再生である場合には、ＩＤカウント値として、「１」を上回る値を採用する。再生方法が早送りである場合には、ＩＤカウント値として、「０」を上回り「１」を下回る値を採用する。大きいＩＤカウント値に対応する顔領域であるほど、符号量を多くして符号化処理を行う。【選択図】  図１
2014216701.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段による画像の撮像によって得られるＩＤ情報を取得するＩＤ情報取得手段と、
前記撮像手段により撮像された画像に基づく画像データを、前記ＩＤ情報取得手段により取得されたＩＤ情報が関連付けられた状態で符号化する符号化手段と、
前記符号化手段により符号化される画像データの符号量を決定する決定手段と、
前記符号化手段により符号化された画像データを復号化する復号化手段と、
前記復号化手段により画像データが復号化されると、当該画像データに関連付けられたＩＤ情報に対するカウント値のカウントアップを行うカウント手段と、
前記決定手段は、前記ＩＤ情報取得手段により取得されたＩＤ情報と、当該ＩＤ情報に対するカウント値とに基づいて、前記符号量を決定することを特徴とする撮像装置。
【請求項２】
前記決定手段は、前記ＩＤ情報取得手段により取得されたＩＤ情報に対するカウント値が０（ゼロ）を上回る場合、ユーザによる撮像装置の操作に基づいて定められた記録レートに対応する符号量よりも多い符号量を前記符号量として決定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記決定手段は、前記ＩＤ情報取得手段により取得されたＩＤ情報に対するカウント値が大きいほど、決定する符号量を多くすることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記決定手段は、前記ＩＤ情報取得手段により取得されたＩＤ情報に対するカウント値がない場合、ユーザによる撮像装置の操作に基づいて定められた記録レートに対応する符号量を前記符号量として決定することを特徴とする請求項２又は３に記載の撮像装置。
【請求項５】
前記ＩＤ情報取得手段は、前記撮像手段により撮像された画像に基づく画像データに含まれる人物を識別する情報を前記ＩＤ情報として取得することを特徴とする請求項１〜４の何れか１項に記載の撮像装置。
【請求項６】
前記決定手段は、前記ＩＤ情報取得手段により、前記画像データに含まれる人物を識別する情報として複数の情報が取得されると、当該情報に対するカウント値のうち、最も大きいカウント値に基づいて、前記符号量を決定することを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記カウント手段は、前記復号化手段により復号化された画像データの再生方法に応じて、前記カウントアップする値を、基準の値よりも増加または減少させることを特徴とする請求項５又は６に記載の撮像装置。
【請求項８】
前記カウント手段は、前記復号化手段により復号化された画像データの再生方法が、スロー再生、コマ送り再生、又はズーム再生である場合に、前記カウントアップする値を、基準の値よりも増加させることを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記カウント手段は、前記復号化手段により復号化された画像データの再生方法が、早送り再生である場合に、前記カウントアップする値を、基準の値よりも減少させることを特徴とする請求項７又は８に記載の撮像装置。
【請求項１０】
前記ＩＤ情報取得手段は、前記撮像手段により画像データが撮像された位置を識別する情報、または、前記撮像手段により画像データが撮像された時を識別する情報を前記ＩＤ情報として取得することを特徴とする請求項１〜４の何れか１項に記載の撮像装置。
【請求項１１】
撮像手段による画像の撮像によって得られるＩＤ情報を取得するＩＤ情報取得工程と、
前記撮像手段により撮像された画像に基づく画像データを、前記ＩＤ情報取得工程により取得されたＩＤ情報が関連付けられた状態で符号化する符号化工程と、
前記符号化工程により符号化される画像データの符号量を決定する決定工程と、
前記符号化工程により符号化された画像データを復号化する復号化工程と、
前記復号化工程により画像データが復号化されると、当該画像データに関連付けられたＩＤ情報に対するカウント値のカウントアップを行うカウント工程と、
前記決定工程は、前記ＩＤ情報取得工程により取得されたＩＤ情報と、当該ＩＤ情報に対するカウント値とに基づいて、前記符号量を決定することを特徴とする撮像制御方法。
【請求項１２】
前記決定工程は、前記ＩＤ情報取得工程により取得されたＩＤ情報に対するカウント値が０（ゼロ）を上回る場合、ユーザによる撮像装置の操作に基づいて定められた記録レートに対応する符号量よりも多い符号量を前記符号量として決定することを特徴とする請求項１１に記載の撮像制御方法。
【請求項１３】
前記決定工程は、前記ＩＤ情報取得工程により取得されたＩＤ情報に対するカウント値が大きいほど、決定する符号量を多くすることを特徴とする請求項１２に記載の撮像制御方法。
【請求項１４】
前記決定工程は、前記ＩＤ情報取得工程により取得されたＩＤ情報に対するカウント値がない場合、ユーザによる撮像装置の操作に基づいて定められた記録レートに対応する符号量を前記符号量として決定することを特徴とする請求項１２又は１３に記載の撮像制御方法。
【請求項１５】
前記ＩＤ情報取得工程は、前記撮像手段により撮像された画像に基づく画像データに含まれる人物を識別する情報を前記ＩＤ情報として取得することを特徴とする請求項１１〜１４の何れか１項に記載の撮像制御方法。
【請求項１６】
前記決定工程は、前記ＩＤ情報取得工程により、前記画像データに含まれる人物を識別する情報として複数の情報が取得されると、当該情報に対するカウント値のうち、最も大きいカウント値に基づいて、前記符号量を決定することを特徴とする請求項１５に記載の撮像制御方法。
【請求項１７】
前記カウント工程は、前記復号化工程により復号化された画像データの再生方法に応じて、前記カウントアップする値を、基準の値よりも増加または減少させることを特徴とする請求項１５又は１６に記載の撮像制御方法。
【請求項１８】
前記カウント工程は、前記復号化工程により復号化された画像データの再生方法が、スロー再生、コマ送り再生、又はズーム再生である場合に、前記カウントアップする値を、基準の値よりも増加させることを特徴とする請求項１７に記載の撮像制御方法。
【請求項１９】
前記カウント工程は、前記復号化工程により復号化された画像データの再生方法が、早送り再生である場合に、前記カウントアップする値を、基準の値よりも減少させることを特徴とする請求項１７又は１８に記載の撮像制御方法。
【請求項２０】
前記ＩＤ情報取得工程は、前記撮像手段により画像データが撮像された位置を識別する情報、または、前記撮像手段により画像データが撮像された時を識別する情報を前記ＩＤ情報として取得することを特徴とする請求項１１〜１４の何れか１項に記載の撮像制御方法。
【請求項２１】
請求項１１〜２０の何れか１項に記載の撮像制御方法の各工程をコンピュータに実行させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像制御方法、及びコンピュータプログラムに関し、特に、撮像した画像を符号化するために用いて好適なものである。
【背景技術】
【０００２】
被写体を撮像し、それにより得られた動画像を圧縮符号化して記録するカメラ一体型動画像記録装置として、デジタルビデオカメラがよく知られている。このように動画像を圧縮符号化する符号化方式として、ＭＰＥＧ２やＨ．２６４等の高能率符号化方式が知られている。符号化効率を向上させる技術の一つに、可変符号化レート（ＶＢＲ（バリアブルビットレート））符号化方式がある。可変符号化レートは、動画の各フレームにおいて、画像の複雑さ又は動きの激しさに応じて符号化レートを可変制御する方法である。また、量子化パラメータを制御することで、各フレームを構成する画素ブロック毎に符号量を調節できる。
【０００３】
ここで、ユーザの嗜好を画像に反映させる技術として、ユーザが視聴の際に操作した履歴情報を記録しておき、トランスコードを行う際に、当該履歴情報を用いてユーザの嗜好に応じて高画質化する技術がある（特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２８３４３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術では、ユーザの嗜好に応じた高画質化は、トランスコードする時にのみ有効である。トランスコードでは一般的に画像の解像度が落ち、ユーザの嗜好に応じた符号化がなされてもその効果を十分に発揮することができない。したがって、撮像された画像の符号化時にはユーザの嗜好が反映されないという課題があった。
本発明は、このような課題に鑑みてなされたものであり、ユーザの嗜好を反映させた状態で撮像画像を符号化することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の撮像装置は、撮像手段による画像の撮像によって得られるＩＤ情報を取得するＩＤ情報取得手段と、前記撮像手段により撮像された画像に基づく画像データを、前記ＩＤ情報取得手段により取得されたＩＤ情報が関連付けられた状態で符号化する符号化手段と、前記符号化手段により符号化される画像データの符号量を決定する決定手段と、前記符号化手段により符号化された画像データを復号化する復号化手段と、前記復号化手段により画像データが復号化されると、当該画像データに関連付けられたＩＤ情報に対するカウント値のカウントアップを行うカウント手段と、前記決定手段は、前記ＩＤ情報取得手段により取得されたＩＤ情報と、当該ＩＤ情報に対するカウント値とに基づいて、前記符号量を決定することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、ユーザの嗜好を反映させた状態で撮像画像を符号化することができる。
【図面の簡単な説明】
【０００８】
【図１】撮像装置の全体の構成の第１の例を示す図である。
【図２】記録レート及び基準符号化レートを示す図である。
【図３】顔認識登録部の動作を説明するフローチャートである。
【図４】顔の特徴情報を記憶するテーブルを示す図である。
【図５】再生履歴蓄積部の動作の第１の例を説明するフローチャートである。
【図６】符号化部の詳細な構成を示す図である。
【図７】人物を含む画像を示す図である。
【図８】符号化制御部の動作の第１の例を説明するフローチャートである。
【図９】再生履歴蓄積部の動作の第２の例を説明するフローチャートである。
【図１０】撮像装置全体の構成の第２の例を示す図である。
【図１１】位置情報登録部の動作を説明するフローチャートである。
【図１２】位置情報を記憶するテーブルを示す図である。
【図１３】再生履歴蓄積部の動作の第３の例を説明するフローチャートである。
【図１４】符号化制御部の動作の第２の例を説明するフローチャートである。
【図１５】撮像装置全体の構成の第３の例を示す図である。
【発明を実施するための形態】
【０００９】
以下に、図面を参照しながら、本発明の実施形態を説明する。
（第１の実施形態）
本発明の第１の実施形態を説明する。
まず、画像を入力し、入力した画像を、符号化、記録、復号化、及び表示する際の撮像装置の動作の一例を説明する。
図１は、撮像装置の全体の構成の一例を示す図である。撮像装置１００は、撮像部１０１、符号化部１０２、符号化制御部１０３、顔検出部１０４、顔認識登録部１０５、記録媒体１０６、復号化部１０７、表示部１０８、再生履歴蓄積部１０９、操作部１１０、及び制御部１１１を備えて構成される。
【００１０】
撮像部１０１は、レンズ、センサ、ノイズ除去回路、及びＡ／Ｄ変換部等から構成される。撮像部１０１は、被写体を撮像し、これにより得られた被写体光をアナログ信号に変換し、アナログ信号に対してＡ／Ｄ変換を行ってデジタル信号を生成する。以下の説明では、この「デジタル信号」を必要に応じて「画像データ」と称する。
符号化部１０２は、撮像部１０１から入力された画像データを所定の符号化方式に従って圧縮符号化する。符号化部１０２の処理の詳細については後述する。
【００１１】
符号化制御部１０３は、符号化部１０２で圧縮符号化を行う際の符号化レート（すなわち符号量）を制御する。符号化制御部１０３は、通常は、撮影前にユーザによって設定された記録レートに基づいて、設定された記録レートになるように符号量を調節する。記録レートとは、画質及びストリームの符号量を定めるパラメータである。例えば、高画質の記録レートでは、画質の劣化は少ないが、符号量が多くなる。一方、高圧縮の記録レートでは符号量が少ない分、画質が劣化する。一般的な撮像装置では、高画質モード、標準モード、高圧縮モード等が、記録レートを定めるモードとして設定されている。符号化制御部１０３は、基準符号化レートを変更することにより符号量を変更する。基準符号化レートとは、ストリームの符号化レートが記録レートに近づくように制御するために符号化制御部１０３が保持している目標値のことである。
【００１２】
図２は、記録レート及び基準符号化レートの一例を示す図である。
前述したように、記録レート２０１は、ユーザが撮影時に撮像装置１００に対して設定する符号化レートである。高画質モードの場合、記録レート２０１の値は、ｙ軸方向に大きくなる。一方、高圧縮モードの場合、記録レート２０１の値は、ｙ軸方向に小さくなる。記録レート２０１の単位としては、ｂｐｓ（ｂｉｔ  ｐｅｒ  ｓｅｃｏｎｄｅ）が用いられる。
基準符号化レート２０２は、符号化制御部１０３が保持している目標となる基準符号化レートである。基準符号化レート２０２が採用された場合、撮影開始から撮影終了までに記録されたストリームの符号化レートが平均的に記録レート２０１になるように遷移する。
基準符号化レート２０３は、後述するＩＤカウント値が大きく、符号量を多くする場合の符号化レートを示し、基準符号化レート２０２よりも高い符号化レートである。
符号化制御部１０３の処理の詳細については後述する。
【００１３】
記録媒体１０６は、符号化部１０２によって、撮像部１０１から入力された画像データを圧縮符号化することで生成されたストリームを記録する。
復号化部１０７は、記録媒体１０６に記録されているストリームを読み出して復号し、この復号によって得られた画像データを表示部１０８に出力する。
表示部１０８は、復号化部１０７から入力した画像データを表示する。
操作部１１０は、撮影前に記録レートを設定する際や、再生中のズーム等の操作を行う際にユーザの意図を撮像装置１００に反映させるためのユーザインターフェースである。この他のユーザによる操作も操作部１１０を用いることにより実現できる。
制御部１１１は、撮像装置１００の全体を制御する。制御部１１１は、例えば、記録、再生及び再生中のユーザの操作を各ブロックに対して命令を送る処理を担う。
以上が、画像を入力してから再生するまでの撮像装置１００における撮像制御処理の流れの概要の一例である。
【００１４】
次に、本実施形態の特徴の一つである再生履歴を用いた符号化の動作の一例について説明する。
顔検出部１０４は、撮像部１０１から入力された画像から人物の顔を検出し、顔の特徴情報及び顔の位置情報等を検出する。顔の特徴情報は、例えば、左目と右目の間隔、目と口の距離、及び輪郭情報等である。ただし、顔の特徴情報は、これらに限定されず、個人を識別するための情報を有していればよい。顔の位置情報は、撮像部１０１から入力された画像内の何れのブロックに顔があるかを座標等で示した情報である。このブロックの一例として、１６画素×１６画素で構成されるマクロブロック等がある。ただし、顔の位置情報は、このようなものに限定されず、画像における顔の位置を表す情報を有していればよい。顔検出部１０４は、検出した顔の特徴情報と顔の位置情報とを顔認識登録部１０５に出力する。
【００１５】
顔認識登録部１０５は、顔検出部１０４から入力された顔の特徴情報を用いて、顔の特徴情報毎の顔個別番号を生成し、当該顔個体番号をインデックスとして、顔特徴情報をテーブル化して保持する。本実施形態及び後述する第２の実施形態では、「顔個体番号」を必要に応じて「ＩＤ」と称する。
ここで、図３のフローチャートを参照しながら、顔認識登録部１０５の動作の一例を説明する。
ステップＳ３０１において、顔認識登録部１０５は、顔検出部１０４から入力された顔の特徴情報が、未登録の特徴情報であるか否かを判断する。この判断の結果、顔検出部１０４から入力された顔の特徴情報が、未登録の特徴情報である場合（顔検出部１０４から入力された顔の特徴情報が、未だテーブルに保持されていない場合）には、ステップＳ３０２に進む。一方、顔検出部１０４から入力された顔の特徴情報が、未登録の特徴情報でない場合には、図３のフローチャートによる処理を終了する。
【００１６】
ステップＳ３０２に進むと、顔認識登録部１０５は、顔検出部１０４から入力された顔の特徴情報に対するＩＤ（ＩＤ情報）を生成する。
次に、ステップＳ３０３において、顔認識登録部１０５は、ステップＳ３０２で生成されたＩＤをインデックスとして、顔検出部１０４から入力された顔の特徴情報をテーブルに保持する。
以上のようにして、ＩＤをインデックスとしてテーブルに顔の特徴情報を保持するＩＤ情報取得処理が行われる。図４は、顔の特徴情報を記憶するテーブルの一例を示す図である。例えば、図４に示すように、ＩＤをインデックスとして、顔の特徴情報（図４の特徴の欄を参照）と、その位置情報（図４の位置の欄を参照）とがテーブルに記録される。尚、顔認識登録部１０５は、このテーブルに保持される顔の位置情報を、ピクチャ（フレーム）毎に更新する。
【００１７】
図１の説明に戻り、顔認識登録部１０５は、以上のようにして生成したＩＤを符号化部１０２に出力する。また、顔認識登録部１０５は、符号化部１０２にＩＤを出力するポートとは別のポートで、以上のようにして生成したＩＤと、顔検出部１０４から入力した顔の位置情報とをセットにして符号化制御部１０３に出力する。
符号化部１０２は、顔認識登録部１０５から入力したＩＤを、ストリームのユーザデータ領域に多重化する。符号化部１０２の符号化形式がＨ．２６４の場合、ＳＥＩ（Supplemental Enhancement Information）と呼ばれるシンタックスがある。このシンタックスは、ピクチャの復号処理には直接関係のないシンタックスである。符号化部１０２は、例えば、User Data Unregisterd SEIを利用してＩＤをストリームに多重化する。
【００１８】
復号化部１０７は、制御部１１１からの再生命令によって復号処理を行う。再生命令の他に、早送り、コマ送り、及び巻き戻し等の再生方法も取得する。復号化部１０７は、この再生方法を後述する再生履歴蓄積部１０９に出力する。さらに復号化部１０７は、符号化部１０２によってストリームに多重化されたＩＤをデコードし、当該ＩＤを再生履歴蓄積部１０９に出力する。
再生履歴蓄積部１０９は、復号化部１０７から入力したＩＤ毎に存在するＩＤカウント値を保持する。再生履歴蓄積部１０９は、復号化部１０７からＩＤが入力されれば、該当するＩＤカウント値をカウントアップする。再生履歴蓄積部１０９は、一回の再生につき、ＩＤカウント値を「１」カウントアップする。すなわち、１回の再生で、複数のピクチャ（フレーム）に同じＩＤを有する人物が記録されていても、ＩＤカウント値のカウントアップの回数は１回だけである。
【００１９】
また、前述したように再生履歴蓄積部１０９は、復号化部１０７から再生方法の情報を入力する。再生中にスロー再生やコマ送りがなされた場合、再生履歴蓄積部１０９は、再生中に出現するＩＤに関しては、ＩＤカウント値に重みを加算する。また、再生中に早送り処理がなされた場合、再生履歴蓄積部１０９は、当該再生中に出現するＩＤに関しては、逆にＩＤカウント値から重みを減算する。
ここで、図５のフローチャートを参照しながら、復号化部１０７と再生履歴蓄積部１０９の動作の一例を説明する。
ステップＳ５０１において、復号化部１０７は、ストリームの復号化処理中にＳＥＩを復号する。前述したように、符号化部１０２の符号化形式がＨ．２６４の場合、ＳＥＩにＩＤが含まれる。
【００２０】
次に、ステップＳ５０２において、復号化部１０７は、復号したＩＤを再生履歴蓄積部１０９に出力する
次に、ステップＳ５０３において、再生履歴蓄積部１０９は、ＩＤ毎に保持されているＩＤカウント値をカウントアップする。このステップＳ５０３でカウントアップされるＩＤカウント値の値は「１」が最大である。つまり一回の再生で各ＩＤカウント値は最大で「１」だけカウントアップされる。
【００２１】
次に、ステップＳ５０４において、再生履歴蓄積部１０９は、再生が終了したか否かを判断する。この判断の結果、再生の終了が確認された場合にはステップＳ５１０に進み、再生履歴蓄積部１０９は、各ＩＤカウント値を保持して終了する。一方、再生の終了が確認されなかった場合にはステップＳ５０５に進む。
ステップＳ５０５に進むと、再生履歴蓄積部１０９は、再生の方法が通常再生（再生速度が１倍）であるか否かを判断する。この判断の結果、再生の方法が通常再生である場合には、ステップＳ５０４に戻る。すなわち、再生の方法が通常再生のみの場合には、ステップＳ５０４とステップＳ５０５とを再生終了時までループする。
【００２２】
一方、再生の方法が通常再生ではなくなった場合には、ステップＳ５０６に進む。このループの処理は、ピクチャ（フレーム）毎に更新される。
ステップＳ５０６に進むと、再生履歴蓄積部１０９は、再生方法がコマ送り又はスロー再生であるか否かを判断する。この判断の結果、再生方法がコマ送り又はスロー再生の場合には、ステップＳ５０７に進む。一方、再生方法がコマ送り又はスロー再生でない場合には、ステップＳ５０８に進む。
【００２３】
ステップＳ５０７に進むと、再生履歴蓄積部１０９は、コマ送り又はスロー再生で再生中に出現しているＩＤのＩＤカウント値に対して重みを加算する。これにより、ＩＤカウント値が基準の値（＝「１」）よりも増加する。そして、ステップＳ５０４に戻る。
一方、ステップＳ５０８に進むと、再生履歴蓄積部１０９は、再生方法が早送りであるか否かを判断する。この判断の結果、再生方法が早送りである場合には、ステップＳ５０９に進む。一方、再生方法が早送りでない場合には、ステップＳ５０４に戻る。
【００２４】
ステップＳ５０９に進むと、再生履歴蓄積部１０９は、早送りで再生中に出現しているＩＤのＩＤカウント値から重みを減算する。これにより、ＩＤカウント値が基準の値（＝「１」）よりも減少する。ステップＳ５０７で加算された重みとステップＳ５０９で減算される重みの値は同じでもよいし、異なる値であってもよい。ただし、ステップＳ５０９でＩＤカウント値が減算されてもＩＤカウント値が負の数にはならないように重みを決定する。
【００２５】
再生履歴蓄積部１０９が以上のような動作をすることにより、再生された回数が多いＩＤ（人物）に対するＩＤカウント値が増える。また、スロー再生やコマ送り等のように、ユーザがより詳細に動画を見ている際に登場するＩＤ（人物）は、ユーザが興味を持っている人物であるとみなし、カウントアップされたＩＤカウント値を、通常再生のときよりも大きくする。逆に再生されても早送り再生中に登場する人物は、ユーザがそれほど高い興味を持っていない人物であるとみなし、カウントアップされたＩＤカウント値を、通常再生のときよりも小さくする。しかし、前述したように、ステップＳ５０３でカウントアップされた値（＝１）よりも大きな数をＩＤカウント値から減算することはない。再生されれば、再生後のＩＤカウント値が再生前のＩＤカウント値よりも必ず大きくなるようにする。
【００２６】
次に、符号化部１０２の内部の構成と、符号化部１０２における符号量制御の一例を説明する。
図６は、符号化部１０２の詳細な構成の一例を示す図である。ここでは、Ｈ．２６４の符号化方式を採用した場合を例に挙げて符号化部１０２の説明を行う。
符号化部１０２は、イントラ予測部６０１、減算器６０２、スイッチ６０３、直交変換部６０４、量子化部６０５、エントロピー符号化部６０６を備える。さらに、動き補償予測に係る、逆量子化部６０７、逆直交変換部６０８、加算器６０９、デブロッキングフィルタ６１０、フレームメモリ６１１、動き検出部６１２、及び動き補償部６１３を備える。本実施形態では、符号化部１０２は、撮像部１０１から入力した画像データの領域を、１６画素×１６画素で構成されるマクロブロックに分割して処理を行うものとする。
【００２７】
イントラ予測部６０１は、同一のフレーム内の画像データのみを用いて予測画像データを生成する。イントラ予測部６０１は、生成した予測画像データと、撮像部１０１から入力した画像データとの差分画像データを生成し、スイッチ６０３に出力する。
減算器６０２は、撮像部１０１から入力した画像データから、後述する動き補償部６１３で生成された予測画像データを差し引き、差分画像データを生成する。減算器６０２は、生成した差分画像データを、スイッチ６０３に出力する。
【００２８】
スイッチ６０３は、イントラ予測が行われる場合には、イントラ予測部６０１からの差分画像データを選択する。一方、インター予測が行われる場合には、スイッチ６０３は、減算器６０２からの差分画像データを選択する。スイッチ６０３は、選択した差分画像データを直交変換部６０４に出力する。
直交変換部６０４は、スイッチ６０３から出力された差分画像データに対して直交変換処理を行う。続いて量子化部６０５は、直交変換処理により得られた直交変換係数に対して、符号化制御部１０３から入力する量子化パラメータを用いて量子化処理を行う。以上の処理を行うことで画像データのデータ量の削減が行われる。
【００２９】
ここで、量子化とは、直交変換係数の振幅を、ある代表値で表現することである。量子化を行うことにより代表値が少なくなり、符号量を少なくすることができる。ところが、量子化を粗く行うと元の直交変換係数の再現性が低くなり、再現される画像の画質が劣化する。また、量子化を細かく行うと、画質劣化は少なくなるが符号量が多くなる。このような量子化の度合いを設定する量子化パラメータを制御することによって、符号化部１０２が出力するストリームの符号量の調整が行われる。
【００３０】
エントロピー符号化部６０６は、量子化された画像データの他に、後述する動き検出部６１２で生成された動きベクトルや、量子化処理に使用される量子化パラメータ等のデータを入力し、シンタックスに従ってストリームを生成する。生成されたストリームは記録媒体１０６に記録される。
また、量子化された画像データは、逆量子化部６０７に入力されて逆量子化処理され、さらに逆直交変換部６０８で逆直交変換処理される。これにより、差分画像データが復元され、加算器６０９に出力される。
【００３１】
デブロッキングフィルタ６１０は、差分画像データに対して、ブロック歪みを除去するデブロッキング処理を施し、フレームメモリ６１１に出力する。ただし、イントラ予測が行われる場合、デブロッキングフィルタ６１０は、デブロッキング処理を施さずに差分画像データをフレームメモリ６１１に出力する。
動き検出部６１２は、撮像部１０１から入力した画像データと、フレームメモリ６１１から読み出した参照画像データ（差分画像データ）とを用いて動きベクトルを検出する。検出された動きベクトルは、動き補償部６１３及びエントロピー符号化部６０６に出力される。
【００３２】
動き補償部６１３は、動き検出部６１２から入力した動きベクトルと、フレームメモリ６１１から読み出した参照画像データ（差分画像データ）とを用いてインター予測で使用する予測画像データを生成する。動き補償部６１３で生成された予測画像データは、減算器６０２に出力され、減算器６０２において差分画像データが生成される。
このような動作を行うことで、撮像部１０１から入力された画像データが符号化される。
【００３３】
次に、符号化制御部１０３における処理の一例を詳細に説明する。
符号化制御部１０３は、生成するストリームの符号化レートが撮影時にユーザによって決められた記録レートになるように調整する。具体的に符号化制御部１０３は、エントロピー符号化部６０６で生成されたストリームの発生符号量を監視し、発生符号量が記録レートになるように前述した量子化パラメータを適応的に設定し、発生符号量を制御する。これにより、可変ビットレート（ＶＢＲ）方式に基づき、発生符号量が動的に制御される。
【００３４】
符号化制御部１０３は、顔認識登録部１０５から、ＩＤと顔の位置情報とを入力する。また、符号化制御部１０３は、再生履歴蓄積部１０９から、ＩＤカウント値を入力する。符号化制御部１０３は、撮像部１０１から入力された画像に顔領域がある場合（顔領域のＩＤに対応するＩＤカウント値が０（ゼロ）を上回る場合）には、当該顔領域の符号量を上げて、符号化して記録する。
図７は、人物を含む画像の一例を示す図である。
図７（ａ）は、画像に含まれる人物被写体が一人である画像の一例を示す図である。図７（ａ）においてマクロブロック７０１は、１６画素×１６画素のブロックである。図７（ａ）において太線で示すマクロブロック７０２は、顔領域のマクロブロックを示す。符号化制御部１０３は、顔認識登録部１０５から入力された顔の位置情報から、顔領域を判断することが可能である。符号化制御部１０３は、顔領域のマクロブロック７０２に対しては、他のマクロブロックよりも符号量が多く割りあたるように量子化パラメータを制御する。符号化制御部１０３は、顔領域のマクロブロック７０２に対しては、基準符号化レートを、撮影時にユーザが設定した記録レートよりも、ストリームの符号化レートが高くなるようにする。
【００３５】
図７（ｂ）は、画像に含まれる人物被写体が複数である画像の一例を示す図である。
符号化制御部１０３は、顔認識登録部１０５から入力した「ＩＤと顔の位置情報」から、各マクロブロックがどのＩＤに属するかを判断できる。また、符号化制御部１０３は、再生履歴蓄積部１０９からされたＩＤカウント値によって各マクロブロックのＩＤカウント値を判断できる。符号化制御部１０３は、現在符号化中のマクロブロックのＩＤを把握し、把握したＩＤに対応するＩＤカウント値を取得し、取得したＩＤカウント値に応じて、量子化パラメータを制御する。
例えば、図７（ｂ）に示すＩＤがＣである人物のように、ＩＤカウント値が「１０」であり小さい場合、符号化制御部１０３は、基準の量子化パラメータの設定に近くなるように、量子化パラメータの設定を行う。ただし、基準の量子化パラメータの設定よりは符号量が多くなるように、量子化パラメータが設定される。逆に、ＩＤがＡである人物のように、ＩＤカウント値が「１５７」であり大きい場合、符号化制御部１０３は、よりその領域の符号量が多くなるように量子化パラメータを設定する。
【００３６】
ここで、図８のフローチャートを参照しながら、符号化制御部１０３の動作の一例を説明する。
ステップＳ８０１において、符号化制御部１０３は、現在符号化中のマクロブロック（ＭＢ）が顔領域であるか否かを判断する。前述したように符号化制御部１０３は、顔認識登録部１０５から入力する顔の位置情報によって顔領域を判断できる。この判断の結果、現在符号化中のマクロブロック（ＭＢ）が顔領域である場合には、ステップＳ８０２に進み、顔領域でない場合には、ステップＳ８０５に進む。
ステップＳ８０２に進むと、符号化制御部１０３は、現在符号化中のマクロブロックの顔領域にＩＤが割り振られているか否かを判断する。前述したように符号化制御部１０３は、顔認識登録部１０５から入力するＩＤが、前述したテーブルに登録されているか否かによって、ＩＤが割り振られているか否かを判断できる。この判断の結果、現在符号化中のマクロブロックの顔領域にＩＤが割り振られている場合には、ステップＳ８０３に進み、ＩＤが割り振られていない場合には、ステップＳ８０６に進む。
【００３７】
ステップＳ８０３に進むと、符号化制御部１０３は、ステップＳ８０２で割り振られていると判断したＩＤに対応するＩＤカウント値を読み出す。前述したように、ＩＤカウント値は、再生履歴蓄積部１０９から入力される。複数の顔領域がある場合には、ステップＳ８０４において、符号化制御部１０３は、それぞれの顔領域のＩＤに対応するＩＤカウント値を読み出す。
次に、ステップＳ８０４において、符号化制御部１０３は、ステップＳ８０３で読み出したＩＤカウント値に応じて量子化パラメータを設定する。符号化制御部１０３は、ＩＤカウント値が高ければ高いほど、符号量が多く割りあたるように量子化パラメータを設定する。具体的に符号化制御部１０３は、ステップＳ８０３で読み出したＩＤカウント値に応じて、撮影時にユーザが設定した記録レートよりもストリームの符号化レートが高くなるように、記録レートに対応する基準符号化レートよりも高い基準符号化レートを設定する。複数の顔領域がある場合には、ステップＳ８０４において、符号化制御部１０３は、ステップＳ８０３で読み出されたＩＤカウント値のうち、最も高いＩＤカウント値を採用する。
【００３８】
前述したように、ステップＳ８０１において、現在符号化中のマクロブロックに顔領域が存在しないと判断された場合には、ステップＳ８０５に進む。ステップＳ８０５に進むと、符号化制御部１０３は、通常の制御で得られる量子化パラメータを設定する。具体的に、符号化制御部１０３は、撮影時にユーザが設定した記録レートに対応する基準符号化レートを設定する。これにより、ストリームの符号化レートが記録レートになるように量子化パラメータが制御される。
また、前述したように、ステップＳ８０２において、現在符号化中のマクロブロックの顔領域にＩＤが割り振られていない場合には、ステップＳ８０６に進む。ステップＳ８０６に進むと、符号化制御部１０３は、通常の顔領域に対する量子化パラメータを設定する。具体的に、符号化制御部１０３は、撮影時にユーザが設定した記録レートに対応する基準符号化レートを設定する。これにより、ストリームの符号化レートが記録レートになるように量子化パラメータが制御される。
【００３９】
以上のようにして量子化パラメータが設定されると、ステップＳ８０７に進む。ステップＳ８０７に進むと、符号化制御部１０３は、現在符号化中のマクロブロックがピクチャ（フレーム）の最後のマクロブロックであるか否かを判断する。この判断の結果、現在符号化中のマクロブロックが最後のマクロブロックである場合には、図８のフローチャートによる処理を終了する。一方、現在符号化中のマクロブロックが最後のマクロブロックでない場合には、ステップＳ８０１に戻る。
符号化制御部１０３は、以上のような動作を行って、ＩＤカウント値に応じて量子化パラメータを制御し、符号化処理を制御する。
【００４０】
以上のように本実施形態では、撮像時の画像に含まれる顔領域を判定し、判定した顔領域に対してＩＤをつける。再生中に顔領域が出現すると、当該顔領域のＩＤに対するＩＤカウント値を増加させる。このＩＤカウント値の増加は、１回の再生で１回だけ行われる。再生方法が通常再生である場合には、ＩＤカウント値として「１」を採用する。再生方法がコマ送り再生又はスロー再生である場合には、ＩＤカウント値として、「１」を上回る値を採用する。再生方法が早送りである場合には、ＩＤカウント値として、「０」を上回り「１」を下回る値を採用する。大きいＩＤカウント値に対応する顔領域であるほど、符号量を多くして符号化処理を行う。したがって、ユーザの嗜好を反映させた状態で撮像画像を符号化することができる。
本実施形態では、ストリームのユーザデータ領域にＩＤを多重化して、画像データにＩＤを付加する場合を例に挙げて説明した。しかしながら、画像データとＩＤとが相互に関連付けられていれば、必ずしも画像データにＩＤを付加する必要はない。例えば、ストリームのユーザデータ領域にＩＤの格納場所を多重化してもよい。
また、本実施形態では、ＩＤカウント値をカウントアップしたが、ＩＤカウント値を変更すれば、必ずしもこのようにする必要はなく、ＩＤカウント値をカウントダウンしてもよい。
【００４１】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。前述した第１の実施形態では、再生方法がコマ送り再生又はスロー再生である場合には、ＩＤカウント値に重みを加算する場合を例に挙げて説明した。これに対し本実施形態では、ズーム再生された顔領域に対応するＩＤカウント値に重みを加算する。このように、本実施形態と第１の実施形態とはＩＤカウント値に対して重みを与える処理が主として異なる。したがって、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図８に付した符号と同一の符号を付す等して詳細な説明を省略する。
【００４２】
復号化部１０７は、制御部１１１からの再生命令によって復号処理を行う。復号化部１０７は、ユーザが操作部１１０を用いて行った再生中のズームイン／アウト操作の情報を制御部１１１から入力し、再生履歴蓄積部１０９に出力する。
図９のフローチャートを参照しながら、復号化部１０７から再生中のズーム情報を入力した場合の再生履歴蓄積部１０９の動作の一例を説明する。
ステップＳ９０１〜Ｓ９０５は、それぞれ図５のステップＳ５０１〜Ｓ５０５と同じであり、ステップＳ９０８は、図５のステップＳ５１０と同じであるので、ここでは、その詳細な説明を省略する。
ステップＳ９０６において、再生履歴蓄積部１０９は、（再生中に）再生ズームがなされたか否かを判断する。この判断の結果、再生ズームがなされた場合には、ステップＳ９０７に進む。一方、再生ズームがなされていない場合には、ステップＳ９０４に進む。
【００４３】
ステップＳ９０７に進むと、再生履歴蓄積部１０９は、再生ズーム中の画像に存在する顔（ＩＤ）に対応するＩＤカウント値に重みを加算する。再生履歴蓄積部１０９は、ズーム率と顔の位置情報とに基づいてズーム中の画像内に存在する顔（ＩＤ）を特定する。そして、ステップＳ９０４に進む。
このような動作を行うことで、再生履歴蓄積部１０９は、再生中にズームされた人物（ＩＤ）を、ユーザが興味を持っている人物だとみなし、当該人物（ＩＤ）に対応するＩＤカウント値を増加させる。
【００４４】
第１の実施形態で説明したように、ＩＤカウント値が大きいＩＤに対応する顔領域に対しては、符号量が多く割りあたるように符号化制御部１０３が量子化パラメータの設定を行う。
本実施形態のようにしても、ユーザの嗜好を反映させた状態で撮像画像を符号化することができる。
本実施形態と第１の実施形態とを組み合わせることもできる。例えば、図５のステップＳ５０８でＮＯと判定された場合に、ステップＳ９０６、Ｓ９０７の処理を行ってステップＳ５０４の処理に戻るようにしてもよい。
【００４５】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。第１、第２の実施形態では、画像に含まれる顔領域に対してＩＤ及びＩＤカウント値を設定する場合を例に挙げて説明した。これに対し、本実施形態では、撮像装置１００の撮影時の位置（撮像位置）に対してＩＤ及びＩＤカウント値を設定する。このように本実施形態と第１、第２の実施形態とは、ＩＤ及びＩＤカウント値を設定する処理が主として異なる。したがって本実施形態の説明において、第１、第２の実施形態と同一の部分については、図１〜図９に付した符号と同一の符号を付す等して詳細な説明を省略する。
【００４６】
図１０は、撮像装置全体の構成の一例を示す図である。撮像装置１０００は、撮像部１０１、符号化部１０２、符号化制御部１０３、記録媒体１０６、復号化部１０７、表示部１０８、再生履歴蓄積部１０９、操作部１１０、制御部１１１、位置情報取得部１００１、及び位置情報登録部１００２を備えて構成される。
【００４７】
まず、本実施形態の特徴の一つである再生履歴を用いた符号化の動作の一例について説明する。
位置情報取得部１００１は、ＧＰＳ受信機を有しており、撮像装置１０００の撮影時の緯度、経度及び高度を取得する。以下の説明では、「撮像装置１０００の緯度、経度及び高度」を必要に応じて「位置情報」と称する。位置情報取得部１００１は取得した位置情報を位置情報登録部１００２に出力する。尚、撮像装置１００の位置を特定できる情報であれば、位置情報はこのようなものに限定されない。
【００４８】
位置情報登録部１００２は、位置情報取得部１００１からの位置情報を用いて、位置情報毎の位置情報個別番号を生成し、当該位置情報個別番号をインデックスとして、位置情報をテーブル化して保持する。本実施形態では、「位置情報個別番号」を必要に応じて「ＩＤ」と称する。
【００４９】
ここで、図１１のフローチャートを参照しながら、位置情報登録部１００２の動作の一例を説明する。
ステップＳ１１０１において、位置情報登録部１００２は、位置情報取得部１００１から入力された位置情報が、未登録の位置情報であるか否かを判断する。この判断の結果、位置情報取得部１００１から入力された位置情報が、未登録の位置情報である場合（位置情報取得部１００１から入力された位置情報が、未だテーブルに保持されていない場合）には、ステップＳ１１０２に進む。一方、位置情報取得部１００１から入力された位置情報が、未登録の位置情報でない場合には、図１１のフローチャートによる処理を終了する。
【００５０】
ステップＳ１１０２に進むと、位置情報登録部１００２は、位置情報取得部１００１から入力された位置情報に対するＩＤを生成する。
次に、ステップＳ１１０３において、位置情報登録部１００２は、ステップ１１０２で生成されたＩＤをインデックスとして、位置情報取得部１００１から入力された位置情報をテーブルに保持する。
以上のようにして、ＩＤ（ＩＤ情報）をインデックスとしてテーブルに位置情報を保持するＩＤ情報取得処理が行われる。図１２は、位置情報を記憶するテーブルの一例を示す図である。例えば、図１２に示すように、ＩＤをインデックスとして、位置情報の緯度、経度、高度の情報（図１２の位置情報の欄を参照）がテーブルに保持される。例えば、位置情報取得部１００１から入力された位置情報と、テーブルに記憶されている位置情報とに１秒の差分があれば、ステップＳ１１０１において、位置情報取得部１００１から入力された位置情報が、未登録の位置情報であると判断することができる。また、位置情報取得部１００１から入力された位置情報と、テーブルに記憶されている位置情報とに１分以上の差がなければ、ステップＳ１１０１において、位置情報取得部１００１から入力された位置情報が、未登録の位置情報であると判断しないこともできる。
【００５１】
図１０の説明に戻り、位置情報登録部１００２は、以上のようにして生成したＩＤを符号化部１０２に出力する。位置情報登録部１００２は、符号化部１０２にＩＤを出力するポートとは別のポートで、以上のようにして生成したＩＤを符号化制御部１０３に出力する。
次に、図１３のフローチャートを参照しながら、復号化部１０７と再生履歴蓄積部１０９の動作の一例を説明する。
ステップＳ１３０１において、復号化部１０７は、ストリームの復号化処理中にＳＥＩを復号する。第１の実施形態で説明したように、符号化部１０２の符号化形式がＨ．２６４の場合、ＳＥＩにＩＤが含まれる。
【００５２】
次に、ステップＳ１１０２において、復号化部１０７は、ストリームのＳＥＩから復号されたＩＤを取得して再生履歴蓄積部１０９に出力する。
次に、ステップＳ１１０３において、再生履歴蓄積部１０９は、今回ステップＳ１１０２で出力されたＩＤが、現在の再生操作で既に入力されたＩＤと同じであるか否かを判断する。この判断の結果、今回ステップＳ１１０２で出力されたＩＤが、現在の再生操作で既に入力されたＩＤと同じである場合には、ステップＳ１３０４を省略して後述するステップＳ１３０５に進む。一方、今回ステップＳ１１０２で出力されたＩＤが、現在の再生操作で既に入力されたＩＤと同じでない場合（現在の再生操作内で初めて登場したＩＤの場合）には、ステップＳ１３０４に進む。
【００５３】
ステップＳ１３０４に進むと、再生履歴蓄積部１０９は、ＩＤ毎に保持されているＩＤカウント値をカウントアップする。このステップＳ１３０４でカウントアップされるＩＤカウント値の値は「１」が最大である。つまり一回の再生で各ＩＤカウント値は最大で「１」だけカウントアップされる。
次に、ステップＳ１３０５において、再生履歴蓄積部１０９は、再生が終了したか否かを判断する。この判断の結果、再生の終了が確認された場合にはステップＳ１３０６に進み、再生履歴蓄積部１０９は、各ＩＤカウント値を保持して終了する。一方、再生の終了が確認されなかった場合にはステップＳ１３０１に戻る。
【００５４】
復号化部１０７及び再生履歴蓄積部１０９が以上のような動作をすることにより、再生された回数が多いＩＤ（撮像装置１０００の位置）に対するＩＤカウント値が増える。ＩＤカウント値が大きければ、当該ＩＤカウント値に対応する位置（場所）で撮影された映像の再生回数が多く、当該位置（場所）は、ユーザが興味を持つ場所であると判断する。
【００５５】
次に、ＩＤカウント値を用いた符号化制御の一例について説明する。
符号化部１０２は、第１の実施形態と同じもので実現できる。すなわち、符号化部１０２は、Ｈ．２６４方式等の符号化方式により、撮像部１０１から入力した画像データを符号化する。符号化部１０２では、１６×１６画素のマクロブロックに画像を分割し、動き補償予測、直交変換、量子化処理、及びエントロピー符号化を行って、画像の圧縮符号化を行う。
符号化制御部１０３は、生成するストリームの符号化レートが撮影時にユーザによって決められた記録レートになるように調整する。具体的に符号化制御部１０３は、符号化部１０２で生成されたストリームの発生符号量を監視し、発生符号量が記録レートになるように量子化パラメータを適応的に設定し、発生符号量を制御する。これにより、可変ビットレート（ＶＢＲ）方式に基づき、発生符号量が動的に制御される。
【００５６】
図１４のフローチャートを参照しながら、符号化制御部１０３の動作の一例を説明する。
ステップＳ１４０１において、符号化制御部１０３は、位置情報登録部１００２から、現在の位置情報と、当該位置情報に対応するＩＤを入力する。
次に、ステップＳ１４０２において、符号化制御部１０３は、位置情報登録部１００２から入力したＩＤが、再生履歴蓄積部１０９に保持されているか否かを判断する。前述したように再生履歴蓄積部１０９には、ＩＤをインデックスとしてＩＤカウント値がテーブルに保持される。符号化制御部１０３は、位置情報登録部１００２から入力したＩＤを再生履歴蓄積部１０９に出力する。再生履歴蓄積部１０９は、符号化制御部１０３から入力されたＩＤをインデックスとしてＩＤカウント値が保持されているか否かを判断する。位置情報登録部１００２から入力したＩＤが、再生履歴蓄積部１０９に保持されている場合には、ステップＳ１４０３に進み、保持されていない場合には、ステップＳ１４０５に進む。
【００５７】
ステップＳ１４０３に進むと、符号化制御部１０３は、位置情報登録部１００２から入力したＩＤに対応するＩＤカウント値を読み出す。
次に、ステップＳ１４０４において、符号化制御部１０３は、ステップＳ１４０３で読み出したＩＤカウント値に応じて量子化パラメータを設定する。符号化制御部１０３は、ＩＤカウント値が高ければ高いほど、符号量が多く割りあたるように量子化パラメータを設定する。具体的に符号化制御部１０３は、ステップＳ１４０３で読出したＩＤカウント値に応じて、撮影時にユーザが設定した記録レートよりもストリームの符号化レートが高くなるように、記録レートに対応する基準符号化レートよりも高い基準符号化レートを設定する。
【００５８】
前述したように、位置情報登録部１００２から入力したＩＤが、再生履歴蓄積部１０９に保持されていない場合には、ステップＳ１４０５に進む。ステップＳ１４０５に進むと、符号化制御部１０３は、撮影時にユーザが設定した記録レートに対応する基準符号化レートを設定する。これにより、ストリームの符号化レートが記録レートになるように量子化パラメータが制御される。
【００５９】
以上のように本実施形態では、撮像装置１００の撮影時の位置に対してＩＤをつける。画像の再生が行われると、その画像データに付与されているＩＤに対するＩＤカウント値を増加させる。ＩＤカウント値が大きいときほど、符号量を多くして符号化処理を行う。したがって、ユーザの嗜好を反映させた状態で撮像画像を符号化することができる。
【００６０】
（第４の実施形態）
次に、本発明の第４の実施形態について説明する。第３の実施形態では、撮像装置１０００の撮影時の位置に対してＩＤ及びＩＤカウント値を設定する場合を例に挙げて説明した。これに対し、本実施形態では、撮影した時間に関する情報に対してＩＤ及びＩＤカウント値を設定する。このように本実施形態と第３の実施形態とは、ＩＤ及びＩＤカウント値を設定する処理が主として異なる。したがって本実施形態の説明において、第１〜第３の実施形態と同一の部分については、図１〜図１４に付した符号と同一の符号を付す等して詳細な説明を省略する。
【００６１】
図１５は、撮像装置全体の構成の一例を示す図である。撮像装置１５００は、撮像部１０１、符号化部１０２、符号化制御部１０３、記録媒体１０６、復号化部１０７、表示部１０８、再生履歴蓄積部１０９、操作部１１０、制御部１１１、時間情報取得部１５０１、及び時間情報登録部１５０２を備えて構成される。第３の実施形態の位置情報取得部１００１及び位置情報登録部１００２が時間情報取得部１５０１及び時間情報登録部１５０２に置き替わった他は、撮像装置１５００は、第３の実施形態の撮像装置１０００と同じ構成になる。
【００６２】
時間情報取得部１５０１は、時計機能とカレンダー機能とを有しており、撮影時の日時、曜日、及びその月の第何週目の何曜日かを計算し、取得することができる。以下の説明では、これらの情報を必要に応じて時間情報と称する。
時間情報登録部１５０２は、時間情報取得部１５０１からの時間情報を用いて、時間情報毎の時間情報個別番号を生成し、当該時間情報固有番号をインデックスとして、時間情報をテーブル化して保持する。本実施形態では、「時間情報固有番号」を必要に応じて「ＩＤ」と称する。
【００６３】
時間情報登録部１５０２は、符号化部１０２にＩＤを出力する。符号化部１０２は、当該ＩＤをストリームに多重化する。また、時間情報登録部１５０２は、当該ＩＤと時間情報とを符号化制御部１０３に出力する。
符号化制御部１０３は、時間情報登録部１５０２から入力されるＩＤに対応するＩＤカウント値を再生履歴蓄積部１０９から読み出し、読み出したＩＤカウント値に応じて量子化パラメータを制御する。具体的には、ＩＤカウント値が高い場合、符号化制御部１０３は、撮影時にユーザが設定した記録レートよりも、ストリームの符号化レートが高くなるように、記録レートに対応する基準符号化レートよりも高い基準符号化レートを設定する。
本実施形態のようにしても、ユーザの嗜好を反映させた状態で撮像画像を符号化することができる。
時間情報は、月だけにすることも、曜日だけにすることも、時刻又は時刻の範囲だけにすることも、これらの少なくとも２つを組み合わせたものにすることもできる。
【００６４】
尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００６５】
（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。
【符号の説明】
【００６６】
１０１  撮像部、１０２  符号化部、１０３  符号化制御部、１０４  顔検出部、１０５  顔認識登録部、１０９  再生履歴蓄積部
【図１】
2014216701.tif 000003
【図２】
2014216701.tif 000004
【図３】
2014216701.tif 000005
【図４】
2014216701.tif 000006
【図５】
2014216701.tif 000007
【図６】
2014216701.tif 000008
【図７】
2014216701.tif 000009
【図８】
2014216701.tif 000010
【図９】
2014216701.tif 000011
【図１０】
2014216701.tif 000012
【図１１】
2014216701.tif 000013
【図１２】
2014216701.tif 000014
【図１３】
2014216701.tif 000015
【図１４】
2014216701.tif 000016
【図１５】
2014216701.tif 000017