(57)【要約】【課題】  バッファリング処理に必要となるメモリコストを必要最小限に押さえつつ、意図した特定領域を高画質で符号化可能とする為の技術を提供すること。【解決手段】  動画像において規定フレーム数ごとのフレームを特定領域検出フレームとし、該特定領域検出フレームから、規定の対象物が存在している領域を特定領域として検出する。非特定領域検出フレームにおける特定領域を、該非特定領域検出フレームよりも過去の特定領域検出フレームを用いた外挿により予測する。特定領域と該特定領域以外の領域とで異なる画質で符号化されるように、動画像の各フレームを符号化する。符号化では、規定フレーム数の整数倍のフレーム数おきの特定領域検出フレームの直後のフレームはイントラ予測符号化若しくは前方向予測符号化で符号化し、該直後のフレーム以外のフレームは双方向予測符号化で符号化する。【選択図】図１
2014022787.tif 000002
【特許請求の範囲】
【請求項１】
動画像において規定フレーム数ごとのフレームを特定領域検出フレームとし、該特定領域検出フレームから、規定の対象物が存在している領域を特定領域として検出する検出手段と、
前記動画像において前記特定領域検出フレーム以外のフレームを非特定領域検出フレームとし、該非特定領域検出フレームにおける前記特定領域を、該非特定領域検出フレームよりも過去の特定領域検出フレームを用いた外挿により予測する予測手段と、
前記特定領域と該特定領域以外の領域とで異なる画質で符号化されるように、前記動画像の各フレームを符号化する符号化手段とを備え、
前記符号化手段は、
前記規定フレーム数の整数倍のフレーム数おきの特定領域検出フレームの直後のフレームはイントラ予測符号化若しくは前方向予測符号化で符号化し、該直後のフレーム以外のフレームは双方向予測符号化で符号化する
ことを特徴とする画像符号化装置。
【請求項２】
前記符号化手段は、
着目特定領域検出フレームの直後のフレームをイントラ予測符号化で符号化した場合、該直後のフレームから、前記規定フレーム数の整数倍のフレーム数おきのフレームは前方向予測符号化で符号化する
ことを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
画像符号化装置が行う画像符号化方法であって、
前記画像符号化装置の検出手段が、動画像において規定フレーム数ごとのフレームを特定領域検出フレームとし、該特定領域検出フレームから、規定の対象物が存在している領域を特定領域として検出する検出工程と、
前記画像符号化装置の予測手段が、前記動画像において前記特定領域検出フレーム以外のフレームを非特定領域検出フレームとし、該非特定領域検出フレームにおける前記特定領域を、該非特定領域検出フレームよりも過去の特定領域検出フレームを用いた外挿により予測する予測工程と、
前記画像符号化装置の符号化手段が、前記特定領域と該特定領域以外の領域とで異なる画質で符号化されるように、前記動画像の各フレームを符号化する符号化工程とを備え、
前記符号化工程では、
前記規定フレーム数の整数倍のフレーム数おきの特定領域検出フレームの直後のフレームはイントラ予測符号化若しくは前方向予測符号化で符号化し、該直後のフレーム以外のフレームは双方向予測符号化で符号化する
ことを特徴とする画像符号化方法。
【請求項４】
コンピュータを、請求項１又は２に記載の画像符号化装置の各手段として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特定の対象物を含む領域を検出し、その検出結果に基づいて画像符号化を行うための技術に関するものである。
【背景技術】
【０００２】
動画像の伝送や蓄積再生を行うために画像信号の符号化技術が用いられる。動画像の符号化技術としてはISO／IEC International Standard 13818 (MPEG-2)などの国際標準符号化方式が知られている。また、他の国際標準符号化方式としてISO／IEC International Standard 14496-2 (MPEG-4 Visual)、ITU-T Rec. H.264 Advanced Video Coding | ISO／IEC International Standard 14496-10(MPEG-4 AVC／H.264、以下H.264と呼ぶ)などが知られている。これらの技術はデジタルカメラ、ビデオカメラやレコーダ等の分野に用いられている。
【０００３】
一方、近年では画像の中から人間の顔など、重要と思われる特定の対象物を含む領域（以下、「特定領域」と記す）を特定し、特定領域とそれ以外の領域で量子化値などの符号化パラメータを変化させる処理が行われている。この処理により、特定領域については画質を向上させ、それ以外については符号量を抑えることで、記録媒体や通信路に許容されるビットレートを保ちつつ、重要と思われる対象物を含む領域の画質を向上させることができる。
【０００４】
上記の処理を実現するには、入力される動画像データを構成する全てのフレームに対して特定領域を検出する処理を行う必要がある。しかしながら、高い精度で特定領域を検出する処理（以下、「特定領域検出処理」と記す）を符号化と同一のフレームレートで実現するのは困難である。
【０００５】
このような問題に対し、符号化時に検出した動きベクトルを用いて、特定領域を予測（以下、「特定領域予測処理」と記す）する従来技術が開示されている（特許文献１）。該従来技術は、特定領域検出処理が行われないフレーム内のブロックの動きベクトルが、特定領域検出処理が行われたフレーム内の特定領域を指していれば、該ブロックを特定領域として予測するものである。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−３３６２５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
符号化処理に要する時間と特定領域検出処理に要する時間とが異なる（特定領域検出の処理時間の方が長い）場合、特定領域検出処理が行われないフレームに対しては過去の特定領域検出処理の結果をもとに特定領域の位置を予測しなければならない。予測を行うためには特定領域検出処理の結果を利用可能になるまで符号化処理をバッファリングして遅らせる必要があり、バッファリングのためのメモリ容量が増大するという課題があった。
【０００８】
本発明はこのような問題に鑑みてなされたものであり、バッファリング処理に必要となるメモリコストを必要最小限に押さえつつ、意図した特定領域を高画質で符号化可能とする為の技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の目的を達成するために、例えば、本発明の画像符号化装置は、動画像において規定フレーム数ごとのフレームを特定領域検出フレームとし、該特定領域検出フレームから、規定の対象物が存在している領域を特定領域として検出する検出手段と、前記動画像において前記特定領域検出フレーム以外のフレームを非特定領域検出フレームとし、該非特定領域検出フレームにおける前記特定領域を、該非特定領域検出フレームよりも過去の特定領域検出フレームを用いた外挿により予測する予測手段と、前記特定領域と該特定領域以外の領域とで異なる画質で符号化されるように、前記動画像の各フレームを符号化する符号化手段とを備え、前記符号化手段は、前記規定フレーム数の整数倍のフレーム数おきの特定領域検出フレームの直後のフレームはイントラ予測符号化若しくは前方向予測符号化で符号化し、該直後のフレーム以外のフレームは双方向予測符号化で符号化することを特徴とする。
【発明の効果】
【００１０】
本発明の構成によれば、バッファリング処理に必要となるメモリコストを必要最小限に押さえつつ、意図した特定領域を高画質で符号化可能とすることができる。
【図面の簡単な説明】
【００１１】
【図１】画像符号化装置の機能構成例を示すブロック図。
【図２】符号化モード制御部１０６が行う処理のフローチャート。
【図３】フレームの入出力のタイミングチャート。
【図４】フレームバッファ１０１の状態を示す図。
【図５】フレームバッファ１０１の状態を示す図。
【図６】外挿を説明する図。
【図７】タイミングチャート。
【図８】タイミングチャート。
【図９】ステップＳ１０２における処理の詳細を示すフローチャート。
【図１０】タイミングチャート。
【図１１】フレームバッファ１０１の状態を示す図。
【図１２】フレームバッファ１０１の状態を示す図。
【発明を実施するための形態】
【００１２】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００１３】
［第１の実施形態］
先ず、本実施形態に係る画像符号化装置の機能構成例について、図１のブロック図を用いて説明する。本実施形態に係る画像符号化装置は、動画像を構成する各フレームを符号化して出力するものである。
【００１４】
動画像を構成する各フレームの画像は順次、フレームバッファ１０１及び特定領域検出部１０３に入力される。フレームバッファ１０１は、入力されたフレームの画像を一時的に格納（バッファリング）する。
【００１５】
符号化部１０２は、フレームバッファ１０１からフレーム単位で画像を読み出し、読み出した画像を、符号化モード制御部１０６によって設定された符号化モードで、符号化パラメータ制御部１０５が設定した符号化パラメータに従って符号化する。然るに符号化部１０２からは、フレーム単位の符号化結果が出力されることになる。
【００１６】
なお、本実施形態では、符号化部１０２は、MPEG-2を用いて符号化を行うものとして説明するが、符号化形式はＭＰＥＧ−２に限るものではなく、例えば、MPEG-4方式やH.264方式を用いてもよい。
【００１７】
特定領域検出部１０３は、入力された画像から特定領域を検出し、該画像中における該特定領域の位置情報（例えば、特定領域の左上隅及び右下隅の座標）を出力する。特定領域とは、例えば、人体や顔、車など、予め定められたオブジェクトが写っている領域であり、このような領域は周知の画像認識技術を用いれば検出することができる。もちろん、特定領域の定義はこれに限るものではなく、画像中の決まった位置にある領域を特定領域としても良いし、その定義はシステムの設計に応じて適宜選択すればよい。
【００１８】
また、特定領域検出の方法に関しては限定しない。例えば、パターンマッチング処理等で規定のパターンが映っている領域を検出する方法、肌色検出等、画像中の色情報を用いて所望の対象物を検出する方法、カメラパラメータから画像中に映りこむ対象物を推定し検出する方法、等が考えられる。
【００１９】
このように、特定領域検出部１０３は、入力された画像に対して特定領域検出処理を行うのであるが、該特定領域検出処理には相当の時間を要するため、特定領域検出部１０３は、入力された全てのフレームについてこの特定領域検出処理を行えるわけではない。即ち、特定領域検出部１０３は、第ｆフレームの特定領域検出処理を行っている最中に、第（ｆ＋１）フレームが入力されても、第（ｆ＋１）フレームには対処できない。然るに特定領域検出部１０３は、結果として、ｍ（ｍは２以上の整数）フレームおきにしか特定領域検出処理を行うことができない。以下の説明では、特定領域検出部１０３が特定領域検出処理を行ったフレームを「特定領域検出フレーム」と呼称する。また、特定領域検出部１０３が特定領域検出処理を行っている最中に特定領域検出部１０３に入力されたフレーム（即ち、特定領域検出部１０３が特定領域検出処理を行えなかったフレーム）を「非特定領域検出フレーム」と呼称する。
【００２０】
特定領域予測部１０４は、非特定領域検出フレームの画像における特定領域の位置を予測する処理を行う。具体的には、特定領域予測部１０４が特定領域の位置を予測する対象とするフレーム（対象フレーム）よりも過去の特定領域検出フレームにおける特定領域の位置を用いた外挿を行うことで、該対象フレームの画像における特定領域の位置を予測する。外挿の具体的な方法については、特定の方法に限るものではなく、如何なる方法を用いても良いが、その一例を、図６を用いて説明する。
【００２１】
図６では、非特定領域検出フレーム＃３，＃４の画像における特定領域の位置を、これら非特定領域検出フレームよりも過去の特定領域検出フレーム＃１，＃２の画像における特定領域の位置を用いた外挿によって求めている。
【００２２】
特定領域検出部１０３は、特定領域検出フレームから特定領域を検出すると、該特定領域に固有のＩＤを割り当てる。図６では、特定領域検出フレーム＃１からは、人が写っている領域（特定領域）、丸が写っている領域（特定領域）、が検出されており、それぞれの特定領域にはＩＤ「１」、「２」が割り当てられている。これは、特定領域検出フレーム＃２についても同様である。
【００２３】
ここで、図６に示す如く、特定領域検出フレーム＃１においてＩＤ＝１の領域（人の領域）の位置が（Ｘ１，Ｙ１）、特定領域検出フレーム＃２においてＩＤ＝１の領域（人の領域）の位置が（Ｘ２，Ｙ２）であるとする。このとき、非特定領域検出フレーム＃３におけるＩＤ＝１の領域の位置は、特定領域検出フレーム＃１，＃２におけるＩＤ＝１の領域の位置（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、この２枚の特定領域検出フレームとの時間間隔の比、を用いた外挿で算出可能である。具体的には、図６に示す如く、下記の式で求めることが可能である。
【００２４】
Ｘ３＝Ｘ１＋（Ｘ２−Ｘ１）×２
Ｙ３＝Ｙ１＋（Ｙ２−Ｙ１）×２
また、非特定領域検出フレーム＃４におけるＩＤ＝１の領域の位置は、特定領域検出フレーム＃１，＃２におけるＩＤ＝１の領域の位置（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）と、この２枚の特定領域検出フレームとの時間間隔の比と、を用いた外挿で算出可能である。具体的には、図６に示す如く、下記の式で求めることが可能である。
【００２５】
Ｘ４＝Ｘ１＋（Ｘ２−Ｘ１）×３
Ｙ４＝Ｙ１＋（Ｙ２−Ｙ１）×３
このような処理を各ＩＤについて行えば、非特定領域検出フレームにおける各特定領域の位置を予測することができる。
【００２６】
符号化パラメータ制御部１０５は、符号化部１０２に対して符号化パラメータを設定するのであるが、特定領域と非特定領域とで異なる符号化パラメータを設定する。例えば、特定領域に対する量子化ステップを、非特定領域に対する量子化ステップよりも小さく設定する。これにより符号化部１０２は、各フレームの画像を符号化する際、特定領域を非特定領域よりも高画質に符号化することができる。しかるに、特定領域を非特定領域よりも高画質に符号化することができるのであれば、符号化部１０２に対して設定する符号化パラメータは量子化ステップに限るものではない。このような符号化を行うことで、人体や顔など、知覚上重要と考えられる領域の画質を向上させつつ、ビットレートを所望の値に抑えることができる。なお、解像度やサブサンプリングをフレーム内で制御できる符号化方式であれば、これらを制御してもよい。
【００２７】
また、本実施形態では特定領域を非特定領域よりも高画質に符号化する例を示しているが、これに限定されるものではない。例えば、監視カメラシステムにおける壁の模様や、あらかじめ登録した人物（居住人や警備員）等、「画像中に映りこむが高画質にする必要のない対象物」を特定領域として検出し、非特定領域よりも低画質にすることも考えられる。すなわち、非特定領域（システムに登録されていない、映りこむはずのない不審な対象物）を相対的に高画質にすることも考えられる。
【００２８】
符号化モード制御部１０６は、符号化部１０２の符号化モードをフレーム単位で切り替える。本実施形態では、動画像の符号化方式をＭＰＥＧ−２とするため、符号化モード制御部１０６は、イントラ予測符号化モード、前方向予測符号化モード、双方向予測符号化モード、の何れかをフレーム単位で切り替えて符号化部１０２に設定する。
【００２９】
ここで、ＭＰＥＧ−２における前方向予測符号化モードとは、イントラ予測、前方向予測のうちいずれか（通常、最も予測差分の少ないもの）を選択して符号化されるモードのことである。双方向予測符号化モードとは、イントラ予測、前方向予測、後方向予測、双方向予測のうちいずれか（通常、最も予測差分の少ないもの）を選択して符号化されるモードのことである。
【００３０】
次に、符号化モード制御部１０６が行う処理について、同処理のフローチャートを示す図２を用いて説明する。
【００３１】
ステップＳ１０１では、符号化済みのフレーム数を示す変数pic_countを０に初期化する。また、ステップＳ１０１では、符号化部１０２がこれから符号化しようとするフレーム（符号化対象フレーム）をイントラ予測符号化モードで符号化するか否かを示すフラグintra_flagを０に初期化する。
【００３２】
ステップＳ１０２では、特定領域を検出する処理を行う前の符号化モードを選択する。ステップＳ１０２における処理の詳細については、ステップＳ１０２における処理の詳細を示す図９を用いて後述する。
【００３３】
ステップＳ１０３では、符号化対象フレームが、特定領域検出フレームの次のフレーム（特定領域検出フレームの次にフレームバッファ１０１に入力されるフレーム）であるか否かを示すフラグdetection_next_flagを０に初期化する。
【００３４】
ステップＳ１０４では、符号化対象フレームが特定領域検出フレームであるか否かを判断する。この判断の結果、符号化対象フレームが特定領域検出フレームである（符号化対象フレームのフレーム番号と特定領域検出フレームのフレーム番号とが一致する）場合には、処理はステップＳ１１２に進む。一方、符号化対象フレームが非特定領域検出フレームである場合には、処理はステップＳ１０５に進む。
【００３５】
ステップＳ１０５では、フラグdetection_next_flag＝１であるか否か、即ち、符号化対象フレームが、特定領域検出フレームの次のフレームであるか否かを判断する。この判断の結果、符号化対象フレームが、特定領域検出フレームの次のフレームである場合には、処理はステップＳ１０６に進み、符号化対象フレームが、特定領域検出フレームの次のフレームではない場合は、処理はステップＳ１１３に進む。
【００３６】
ステップＳ１０６では、フラグintra_flag＝１であるか否かを判断する。この判断の結果、intra_flag＝１であれば、処理はステップＳ１０７に進み、intra_flag＝０であれば、処理はステップＳ１０９に進む。
【００３７】
ステップＳ１０７では、符号化対象フレームに対する符号化モードとしてイントラ予測符号化モードを設定する。そしてステップＳ１０８では、フラグintra_flagに０を設定し、その後、処理はステップＳ１１１に進む。
【００３８】
ステップＳ１０９では、イントラ予測符号化モード若しくは前方向予測符号化モードで符号化したフレーム（キーフレーム）以降で特定領域検出フレームが登場した数を示す変数detection_frame_countが規定値ｎであるか否かを判断する。ここで、この規定値ｎは、「特定領域検出部１０３における検出処理期間の何倍でキーフレームが符号化されるのか」を表す値である。この規定値ｎは、図２のフローチャートに従った処理を開始する前に本装置に対して設定されるものである。以下では、説明を簡単にするために、ｎ＝１とするが、以下に説明する処理は、ｎ＝１に限った処理ではない。
【００３９】
この判断の結果、変数detection_frame_countの値が規定値ｎである場合には、処理はステップＳ１１０に進み、変数detection_frame_countの値が規定値ｎではない場合には、処理はステップＳ１１３に進む。
【００４０】
ステップＳ１１０では、符号化対象フレームに対する符号化モードとして前方向予測符号化モードを設定する。ステップＳ１１１では、フラグdetection_next_flagの値、変数detection_frame_countの値を共に０に初期化する。そしてその後、処理はステップＳ１１４に進む。
【００４１】
ステップＳ１１２では、フラグdetection_next_flagに１を設定し、変数detection_frame_countの値を１つインクリメントする。
【００４２】
ステップＳ１１３では、符号化対象フレームに対する符号化モードとして双方向予測符号化モードを設定する。
【００４３】
ステップＳ１１４では、動画像を構成する全てのフレームについて符号化部１０２による符号化が完了したか否かを判断する。この判断の結果、全てのフレームについて符号化が完了している場合には、図２のフローチャートに従った処理は完了する。一方、まだ符号化が完了していない場合は、処理はステップＳ１１５に進む。
【００４４】
ステップＳ１１５では、変数pic_countの値を１つインクリメントする。ステップＳ１１６では、変数pic_countの値が、変数intra_periodの値（イントラ予測符号化モードで符号化するフレーム間隔）以上であるか否かを判断する。この変数intra_periodの値は、図２のフローチャートに従った処理を開始する前に、本装置に対して設定されるものである。ここでは一例として、intra_period＝１５とするが、図２のフローチャートに従った処理は、この値に依存するものではない。
【００４５】
変数pic_countの値が、変数intra_periodの値以上である場合には、処理はステップＳ１１７に進み、変数pic_countの値が、変数intra_periodの値未満である場合には、処理はステップＳ１０４に戻る。
【００４６】
ステップＳ１１７では、変数pic_countの値及び変数detection_frame_countの値を０に初期化すると共に、フラグintra_flagに１を設定する。
【００４７】
次に、上記のステップＳ１０２における処理の詳細について、同処理のフローチャートを示す図９を用いて説明する。図９に示した処理は、特定領域検出部１０３が２フレーム分の特定領域検出フレームについて特定領域検出処理を完了するまで（特定領域予測部１０４が外挿に用いる特定領域検出フレームが得られるまで）、符号化モード制御部１０６が行う処理である。また、図９のフローチャートに従った処理の間は、特定領域検出結果を用いた外挿による予測が出来ないので、特定領域検出結果を利用せずに符号化モードを選択するものとする。
【００４８】
先ず、ステップＳ２０１では、双方向予測符号化モードを設定する。次に、ステップＳ２０２では、変数detection_frame_countの値に１を設定する。次に、ステップＳ２０３では、符号化部１０２による符号化済みのフレーム数が１以上であるか否かを判断する。この判断の結果、符号化済みのフレーム数が１以上であれば、処理はステップＳ２０５に進み、符号化済みのフレーム数が１未満である場合には、処理はステップＳ２０４に進む。
【００４９】
ステップＳ２０４では、イントラ予測符号化モードを設定し、処理はステップＳ２１０に進む。一方、ステップＳ２０５では、符号化対象フレームが、特定領域検出フレームの次のフレームであるか否かを判断する。この判断の結果、符号化対象フレームが、特定領域検出フレームの次のフレームである場合には、処理はステップＳ２０６に進み、符号化対象フレームが、特定領域検出フレームの次のフレームではない場合は、処理はステップＳ２０９に進む。
【００５０】
ステップＳ２０６では、変数detection_frame_countの値がｎであるか否かを判断する。この判断の結果、detection_frame_count＝ｎであれば、処理はステップＳ２０７に進み、detection_frame_count≠ｎであれば、処理はステップＳ２０９に進む。
【００５１】
ステップＳ２０７では、前方向予測符号化モードを設定し、ステップＳ２０８では、変数detection_frame_countの値を０に初期化し、処理はステップＳ２１０に進む。ステップＳ２０９では、双方向予測符号化モードを設定し、処理はステップＳ２１０に進む。
【００５２】
ステップＳ２１０では、変数pic_countの値を１つインクリメントする。ステップＳ２１１では、特定領域検出部１０３が２枚以上の特定領域検出フレームについて特定領域検出処理を終えたか否かを判断する。この判断の結果、終えたと判断した場合は、処理はステップＳ１０３に進み、終えていないと判断した場合は、処理はステップＳ２０３に戻る。
【００５３】
次に、特定領域検出部１０３におけるフレームの入出力、特定領域予測部１０４からのフレームの出力、フレームバッファ１０１へのフレームの入力、符号化部１０２からのフレームの出力、のタイミングチャートについて、図３を用いて説明する。
【００５４】
フレームバッファ１０１には、各フレームの画像（図３ではフレーム１〜１６）がそれぞれ、時刻ｔ１〜１６で入力される。ここで、Ｂは双方向予測符号化で符号化されるフレームを表し、Ｉはイントラ予測符号化で符号化されるフレームを表し、Ｐは前方向予測符号化で符号化されるフレームを表している。然るに図３の場合、フレーム１，３，４，６，７，９，１０，１２，１３，１５，１６は双方向予測符号化で符号化されるフレームである。また、フレーム２はイントラ予測符号化で符号化されるフレームである。また、フレーム５，８，１１，１４は前方向予測符号化で符号化されるフレームである。
【００５５】
特定領域検出部１０３には、各フレームの画像（図３ではフレーム１〜１６）の全てが入力されるわけではなく、フレーム１，４，７，１０，１３，１６の画像がそれぞれ、時刻ｔ１，ｔ４，ｔ７，ｔ１０，ｔ１３，ｔ１６で入力される。
【００５６】
そして特定領域検出部１０３は、フレーム１の画像に対する特定領域の検出結果（特定領域の位置）は時刻ｔ３で出力し、フレーム４の画像に対する特定領域の検出結果（特定領域の位置）は時刻ｔ６で出力する。
【００５７】
特定領域予測部１０４は、これらの検出結果を用いて外挿により、フレーム８，６のそれぞれの画像における特定領域の予測を行い、それぞれの予測結果（特定領域の予測位置）を時刻ｔ７，ｔ８で出力する。
【００５８】
フレーム６及びフレーム８に対する特定領域の予測結果はそれぞれ、符号化部１０２がフレーム６及びフレーム８を符号化する際に用いる符号化パラメータの制御に用いられる。そして符号化部１０２は、フレーム６及びフレーム８の符号化結果を、それぞれ、時刻ｔ１０，ｔ９において出力する。以降も同様に、特定領域予測結果は、キーフレームの符号化パラメータの制御に用いられる。
【００５９】
次に、図３に示した時刻ｔ１〜１６におけるフレームバッファ１０１の状態を、図４を用いて説明する。図４に示す如く、フレームバッファ１０１は、フレームの入出力の際に、双方向符号化用バッファに特定領域検出処理と符号化処理との遅延調整を行うためのフレームバッファの役割を持たせているものである。
【００６０】
まず、図３に示す如く、時刻ｔ３において特定領域検出部１０３からはフレーム１の画像に対する特定領域の検出結果が出力されるので、この時点で符号化部１０２は、フレーム１の画像に対する符号化が可能となる。なお、フレームの途中であった場合は、時刻t3において、それより過去のフレームを参照してフレーム２の画像に対する特定領域の予測を行う。フレーム２の画像に対する特定領域の予測が完了している場合は、時刻t5において、それより過去のフレームを参照してフレーム５の画像に対する特定領域の予測が可能になる。つまり、特定領域検出処理の非処理対象である特定領域検出フレームの次のフレームについてはキーフレームとして符号化を行い、過去の特定領域検出結果から外挿した領域に対して符号化パラメータの制御を行う。
【００６１】
時刻t6においては、フレーム１における特定領域検出結果とそれよりも過去のフレームにおける特定領域検出結果とから、フレーム３の画像に対する特定領域の予測を行うことが可能になる。ただし、時刻t3、t6、t7において外挿するために必要な特定領域検出結果がまだ得られていない場合は、特定領域検出結果を利用せず、そのまま符号化処理を行うものとする。
【００６２】
同様にして、フレーム１及び４における特定領域検出結果から外挿によってフレーム６及びフレーム８における特定領域の予測を行う。そして、特定領域検出フレームの次のフレームであるフレーム８は前方向予測符号化モードで、フレーム６については双方向予測符号化モードで符号化を行う。本実施形態では、このような処理を、全フレームの符号化処理が終了するまで繰り返す。
【００６３】
一方、本実施形態に係る画像符号化装置の構成を用いて従来技術における符号化を行う場合について説明する。この場合における、特定領域検出部１０３におけるフレームの入出力、特定領域予測部１０４からのフレームの出力、フレームバッファ１０１へのフレームの入力、符号化部１０２からのフレームの出力、のタイミングチャートについて図８を用いて説明する。
【００６４】
フレームバッファ１０１には、各フレームの画像（図８ではフレーム１〜１６）がそれぞれ、時刻ｔ１〜１６で入力される。Ｂ、Ｉ、Ｐが示すものについては、図３と同じである。
【００６５】
特定領域検出部１０３には、各フレームの画像（図８ではフレーム１〜１６）の全てが入力されるわけではなく、フレーム１，４，７，１０，１３，１６の画像がそれぞれ、時刻ｔ１，ｔ４，ｔ７，ｔ１０，ｔ１３，ｔ１６で入力される。ただし、図８における従来技術でのキーフレームとして符号化されたフレーム(1, 3, 5, 7, 9, …)の間隔は、特定領域検出部１０３からの出力間隔よりも短いものとする。
【００６６】
特定領域検出部１０３は、フレーム１の画像に対する特定領域の検出結果（特定領域の位置）は時刻ｔ３で出力し、フレーム４の画像に対する特定領域の検出結果（特定領域の位置）は時刻ｔ６で出力する。
【００６７】
特定領域予測部１０４は、これらの検出結果を用いて外挿により、フレーム５，６のそれぞれの画像における特定領域の予測を行い、それぞれの予測結果（特定領域の予測位置）を時刻ｔ７，ｔ８で出力する。
【００６８】
フレーム５及びフレーム６に対する特定領域の予測結果はそれぞれ、符号化部１０２がフレーム５及びフレーム６を符号化する際に用いる符号化パラメータの制御に用いられる。そして符号化部１０２は、フレーム５及びフレーム６の符号化結果を、それぞれ、時刻ｔ９，ｔ１２において出力する。以降も同様に、特定領域予測結果は、前方向予測符号化モード及び双方向予測符号化モードで符号化されるフレームの符号化パラメータの制御に用いられる。
【００６９】
次に、図8で示した従来技術における画像符号化装置のフレームバッファの状態を、図5を参照して説明する。図5は、特定領域検出の遅延差を吸収するためのフレームバッファを双方向符号化用バッファとは別々に使用している時の様子を表している。本実施形態と同様に従来技術の場合でも特定領域検出結果が3フレームに1回しか得られない状況であるとする。
【００７０】
まず、時刻t1において特定領域検出部１０３にフレーム1が入力されるが、特定領域検出結果としては時刻t3で出力される。時刻t3でフレーム1の特定領域検出結果を得て時刻t5で符号化を行った後、時刻t6においてフレーム4の特定領域検出結果が得られる。よって、時刻t6でフレーム4の特定領域検出結果が得られるので、フレーム１及び４における特定領域検出結果から外挿によってフレーム５及びフレーム６の特定領域予測が可能になり、時刻t9及びt12で符号化が行われる。時刻t9において、フレーム7の特定領域検出結果が得られるので、同様の方法で処理を行うことで外挿によりフレーム８及びフレーム９における外挿による特定領域予測が可能になり、時刻t13及びt14で符号化の出力を得ることができる。以降、同様にして上記の処理を全フレームの符号化が完了するまで繰り返し行われる。
【００７１】
本実施形態における画像符号化装置のフレームバッファの状態を表す図４と、従来技術における画像符号化装置のフレームバッファの状態を表す図５とを比較すると、図４では、フレームバッファが２段少ないことがわかる。
【００７２】
このように、本実施形態によれば、双方向符号化用バッファに特定領域検出の遅延差を吸収する役割を持たせることで、全体としてフレームバッファに必要なメモリ容量を削減させることができる。
【００７３】
なお、特定領域検出部103がフレームバッファ101に一時的に格納されているフレーム数を監視し、閾値に到達した場合には特定領域を検出する処理を打ち切り、処理打ち切りまでの検出結果を符号化モード制御部106へ出力してもよい。この場合、フレームバッファの使用量を閾値で指定されたサイズに抑えることができるので、コストの削減が可能となる。
【００７４】
［第２の実施形態］
第１の実施形態では、図１に示した構成を有する画像符号化装置に、ｎ＝１を設定した場合における該画像符号化装置の動作について説明した。本実施形態では、図１に示した構成を有する画像符号化装置に、ｎ＝２を設定した場合における該画像符号化装置の動作について説明する。
【００７５】
特定領域検出部１０３におけるフレームの入出力、特定領域予測部１０４からのフレームの出力、フレームバッファ１０１へのフレームの入力、符号化部１０２からのフレームの出力、のタイミングチャートについて、図７を用いて説明する。
【００７６】
フレームバッファ１０１には、各フレームの画像（図７ではフレーム１〜１６）がそれぞれ、時刻ｔ１〜１６で入力される。Ｂ、Ｉ、Ｐが示すものについては、図３と同じである。特定領域検出部１０３におけるフレームの入出力は、図３と同じである。
【００７７】
特定領域予測部１０４は、時刻ｔ３で得られたフレーム１の画像に対する特定領域の検出結果、時刻ｔ６で得られたフレーム４の画像に対する特定領域の検出結果、を用いて外挿により、フレーム６，８のそれぞれの画像における特定領域の予測を行う。そして、それぞれの予測結果（特定領域の予測位置）を時刻ｔ８，ｔ７で出力する。フレーム６及びフレーム８に対する特定領域の予測結果はそれぞれ、符号化部１０２がフレーム６及びフレーム８を符号化する際に用いる符号化パラメータの制御に用いられる。
【００７８】
ここで、第１の実施形態とは異なり、本実施形態では、フレーム５のように、特定領域検出フレームの次のフレームであっても、双方向予測符号化で符号化している。また、図７からも明らかなように、本実施形態においては、キーフレーム２，８，１４の間隔および特定領域検出部１０３から出力されるフレーム１，４，７，１０，１３の間隔は２倍になる。すなわちキーフレームの符号化間隔と特定領域検出処理の処理間隔は整数倍となる。
【００７９】
次に、図７に示した時刻ｔ１〜１６におけるフレームバッファ１０１の状態を、図１１を用いて説明する。まず、時刻t3において1枚目のフレーム(フレーム１)の特定領域検出結果が出力されるが、特定領域検出結果はまだ利用できないので、特定領域検出結果を利用せずにフレーム2の符号化を行う。時刻t5においてフレーム1の符号化を行う。
【００８０】
次に、時刻t6においてフレーム4の特定領域検出結果を得るので、フレーム8及び6での特定領域の外挿が可能になる（本実施形態ではキーフレームの間隔と特定領域検出部１０３からの出力間隔を2倍に設定している）。また、特定領域検出フレームの次のフレームであるフレーム8は前方向予測符号化モードで、フレーム6については双方向予測符号化モードで符号化を行う。上記の処理を全フレームの符号化が完了するまで繰り返し行われる。
【００８１】
これに対し、従来技術の画像符号化装置（キーフレームの間隔と特定領域検出部１０３からの出力間隔が整数倍でない）について、図１０を参照して説明する。即ち、本実施形態に係る画像符号化装置の構成を用いて従来技術における符号化を行う場合について説明する。この場合における、特定領域検出部１０３におけるフレームの入出力、特定領域予測部１０４からのフレームの出力、フレームバッファ１０１へのフレームの入力、符号化部１０２からのフレームの出力、のタイミングチャートについて図１０を用いて説明する。
【００８２】
特定領域検出部１０３の入出力フレームは図3と同一であるため説明を省略するが、本実施形態と同様、特定領域検出結果が3フレームに1回しか得られない状況であるとする。フレームバッファ１０１への入力および符号化部１０２からの出力において、Ｂ、Ｉ、Ｐが示すものについては、図３と同じである。ただし、従来技術でのキーフレームとして符号化されたフレーム(2, 7, 12, …)の間隔は、本実施形態におけるキーフレームの間隔よりも短いものとする。
【００８３】
従来技術において、時刻t10でフレーム７の符号化を行い、フレーム３〜６までを双方向予測符号化モードで符号化する（時刻ｔ１１〜ｔ１４）。時刻ｔ１５において、フレーム12をキーフレームとして前方向予測符号化モードで符号化する（キーフレームの間隔と特定領域検出部１０３からの出力間隔は整数倍にはなっていない）。上記の処理を全フレームの符号化が完了するまで繰り返し行われる。
【００８４】
図１１に示した本実施形態のフレームバッファの状態と、図１２に示した従来技術のフレームバッファの状態を比較すると、本実施形態では従来技術と比較してフレームバッファ段数が１段少ないことがわかる。
【００８５】
以上の説明から明らかなように、本実施形態では、キーフレームの間隔を特定領域検出部１０３からの出力間隔の整数倍にすることで、フレームバッファに必要なメモリ容量を削減することが可能になる。
【００８６】
このように、第１，２の実施形態ではそれぞれ、ｎ＝１の場合における画像符号化装置の動作、ｎ＝２の場合における画像符号化装置の動作、について説明した。しかし、ｎは１以上の整数であれば如何なる整数値であっても良く、その場合、一般には、画像符号化装置は以下のように動作する。
【００８７】
即ち、動画像において規定フレーム数ごとのフレームを特定領域検出フレームとし、該特定領域検出フレームから、規定の対象物が存在している領域を特定領域として検出する。そして、この動画像において特定領域検出フレーム以外のフレームを非特定領域検出フレームとし、該非特定領域検出フレームにおける特定領域を、該非特定領域検出フレームよりも過去の特定領域検出フレームを用いた外挿により予測する。そして、特定領域と該特定領域以外の領域とで異なる画質で符号化されるように、動画像の各フレームを符号化するのであるが、この符号化では次の如く、フレーム単位で符号化方法を切り替える。即ち、上記の規定フレーム数の整数倍のフレーム数おきの特定領域検出フレームの直後のフレームはイントラ予測符号化若しくは前方向予測符号化で符号化し、該直後のフレーム以外のフレームは双方向予測符号化で符号化する。
【００８８】
より具体的には、着目特定領域検出フレームの直後のフレームをイントラ予測符号化で符号化した場合、該直後のフレームから、上記規定フレーム数の整数倍のフレーム数おきのフレームは前方向予測符号化で符号化する。
【００８９】
然るに、このような動作を行う画像符号化装置であれば、その構成や処理の流れについては、第１，２の実施形態で説明したものに限るわけではなく、様々な変形例が考え得る。
【００９０】
［第３の実施形態］
図１に示した各部はハードウェアで構成しても良いが、フレームバッファ１０１をＲＡＭ等のメモリで構成し、それ以外の一部若しくは全部をソフトウェア（コンピュータプログラム）で構成しても良い。後者の場合、このソフトウェアを、例えば、一般のＰＣ（パーソナルコンピュータ）等のコンピュータにインストールすることで、このコンピュータのＣＰＵがこのインストールされたソフトウェアを実行することが可能になる。これにより、このコンピュータは、図１に示した各部の動作を実現することができる。
【００９１】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2014022787.tif 000003
【図２】
2014022787.tif 000004
【図３】
2014022787.tif 000005
【図４】
2014022787.tif 000006
【図５】
2014022787.tif 000007
【図６】
2014022787.tif 000008
【図７】
2014022787.tif 000009
【図８】
2014022787.tif 000010
【図９】
2014022787.tif 000011
【図１０】
2014022787.tif 000012
【図１１】
2014022787.tif 000013
【図１２】
2014022787.tif 000014