(57)【要約】【課題】高フレームレート（以下、ＦＲと称す。）を用いた撮像は、通常ＦＲ撮像と比較して、撮像装置内における単位時間当たりの処理量が大きくなってしまう。そのため、高ＦＲ撮像を行なう場合、例えば撮像する際の画像サイズや、連続して撮像可能な撮像時間等、撮像する際の撮像方式を制限する必要があった。【解決手段】撮像された動画像信号の符号化を行なう符号化部を備える動画像符号化装置であって、前記符号化部は、前記動画像信号が撮像されるフレームレートに応じて、当該動画像信号の符号化条件を変更することを特徴としている。【選択図】図５
2010226567.tif 000002
【特許請求の範囲】
【請求項１】
複数のピクチャを有する動画像信号の符号化を行なう動画像符号化装置であって、
既に符号化済みのピクチャを基に生成される参照画像を蓄積する蓄積部と、
符号化対象のピクチャ内における符号化済みのマクロブロックを復号化して得られる画素を用いて予測画像を生成する画面内予測及び、前記参照画像から予測画像を生成する画面間予測のうち一方の予測方式を用いて、符号化対象であるマクロブロックに対応する予測画像を生成する予測画像生成部と、
前記予測画像を基に、前記動画像信号の符号化を行ない、符号化データを生成する符号化部と、
前記予測画像生成部の制御を行なう制御部と、を備え、
前記制御部は、前記動画像信号が撮像されるフレームレートに応じて前記予測画像生成部において適用する予測方式を設定することを特徴とする前記動画像符号化装置。
【請求項２】
前記制御部は、前記動画像信号が第１のフレームレートよりも高速の第２のフレームレートで撮像されている場合、当該第２のフレームレートで撮像された動画像信号に適用する前記予測画像を、前記画面内予測を用いて生成するよう前記予測画像生成部を制御する請求項１に記載の動画像符号化装置。
【請求項３】
前記動画像符号化装置はさらに、前記動画像信号を撮像する撮像部と、
前記撮像部において撮像する際のフレームレートを設定するフレームレート設定部と、を備え、
前記動画像符号化装置がピクチャを符号化している途中で、前記制御部が、前記フレームレート設定部が前記撮像部におけるフレームレートを第１のフレームレートよりも高速の第２のフレームレートに設定した場合、前記符号化途中のピクチャが有するマクロブロックのうち、未符号化のマクロブロックに対応する前記予測画像を、画面内予測を用いて生成するよう前記予測画像生成部を制御することを特徴とする請求項１に記載の動画像符号化装置。
【請求項４】
前記動画像符号化装置がピクチャを符号化している途中で、前記制御部が、前記フレームレート設定部が前記撮像部におけるフレームレートを第１のフレームレートよりも高速の第２のフレームレートに設定した後、前記符号化途中のピクチャが有するマクロブロックのうち、未符号化のマクロブロックに対応する前記予測画像を、画面間予測を用いて生成する場合、当該画面間予測における前記参照画像の参照構造を制限するよう前記予測画像生成部を制御することを特徴とする請求項１に記載の動画像符号化装置。
【請求項５】
前記制御部は、前記既に符号化済みのピクチャのうち、符号化対象であるマクロブロックを有するピクチャと時間的に最も近いピクチャを前記参照画像として用いるよう前記予測画像生成部を制御することを特徴とする請求項４に記載の動画像符号化装置。
【請求項６】
前記制御部は、符号化対象であるピクチャが有するマクロブロックのうち、既に符号化済みのマクロブロックが最も多く参照したピクチャを前記参照画像として用いるよう前記予測画像生成部を制御することを特徴とする請求項４に記載の動画像符号化装置。
【請求項７】
前記動画像符号化装置は、前記符号化情報を前記フレームレート毎に記録する複数の記録部を備え、
前記複数の記録部は、前記フレームレート毎に異なる記録媒体であることを特徴とする請求項１から請求項６に記載の動画像符号化装置。
【請求項８】
前記動画像符号化装置はさらに、前記蓄積部の制御を行なう制御部を備え、
前記蓄積部は、前記撮像された動画像信号と、前記参照画像を蓄積し、
前記符号化部は、前記蓄積部に蓄積される動画像信号の符号化を行い、
前記制御部は、前記蓄積部の記録領域のうち、前記符号化部において画面間予測を用いて前記予測画像を生成する際に参照しない参照画像が蓄積される領域を開放すると共に、開放した領域に前記撮像された動画像信号を蓄積するように記録領域の制御を行なうことを特徴とする請求項１から請求項７に記載の動画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を圧縮して符号化する装置及び方法に関し、特に、複数のフレームレートで取得した動画像を符号化する際の方式に関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラやデジタルビデオカメラでは、通常のフレームレート（以下、通常ＦＲと称す。）での撮像以外に、高フレームレート（以下、高ＦＲと称す。）撮像が可能となってきている。通常ＦＲは、テレビ放送などで使用されるフレームレートであって、３０ｆｐｓから６０ｆｐｓに設定される。一方、高ＦＲとは、上記の通常ＦＲよりも高いフレームレートを指し、具体的には、１秒間に１２０ｆｐｓ以上のフレームレートを指す。
【０００３】
従来、通常ＦＲと、高ＦＲを用いて撮像を行なう技術に、通常ＦＲと、高ＦＲとを撮像中に切り換えて撮像する方法がある（例えば、特許文献１参照）。この特許文献１においては、特に通常ＦＲで撮像している際に、高ＦＲに切り換える技術が開示されている。
【特許文献１】特開２００６−３５２５８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記のような高ＦＲを用いた撮像は、通常ＦＲ撮像と比較して、撮像装置内における単位時間当たりの処理量が大きくなってしまう。そのため、高ＦＲ撮像を行なう場合、例えば撮像する際の画像サイズや、連続して撮像可能な撮像時間等、撮像する際の撮像方式を制限する必要があった。
【０００５】
そこで本発明は、上記のような課題を解決して高ＦＲで撮像した際も、撮像方式を制限することなく被写体を撮像し、撮像して得られた動画像信号を符号化可能とする動画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために、本発明は、複数のピクチャを有する動画像信号の符号化を行なう動画像符号化装置であって、既に符号化済みのピクチャを基に生成される参照画像を蓄積する蓄積部と、符号化対象のピクチャ内における符号化済みのマクロブロックを復号化して得られる画素を用いて予測画像を生成する画面内予測及び、前記参照画像から予測画像を生成する画面間予測のうち一方の予測方式を用いて、符号化対象であるマクロブロックに対応する予測画像を生成する予測画像生成部と、前記予測画像を基に、前記動画像信号の符号化を行ない、符号化データを生成する符号化部と、前記予測画像生成部の制御を行なう制御部と、を備え、前記制御部は、前記動画像信号が撮像されるフレームレートに応じて前記予測画像生成部において適用する予測方式を設定することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、撮像される動画像信号のフレームレートを変更する際に符号化条件を適切に設定することで、撮像方式を変更することなく撮像した動画像信号の符号化が可能となる効果を奏する。
【発明を実施するための最良の形態】
【０００８】
本発明の実施の形態１においては、複数のピクチャを有する動画像信号の符号化を行なう動画像符号化装置であって、既に符号化済みのピクチャを基に生成される参照画像を蓄積する蓄積部と、符号化対象のピクチャ内における符号化済みのマクロブロックを復号化して得られる画素を用いて予測画像を生成する画面内予測及び、前記参照画像から予測画像を生成する画面間予測のうち一方の予測方式を用いて、符号化対象であるマクロブロックに対応する予測画像を生成する予測画像生成部と、前記予測画像を基に、前記動画像信号の符号化を行ない、符号化データを生成する符号化部と、前記予測画像生成部の制御を行なう制御部と、を備え、前記制御部は、前記動画像信号が撮像されるフレームレートに応じて前記予測画像生成部において適用する予測方式を設定することを特徴とする構成となっている。
【０００９】
上記の構成により、撮像される動画像信号のフレームレートを変更する際に符号化条件を適切に設定することで、撮像方式を変更することなく撮像した動画像信号の符号化が可能となる効果を奏する。
【００１０】
また、上記の動画像符号化装置が備える制御部は、前記動画像信号が第１のフレームレートよりも高速の第２のフレームレートで撮像されている場合、当該第２のフレームレートで撮像された動画像信号に適用する前記予測画像を、前記画面内予測を用いて生成するよう前記予測画像生成部を制御する構成にしてもよい。
【００１１】
このように構成することで、高速の第２のフレームレートで撮像している際に適用する予測画像を生成する予測方式を画面内予測に限定することが出来るため、動画像符号化装置全体の処理量を軽減することが可能となる。
【００１２】
また動画像符号化装置はさらに、前記動画像信号を撮像する撮像部と、前記撮像部において撮像する際のフレームレートを設定するフレームレート設定部と、を備え、前記動画像符号化装置がピクチャを符号化している途中で、前記制御部が、前記フレームレート設定部が前記撮像部におけるフレームレートを第１のフレームレートよりも高速の第２のフレームレートに設定した場合、前記符号化途中のピクチャが有するマクロブロックのうち、未符号化のマクロブロックに対応する前記予測画像を、画面内予測を用いて生成するよう前記予測画像生成部を制御する特徴を備える構成にしても構わない。
【００１３】
このように構成することで、符号化の途中であってもフレームレートを切り替えた時点で、予測画像を生成するための予測方式を画面内予測に限定することが出来るため、より最適に動画像符号化装置全体の処理量を低減することが可能となる。
【００１４】
また、動画像符号化装置がピクチャを符号化している途中で、前記制御部が、前記フレームレート設定部が前記撮像部におけるフレームレートを第１のフレームレートよりも高速の第２のフレームレートに設定した後、前記符号化途中のピクチャが有するマクロブロックのうち、未符号化のマクロブロックに対応する前記予測画像を、画面間予測を用いて生成する場合、当該画面間予測における前記参照画像の参照構造を制限するよう前記予測画像生成部を制御する特徴を備える構成にしても構わない。
【００１５】
さらに前記制御部は、前記既に符号化済みのピクチャのうち、符号化対象であるマクロブロックを有するピクチャと時間的に最も近いピクチャを前記参照画像として用いるよう前記予測画像生成部を制御することを特徴とする構成にしても構わない。
【００１６】
また、前記制御部は、符号化対象であるピクチャが有するマクロブロックのうち、既に符号化済みのマクロブロックが最も多く参照したピクチャを前記参照画像として用いるよう前記予測画像生成部を制御する特徴を備える構成にしても構わない。
【００１７】
上記のように構成することで、参照画像を選択する処理量を低減することができ、その結果、動画像符号化装置全体の処理量も低減することが可能となる。
【００１８】
また、動画像符号化装置は、前記符号化情報を前記フレームレート毎に記録する複数の記録部を備え、前記複数の記録部は、前記フレームレート毎に異なる記録媒体であることを特徴とする構成にしても構わない。
【００１９】
また、上記の動画像符号化装置はさらに、前記蓄積部の制御を行なう制御部を備え、前記蓄積部は、前記撮像された動画像信号と、前記参照画像を蓄積し、前記符号化部は、前記蓄積部に蓄積される動画像信号の符号化を行い、前記制御部は、前記蓄積部の記録領域のうち、前記符号化部において画面間予測を用いて前記予測画像を生成する際に参照しない参照画像が蓄積される領域を開放すると共に、開放した領域に前記撮像された動画像信号を蓄積するように記録領域の制御を行なうことを特徴とする構成にしても構わない。
【００２０】
上記のように構成することで、回路規模を増やすことなく、撮像して得られる動画像信号を蓄積するバッファを増やすことが可能となり、撮像方式を制限することなく被写体を撮像し、撮像して得られた動画像信号を符号化可能な効果を奏する。
【００２１】
（実施の形態１）
以下、本発明の実施の形態１について、図面を参照しながら説明する。
【００２２】
図１は、本発明の実施の形態１におけるビデオカメラ１０を示す図である。ビデオカメラ１０は、動画像符号化装置１００と、撮像部２００で構成される。
【００２３】
動画像符号化装置１００は、撮像部２００において生成された動画像信号の符号化及び、符号化して得られる符号化データの記録を行なう。さらに、動画像符号化装置１００は、撮像部２００によって被写体を撮像する際のフレームレートの設定変更を行なう。
【００２４】
撮像部２００は、動画像符号化装置１００で設定されたフレームレートを基に、目的とする被写体の撮像を行い、動画像信号を生成する。生成した動画像信号は、動画像符号化装置１００に出力される。
【００２５】
さらに動画像符号化装置１００は、フレームレート設定部１０１、符号化部１０２、記録部１０３、蓄積部１０４、制御部１０５から構成される。本実施の形態１においては、撮像部２００で撮像された動画像信号は、一旦蓄積部１０４に蓄積され、符号化部１０２は蓄積部１０４に蓄積される動画像信号をピクチャ毎に読み出し、当該ピクチャが有するマクロブロック単位に符号化する構成とする。
【００２６】
フレームレート設定部１０１は、撮像部２００において被写体を撮像する際のフレームレートの設定を行なう。フレームレートの設定変更は、ユーザーからの変更指示があった場合に行なう等、どのようなタイミングでも構わない。また、フレームレート設定部１０１は、制御部１０５に対して撮像部２００で設定されるフレームレートの情報（以下、ＦＲ情報と称す。）を通知する。例えば、フレームレートを変更した場合、制御部１０５に対して変更後のＦＲ情報を通知する。さらに、撮像部２００において撮像を開始する際には、撮像部２００において予め設定されるＦＲ情報を制御部１０５に通知する。
【００２７】
符号化部１０２は、撮像部２００において生成された動画像信号の符号化を行なう。そして、符号化して得られる符号化データを記録部１０３に出力する。なお、動画像信号の符号化を行なう際は、例えば画面内予測又は、画面間予測を用いるＨ．２６４／ＡＶＣ等の符号化規格で符号化するものとする。
【００２８】
記録部１０３は、符号化部１０２から出力される符号化データを格納する。記録部１０３は、フラッシュメモリ、ＤＲＡＭ、強誘電体メモリ等の記録可能な部で構成される。
【００２９】
蓄積部１０４は、撮像部２００から出力される動画像信号を蓄積する。蓄積部１０４は、フラッシュメモリ、ＤＲＡＭ、強誘電体メモリ等の記録可能な媒体で構成される。
【００３０】
制御部１０５は、動画像符号化装置１００全体の制御を行なう。具体的には、フレームレート設定部１０１からＦＲ情報が通知された場合、符号化部１０２に対して符号化処理過程において適用する予測方式を設定する制御信号を出力する。例えば、予め設定されるＦＲ情報が２４０ｆｐｓ未満のフレームレートの場合、画面間予測及び、画面内予測を用いる制御信号を出力し、２４０ｆｐｓ以上のフレームレートの場合、画面内予測を用いる制御信号を出力する。なお、２４０ｆｐｓ以上のフレームレートの場合、参照画像の使用が制限された画面間予測及び、画面内予測を用いる制御信号を符号化部１０２に出力しても構わない。
【００３１】
次に、符号化部１０２について図面を参照しながら説明する。
【００３２】
図２は、符号部１０２の構成を示す模式図である。符号化部１０２は、減算器１００１、直交変換部１００２、量子化部１００３、可変調符号化部１００４、逆量子化部１００５、逆直交変換部１００６、加算器１００７、デブロッキングフィルタ部１００８、フレームメモリ１００９、動きベクトル検出部１０１０、動き補償部１０１１、画面内予測方向検出部１０１２、画面内予測部１０１３、選択部１０１４で構成される。
【００３３】
減算器１００１は、撮像部２００から出力された動画像信号と、選択部１０１４から出力される画面内予測部１０１３又は、動き補償部１０１１にて生成された予測画像との差分をマクロブロック（以下、ＭＢと称す。）毎に算出し、残差信号を生成する。そして、残差信号を直交変換部１００２に出力する。
【００３４】
直交変換部１００２は、減算器１００１から出力される残差信号を所定の処理単位であるＭＢ毎に直交変換することでＤＣＴ係数を生成し、量子化部１００３に出力する。
【００３５】
量子化部１００３は、直交変換部１００２から出力されるＤＣＴ係数を、ＭＢ毎に設定される量子化パラメータを基に量子化を行い、量子化係数を生成する。そして、生成した量子化係数を可変調符号化部１００４及び、逆量子化部１００５に出力する。
【００３６】
可変調符号化部１００４は、量子化部１００３から出力される量子化係数を可変調符号化することにより、符号化データを生成し、記録部１０３に出力する。
【００３７】
逆量子化部１００５は、量子化部１００３から出力される量子化係数を逆量子化することでＤＣＴ係数に復元し、逆直交変換部１００６に出力する。
【００３８】
逆直交変換部１００６は、逆量子化部１００５から出力されるＤＣＴ係数を逆直交変換することで残差信号に復元し、加算器１００７に出力する。
【００３９】
加算器１００７は、逆直交変換部１００６から出力された残差信号と、選択部１０１４から出力される画面内予測部１０１３又は、動き補償部１０１１にて生成された予測画像とをＭＢ毎に加算して再構成画像を生成し、デブロッキングフィルタ部１００８、画面内予測方向検出部１０１２及び、画面内予測部１０１３に出力する。
【００４０】
デブロッキングフィルタ部１００８は、加算器１００７から出力される再構成画像におけるＭＢの境界に対し、デブロッキングフィルタ処理を行ない、フレームメモリ１００９に出力する。
【００４１】
フレームメモリ１００９は、デブロッキングフィルタ部１００８から出力される参照画像を蓄積する。フレームメモリ１００９は、フラッシュメモリ、ＤＲＡＭ、強誘電体メモリ等の記録可能な媒体で構成される。なお、フレームメモリ１００９は、蓄積部１０４と同一の記録装置で構成しても構わない。この場合、フレームメモリ１００９と、蓄積部１０４は同一の記録デバイスで構成されると共に、記録する情報に応じて該記録デバイスの記録領域が論理的に分割されている構成となる。
【００４２】
動きベクトル検出部１０１０は、現在符号化対象であるＭＢに対して、フレームメモリ１００９に蓄積されている参照画像を用いて動き検出を行い、動きベクトルを検出する。制御部１０５から動きベクトル検出部１０１０に対して制御信号が出力されている場合は、制御信号に従って、参照画像を制限したり、動き検出を停止したりする。
【００４３】
動き補償部１０１１は、動きベクトル検出部１０１０によって検出した動きベクトルを基に、フレームメモリ１００９に蓄積される参照画像に対して動き補償を行なった予測画像を生成する。なお、予測画像とは、現在符号化対象となっているＭＢに対して、既に符号化済みのマクロブロックから生成した再構成画像もしくは参照画像から予測した画像である。
【００４４】
画面内予測方向検出部１０１２は、加算器１００７から出力される再構成画像と、撮像部２００から出力される動画像信号と、を基に、画面内予測を行なう際に適用する予測モードを検出する。そして、検出した予測モードを画面内予測部１０１３に出力する。
【００４５】
画面内予測部１０１３は、加算器１００７から出力される再構成画像に対して画面内予測を行い、予測画像を生成する。そして、選択部１０１４に予測画像を出力する。
【００４６】
選択部１０１４は、画面内予測部１０１３から出力される予測画像と、動き補償部１０１１から出力される予測画像とを比較して、符号化部１０２が出力する最終的な符号化データの量が小さくなると判断される予測画像を選択して、減算器１００１に出力する。また、制御部１０５から選択部１０１４に対して制御信号が出力されている場合は、その制御信号を基に、画面内予測部１０１３及び、動き補償部１０１１から出力される予測画像のうち、一方の予測画像を選択し、減算器１００１に出力する。具体的には、制御信号に規定された予測方式で生成された予測画像を選択する。例えば、制御信号において画面内予測が規定されている場合、画面内予測で予測した予測画像を選択する構成となる。なお、選択部１０１４が画面内予測を選択する場合、動きベクトル検出部１０１０及び、動き補償部１０１１が動作しないように制御しても構わない。この場合、動きベクトルの算出及び、画面間予測を用いた予測画像の生成を行なう必要がないため、さらに動画像符号化装置１００全体の処理量を低減することが可能となる効果を奏する。
【００４７】
ここで、符号化部１０２に対し、制御部１０５から制御信号が入力された場合の動作について図面を用いて説明する。
【００４８】
図３は、動画像信号に含まれるピクチャの符号化中に、制御信号が入力された場合における、予測方式の変更動作を説明するための模式図である。
【００４９】
図３に示すようにｔ番目のＭＢ３０１を符号化している際に、制御部１０５から画面内予測を用いる制御信号が入力される状況を考える。この場合、次に符号化を行なうｔ＋１番目のＭＢ３０２以降のＭＢは、画面内予測のみを用いて符号化を行なう動作となる。なお、制御信号が入力された際に符号化対象となっているピクチャ３０３以降のピクチャは、画面内予測を用いて符号化される構成となる。
【００５０】
次に、符号化部１０２に対し、制御部１０５から制御信号が入力された場合の他の動作について説明する。
【００５１】
図３に示すように、ｔ＋１番目のＭＢ３０２を符号化する際、参照画像の使用が制限された画面間予測及び、画面内予測を用いる制御信号が入力される場合、画面内予測若しくは、画面間予測を用いた符号化方式で符号化を行なう構成となる。この場合、画面間予測を用いる際は、参照画像の使用を制限するように規定されているため、現在符号化対象となっているピクチャ３０３と、時間的に最も近いピクチャを参照画像として設定し符号化を行なう構成となる。
【００５２】
また画面間予測を用いる際、参照画像の使用を制限する他の方式として、ｔ＋１番目のＭＢ３０２以降のＭＢを、０番目のＭＢ３０４からｔ番目のＭＢ３０１を符号化する際に最も多く参照された参照画像を用いて符号化する構成にしても構わない。上記のように構成することで、ｔ＋１番目以降のＭＢを符号化する際は、参照する参照画像は１枚に限定されることになる。そのため、動画像符号化装置１００全体の処理量を低減することが可能となる効果を奏する。また、参照する参照画像が１枚に限定されるため、選択した参照画像以外の参照画像は不必要となり、フレームメモリ１００９から開放することが可能となる。
【００５３】
次に、本発明の実施の形態１におけるビデオカメラ１０の撮像動作に関して図面を参照しながら説明する。
【００５４】
図４は、本発明の実施の形態１におけるビデオカメラ１０の具体的動作を示すフローチャートである。図４においては、ビデオカメラ１０を用いて被写体を撮影しているときの、マクロブロックの符号化の動作を説明する。
【００５５】
まず、符号化部１０２は、制御部１０５から制御信号が入力されるかを検出する（ステップＳ１０１）。検出しない場合は、通常符号化として、ステップＳ１０２に進む。通常符号化では、画面間予測を用いて予測画像を生成し（ステップＳ１０２）、次に画面内予測を用いて予測画像を生成する（ステップＳ１０３）。そして、画面間予測の予測画像と画面内予測の予測画像の選択を行い（ステップＳ１０４）、最後に予測画像を用いて符号化行い（ステップＳ１０５）、動作を終了する。
【００５６】
ステップＳ１０１で、制御信号を検出した場合は、ステップＳ１０７に進む。ステップＳ１０７では、制御信号で規定される予測方式を検出し、画面間予測及び画面内予測である場合は、ステップＳ１０８に進み、画面内予測のみである場合は、ステップＳ１０９に進む。ステップＳ１０７で、画面間予測及び画面内予測であると判定された場合は、ステップＳ１０８で、参照画像が制限された画面間予測を用いて予測画像を生成する。そして、ステップＳ１０３に進み、以降は、ステップＳ１０１で通常符号化が選択されたときと同じ手順で符号化を行う。
【００５７】
Ｓ１０７で画面内予測のみと判定された場合は、ステップＳ１０９で、画面内予測を用いて予測画像を生成する。ここで、このステップＳ１０９は、ステップＳ１０３と同等の動作である。そして、ステップＳ１０５に進み、予測画像を用いて符号化を行い、マクロブロックの符号化の処理を完了する。
【００５８】
上記のように構成される本発明の実施の形態１における動画像符号化装置１００は、低フレームレートから高フレームレートに切り換えた場合、撮像部２００から入力される動画像信号を符号化する際に適用する予測方式を限定することが可能となる。そのため、動きベクトルの検出び、動き補償に係る処理量を低減することができ、画像サイズや、撮像時間等の制限を加えることなく撮像した動画像信号の符号化を行なうことが可能となる効果を奏する。
【００５９】
（変形例）
本発明の実施の形態１における動画像符号化装置１００の変形例に関して図面を参照しながら説明する。上記に説明した動画像符号化装置１００において、符号化部１０２で符号化した符号化データは、記録部１０３に格納する構成であった。しかし、例えば２４０ｆｐｓのようなフレームレートで撮像した場合、符号化部１０２から記録部１０３に出力する符号化データの量も大きくなる。そのため、動画像符号化装置１００のように、６０ｆｐｓのような通常使用されるフレームレートと、２４０ｆｐｓのような高速なフレームレートとが同じ記録部１０３を使用する構成であれば、高速なフレームレートで撮像した場合、問題が生じる。
【００６０】
そこで、図５に示すように、第１の記録部１０６と、第２の記録部１０７とを備える構成にする。ここで、第１の記録部１０６は、例えばＤＶＤ等、通常使用されるフレームレートで撮像した動画像信号の符号化データを、リアルタイムに記録可能な記録媒体で構成される。また、第２の記録部１０７は、例えばＦＬＡＳＨなど、高速なフレームレートで撮像した動画像信号の符号化データを、リアルタイムに記録可能な記録媒体で構成される。
【００６１】
（実施の形態２）
次に、本発明の実施の形態２における動画像符号化装置６００の動作に関して図面を参照しながら説明する。本発明の実施の形態１においては、６０ｆｐｓ等の通常使用されるフレームレートから２４０ｆｐｓ等の高速なフレームレートに変更した場合、撮像部２００から入力される動画像信号を符号化する際に適用する予測方式を適切に選択し、当該動画像信号の符号化を行なう構成であった。しかし、高速なフレームレートに変更され、画面内予測若しくは、画面間予測を行なう際に参照する参照画像を制限すると、符号化部１０２におけるフレームメモリ１００９に蓄積される少なくとも一部の参照画像は使用されないことになる。
【００６２】
そこで、本発明の実施の形態２においては、フレームレート設定部１０１から出力される制御信号によって符号化部１０２における予測方式が制限された場合、フレームメモリ１００９が有する蓄積領域のうち、制限された予測方式で使用しない参照画像が蓄積される蓄積領域を開放し、開放した蓄積領域を一時的に撮像した動画像信号を蓄積する蓄積領域として使用することで、さらなる動画像符号化装置６００の効率を向上させることを目的とする。
【００６３】
なお、本実施の形態２においては、蓄積部１０４が有する蓄積領域の一部にフレームメモリ１００９が存在する構成とする。
【００６４】
図６は、本発明の実施の形態２におけるビデオカメラ２０を示す図である。なお、ビデオカメラ１０が有する構成要素と同一のものについては同じ番号を付し、説明を省略する。ビデオカメラ２０は、撮像部２００、動画像符号化装置６００から構成される。さらに、動画像符号化装置６００は、動画像符号化装置１００が有する制御部１０５に代え、制御部６０１を有する構成となっている。
【００６５】
制御部６０１は、制御部１０５の動作に加え、フレームレート設定部１０１から出力されるＦＲ情報を検出した場合、当該ＦＲ情報に応じて蓄積部１０４に蓄積されるデータの開放及び、蓄積部１０４が有する蓄積領域の論理的な割り当ての設定変更を行う。
【００６６】
図７は、制御部６０１における蓄積部１０４のデータ開放及び、蓄積領域の論理的な割り当ての設定変更を説明するための図である。
【００６７】
まず図７（ａ）は、動画像符号化装置６００が通常のフレームレートで撮像している場合の蓄積部１０４が有する蓄積領域の構成を示す。通常のフレームレートで撮像している場合、蓄積領域は、撮像部２００で撮像した動画像信号を蓄積する動画像信号蓄積領域７０１、符号化部１０２において画面間予測を行なう際に使用する参照画像を蓄積する参照画像蓄積領域７０２、符号化データ及び、自装置のアプリケーション等を蓄積する他の蓄積領域７０３とで構成される。なお、参照画像蓄積領域７０２は、符号化部１０２におけるフレームメモリ１００９である。
【００６８】
次に、高速のフレームレートを示すＦＲ情報を検出した場合、制御部６０１は蓄積部１０４が有する蓄積領域の設定変更を行なう。具体的には、図７（ｂ）に示すように、参照画像蓄積領域７０２に蓄積される参照画像は開放され、撮像部２００で撮像した動画像信号を拡張的に蓄積する拡張画像信号蓄積領域７０４として設定される。なお、開放する参照画像蓄積領域７０２は、制御部６０１が出力する制御信号に規定される予測方式で使用しない参照画像が蓄積される領域である。そのため、制御信号に規定される予測方式が画面間予測の場合、当該画面間予測で使用する参照画像を参照画像蓄積領域に残す必要がある。よって、高速のフレームレートに変更した後、参照画像蓄積領域の一部が拡張画像信号蓄積領域７０４と設定され、一部は参照画像蓄積領域として残るように蓄積部１０４は、制御部６０１によって設定される。なお、フレームメモリ１００９は、蓄積部１０４と別々に構成しても構わない。
【００６９】
次に、制御部６０１による蓄積部１０４の動作タイミングについて図面を用いて説明する。
【００７０】
図８は、フレームレート設定部１０１において、６０ｆｐｓ等の通常のフレームレートから２４０ｆｐｓ等の高速のフレームレートに変更されたときの蓄積部１０４の動作を説明する図である。また、符号化部１０２において、通常のフレームレートにおける画面間予測を行なう際に参照する参照画像の枚数は３枚と設定されているものとする。
【００７１】
撮像部２００において通常のフレームレートが設定されている場合、撮像部２００が撮像した動画像信号は一旦蓄積部１０４に蓄積される。符号化部１０２は、蓄積部１０４に蓄積された動画像信号を読み出して１／６０秒で１枚の画像の符号化を行う。符号化部１０２で画像を符号化中に、次の動画像信号が、撮像部２００から送られてくるので、蓄積部１０４に蓄積される動画像信号の枚数は、２枚である。
【００７２】
また、蓄積部１０４に蓄積される参照画像の枚数は、符号化に用いられる参照画像３枚と、現在符号化中の画像から生成される参照画像１枚とを合わせて、４枚である。
【００７３】
フレームレート設定部１０１において、フレームレートが６０ｆｐｓから２４０ｆｐｓに変更されると、撮像手段は１／２４０秒ごとに画像を撮像して出力する。符号化部１０２は、６０ｆｐｓで撮像された動画像信号の符号化が完了した後、２４０ｆｐｓで撮像した動画像信号を画面内符号化のみを使用して符号化する。画面内符号化のみを使用することで、１枚にかかる符号化の時間は短縮され、１／２４０秒で、１枚の符号化を完了する。
【００７４】
フレームレート設定部１０１において、フレームレートが２４０ｆｐｓに変更されると、参照画像蓄積領域が開放され、蓄積部１０４に蓄積される参照画像の枚数が０枚もしくは１枚になる。開放された領域は、動画像信号を保存する拡張画像信号蓄積領域７０４として割り当てられ、撮像部２００が１／２４０秒ごとに出力する動画像信号を蓄積する。蓄積部１０４に蓄積される動画像信号の枚数は、撮像部２００が１／２４０秒ごとに動画像を出力するので、最大５枚となる。これらのデータは、蓄積部１０４における動画像信号蓄積領域７０１と、拡張画像信号蓄積領域７０４に蓄積される。
【００７５】
上記のように構成される本発明の実施の形態２における動画像符号化装置６００は、通常のフレームレートから高速のフレームレートに切り換えた際に、符号化部１０２において使用する予測方式が変更された場合、制御部６０１によって蓄積部１０４に蓄積される参照画像のうち、符号化部１０２において使用しない参照画像を開放することができる。そのため、回路規模を増やすことなく、撮像部２００から出力される動画像信号を蓄積するバッファを増やすことが可能となり、撮像方式を制限することなく被写体を撮像し、撮像して得られた動画像信号を符号化可能な効果を奏する。
【産業上の利用可能性】
【００７６】
本発明は、フレームレートの異なる動画像を撮像する際に、高いフレームレートの画像を撮像する場合でも、回路を追加したり、処理量を大幅に増加させたりすることなく、符号化装置を実現することができる。
【００７７】
また、通常のフレームレートの動画像撮像から、高ＦＲの動画像撮像に移行する際、動画像撮像を停止することなく、シームレスに移行することを可能とする。
【００７８】
本発明は、特に、Ｈ．２６４／ＡＶＣで符号化されたデータを扱う場合に有効に作用する。
【図面の簡単な説明】
【００７９】
【図１】本発明の実施の形態１におけるビデオカメラを示す図
【図２】符号化部１０２の構成を示す模式図
【図３】動画像信号に含まれるピクチャの符号化中に、制御信号が入力された場合における、予測方式の変更動作を説明するための模式図
【図４】本発明の実施の形態１におけるマクロブロックを符号化する際の具体的動作を示すフローチャート
【図５】本発明の実施の形態１におけるビデオカメラの変形例を示す図
【図６】本発明の実施の形態２におけるビデオカメラ２０の構成を示す模式図
【図７】制御部６０１における蓄積部１０４のデータ開放及び、蓄積領域の論理的な割り当ての設定変更を説明するための図
【図８】フレームレート設定部１０１において、６０ｆｐｓ等の通常のフレームレートから２４０ｆｐｓ等の高速のフレームレートに変更されたときの蓄積部１０４の動作を説明する図
【符号の説明】
【００８０】
１０、２０  ビデオカメラ
１００、５００、６００  動画像符号化装置
１０１  フレームレート設定部
１０２  符号化部
１０３  記録部
１０４  蓄積部
１０５、６０１  制御部
１０６  第１の記録部
１０７  第２の記録部
２００  撮像部
３０１  ｔ番目のＭＢ
３０２  ｔ＋１番目のＭＢ
３０３  符号化対象であるピクチャ
７０１  動画像信号蓄積領域
７０２  参照画像蓄積領域
７０３  他の蓄積領域
７０４  拡張画像信号蓄積領域
１００１  減算器
１００２  直交変換部
１００３  量子化部
１００４  可変調符号化部
１００５  逆量子化部
１００６  逆直交変換部
１００７  加算器
１００８  デブロッキングフィルタ部
１００９  フレームメモリ
１０１０  動きベクトル検出部
１０１１  動き補償部
１０１２  画面内予測方向検出部
１０１３  画面内予測部
１０１４  選択部
【図１】
2010226567.tif 000003
【図２】
2010226567.tif 000004
【図４】
2010226567.tif 000005
【図５】
2010226567.tif 000006
【図６】
2010226567.tif 000007
【図３】
2010226567.tif 000008
【図７】
2010226567.tif 000009
【図８】
2010226567.tif 000010