(57)【要約】【課題】符号化した動画データにおける視聴者の違和感を減らす。【解決手段】符号化装置１の取得部１１は、所定のレートで再生可能な複数の画像データ２３を有する動画データ２１を取得する。判断部１４は、取得された動画データ２１の各画像データ２３の符号化の要否を判断し、符号化対象とする画像データ２３または符号化対象としない画像データ２３を指示する指示信号を出力する。符号化実行部１５は、指示信号が入力され、判断部１４の判断にしたがって画像データ２３を間引きながら、取得部により取得された複数の画像データ２３を符号化する。判断部１４は、符号化実行部１５により符号化された符号化済みの動画データにおける複数の画像データ２３の再生間隔が安定するように各画像データ２３の符号化の要否を判断する。【選択図】図１
2012010263.tif 000002
【特許請求の範囲】
【請求項１】
所定のレートで再生可能な複数の画像データを有する動画データを取得する取得部と、
前記取得部により取得された前記動画データの各前記画像データの符号化の要否を判断し、符号化対象とする画像データまたは符号化対象としない画像データを指示する指示信号を出力する判断部と、
前記指示信号が入力され、前記判断部の判断にしたがって画像データを間引きながら、前記取得部により取得された複数の画像データを符号化する符号化実行部と
を有し、
前記判断部は、
前記符号化実行部により符号化された符号化済みの動画データにおける複数の画像データの再生間隔が安定するように各画像データの符号化の要否を判断する
符号化装置。
【請求項２】
前記符号化実行部は、
前記符号化済みの動画データのデータ量を、符号化実行中に繰り返し通知する通知信号を前記判断部へ出力し、
前記指示信号を出力する前記判断部は、
前記通知信号により繰り返し通知された前記符号化済みの動画データのデータ量の下で、符号化された動画データにおける複数の画像データの再生間隔が等間隔に向かうように、前記符号化実行中に前記指示信号を更新する
請求項１記載の符号化装置。
【請求項３】
前記判断部は、
前記通知信号により通知された前記符号化済みの動画データのデータ量と、前記符号化済みの動画データを格納するものとして規定されるバッファのデータ量とを比較し、
前記バッファの最大データ量に対する前記符号化済みの動画データのデータ量の差が小さい場合には、前記指示信号に基づいて符号化される画像データの再生間隔を広げるように前記指示信号を更新し、または、
前記バッファの最小データ量に対する前記符号化済みの動画データのデータ量の差が小さい場合には、前記指示信号に基づいて符号化される画像データの再生間隔を狭めるように前記指示信号を更新する
請求項２記載の符号化装置。
【請求項４】
前記符号化実行部は、
符号化した前記符号化済みの動画データのデータ量に基づく独自の判断により、前記符号化済みの動画データのデータ量が所定の範囲内となるように、前記取得部により取得された前記画像データを間引いて符号化する
請求項１から３のいずれか一項記載の符号化装置。
【請求項５】
前記符号化実行部は、
前記符号化済みの動画データを格納するものとして規定されるバッファの最大データ量と、前記符号化済みの動画データのデータ量との差がない場合には、独自の判断により符号化する画像データを間引き、または、
前記バッファの最小データ量と、前記符号化済みの動画データのデータ量との差がない場合には、独自の判断により符号化する画像データを追加する
請求項４記載の符号化装置。
【請求項６】
前記符号化実行部は、
前記バッファがオーバフローまたはアンダーフローするか否かに基づいて、符号化する画像データの追加または削除を判断し、
前記判断部は、
前記バッファのデータ量に対して設定された基準値に基づいて、前記指示信号において指示する各画像データの符号化の要否を判断する
請求項５記載の符号化装置。
【請求項７】
前記判断部は、
予め設定された符号化レートより、前記指示信号に基づいて前記符号化実行部により符号化される複数の画像データの符号化レートが低い場合、
前記予め設定された符号化レートより広い間隔で複数の画像データの符号化が実行されるように前記指示信号を更新する
請求項１から６のいずれか一項記載の符号化装置。
【請求項８】
前記判断部は、
予め設定された符号化レートより、前記指示信号に基づいて前記符号化実行部により符号化される複数の画像データの符号化レートが高い場合、
前記予め設定された符号化レートより狭い間隔で複数の画像データの符号化が実行されるように前記指示信号を更新する
請求項１から６のいずれか一項記載の符号化装置。
【請求項９】
前記判断部は、
前記指示信号に基づいて前記符号化実行部により符号化される複数の画像データが、最大で、前記取得部により取得された複数の画像データと１対１に対応するまで前記指示信号を更新し、
前記符号化実行部により符号化される複数の画像データの最大の符号化レートを、前記取得部により取得された複数の画像データのレートと等しくする
請求項８記載の符号化装置。
【請求項１０】
前記判断部は、
前記取得部により取得された動画データについての複数の画像データのグループ毎に前記指示信号を出力し、
前記指示信号において、前記指示信号に対応する当該グループに含まれる前記複数の画像データについての符号化の要否を指示する
請求項１から９のいずれか一項記載の符号化装置。
【請求項１１】
前記判断部は、
前記符号化実行部により符号化された前記符号化済みの動画データのデータ量に応じて、前記グループ内で符号化される画像データの数を増減させることなく、前記グループに対応する、前記取得部により取得された動画データにおける複数の画像データの数を増減させるように、前記指示信号を変更する
請求項１０記載の符号化装置。
【請求項１２】
前記判断部は、
前記符号化実行部により符号化された前記符号化済みの動画データのデータ量に応じて、前記グループに対応する、前記取得部により取得された動画データにおける複数の画像データの数を増減させることなく、前記グループ内で符号化される画像データの数を増減させるように、前記指示信号を変更する
請求項１０記載の符号化装置。
【請求項１３】
前記符号化実行部は、
前記指示信号に基づいて前記グループ内の複数の画像データの符号化処理を実行する度に、前記符号化済みの動画データのデータ量を通知する通知信号を前記判断部へ出力し、
前記指示信号を出力する前記判断部は、
前記通知信号により通知された前記符号化済みの動画データのデータ量の下で、符号化された動画データにおける複数の画像データの再生間隔が等間隔に向かうように、次に指示するグループについての前記指示信号を更新する
請求項１１または１２記載の符号化装置。
【請求項１４】
前記符号化装置は、
前記符号化実行部から前記符号化済みの動画データが入力される後処理部を有し、
前記後処理部は、
前記符号化済みの動画データにおける複数の画像データのレートが、予め設定された符号化レートより高い場合、当該高いレートの動画データと、前記予め設定された符号化レートの動画データとを生成する
請求項１から１３のいずれか一項記載の符号化装置。
【請求項１５】
所定のレートにより撮像した複数の画像データを有する動画データを出力する撮像部と、
前記動画データを符号化する符号化部と
を有し、
前記符号化部は、
前記撮像部から出力された前記動画データを取得する取得部と、
前記取得部により取得された前記動画データの各前記画像データの符号化の要否を判断し、符号化対象とする画像データまたは符号化対象としない画像データを指示する指示信号を出力する判断部と、
前記指示信号が入力され、前記判断部の判断にしたがって画像データを間引きながら、前記取得部により取得された複数の画像データを符号化する符号化実行部と
を有し、
前記判断部は、
前記符号化実行部により符号化された符号化済みの動画データにおける複数の画像データの再生間隔が安定するように各画像データの符号化の要否を判断する
撮像装置。
【請求項１６】
所定のレートにより撮像した複数の画像データを有する動画データを符号化する符号化部と、
前記符号化部により符号化された符号化済みの動画データを送信する送信部と、
前記送信部により送信された符号化済みの動画データを受信する受信部と、
前記受信部により受信された符号化済みの動画データを復号する復号部と
を有し、
前記符号化部は、
前記撮像部から出力された前記動画データを取得する取得部と、
前記取得部により取得された前記動画データの各前記画像データの符号化の要否を判断し、符号化対象とする画像データまたは符号化対象としない画像データを指示する指示信号を出力する判断部と、
前記指示信号が入力され、前記判断部の判断にしたがって画像データを間引きながら、前記取得部により取得された複数の画像データを符号化する符号化実行部と
を有し、
前記判断部は、
前記符号化実行部により符号化された符号化済みの動画データにおける複数の画像データの再生間隔が安定するように各画像データの符号化の要否を判断する
符号化伝送システム。
【請求項１７】
所定のレートで再生可能な複数の画像データを有する動画データを符号化するために取得部、判断部および符号化実行部を有する符号化装置についての、前記取得部が、前記動画データを取得する第１工程と、
前記判断部が、前記第１工程で取得された前記動画データの各前記画像データの符号化の要否を判断する第２工程と、
前記符号化実行部が、前記第２工程による判断にしたがって、前記第１工程で取得された前記動画データの画像データを間引きながら符号化する第３工程と
を有し、
前記第２工程において、
前記判断部は、前記第３工程で符号化された符号化済みの動画データにおける複数の画像データの再生間隔が安定するように各画像データの符号化の要否を判断する
符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像データを有する動画データの符号化装置および符号化方法に関する。
【背景技術】
【０００２】
複数の画像データを有する動画データは、符号化装置により符号化される（特許文献１、２）。
符号化装置には、ＭＰＥＧ（Moving  Picture  Experts  Group）１、２、４、またはＨ．２６４などの規格に準拠した符号化方式により動画データを符号化する。
そして、符号化装置は、符号化状況に応じて、たとえばＱｐ値などの量子化パラメータを調整したり、マクロブロック単位でスキップデータを入れたり、フレーム単位でスキップフレームデータを入れたりする。
これにより、符号化装置は、符号化された動画データのデータ量を調整しながら符号化処理を実行する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２３６７８９号公報
【特許文献２】特開２０００−０５０２５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、このような符号化装置では、符号化された動画データが所定のデータ量となるように、符号化の状況に応じてフレームデータを欠落させることがある。
たとえば動画の複数のフレームを順番に符号化している最中に、符号化された動画データが所定の伝送データ量を超えると予想すると、符号化装置は、処理中または次のフレームデータをスキップする。
また、特許文献１では、前後フレームとの関係に基づいて、スキップするフレームを決定する。
また、特許文献２では、ビデオオブジェクトなどに基づく判断により、スキップするフレームを決定する。
【０００５】
このように符号化状況などに応じて符号化しないフレームデータを決定すると、符号化された動画データでは、フレームデータが不定期に欠落することになる。
そして、このようにフレームデータが不定期に欠落した動画データを再生した場合、フレーム間隔が安定していないので、再生中に画像が直ぐに切り替わったり、画像がしばらく停止したりする状況が生じる。
このような状況が発生すると、視聴者は、再生された動画について違和感を感じることになる。
【０００６】
このように符号化装置では、符号化した動画データの不連続さに伴う視聴者の違和感（不自然さ）を減らすことが求められている。
【課題を解決するための手段】
【０００７】
本発明の第１の観点の符号化装置は、所定のレートで再生可能な複数の画像データを有する動画データを取得する取得部と、取得部により取得された動画データの各画像データの符号化の要否を判断し、符号化対象とする画像データまたは符号化対象としない画像データを指示する指示信号を出力する判断部と、指示信号が入力され、判断部の判断にしたがって画像データを間引きながら、取得部により取得された複数の画像データを符号化する符号化実行部とを有する。そして、判断部は、符号化実行部により符号化された符号化済みの動画データにおける複数の画像データの再生間隔が安定するように各画像データの符号化の要否を判断する。
【０００８】
第１の観点では、判断部は、符号化実行部により符号化された複数の画像データの再生間隔が安定するように各画像データの符号化の要否を判断する。
また、符号化実行部は、判断部の判断にしたがって画像データを間引きながら、取得部により取得された複数の画像データを符号化する。
よって、符号化された動画データにおいて、符号化された複数の画像データの再生間隔が安定する。
【０００９】
本発明の第２の観点の撮像装置は、所定のレートにより撮像した複数の画像データを有する動画データを出力する撮像部と、動画データを符号化する符号化部とを有する。符号化部は、撮像部から出力された動画データを取得する取得部と、取得部により取得された動画データの各画像データの符号化の要否を判断し、符号化対象とする画像データまたは符号化対象としない画像データを指示する指示信号を出力する判断部と、指示信号が入力され、判断部の判断にしたがって画像データを間引きながら、取得部により取得された複数の画像データを符号化する符号化実行部とを有する。そして、判断部は、符号化実行部により符号化された符号化済みの動画データにおける複数の画像データの再生間隔が安定するように各画像データの符号化の要否を判断する。
【００１０】
本発明の第３の観点の符号化伝送システムは、所定のレートにより撮像した複数の画像データを有する動画データを符号化する符号化部と、符号化部により符号化された符号化済みの動画データを送信する送信部と、送信部により送信された符号化済みの動画データを受信する受信部と、受信部により受信された符号化済みの動画データを復号する復号部とを有する。符号化部は、撮像部から出力された動画データを取得する取得部と、取得部により取得された動画データの各画像データの符号化の要否を判断し、符号化対象とする画像データまたは符号化対象としない画像データを指示する指示信号を出力する判断部と、指示信号が入力され、判断部の判断にしたがって画像データを間引きながら、取得部により取得された複数の画像データを符号化する符号化実行部とを有する。そして、判断部は、符号化実行部により符号化された符号化済みの動画データにおける複数の画像データの再生間隔が安定するように各画像データの符号化の要否を判断する。
【００１１】
本発明の第４の観点の符号化方法は、所定のレートで再生可能な複数の画像データを有する動画データを符号化するために取得部、判断部および符号化実行部を有する符号化装置についての、取得部が、動画データを取得する第１工程と、判断部が、第１工程で取得された動画データの各画像データの符号化の要否を判断する第２工程と、符号化実行部が、第２工程による判断にしたがって、第１工程で取得された動画データの画像データを間引きながら符号化する第３工程とを有する。そして、第２工程において、判断部は、第３工程で符号化された符号化済みの動画データにおける複数の画像データの再生間隔が安定するように各画像データの符号化の要否を判断する。
【発明の効果】
【００１２】
本発明によれば、符号化した動画データに不連続さが発生し難くなり、視聴者の違和感（不自然さ）を減らすことができる。
【図面の簡単な説明】
【００１３】
【図１】図１は、本発明の第１実施形態に係る符号化装置の概略ブロック図である。
【図２】図２は、図１の符号化装置が実現されるコンピュータ装置のブロック図である。
【図３】図３は、図１の符号化装置により符号化される動画データの一例の説明図である。
【図４】図４は、図１の入力部の動作のフローチャートである。
【図５】図５は、図１の映像符号化実行部のブロック図である。
【図６】図６は、図１の映像符号化実行部のフレームデータ毎の符号化動作のフローチャートである。
【図７】図７は、図１の符号化制御部の符号化制御動作のフローチャートである。
【図８】図８は、図１の符号化制御部による符号化制御動作の説明図である。
【図９】図９は、図１の符号化装置の初期化処理シーケンスである。
【図１０】図１０は、図１の符号化制御部が映像符号化実行部へ出力する符号化有無情報の説明図である。
【図１１】図１１は、図１の入力部および映像符号化実行部による一般的な符号化処理シーケンスである。
【図１２】図１２は、図１の符号化制御部が制御を開始した場合の符号化処理シーケンスである。
【図１３】図１３は、図１の符号化制御部が制御を開始した後の符号化処理シーケンスである。
【図１４】図１４は、図１の符号化装置により符号化された動画データのデータ量推移例を示す図である。
【図１５】図１５は、符号化された動画データがアンダーフローする場合の、符号化制御部によるアンダーフロー抑制制御動作の説明図である。
【図１６】図１６は、符号化された動画データがオーバーフローする場合の、符号化制御部によるオーバーフロー抑制制御動作の説明図である。
【図１７】図１７は、図１の符号化装置により符号化される動画データの第１例の説明図である。
【図１８】図１８は、図１の符号化装置により符号化される動画データの第２例の説明図である。
【図１９】図１９は、図１の符号化装置により符号化される動画データの第３例の説明図である。
【図２０】図２０は、図１の符号化装置により符号化される動画データの第４例の説明図である。
【図２１】図２１は、図１の符号化装置により符号化される動画データの第５例の説明図である。
【図２２】図２２は、図１の出力部による後処理動作の説明図である（第１例）。
【図２３】図２３は、図１の出力部による後処理動作の説明図である（第２例）。
【図２４】図２４は、本発明の第２実施形態に係る符号化伝送システムの概略ブロック図である。
【図２５】図２５は、Ｈ．２６４方式またはＭＰＥＧ２方式による符号化の際の、符号化制御部による符号化制御動作の説明図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態を図面に関連付けて説明する。
説明は以下の順に行う。
１．第１実施形態（符号化装置の例）
２．第２実施形態（撮像装置を有する符号化伝送システムの例）
【００１５】
＜１．第１実施形態＞
［符号化装置１の構成］
図１は、本発明の第１実施形態に係る符号化装置１の概略ブロック図である。
図１の符号化装置１は、入力された動画データを符号化するものである。
図１の符号化装置１は、入力動画データ記憶部１０、入力部１１、符号化条件記憶部１３、符号化制御部１４、映像符号化実行部１５、出力部１６、出力動画データ記憶部１７を有する。
【００１６】
図２は、図１の符号化装置１が実現されるコンピュータ装置１００のブロック図である。
図２のコンピュータ装置１００は、ＣＰＵ（Central  Processing  Unit）１０１、メモリ（ＭＥＭ）１０２、入出力部（Ｉ／Ｏ）１０３を有する。
メモリ１０２は、符号化プログラムを記憶する。
メモリ１０２に記憶されている符号化プログラムは、コンピュータ装置１００の出荷前にメモリ１０２に記憶されているものであっても、コンピュータ装置１００の出荷後にメモリ１０２に記憶されているものであってもよい。
コンピュータ装置１００の出荷後にメモリ１０２に記憶される符号化プログラムは、たとえばコンピュータ読取可能な記録媒体に記録されたものを読み込んだものであっても、インターネットなどの伝送媒体を通じてダウンロードしたものであってもよい。
【００１７】
ＣＰＵ１０１は、メモリ１０２に記憶されている符号化プログラムを読み込んで実行する。
これにより、ＣＰＵ１０１に、図１の入力部１１、映像符号化実行部１５、出力部１６が実現される。
また、メモリ１０２に、入力動画データ記憶部１０、出力動画データ記憶部１７、および符号化条件記憶部１３が実現される。
なお、図２において、符号化装置１に入力される動画データは、たとえば入出力部１０３から入力され、メモリ１０２に保存される。
また、符号化装置１が生成した符号化済みの動画データは、メモリ１０２に保存された後、入出力部１０３から外部へ出力される。
【００１８】
図１において、入力動画データ記憶部１０は、入力動画データ２１、入力データ情報２２を記憶する。
【００１９】
図３は、図１の符号化装置１により符号化される入力動画データ２１の一例の説明図である。
図３の入力動画データ２１は、複数のフレームデータ２３を有する。
図３のフレームデータ２３は、一定のフレームレート毎に再生可能な静止画の画像データである。図３の複数のフレームデータ２３は、たとえば左側のフレームから順番に再生される。
そして、図３の動画データは、たとえば３フレーム毎のまとまりで、符号化される。この符号化処理の単位をＧＯＰ（Group  Of  Pictures）という。
図３の例では、各ＧＯＰにおいて左から１番目のフレームは、Ｉ（Intra）ピクチャとして符号化される。２番目のフレームは、Ｂ（Bidirectional  predictive）ピクチャとして符号化される。３番目のフレームは、Ｐ（Predictive）ピクチャとして符号化される。
【００２０】
入力データ情報２２は、入力動画データ２１に関する情報である。
このような情報としては、たとえば入力動画データ２１のフレームレートの情報、入力動画データ２１を撮影した撮影環境の情報などがある。
【００２１】
図１において、入力部１１は、入力動画データ記憶部１０、映像符号化実行部１５に接続される。
入力部１１は、入力動画データ記憶部１０から、入力動画データ２１および入力データ情報２２を取得する。
入力部１１は、取得した入力動画データ２１の各フレームデータ２３を映像符号化実行部１５へ出力する。
この際、入力部１１は、入力データ情報２２に基づいて入力動画データ２１のフレームレートに基づいて、各フレームデータ２３の出力間隔を決定し、その出力間隔で複数のフレームデータ２３を映像符号化実行部１５へ出力する。
【００２２】
図４は、図１の入力部１１の動作のフローチャートである。
図４は、入力部１１が、たとえば図２の入出力部１０３から入力動画データ２１および入力データ情報２２を取得する場合のフローチャートである。
そして、入力部１１は、入力動画データ２１および入力データ情報２２を取得すると、これらを入力動画データ記憶部１０に記憶させる。また、入力部１１は、符号化の有無情報を入力動画データ記憶部１０に記憶させる（ステップＳＴ１）。
【００２３】
図１において、符号化条件記憶部１３は、入力動画データ２１についての符号化条件として予め設定された初期符号化情報２４を記憶する。
なお、初期符号化情報２４は、符号化装置１に予め設定されたものであっても、たとえば図２の入出力部１０３から外部より入力されたものであってもよい。
初期符号化情報２４は、たとえば符号化に必要なプロファイル、レベル、符号化された動画データのビットレート、ＧＯＰ長、符号化された動画データでのフレーム間隔などの情報を有する。
ＧＯＰ長は、たとえば１つのＧＯＰに含まれるフレーム数（画像数）を示す。
フレーム間隔は、たとえば動画データを記録する際の記録フレームレートである。
【００２４】
符号化制御部１４は、入力動画データ記憶部１０、符号化条件記憶部１３、映像符号化実行部１５に接続される。
符号化制御部１４は、入力動画データ記憶部１０の入力データ情報２２と、符号化条件記憶部１３の初期符号化情報２４とに基づいて、映像符号化実行部１５へ指示信号を出力する。
たとえば符号化制御部１４は、入力動画データ２１のフレームレートと、初期符号化情報２４のフレームレートとに基づいて、映像符号化実行部１５における符号化のための初期フレームレートを指示する。
【００２５】
また、符号化制御部１４は、映像符号化実行部１５からたとえばＧＯＰ長の周期毎に入力される通知信号に基づいて、映像符号化実行部１５による符号化状況を判断する。
また、符号化制御部１４は、判断結果に応じて、指示信号の内容を更新する。
たとえば符号化制御部１４は、映像符号化実行部１５より符号化された動画データのデータ量と、符号化済みの動画データを格納するものとして規定されるバッファ３７のデータ量とを比較し、これらのデータ量の関係に応じた内容に指示信号を更新する。
符号化制御部１４は、入力画像テータの各フレームデータ２３について、符号化対象とする画像データであるか、または符号化対象としない画像データであるかを指示する。
【００２６】
映像符号化実行部１５は、入力部１１、出力部１６、符号化条件記憶部１３、符号化制御部１４に接続される。
映像符号化実行部１５は、入力部１１から入力されるフレームデータ２３を符号化し、符号化済みのフレームデータ２３を出力部１６へ出力する。
この際、映像符号化実行部１５は、符号化条件記憶部１３に記憶される初期符号化情報２４、符号化制御部１４から入力される指示信号、符号化状況（符号化済みの動画データのデータ量など）に基づいて、フレームデータ２３の符号化の要否を独自に判断する。
【００２７】
また、映像符号化実行部１５は、フレームの符号化方式およびパラメータ（符号化変数）なども独自に判断する。
そして、映像符号化実行部１５は、自らの判断にしたがって、入力部１１から入力されるフレームデータ２３を符号化し、符号化済みのフレームデータ２３を出力部１６へ出力する。
また、映像符号化実行部１５は、ＧＯＰ長に対応する周期毎に、符号化した動画データのデータ量を通知する通知信号を符号化制御部１４へ出力する。
【００２８】
図５は、図１の映像符号化実行部１５のブロック図である。
図５の映像符号化実行部１５は、ＭＰＥＧ４  ｖｉｓｕａｌ方式により動画データを符号化する。
図５の映像符号化実行部１５は、第１フレームメモリ３１、動きベクトル検出器３２、減算器３３、ＤＣＴ（Discrete  Cosine  Transform）器３４、量子化器３５を有する。
また、図５の映像符号化実行部１５は、ＶＬＣ（Variable  Length  Code）器３６、バッファ３７を有する。
また、図５の映像符号化実行部１５は、逆量子化器３８、ＩＤＣＴ（Inverse  DCT）器３９、第２フレームメモリ４０、動き補償器４１を有する。
【００２９】
第１フレームメモリ３１は、入力部１１から出力されたフレームデータ２３による画像を記憶する。
動きベクトル検出器３２は、第１フレームメモリ３１に接続される。
動きベクトル検出器３２は、第１フレームメモリ３１に記憶された新たな符号化対象の画像について、他のフレームデータ２３の画像と共通するオブジェクトについての動きベクトルを検出する。
【００３０】
減算器３３は、第１フレームメモリ３１、動き補償器４１に接続される。減算器３３は、第１フレームメモリ３１に記憶される画像から、動き補償器４１により補償処理された第２フレームメモリ４０に記憶される画像を減算する。
ＤＣＴ器３４は、減算器３３に接続される。ＤＣＴ器３４は、減算器３３により差分演算された画像について、所定のブロック毎に離散コサイン変換する。
量子化器３５は、ＤＣＴ器３４に接続される。量子化器３５は、ＤＣＴ器３４のブロック毎に離散コサイン変換により得られた周波数帯毎のＤＣＴ係数を量子化する。
ＶＬＣ器３６は、量子化器３５に接続される。ＶＬＣ器３６は、量子化器３５により量子化されたＤＣＴ係数データを、可変長符号化する。ＶＬＣ器３６は、符号化したデータを、バッファ３７へ出力する。
これにより、バッファ３７には、符号化されたフレームデータ２３が記憶される。このバッファ３７から図２の出力部１６へ符号化されたフレームデータ２３が出力される。
また、ＶＬＣ器３６は、動きベクトル検出器３２に接続され、この動きベクトル検出器３２により検出された動きベクトルのデータをバッファ３７へ出力する。
【００３１】
また、ＤＣＴ器３４、量子化器３５、およびＶＬＣ器３６は、一連の符号化処理において、符号化制御部１４の指示信号、符号化条件記憶部１３の初期符号化情報２４を読み込む。
ＤＣＴ器３４、量子化器３５、およびＶＬＣ器３６は、これらに基づいてたとえばブロックサイズ、量子化の程度、符号化の仕方を調整する。
また、量子化器３５は、バッファ３７に記憶されている符号化済みのフレームデータ２３のデータ量を読み込む。
量子化器３５は、このデータ量に応じた独自の判断により、フレームデータ２３の符号化の要否などを判断する。
【００３２】
逆量子化器３８は、量子化器３５に接続される。逆量子化器３８は、量子化器３５により量子化された後のＤＣＴ係数から、量子化済みのフレームデータ２３についてのＤＣＴ係数を生成する。
ＩＤＣＴ器３９は、逆量子化器３８に接続される。ＩＤＣＴ器３９は、逆量子化器３８により生成されたＤＣＴ係数から、量子化済みのフレームデータ２３の画像を生成する。
第２フレームメモリ４０には、この量子化済みのフレームデータ２３の画像が記憶される。
動き補償器４１は、動きベクトル検出器３２、第２フレームメモリ４０に接続される。
動き補償器４１は、第２フレームメモリ４０に記憶されている画像を、動きベクトル検出器３２により検出された動きベクトルに基づいて移動させた画像を生成する。
【００３３】
図１の出力部１６は、映像符号化実行部１５、出力動画データ記憶部１７に接続される。
出力部１６は、映像符号化実行部１５から入力される符号化されたフレームデータ２３を出力動画データ記憶部１７に記憶させる。
これにより、出力動画データ記憶部１７には、映像符号化実行部１５により符号化されたフレームデータ２３が蓄積される。
出力動画データ記憶部１７には、図３に例示するように、同一の入力動画データ２１を符号化した動画データとして、第１出力データ２５と、第２出力データ２６とが記憶される。
【００３４】
［図１の符号化実行部の符号化動作］
図６は、図１の映像符号化実行部１５のフレームデータ２３毎の符号化動作のフローチャートである。
映像符号化実行部１５は、入力部１１から入力フレームデータ２３のフレームレートにしたがってフレームデータ２３が入力される度に、図６の符号化処理を実行する。
【００３５】
フレームデータ２３毎の符号化処理において、映像符号化実行部１５は、まず、符号化処理に係るフレームデータ２３を符号化するか否かを判断する（ステップＳＴ１１）。
たとえば符号化制御部１４から当該フレームデータ２３を符号化しない旨の指示信号が入力されている場合、映像符号化実行部１５は、原則、符号化しないと判断する。
ただし、映像符号化実行部１５は、バッファ３７から符号化済みのフレームデータ２３のデータ量を読み込み、当該フレームデータ２３を符号化しなかった場合にバッファ３７が空になると判断した場合には、符号化すると判断する。
また、たとえば符号化制御部１４から当該フレームデータ２３を符号化する旨の指示信号が入力されている場合、映像符号化実行部１５は、原則、符号化すると判断する。
ただし、映像符号化実行部１５は、バッファ３７から符号化済みのフレームデータ２３のデータ量を読み込み、当該フレームデータ２３を符号化した場合にバッファ３７が一杯になると判断した場合には、符号化しないと判断する。
【００３６】
フレームデータ２３を符号化すると判断した場合、映像符号化実行部１５は、フレームデータ２３の符号化処理を実行する（ステップＳＴ１２）。
映像符号化実行部１５は、図５のバッファ３７から、符号化したフレームデータ２３を出力する（ステップＳＴ１３）。
また、映像符号化実行部１５は、符号化したフレームデータ２３のデータ量を算出し、保存する（ステップＳＴ１４）。
【００３７】
フレームデータ２３を符号化した後、映像符号化実行部１５は、当該フレームデータ２３の処理タイミングが、符号化制御装置へ通知信号を出力するタイミングであるか否かを判断する（ステップＳＴ１５）。
また、符号化処理対象のフレームデータ２３を符号化しない場合にも、映像符号化実行部１５は、当該フレームデータ２３の処理タイミングが、符号化制御装置へ通知信号を出力するタイミングであるか否かを判断する（ステップＳＴ１５）。
たとえば図２のように３フレーム単位のＧＯＰにより符号化する場合、映像符号化実行部１５は、各ＧＯＰの最後のＰピクチャを符号化したときに、通知信号を出力するタイミングであると判断する。これ以外のピクチャを符号化したときには、映像符号化実行部１５は、通知信号を出力するタイミングでないと判断する。
【００３８】
通知信号を出力するタイミングである場合、映像符号化実行部１５は、符号化したフレームデータ２３のデータ量を符号化制御装置へ通知する（ステップＳＴ１６）。図２の場合、映像符号化実行部１５は、３フレームからなる各ＧＯＰの最後のＰピクチャを符号化した場合に、各ＧＯＰで符号化した３枚のフレームデータ２３の総データ量を、符号化制御装置へ通知する。
これにより、映像符号化実行部１５は、符号化処理を終了する。また、通知信号を出力するタイミングでない場合、映像符号化実行部１５は、符号化処理を終了する。
【００３９】
［図１の符号化制御部１４の符号化制御動作］
図７は、図１の符号化制御部１４の符号化制御動作のフローチャートである。
符号化制御部１４は、たとえば映像符号化実行部１５から通知信号が入力される度に、図７の符号化制御動作を実行する。図６の例では、映像符号化実行部１５は、各ＧＯＰの最後のピクチャを符号化した場合に、符号化制御部１４へ通知信号を出力する。
【００４０】
符号化制御動作において、符号化制御部１４は、まず、取得した符号量と、所定のバッファモデル５１中の閾値とを比較する（ステップＳＴ２１）。
次に、符号化制御部１４は、符号量の比較結果に基づいて、所定期間内に符号化するフレームデータ２３の割合を決定し、その割合に応じて当該所定期間内の複数のフレームデータ２３の中から符号化の対象とするフレームデータ２３を選択する（ステップＳＴ２２）。
次に、符号化制御部１４は、当該所定期間と、選択した符号化の対象とするフレームデータ２３とを指示するための指示信号を、映像符号化実行部１５へ出力する（ステップＳＴ２３）。符号化制御部１４は、たとえば入力動画データ２１についてのＧＯＰ長と、当該ＧＯＰ内の符号化対象のフレームデータ２３または符号化対象でないフレームデータ２３とを指示する。
【００４１】
図８は、図１の符号化制御部１４による符号化制御動作の説明図である。
図８には、ＭＰＥＧ４  ｖｉｓｕａｌの規格に準拠したバッファモデル５１が図示されている。縦軸は、バッファモデル５１内の滞留データ量である。なお、図５のバッファ３７は、このバッファモデル５１に対応する。
なお、滞留データとは、映像符号化実行部１５により符号化されたデータであって、後段の出力部１６により処理されていないデータをいう。
【００４２】
図８中の「ＶＢＶ（Video  Buffer  Verifier）」は、ＭＰＥＧ４  ｖｉｓｕａｌの規格で規定されているバッファ占有量である。ＭＰＥＧ４  ｖｉｓｕａｌの規格では、バッファモデル５１内の滞留データ量が、ＶＢＶ値の０％から１００%までの範囲内に収まるように符号化データ量を制御することが求められる。
バッファ占有量が０%である場合、バッファモデル５１は一杯となり、アンダーフロー状態となる。
バッファ占有量が１００%である場合、バッファモデル５１は空となり、オーバーフロー状態となる。
【００４３】
そして、図１の映像符号化実行部１５は、たとえばバッファモデル５１内の滞留データ量がＶＢＶ値の０%を下回ると予想すると、独自の判断によりデータ量を減らすための制御を実行する。映像符号化実行部１５は、たとえば独自の判断によりフレームデータ２３の符号化を中止してスキップする。
また、映像符号化実行部１５は、バッファモデル５１内の滞留データ量がＶＢＶ値の１００%を超えると予想すると、独自の判断によりデータ量を増やすための制御を実行する。映像符号化実行部１５は、たとえばスキップ予定のフレームデータ２３を独自の判断により符号化する。
【００４４】
これに対して、符号化制御部１４は、オーバーフロー制御閾値５２、ＶＢＶ値の８０％の閾値５３、ＶＢＶ値の４０％の閾値５４、アンダーフロー制御閾値５５により、映像符号化実行部１５による符号化動作を制御する。
オーバーフロー制御閾値５２は、ＶＢＶ値と、ＶＢＶ値の８０％の閾値５３との間に設定される。
アンダーフロー制御閾値５５は、０と、ＶＢＶ値の４０％の閾値５４との間に設定される。
なお、これらの値は、たとえば符号化条件記憶部１３に初期符号化情報２４として記憶されている。また、各値は、初期符号化情報２４を変更することにより適宜変更可能である。
【００４５】
滞留データ量がＶＢＶ値の８０％から４０％の範囲内である場合、符号化制御部１４は、符号量を調整しない。符号化制御部１４は、映像符号化制御部１４に既に出力した指示信号と同じ内容の指示信号を映像符号化実行部１５へ出力する。
これに対して、滞留データ量がＶＢＶ値の８０％から４０％の範囲内にない場合、符号化制御部１４は、符号量を調整する。符号化制御部１４は、映像符号化制御部１４に既に出力した指示信号とは異なる内容の指示信号を映像符号化実行部１５へ出力する。
具体的には、図８の場合、滞留データ量がＶＢＶ値の８０％からオーバーフロー制御閾値５２までの範囲内にある場合、符号化制御部１４は、符号量を１段階減らすように調整する。符号化制御部１４は、たとえば所定期間（ＧＯＰ長）を１段階長くしたり、ＧＯＰ内で符号化するフレームデータ２３の個数または割合を１段階減らす。
また、滞留データ量がオーバーフロー制御閾値５２からＶＢＶ値の１００％までの範囲内にある場合、符号化制御部１４は、符号量を２段階減らすように調整する。符号化制御部１４は、たとえば所定期間を２段階長くしたり、ＧＯＰ内で符号化するフレームデータ２３の個数または割合を２段階減らす。
また、滞留データ量がＶＢＶ値の４０％からアンダーフロー制御閾値５５までの範囲内にある場合、符号化制御部１４は、符号量を１段階増やすように調整する。符号化制御部１４は、たとえば所定期間を１段階短くしたり、ＧＯＰ内で符号化するフレームデータ２３の個数または割合を１段階増やす。
また、滞留データ量がアンダーフロー制御閾値５５からＶＢＶ値の０％までの範囲内にある場合、符号化制御部１４は、符号量を２段階増やすように調整する。符号化制御部１４は、たとえば所定期間を２段階短くしたり、ＧＯＰ内で符号化するフレームデータ２３の個数または割合を２段階増やす。
【００４６】
また、符号化制御部１４は、ＧＯＰ長、ＧＯＰ内の符号化するフレームデータ２３を決定すると、指示信号を出力する。
符号化制御部１４は、決定した条件の下で符号化されるフレームデータ２３の間隔が等間隔となるように、入力動画データ２１中の符号化対象のフレームデータ２３を選択し、その選択に基づく指示信号を出力する。
符号化制御部１４は、たとえば入力動画データ２１のフレームレートおよびその約数（または倍数）のうちから、符号化される動画データのフレームレートを選択し、そのフレームレートに基づいて符号化対象のフレームデータ２３を選択する。
これにより、符号化制御部１４の指示に基づいて符号化される動画データのフレームレートは、たとえば１／６０秒、１／３０秒、１／２０秒、１／１５秒、１／１２秒、１／５秒、１／４秒、１／３秒、１／２秒、１秒の間で切り替わる。
また、このような制御指示に基づいて、映像符号化実行部１５は、符号化するフレームデータ２３を選択し、符号化する。
たとえば符号化量を調整しない場合の符号化済みの動画データのフレームレートを１／１５秒とする。この場合、１段階の減少指示により、符号化済みの動画データのフレームレートは１／３０秒となる。２段階の減少指示により、符号化済みの動画データのフレームレートは１／６０秒となる。また、１段階の増加指示により、符号化済みの動画データのフレームレートは１／１２秒となる。２段階の増加指示により、符号化済みの動画データのフレームレートは１／５秒となる。
【００４７】
［図１の符号化装置１の全体的な動作］
次に、図１の符号化装置１の全体的な動作を説明する。
まず、通常の動作について説明する。
【００４８】
図９は、図１の符号化装置１の初期化処理シーケンスである。
図９では、入力動画データ記憶部１０に入力データ情報２２が記憶されると、入力部１１は、その入力データ情報２２を読み込む。
入力部１１は、入力動画データ２１のフレームデータ２３を映像符号化実行部１５へ出力する入力動画データ２１のフレーム間隔を決定し、内部に保持する（ステップＳＴ３１）。
符号化制御部１４は、入力動画データ記憶部１０から入力データ情報２２を読み込み、入力動画データ２１のフレーム間隔を内部に保存する（ステップＳＴ３２）。
映像符号化実行部１５は、符号化条件記憶部１３から初期符号化情報２４を読み込み、符号化に必要なコーデック種類、プロファイル、レベル、ビットレート、フレームレート、ＧＯＰ長などを決定し、符号化に備える（ステップＳＴ３３）。
符号化制御部１４は、符号化条件記憶部１３から初期符号化情報２４を読み込む。
符号化制御部１４は、符号化フレームレートから算出されるフレーム間隔と、先に保存した入力動画データ２１のフレーム間隔とから符号化有無情報を算出し、制御タイミングを調整し、符号化有無情報・制御タイミングを出力する（ステップＳＴ３４）。
映像符号化実行部１５は、この符号化制御部１４により決定された符号化有無情報・制御タイミングを内部に保存する（ステップＳＴ３５）。
【００４９】
図１０は、図１の符号化制御部１４が映像符号化実行部１５へ出力する符号化有無情報の説明図である。
図１０（Ａ）の入力動画データ２１の複数のフレームデータ２３は、一定のフレーム間隔を有する。
そして、図１０（Ｂ）の例では、符号化有無情報による動画データの複数のフレームデータ２３は、入力動画データ２１を１つ置きに間引いた一定のフレーム間隔を有する。
また、ＧＯＰ長が「３」である場合、入力動画データ２１の６個のフレームデータ２３の期間がＧＯＰ長に対応する期間となる。また、その６個のフレームデータ２３から１つ置きに選択された３個のフレームデータ２３が符号化される。
【００５０】
図１１は、図１の入力部１１および映像符号化実行部１５による一般的な符号化処理シーケンスである。
入力動画データ記憶部１０に入力動画データ２１が記憶されると、入力部１１は、その入力動画データ２１を読み込み、映像符号化実行部１５へ出力する。入力部１１は、予め設定したフレーム間隔で、未処理の複数のフレームデータ２３を１つずつ順番に映像符号化実行部１５へ出力する（ステップＳＴ４１−１からＳＴ４１−４）。
フレームデータ２３が入力されると、映像符号化実行部１５は、符号化有無情報などに基づいて符号化の要否を判断する。そして、符号化する場合には、映像符号化実行部１５は、予め備えた符号化の情報に基づいてフレームデータ２３を符号化し、出力部１６へ出力する（ステップＳＴ４２−１からＳＴ４２−４）。
符号化済みのフレームデータ２３が入力されると、出力部１６は、そのフレームデータ２３を出力動画データ記憶部１７に記憶させる（ステップＳＴ４３−１からＳＴ４３−４）。
映像符号化実行部１５、および出力部１６は、入力部１１からフレームデータ２３が出力される度に、以上の処理を繰り返す。これにより出力動画データ記憶部１７には、符号化済みの複数のフレームデータ２３で構成される第１出力データ２５が記憶される。
【００５１】
ところで、映像符号化実行部１５は、各フレームデータ２３についての符号化処理を実行する際に、図６に示すように各フレームデータ２３の符号化の要否を独自に判断する。
映像符号化実行部１５は、出力部１６へ出力した符号化済みデータ（フレームデータ２３など）のデータ量と、バッファモデル５１のデータ量とを比較する。そして、映像符号化実行部１５は、動画規格規定のバッファ３７制御遷移を遵守するために、データ量の比較結果に応じて符号量を調整する。映像符号化実行部１５は、たとえば、Ｑｐ値などの量子化パラメータを調整したり、マクロブロック単位でスキップデータを入れたり、スキップフレームデータ２３を入れたりする。
その結果、映像符号化実行部１５は、符号化制御部１４のフレームデータ２３の符号化の要否の指示に関係なく、独自の判断により、フレームデータ２３を符号化したり、符号化しなかったりすることがある。
【００５２】
このように映像符号化実行部１５が、バッファ３７の残データ量に応じてフレームデータ２３の符号化の要否を最終判断した場合、符号化済みの動画データにおいて、複数の符号化済の画像データのフレーム間隔は、一定にならない。
その結果、符号化済みの動画データを再生した場合に、再生中に画像が直ぐに切り替わったり、画像がしばらく停止したりするようになる。不安定な動画になる。
映像符号化実行部１５によってフレームデータ２３の符号化の要否が繰り返し制御された符号化済みの動画データは、複数の符号化済の画像データのフレーム間隔が不安定になることがある。
そのような動画について、視聴者は、違和感を感じることになる。
【００５３】
図１２は、図１の符号化制御部１４が制御を開始する場合の符号化処理シーケンスである。
基本的な処理の流れは、図１１と同様であり、同様の処理を実行するステップには同一の符号を付す。
【００５４】
映像符号化実行部１５は、フレームデータ２３が入力される度に、当該フレームデータ２３の符号化後の符号量を、規格に則したバッファモデル５１にて算出し、内部に保持する（ステップＳＴ４２−１からＳＴ４２−４）。
そして、映像符号化実行部１５は、各ＧＯＰの符号化終了タイミングになると、内部に保持する符号化後の符号量を有する通知信号を符号化制御部１４へ出力する（ステップＳＴ４４）。
通知信号が入力されると、符号化制御部１４は、通知された取得符号量と、図８のバッファモデル５１中の各閾値との比較処理を行う（ステップＳＴ４５）。また、符号化制御部１４は、比較結果に応じて、各フレームデータ２３についての符号化の有無情報を生成し、指示信号として映像符号化実行部１５へ出力する（ステップＳＴ４６）。
映像符号化実行部１５は、受信した新たな符号化の有無情報を内部に保持する（ステップＳＴ４７）。
【００５５】
図１３は、図１の符号化制御部１４が制御を開始した後の符号化処理シーケンスである。
基本的な処理の流れは、図１１と同様であり、同様の処理を実行するステップには同一の符号を付す。
ただし、映像符号化実行部１５は、図１２で指示された新たな符号化の有無情報に基づいて、各フレームデータ２３の符号化の要否を判断し、符号化処理を実行する。
このため、たとえば２フレームデータ毎に１つのフレームデータを符号化する指示がされている場合、図１３のステップＳＴ４２−２、ＳＴ４２−４に示すように、映像符号化実行部１５は、出力部１６へ符号化済みのフレームデータを出力しなくなる。
【００５６】
［符号化される画像データの例］
図１４は、図１の符号化装置１により符号化された動画データのデータ量の推移例を示す図である。
図１４（Ａ）は、入力動画データ２１を示す図である。図１４（Ｂ）は、符号化済みの動画データを示す図である。図１４（Ｃ）は、ＭＰＥＧ４  ｖｉｓｕａｌのバッファ占有量を示す図である。図１４において、時間は左から右に経過している。
図１４では、当初は、入力動画データ２１のすべてのフレームデータ２３を符号化している。
【００５７】
しかしながら、図１４（Ｃ）に示すように、バッファ占有量はアンダーフローに向かって推移している。
この場合、タイミングＴ１において、符号化制御部１４は、指示信号を更新する。これにより、映像符号化実行部１５は、入力動画データ２１の１つ置きのフレームデータ２３を符号化するように切り替わる。映像符号化実行部１５は、２Ｖの期間毎に、１個のフレームデータを符号化する。
【００５８】
また、図１４の場合、この１回目の指示切替後にも、バッファ占有量はアンダーフローに向かって推移している。
この場合、タイミングＴ２において、符号化制御部１４は、指示信号を更に更新する。これにより、映像符号化実行部１５は、入力動画データ２１の２つ置きのフレームデータ２３を符号化するように切り替わる。映像符号化実行部１５は、３Ｖの期間毎に、１個のフレームデータを符号化する。
【００５９】
図１５は、符号化された動画データがアンダーフローする場合の、符号化制御部１４によるアンダーフロー抑制制御動作の説明図である。
図１５（Ａ）は、バッファ占有量を示す図である。図１５（Ｂ）は、図１５（Ａ）の期間Ｔ３〜Ｔ４の拡大図である。
図１５（Ａ）では、タイミングＴ３において、ＶＢＶ占有量がアンダーフロー制御閾値５５を下回る。この場合、図１５（Ｂ）に示すように、符号化対象のフレームデータ２３のフレーム間隔は、２つ置きとなるように切り替わる。
この結果、タイミングＴ３以降において、ＶＢＶ占有量が、更に下がらないようになる。すなわち、映像符号化実行部１５がアンダーフローと予想するレベルまで、ＶＢＶ占有量が下がらなくなる。
【００６０】
図１６は、符号化された動画データがオーバーフローする場合の、符号化制御部１４によるオーバーフロー抑制制御動作の説明図である。
図１６（Ａ）は、バッファ占有量を示す図である。図１６（Ｂ）は、図１６（Ａ）の期間Ｔ５〜Ｔ６の拡大図である。
図１６（Ａ）では、タイミングＴ７において、ＶＢＶ占有量がオーバーフロー制御閾値５２を上回る。この場合、図１６（Ｂ）に示すように、符号化対象のフレームデータ２３のフレーム間隔は、１つ置きから毎回に切り替わる。
この結果、タイミングＴ７以降において、ＶＢＶ占有量が、更に上がらないようになる。すなわち、映像符号化実行部１５がオーバーフローと予想するレベルまで、ＶＢＶ占有量が下がらなくなる。
【００６１】
図１７から図２１は、図１の符号化装置１により符号化される動画データの第１例の説明図である。
図１７（Ａ）から図２１（Ａ）は、入力動画データ２１を示す図である。図１７（Ｂ）から図２１（Ｂ）は、符号化済みの動画データを示す図である。図中、Ｖは入力動画データ２１のフレーム期間である。
【００６２】
そして、図１７は、符号化済みの動画データのＧＯＰ長を３に固定したままで、符号化済み動画データのフレームレートを切り替える例である。
符号化制御部１４は、符号化の動作フレームレートが初期設定のフレームレート以下である場合に、図１７の動作を指示する。図１７は、設定ＧＯＰ長を、ＧＯＰ内のフレーム数に換算して制御する例である。
具体的には、タイミングＴ１１の指示信号に基づいて、映像符号化実行部１５のフレームデータ２３の符号化動作は、ＧＯＰ長を３に維持したまま、毎回の符号化処理から、１つ置きの符号化処理に切り替わる。
また、タイミングＴ１２の指示信号に基づいて、映像符号化実行部１５のフレームデータ２３の符号化動作は、ＧＯＰ長を３に維持したまま、１つ置きの符号化処理から、２つ置きの符号化処理に切り替わる。これにより、符号化済みの複数の画像データの再生間隔は、広がる。
【００６３】
また、図１８は、符号化済みの動画データのＧＯＰ長を３に固定したままで、符号化済み動画データのフレームレートを切り替える他の例である。符号化制御部１４は、動作フレームレートが初期設定のフレームレートより大きい場合に、図１８の動作を指示する。図１８は、設定ＧＯＰ長を、ＧＯＰ内のフレーム数に換算して制御する例である。
具体的には、タイミングＴ２１の指示信号に基づいて、映像符号化実行部１５のフレームデータ２３の符号化動作は、ＧＯＰ長を３に維持したまま、１つ置きの符号化処理から、毎回の符号化処理に切り替わる。これにより、符号化済みの複数の画像データの再生間隔は、狭まる。
【００６４】
また、図１９は、動作フレームレートが初期設定のフレームレートより大きい場合に、符号化制御部１４が指示する他のフレームレートの切り替え例である。図１９は、設定ＧＯＰ長を、時間に換算して制御する例である。
具体的には、タイミングＴ２２の指示信号に基づいて、映像符号化実行部１５のフレームデータ２３の符号化動作は、入力動画データ２１に対する各ＧＯＰの期間を維持したまま、１つ置きの符号化処理から、毎回の符号化処理に切り替わる。
【００６５】
また、図２０は、符号化済みの動画データのＧＯＰ長を３に固定したままで、符号化済み動画データのフレームレートを切り替える他の例である。符号化制御部１４は、動作フレームレートが初期設定のフレームレートより大きい場合に、図２０の動作を指示する。図２０は、設定ＧＯＰ長を、ＧＯＰ内のフレーム数に換算して制御する例である。
具体的には、タイミングＴ３１の指示信号に基づいて、映像符号化実行部１５のフレームデータ２３の符号化動作は、ＧＯＰ長を３に維持したまま、１つ置きの符号化処理から、毎回の符号化処理に切り替わる。
また、映像符号化実行部１５は、ＧＯＰ内の３個のピクチャを、Ｉピクチャ、Ｐピクチャ、Ｐピクチャに符号化する制御から、Ｉピクチャ、Ｂピクチャ、Ｐピクチャに符号化する制御に切り替わる。
【００６６】
また、図２１は、動作フレームレートが初期設定のフレームレートより大きい場合に、符号化制御部１４が指示する他のフレームレートの切り替え例である。図２１は、設定ＧＯＰ長を、時間に換算して制御する例である。
具体的には、タイミングＴ３２の指示信号に基づいて、映像符号化実行部１５のフレームデータ２３の符号化動作は、入力動画データ２１に対する各ＧＯＰの期間を維持したまま、１つ置きの符号化処理から、毎回の符号化処理に切り替わる。
また、映像符号化実行部１５は、ＧＯＰ内の３個のピクチャを、Ｉ、Ｐ、Ｐのピクチャに符号化する制御から、ＧＯＰ内の６個のピクチャを、Ｉ、Ｂ、Ｐ、Ｂ、Ｐ、Ｂのピクチャに符号化する制御に切り替わる。
【００６７】
［後処理動作］
次に、映像符号化実行部１５から符合化済みの映像データが入力される出力部１６の動作について説明する。
出力部１６は、映像符号化実行部１５から入力される符号化されたフレームデータ２３を、出力動画データ記憶部１７に記憶させる。
特に、映像符号化実行部１５による符号化のための実際の動作フレームレートが初期設定フレームレート以上である場合、出力部１６は、第１出力データ２５および第２出力データ２６を出力動画データ記憶部１７に記憶させる。
【００６８】
図２２は、図１の出力部１６による後処理動作の一例の説明図である。
図２２（Ａ）は、第１出力データ２５を示す図である。図２２（Ｂ）は、第２出力データ２６を示す図である。
図２２の場合、出力部１６は、設定ＧＯＰ長をフレーム数と解釈し、第１出力データ２５および第２出力データ２６を出力動画データ記憶部１７に記憶させている。
具体的には、出力部１６は、図２０（Ｂ）の各ＧＯＰについて、設定ＧＯＰ長をフレーム数と解釈して、第１出力データ２５として出力動画データ記憶部１７に記憶させる。
また、出力部１６は、図２０（Ｂ）の各ＧＯＰのすべてのピクチャを、第２出力データ２６として出力動画データ記憶部１７に記憶させる。
このように出力部１６は、映像符号化実行部１５が符号化した１個のフレームデータ２３に基づいて、初期設定フレームレートに対応する出力データと、映像符号化実行部１５の動作フレームレートに対応する出力データとを生成する。
【００６９】
図２３は、図１の出力部１６による後処理動作の他の例の説明図である。
図２３（Ａ）は、第１出力データ２５を示す図である。図２３（Ｂ）は、第２出力データ２６を示す図である。
図２３の場合、出力部１６は、設定ＧＯＰ長をフレーム数と解釈し、第１出力データ２５および第２出力データ２６を出力動画データ記憶部１７に記憶させている。
具体的には、出力部１６は、図２１（Ｂ）の各ＧＯＰについて設定ＧＯＰ長をフレーム数と解釈し、第１出力データ２５として出力動画データ記憶部１７に記憶させる。
また、出力部１６は、図２１（Ｂ）の各ＧＯＰのすべてのピクチャを、第２出力データ２６として出力動画データ記憶部１７に記憶させる。
【００７０】
以上のように、第１実施形態では、映像符号化実行部１５がバッファモデル５１に基づいてフレームデータ２３の符号化の要否を判断する前に、符号化制御部１４が符号化済みの画像データのデータ量が安定するように符号化のフレームレートを切り替える。
よって、第１実施形態では、符号化状況に応じて符号化中に映像符号化実行部１５が符号化の要否を判断することが減り、符号化された動画データにおいて、複数の画像データのフレームレートが安定する。
その結果、第１実施形態の符号化装置１により符号化された動画データを再生した場合、そのフレームレートが安定しているため、動画がスムーズに見える。
仮にたとえば符号化状況に応じて符号化中に映像符号化実行部１５が符号化の要否を判断した場合のように、再生中に画像が直ぐに切り替わったり、しばらく表示されたりし難くなる。視聴者に対して違和感を与えないようにすることができる。
【００７１】
第１実施形態では、符号化されるフレームデータ２３のフレーム間隔が略一定に安定するため、これを再生する再生装置６３において簡単な補完機能により間引かれたフレームを補間して復元することが可能になる。
【００７２】
特に、符号化制御部１４は、映像符号化実行部１５に対して指示する符号化のフレームレートとして、入力動画データ２１のフレームレートまたはその約数（または倍数）の中から選択している。
その結果、第１実施形態では、符号化された複数の画像データは、入力動画データ２１の画像データに対して一定の間隔毎に対応する。よって、視聴者に対して違和感を与えないようにすることができる。
【００７３】
符号化制御部１４は、映像符号化実行部１５がフレームデータ２３の符号化の要否を判断するためのバッファモデル５１を共通に用いて、映像符号化実行部１５に対して指示する符号化のフレームレートを判断する。このため、符号化制御部１４の制御により、映像符号化実行部１５がフレームの追加または削除を独自に判断しないようにすることができる。
【００７４】
第１実施形態では、オーバーフロー抑制のために、可能な限りフレーム間隔を短くし、単位時間あたりの符号化回数を増やしている。その結果、第１実施形態では、符号量破綻等を抑制して、フレーム間隔を一定に保ち続けることを可能にすることができる。
【００７５】
第１実施形態では、符号化制御部１４は、映像符号化実行部１５と同じバッファモデル５１（符号量）について、オーバーフロー抑制、アンダーフロー抑制のための専用の閾値を用いる。その結果、第１実施形態では、オーバーフローまたはアンダーフローする兆候があったとしても、その状態から通常状態に早期に復帰することができる。また、それ故に、第１実施形態では、符号量破綻等によるスキップを抑制してフレーム間隔を一定に維持することができる。
【００７６】
第１実施形態では、可能な限りフレーム間隔を短くし、単位時間あたりの符号化回数を増やした場合には、図２０、図２１に示すように、初期レートより増えたフレームを非参照インターフレームとして符号化している。また、出力部１６は、初期設定フレームレートの第１出力データ２５と、初期設定フレームレートより高いフレームレートの第２出力データ２６とを生成する。この結果、再生装置６３などは、初期設定フレームレートの画質の動画データと、それより高画質の動画データとから、その性能に応じた出力データを選択し、再生することが可能になる。
【００７７】
実際の動作フレームレートが初期設定フレームレートより大きくなる場合、図１８、図２０に示すように、ＧＯＰ長を符号化したフレーム数と解釈することにより、１ＧＯＰが表す時間を短くすることができる。その結果、単位時間当たりのイントラフレームの生成数を増やすことができ、リカバリポイントを増加させることができる。
【００７８】
実際の動作フレームレートが初期設定フレームレートより大きくなる場合、図１９、図２０に示すように、ＧＯＰ長を符号化した時間と設定することにより、１ＧＯＰが表す時間を長くすることができる。その結果、イントラフレーム数を減らし、各フレームに割り当て可能な符号量を大きくすることができ、各画像の画質を改善することができる。
【００７９】
実際の動作フレームレートが初期設定フレームレートより小さくなる場合、図１７に示すように、ＧＯＰ長を符号化した時間と設定することにより、１ＧＯＰが表す時間を長くすることができる。その結果、イントラフレーム数を減らし、各フレームに割り当て可能な符号量を大きくすることができ、各画像の画質を改善することができる。また、この効果により、符号量（バッファモデル５１）の破綻をさらに抑制することができる。また、１ＧＯＰ長が担うフレーム数が一定となるため、１ＧＯＰ分の符号量予測が容易になる。
【００８０】
＜２．第２実施形態＞
図２４は、本発明の第２実施形態に係る符号化伝送システム６１の概略ブロック図である。
図２４の符号化伝送システム６１は、撮像装置６２と、再生装置６３とを有する。
撮像装置６２は、撮像部７１、入力バッファメモリ７２、符号化部７３、出力バッファメモリ７４、第１通信部７５を有する。
再生装置６３は、第２通信部８１、受信バッファメモリ８２、復号部８３、復号バッファメモリ８４、再生部８５、モニタ８６を有する。
【００８１】
撮像装置６２の撮像部７１は、たとえばＣＭＯＳセンサ、ＣＣＤセンサである。撮像部７１は、入力バッファメモリ７２に接続される。撮像部７１は、撮像した画像の信号を、入力バッファメモリ７２へ出力する。入力バッファメモリ７２は、撮像された１枚の画像データを記憶する。
【００８２】
符号化部７３は、図１に示す符号化装置１である。符号化部７３は、入力バッファメモリ７２、出力バッファメモリ７４に接続される。符号化部７３は、入力バッファメモリ７２から撮像動画データを構成する画像データ（フレームデータ２３）を取得し、符号化し、出力バッファメモリ７４へ出力する。出力バッファメモリ７４は、符号化済みの画像データを記憶する。
【００８３】
第１通信部７５は、たとえば無線通信部である。第１通信部７５は、出力バッファメモリ７４に接続される。第１通信部７５は、出力バッファメモリ７４に記憶されるデータを所定の通信帯域の下で無線送信する。
【００８４】
再生装置６３の第２通信部８１は、第１通信部７５と通信可能な無線通信部である。第２通信部８１は、受信バッファメモリ８２に接続される。第２通信部８１は、第１通信部７５から受信したデータを、受信バッファメモリ８２に保存する。これにより、受信バッファメモリ８２は、符号化済みの画像データを記憶する。
【００８５】
復号部８３は、受信バッファメモリ８２、復号バッファメモリ８４に接続される。復号部８３は、受信バッファメモリ８２に記憶される符号化済みの画像データを復号し、復号バッファメモリ８４に保存する。復号バッファメモリ８４は、復号された画像データを記憶する。
【００８６】
再生部８５は、復号バッファメモリ８４、モニタ８６に接続される。再生部８５は、復号バッファメモリ８４に記憶される画像データを、所定のフレームレートでモニタ８６へ出力する。これにより、モニタ８６には、復号された複数の画像による動画が表示される。
【００８７】
以上の各実施形態は、本発明の好適な実施形態の例であるが、本発明は、これに限定されるものではなく、発明の要旨を逸脱しない範囲において種々の変形または変更が可能である。
【００８８】
たとえば上記第１実施形態の符号化装置１、および第２実施形態の符号化部７３は、動画データの各フレームデータ２３をＭＰＥＧ４  ｖｉｓｕａｌ方式により符号化している。
この他にも例えば、符号化装置１または符号化部７３は、動画データの各フレームデータ２３をＨ．２６４方式、ＭＰＥＧ２方式により符号化してもよい。
【００８９】
図２５は、Ｈ．２６４方式による符号化の際の、符号化制御部１４による符号化制御動作の説明図である。
図２５には、Ｈ．２６４方式の規格に準拠したバッファモデル５１が図示されている。縦軸は、バッファモデル５１内の滞留データ量である。横軸は、時間である。なお、ＭＰＥＧ２方式でもＨ．２６４方式に類似したバッファモデル５１を使用し、バッファモデル５１に滞留しているデータ量に応じて、符号化するデータ量を適宜制御する。
【００９０】
ＭＰＥＧ４  ｖｉｓｕａｌ方式では、図１４に示すように、符号化処理を開始する際の初期値が、ＶＢＶ値についての所定の割合（％）となるように設定されている。
これに対して、Ｈ．２６４方式では、図２５に示すように、符号化を開始する場合の初期値がＶＢＶ値についての０％となるように設定されている。
このため、符号化処理の開始直後のバッファ占有量は、低い。
また、Ｈ．２６４方式では、映像符号化実行部１５は、符号化処理を開始してからたとえば所定の期間後に、符号化したデータのデータ量に応じた符号化制御動作を開始する。
このため、本発明を、Ｈ．２６４方式の映像符号化実行部１５に適用する場合には、符号化制御部１４は、当該所定の期間の後から、符号化したデータのデータ量に応じた符号化制御動作を開始すればよい。
なお、ＭＰＥＧ２においても同様に、符号化制御部１４の制御により、符号化したデータのデータ量に応じた符号化制御動作を開始することができる。
【００９１】
上記第２実施形態では、第１実施形態の符号化装置１を撮像装置６２に適用した例である。
撮像装置６２には、ＤＳＣ（Digital  still  camera）、ビデオカメラ、監視カメラなどがある。
符号化装置１は、この他にも例えば、携帯電話機、ＰＤＡ（Personal  Digital  Assistant）、電子ブック機器、ノート型コンピュータ装置、ナビゲーション装置、携帯再生機器に適用することができる。
また、符号化装置１は、再生装置、ＡＶ（Audio  Visual）機器、ＤＬＮＡ（Digital  Living  Network  Alliance）サーバ機器などに適用することができる。
【符号の説明】
【００９２】
１…符号化装置、１１…入力部（取得部）、１４…符号化制御部（判断部）、１５…映像符号化実行部（符号化実行部）、１６…出力部（後処理部）、２１…入力動画データ（動画データ）、２３…フレームデータ（画像データ）、３７…バッファ、５１…バッファモデル、５２…オーバーフロー制御閾値（基準値）、５３…ＶＢＶ値の８０％の閾値（基準値）、５４…ＶＢＶ値の４０％の閾値（基準値）、５５…アンダーフロー制御閾値（基準値）、６１…符号化伝送システム、６２…撮像装置、７１…撮像部、７３…符号化部、７５…第１通信部（送信部）、８１…第２通信部（受信部）、８３…復号部。
【図１】
2012010263.tif 000003
【図２】
2012010263.tif 000004
【図３】
2012010263.tif 000005
【図４】
2012010263.tif 000006
【図５】
2012010263.tif 000007
【図６】
2012010263.tif 000008
【図７】
2012010263.tif 000009
【図８】
2012010263.tif 000010
【図９】
2012010263.tif 000011
【図１０】
2012010263.tif 000012
【図１１】
2012010263.tif 000013
【図１２】
2012010263.tif 000014
【図１３】
2012010263.tif 000015
【図１４】
2012010263.tif 000016
【図１５】
2012010263.tif 000017
【図１６】
2012010263.tif 000018
【図１７】
2012010263.tif 000019
【図１８】
2012010263.tif 000020
【図１９】
2012010263.tif 000021
【図２０】
2012010263.tif 000022
【図２１】
2012010263.tif 000023
【図２２】
2012010263.tif 000024
【図２３】
2012010263.tif 000025
【図２４】
2012010263.tif 000026
【図２５】
2012010263.tif 000027