(57)【要約】【課題】情報発生量が大きく変化しても画質を一定に保つことが可能な動画符号化技術を提供する。【解決手段】符号化装置１００は、連続する画像フレームデータを含む動画データをリアルタイムで符号化する。バッファメモリ１０は、所定期間を単位として動画データを順次格納する。エンコーダ１２は、バッファメモリ１０に格納される動画データを符号化する。量子化値決定部１４は、バッファメモリ１０に格納される動画データを参照し、エンコーダ１２による所定期間分の動画データの符号化により生成される符号化後の動画データのデータ容量が一定となるように、エンコーダ１２における符号化の量子化値を所定期間ごと決定する。【選択図】図２
2011160280.tif 000002
【特許請求の範囲】
【請求項１】
連続する画像フレームデータを含む動画データをリアルタイムで符号化する符号化装置であって、
所定期間を単位として前記動画データを順次格納するバッファメモリと、
前記バッファメモリに格納される前記動画データを符号化するエンコーダと、
前記バッファメモリに格納される前記動画データを参照し、前記エンコーダによる前記所定期間分の動画データの符号化により生成される符号化後の動画データのデータ容量が一定となるように、前記エンコーダにおける符号化の量子化値を所定期間ごと決定する量子化値決定部と、
を備えることを特徴とする符号化装置。
【請求項２】
前記量子化値決定部は、
前記バッファメモリに格納される前記動画データを前記エンコーダと同じ符号化方式で符号化するサブエンコーダを含み、
前記サブエンコーダによる符号化後の動画データのデータ容量にもとづいて、前記量子化値を決定することを特徴とする請求項１に記載の符号化装置。
【請求項３】
前記量子化値決定部は、
前記バッファメモリに格納される前記動画データに含まれる画像フレームデータのフレーム間の差分にもとづいて前記量子化値を決定することを特徴とする請求項１に記載の符号化装置。
【請求項４】
撮像デバイスと、
前記撮像デバイスからの動画データを符号化する請求項１から３のいずれかに記載の符号化装置と、
前記符号化装置によって符号化されたデータを格納する記憶装置と、
を備えることを特徴とする動画撮像装置。
【請求項５】
連続する画像フレームデータを含む動画データをリアルタイムで符号化する符号化方法であって、
所定期間を単位として前記動画データをバッファメモリに順次格納するステップと、
前記バッファメモリに格納される前記動画データをエンコーダによって符号化するステップと、
前記バッファメモリに格納される前記動画データを参照し、前記エンコーダによる前記所定期間分の動画データの符号化により生成される符号化後の動画データのデータ容量が一定となるように、前記エンコーダにおける符号化の量子化値を所定期間ごと決定するステップと、
を備えることを特徴とする符号化方法。
【請求項６】
前記バッファメモリに格納される前記動画データを前記エンコーダと同じ符号化方式で符号化し、当該符号化後の動画データのデータ容量にもとづいて、前記量子化値を決定することを特徴とする請求項５に記載の符号化方法。
【請求項７】
前記バッファメモリに格納される前記動画データに含まれる画像フレームデータのフレーム間の差分にもとづいて前記量子化値を決定することを特徴とする請求項５に記載の符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画データを圧縮、符号化する技術に関する。
【背景技術】
【０００２】
近年、動画像を手軽に記録可能なデジタルムービー、あるいは動画撮像機能付きのデジタルカメラや携帯電話端末の普及が進んでいる。これらの動画撮像装置は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor)センサなどの撮像デバイスから出力される動画像データを、ＭＰＥＧ（Moving Picture Experts Group）などによって策定された標準圧縮方式を用いて圧縮する。圧縮されたデータは、ハードディスクやフラッシュメモリなどの記憶装置にリアルタイムで記録される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平６−０３０３９６号公報
【特許文献２】特開平７−１８４２０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
図１は、従来の動画撮像装置における情報発生量および画質を示す図である。撮像デバイスから符号化装置（エンコーダ）には、毎秒数十枚の画像フレームデータ（以下、入力動画データという）が供給される。図１の上段には、入力動画データの情報発生量が示される。なおこの情報発生量は、入力動画データの現実のデータ容量ではなく（撮像デバイスからのデータ容量は常に一定である）、符号化装置が一定の量子化値を用いて符号化を行った場合の、圧縮後のデータ容量に対応する。この情報発生量は時々刻々と変化する。たとえば動画がシーンチェンジなどを伴う場合、情報量は増加し、動きが少ないシーンでは減少する。
【０００５】
符号化装置の後段の記憶装置における書き込み速度、あるいは符号化装置より後ろのバスの帯域（伝送レート）には上限がある。この上限は図１の上段に破線で示される。入力動画データの情報量が上限を超えると、データを伝送することができないため、情報を削減する必要がある。したがって従来では、シーンチェンジなどが発生する期間（I）において、画質が劣化するという問題があった。反対に、情報発生量が上限を下回る期間（II）においては画質は向上するが、後段の処理ユニットに対し、符号化後のデータにダミーのデータを付加して伝送する必要がある。
【０００６】
本発明は状況に鑑みてなされたものであり、そのある態様の例示的な目的のひとつは、情報発生量が大きく変化しても画質を一定に保つことが可能な動画符号化技術の提供にある。
【課題を解決するための手段】
【０００７】
本発明のある態様は、連続する画像フレームデータを含む動画データをリアルタイムで符号化する符号化装置に関する。符号化装置は、所定期間を単位として動画データを順次格納するバッファメモリと、バッファメモリに格納される動画データを符号化するエンコーダと、バッファメモリに格納される動画データを参照し、エンコーダによる所定期間分の動画データの符号化により生成される符号化後の動画データのデータ容量が一定となるように、エンコーダにおける符号化の量子化値を所定期間ごと決定する量子化値決定部と、を備える。
【０００８】
一般にシーンチェンジは短期間で発生し、その前後の情報発生量はそれほど大きくない傾向がある。したがって所定期間の長さが、情報発生量が大きなシーンと、その前後の情報発生量が少ないシーンを含む程度に長ければ、所定期間全体での画質が平滑化されるため、極端に画質が悪い期間と、極端に画質がよい期間が発生するのを防止することができる。
【０００９】
量子化値決定部は、バッファメモリに格納される動画データをエンコーダと同じ符号化方式で符号化するサブエンコーダを含んでもよい。量子化値決定部は、サブエンコーダによる符号化後の動画データのデータ容量にもとづいて、量子化値を決定してもよい。
【００１０】
量子化値決定部は、バッファメモリに格納される動画データに含まれる画像フレームデータのフレーム間の差分にもとづいて量子化値を決定してもよい。
【００１１】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を、方法、装置、プログラムおよびその記憶媒体、システムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１２】
本発明によれば、情報発生量が大きく変化しても画質を一定に保つことができる。
【図面の簡単な説明】
【００１３】
【図１】従来の動画撮像装置における情報発生量および画質を示す図である。
【図２】本発明の実施の形態に係る符号化装置を備える動画撮像装置の構成を示すブロック図である。
【図３】図２の動画撮像装置における情報発生量および画質を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。
【００１５】
図２は、本発明の実施の形態に係る符号化装置１００を備える動画撮像装置２の構成を示すブロック図である。動画撮像装置２は、撮像デバイス４、符号化装置１００、記憶装置６、バス８を備える。
【００１６】
撮像デバイス４は、ＣＣＤやＣＭＯＳセンサなどであり、毎秒、決められた枚数（たとえば２４枚、３０枚、６０枚など）の画像フレームデータ（ピクチャ）ＦＤを順次出力する。各画像フレームデータＦＤは、横Ｘピクセル、縦Ｙピクセルの画素を含み、各画素は、ＲＧＢそれぞれｎビットで構成される。Ｘ、Ｙ、ｎは任意の整数である。圧縮前の生（ＲＡＷ）の画像フレームデータの容量は、（Ｘ×Ｙ×３×ｎ）ビットであるため、一定である。
【００１７】
符号化装置１００は、撮像デバイス４から供給される連続する画像フレームデータＦＤを含む入力動画データＤＩＮを受ける。符号化装置１００は入力動画データＤＩＮをリアルタイムで符号化する。
【００１８】
符号化装置１００により符号化された動画データ（符号化動画データ）ＤＥＮＣは、バス８を介して後段の記憶装置６に伝送され、順次書き込まれていく。
【００１９】
符号化装置１００は、バッファメモリ１０、エンコーダ１２、量子化値決定部１４、送信部１６を備える。
【００２０】
バッファメモリ１０は、所定期間τを単位として入力動画データＤＩＮを順次格納する。所定期間τは、数百ｍｓ〜数十ｓに設定される。所定期間τは、一般的なシーンチェンジなどに伴う突発的な情報発生量の増加が発生する期間よりも長く設定すればよい。現実的なバッファメモリ１０の容量を考慮すると、所定期間τは、１秒〜２０秒程度であることが望ましい。
【００２１】
エンコーダ１２は、バッファメモリ１０に格納される動画データを符号化する。符号化方式は特に限定されないが、たとえば標準圧縮方式であるＭＰＥＧ２、ＭＰＥＧ４、Ｍｏｔｉｏｎ−ＪＰＥＧ、Ｈ．２６４それらに準ずる別の方式が例示される。
【００２２】
動画データの符号化は、たとえば以下のように実行される。まず、画像フレームデータＦＤが複数のブロック（たとえば８×８ピクセルの領域）に分割される。そして各ブロックごとに、ＤＣＴ（離散コサイン変換）などを用いて、周波数ごとの係数（ＤＣＴ係数）に変換される。
【００２３】
続いてＤＣＴによって生成されたＤＣＴ係数が量子化される。固定の量子化値で量子化した場合、映像の複雑さにより情報量が変動するため、リアルタイム符号化する場合、量子化値を動的に変更することにより、情報発生量を極力一定になるように制御する。
【００２４】
量子化値決定部１４は、バッファメモリ１０に格納される動画データを参照し、所定期間τごとの情報発生量を推定する。そして量子化値決定部１４は、エンコーダ１２における符号化の量子化値（量子化ビット数）を所定期間τごとに決定、更新する。
【００２５】
具体的には、量子化値決定部１４は、エンコーダ１２による所定期間τ分の動画データの符号化により生成される符号化後の動画データＤＥＮＣのデータ容量が一定となるように、エンコーダ１２における符号化の量子化値を所定期間τごと決定する。符号化後の動画データＤＥＮＣの目標量は、後段のバス８の伝送レート、あるいは記憶装置６の書き込み速度などに応じて決定すればよい。
【００２６】
たとえば量子化値決定部１４は、バッファメモリ１０に格納される動画データをエンコーダと同じ符号化方式で符号化するサブエンコーダを含む。量子化値決定部１４は、サブエンコーダによる符号化後の動画データのデータ容量にもとづいて、量子化値を決定する。サブエンコーダによる符号化後の動画データのデータ容量は、情報発生量と相関を有している。
【００２７】
あるいは量子化値決定部１４は、バッファメモリ１０に格納される動画データに含まれる画像フレームデータのフレーム間の差分にもとづいて量子化値を決定してもよい。
【００２８】
エンコーダ１２によって符号化された動画データは、送信部１６によって後段の記憶装置６に送出される。
【００２９】
以上が符号化装置１００の構成である。続いてその動作を説明する。
図３は、図２の動画撮像装置における情報発生量および画質を示す図である。図３の上段は、情報発生量を、下段は符号化装置１００により符号化された動画の画質を示す。
【００３０】
シーンチェンジなどにともなう情報発生量の増加は短期間で発生し、その前後の情報発生量はそれほど大きくない傾向がある。したがって所定期間τの長さが、情報発生量が大きな期間と、その前後の情報発生量が少ない期間を含む程度に長ければ、所定期間τ全体の情報発生量にもとづいて、量子化値を決定することができるため、画質を平滑化することができる。つまり、図１に示すような極端に画質が悪い期間と、極端に画質がよい期間が発生する問題を解決することができる。
【００３１】
実施の形態にもとづき本発明を説明したが、実施の形態は、本発明の原理、応用を示しているにすぎないことはいうまでもなく、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められることはいうまでもない。
【符号の説明】
【００３２】
１００…符号化装置、２…動画撮像装置、４…撮像デバイス、６…記憶装置、８…バス、１０…バッファメモリ、１２…エンコーダ、１４…量子化値決定部、１６…送信部。
【図１】
2011160280.tif 000003
【図２】
2011160280.tif 000004
【図３】
2011160280.tif 000005