(57)【要約】【課題】動画像データを効率良く圧縮し、且つ、圧縮時の消費電力を抑えることが可能な動画像データ圧縮装置および動画像データ圧縮プログラムを提供する。【解決手段】動画像データ圧縮装置５は、複数フレームの画像データからなる動画像データを入力する入力部２１と、符号化の対象となる第１の画像データと、第１の画像データの隣接フレームの第２の画像データとの各々を複数のユニットに分割する分割部２２と、第１の画像データを複数のユニット毎に個別に符号化する符号化部２６と、第１の画像データの各ユニットについて、該各ユニットに対応する第２の画像データのユニットとの相関の有無を判定する相関判定部２３とを備え、符号化部２６は、第１の画像データの複数のユニット毎の符号化の方法を、該複数のユニットの各々についての相関判定部２３での判定結果に応じて変更する。【選択図】図１
2007074129.tif 000002
【特許請求の範囲】
【請求項１】
複数フレームの画像データからなる動画像データの圧縮を行う動画像データ圧縮装置であって、
前記動画像データを入力する動画像データ入力手段と、
前記入力された動画像データを構成する画像データのうちの符号化の対象となる第１の画像データと、前記第１の画像データの隣接フレームの第２の画像データとの各々を複数のユニットに分割する分割手段と、
前記第１の画像データを前記複数のユニット毎に個別に符号化する符号化手段と、
前記第１の画像データの前記各ユニットについて、該各ユニットに対応する前記第２の画像データのユニットとの相関の有無を判定する相関判定手段とを備え、
前記符号化手段は、前記第１の画像データの前記複数のユニット毎の符号化の方法を、該複数のユニットの各々についての前記相関判定手段の判定結果に応じて変更する動画像データ圧縮装置。
【請求項２】
請求項１記載の動画像データ圧縮装置であって、
前記相関があると判定された前記第１の画像データのユニットについて、該ユニットと該ユニットに対応する前記第２の画像データのユニットとの間の動きを示す動きベクトルを検出する動きベクトル検出手段を含み、
前記符号化手段は、前記動きベクトルが検出された前記第１の画像データのユニットについては、前記動きベクトルを用いて符号化する処理を行い、それ以外の前記第１の画像データのユニットについては、該ユニットと該ユニットに対応する前記第２の画像データのユニットとの差分を符号化する処理を行う動画像データ圧縮装置。
【請求項３】
コンピュータを、請求項１又は２記載の動画像データ圧縮装置の各手段として機能させるための動画像データ圧縮プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理に関し、特に、ＭＰＥＧ（Moving Picture Experts Group）標準の符号化方式で動画像データの圧縮記録を行う動画像データ圧縮装置および動画像データ圧縮プログラムに関する。
【背景技術】
【０００２】
ＭＰＥＧは、ＩＳＯ（International Organization For Standardization：国際標準化機構）の下部組織にあたる標準化団体により規格化されたディジタル動画を圧縮する技術であり、画像内での物体の動く方向を予測し、そのベクトルだけを保存してデータを圧縮する映像データ圧縮方式である。また、ＭＰＥＧは、蓄積メディア系や通信メディア系への動画像適用を目的としてＣＣＩＴＴＨ．２６１（テレビ電話、テレビ会議用符号化）から発展した符号化標準であり、ＭＣ（Motion Compensation；動き補償）やＤＣＴ（Discrete Cosine Transform；離散コサイン変換）などの符号化ツールを持つ点で基本的にＨ．２６１と共通するが、早送り、巻戻し、途中再生及び逆転再生などのトリックモードを実現するための特殊な構造、すなわち、ＧＯＰ（Group Of Pictures）構造を持つ点で相違する。
【０００３】
ＭＰＥＧのシンタクス（構文：ビット・ストリームの満たすべき順序と内容）は、シーケンスヘッダとシーケンスエンドの間に幾つかのＧＯＰを持つシーケンス層と、その下位のＧＯＰ層からなり、ＧＯＰ層はＧＯＰヘッダの後にｎ個のピクチャフレーム（符号化された画面データ）を持つ構造になっている。
【０００４】
一つのＧＯＰがランダムアクセスの１単位であり、この単位で上述のトリックモードを可能にする。ｎ個のピクチャフレームのタイプ（ピクチャタイプ）は、Ｉピクチャ、Ｐピクチャ又はＢピクチャの何れかであり、各ピクチャタイプの内容は、以下のとおりである。
【０００５】
Ｉピクチャは、フレーム内符号化画像（Intra-Coded Picture）の略称であり、画面の全てをイントラ符号化する画像であり、ＧＯＰ内の独立性（参照画像を必要としない）を持つ点で他のピクチャタイプと異なる。一方、Ｐピクチャは、フレーム間順方向予測符号化画像（Predictive-Coded Picture）の略称であり、前のＩピクチャ又はＰピクチャから順方向予測される画像である。また、Ｂピクチャは、フレーム内挿双方向予測符号化画像（Bidirectionally Predictive-Coded Picture）の略称であり、前後のＩピクチャ又はＰピクチャから双方向予測される画像である。
【０００６】
一般に、ＢピクチャやＰピクチャは、隣接フレーム間の動きを検出することで生成される。
【０００７】
図４は、ＭＰＥＧ標準の符号化方式で動画像の圧縮記録を行う電子スチルカメラにおいて使用される動き検出回路のブロック図である。動き検出回路は、ディジタルデータに変換された撮像系の出力信号でＹＵＶ信号に変換する前の生のフレーム画像信号に基づいて被写体の動きを検出し、動きが大きい（又は激しい）場合にアクティブ（Ｈ論理）となる動き検出信号ＭＶを出力する。
【０００８】
図４において、３１はローパスフィルタ（ＬＰＦ）、３２はハイパスフィルタ（ＨＰＦ）、３３はゲート回路、３４はピークホールド回路、３５は高輝度判定回路、３６は積算回路、３７は動き判定部である。ＬＰＦ３１とＨＰＦ３２でフレーム画像信号の高域周波数成分を取り出すとともに、ゲート回路３３で画面内の特定範囲以外をマスクし、ピークホールド回路３４でその特定範囲における高域周波数成分のピーク値ＰＫを保持する。同時に、高輝度判定回路３５で画面内の高輝度部分を判定し、その高輝度部分のマスクをゲート回路３３に指示するとともに、積算回路３６で高輝度部分の輝度積算値ＢＴを演算する。
【０００９】
図５は、動き検出回路の動き判定部３７の構成図であり、３８はＰＫを１フレームの間保持するレジスタ、３９は現在のＰＫと前フレームのＰＫとの差分ΔＰＫを演算する差演算器、４０はΔＰＫと基準値ＲＰＫとを比較して「ΔＰＫ≧ＲＰＫ」のときにＨ論理を出力する比較器である。また、４１はＢＴを１フレームの間保持するレジスタ、４２は現在のＢＴと前フレームのＢＴとの差分ΔＢＴを演算する差演算器、４３はΔＢＴと基準値ＲＢＴとを比較して「ΔＢＴ≧ＲＢＴ」のときにＨ論理を出力する比較器である。さらに、４４は二つの比較器４０、４３の少なくとも一方からＨ論理が出力されたときにＨ論理を出力するオアゲート、４５はオアゲート４４の出力を１フレームの間保持するレジスタであり、レジスタ４５の保持値が動き検出信号ＭＶとして出力される。なお、Ｆは画像信号のフレーム周期に同期したフレーム信号であり、三つのレジスタ３８、４１及び４５は、このフレーム信号Ｆに応答して保持値を更新する（例えば、特許文献１参照）。
【００１０】
【特許文献１】特開２０００−１９７００３号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
特許文献１記載の技術では、画像データの高周波成分のピーク値および画像データの高輝度部分の輝度積算値のフレーム間差分が、基準レベルより大きい場合に、フレーム間に相関がないと判断し、該当フレームをＩフレームにしている。このため、部分的に相関のある画像データがあった場合でも、この画像データがＩフレームとなってしまうことがあり、その結果、コード量が増加してしまう。また、相関性がないフレームをＩフレーム化するためＧＯＰをリセットする場合があるが、ＧＯＰ内のフレーム数が減少しランダムアクセス時に検索する負荷が増加し、処理速度の低下が発生する。
【００１２】
本発明は、上記事情に鑑みてなされたものであって、動画像データを効率良く圧縮し、且つ、圧縮時の消費電力を抑えることが可能な動画像データ圧縮装置および動画像データ圧縮プログラムを提供することを目的としている。
【課題を解決するための手段】
【００１３】
本発明の動画像データ圧縮装置は、複数フレームの画像データからなる動画像データの圧縮を行う動画像データ圧縮装置であって、前記動画像データを入力する動画像データ入力手段と、前記入力された動画像データを構成する画像データのうちの符号化の対象となる第１の画像データと、前記第１の画像データの隣接フレームの第２の画像データとの各々を複数のユニットに分割する分割手段と、前記第１の画像データを前記複数のユニット毎に個別に符号化する符号化手段と、前記第１の画像データの前記各ユニットについて、該各ユニットに対応する前記第２の画像データのユニットとの相関の有無を判定する相関判定手段とを備え、前記符号化手段は、前記第１の画像データの前記複数のユニット毎の符号化の方法を、該複数のユニットの各々についての前記相関判定手段の判定結果に応じて変更する。
【００１４】
本発明の動画像データ圧縮装置は、前記相関があると判定された前記第１の画像データのユニットについて、該ユニットと該ユニットに対応する前記第２の画像データのユニットとの間の動きを示す動きベクトルを検出する動きベクトル検出手段を含み、前記符号化手段は、前記動きベクトルが検出された前記第１の画像データのユニットについては、前記動きベクトルを用いて符号化する処理を行い、それ以外の前記第１の画像データのユニットについては、該ユニットと該ユニットに対応する前記第２の画像データのユニットとの差分を符号化する処理を行う。
【００１５】
本発明の動画像データ圧縮プログラムは、コンピュータを、上記の動画像データ圧縮装置の各手段として機能させるためのプログラムである。
【発明の効果】
【００１６】
本発明によれば、動画像データを効率良く圧縮し、且つ、圧縮時の消費電力を抑えることが可能な動画像データ圧縮装置および動画像データ圧縮プログラムを提供することができる。
【発明を実施するための最良の形態】
【００１７】
本発明の実施の形態である動画像データ圧縮装置は、電子スチルカメラやビデオカメラ等に内蔵可能であり、ＭＰＥＧ標準の符号化方式で動画像データの圧縮を行うものである。
【００１８】
図１は、本発明の実施の形態である動画像データ圧縮装置の概略ブロック図である。
図１に示すように、動画像データ圧縮装置５は、複数フレームの画像データからなる動画像データを入力する入力部２１と、入力された画像データのうち、符号化の対象となる画像データである第１の画像データと、第１の画像データの隣接フレームの画像データである第２の画像データとの各々を複数のユニットに分割する分割部２２と、分割部２２で分割された第１の画像データの各ユニットについて、該各ユニットに対応する第２の画像データのユニットとの相関の有無を判定する相関判定部２３と、相関があると判定された第１の画像データのユニットについて、該ユニットと該ユニットに対応する第２の画像データのユニットとの間の動きを示す動きベクトルを検出する動きベクトル検出部２４と、第１の画像データを複数のユニット毎に個別に符号化する符号化部２６とを備える。相関判定部２３は、特許文献１の図３に示すような回路を適用することができる。本実施形態では、第２の画像データを、第１の画像データの直前フレームの画像データとして説明する。
【００１９】
符号化部２６は、第１の画像データの複数のユニット毎に適用する符号化方法を、該複数のユニットの各々についての相関判定部２３の判定結果に応じて変更する。
【００２０】
次に、図１に示す動画像データ圧縮装置の動作を説明する。
図２は、図１に示す動画像データ圧縮装置の動作を説明するためのフローチャートである。図３は、画像データをイメージ化した図であり、符号Ｂは第１の画像データのイメージを示し、符号Ａは第２の画像データのイメージを示す。図３の例では、第１の画像データＢと第２の画像データＡをそれぞれ４つのユニットａ〜ｄに分割し、それぞれのユニット内を、例えば２０個のマクロブロック２７（動きベクトルを検出するための単位ブロック）に分割している。なお、マクロブロック数は任意である。
【００２１】
まず、入力部２１により、複数フレームの画像データからなる動画像データが入力される（ステップＳ１１）。そして、分割部２２において、複数フレームの画像データのうち、第１の画像データＢと第２の画像データＡが抽出され、これらがそれぞれ、図３に示すように４つのユニットａ，ｂ，ｃ，ｄに分割される（ステップＳ１２）。
【００２２】
次に、相関判定部２３において、第１の画像データＢの各ユニットａ〜ｄについて、該各ユニットａ〜ｄに対応する第２の画像データＡのユニットとの相関の有無が判定される（ステップＳ１３）。つまり、第１の画像データＢのユニットａについて、第２の画像データＡのユニットａとの相関の有無が判定され、第１の画像データＢのユニットｂについて、第２の画像データＡのユニットｂとの相関の有無が判定され、第１の画像データＢのユニットｃについて、第２の画像データＡのユニットｃとの相関の有無が判定され、第１の画像データＢのユニットｄについて、第２の画像データＡのユニットｄとの相関の有無が判定される。
【００２３】
図３の例では、第１の画像データＢのユニットａ，ｃ，ｄについては、被写体の動きが穏やかであって第２の画像データＡと相関があると判定され、第１の画像データＢのユニットｂについては、被写体の動きが急激であって第２の画像データＡとは相関がないと判定される。
【００２４】
相関ありと判定された第１の画像データＢのユニットａ，ｃ，ｄについては、該ユニットａ，ｃ，ｄと該ユニットａ，ｃ，ｄに対応する第２の画像データＡのユニットａ，ｃ，ｄとの間の動きを示す動きベクトルが動きベクトル検出部２４で検出される（ステップＳ１４）。つまり、第１の画像データＢのユニットａと第２の画像データＡのユニットａとの間で動きベクトルが検出され、第１の画像データＢのユニットｃと第２の画像データＡのユニットｃとの間で動きベクトルが検出され、第１の画像データＢのユニットｄと第２の画像データＡのユニットｄとの間で動きベクトルが検出される。動きベクトルの検出は、マクロブロック単位で行われる。動きベクトルの検出は公知の手法を用いることができる。
【００２５】
ステップＳ１４の後、第１の画像データＢのユニットａ，ｃ，ｄのそれぞれに対し、符号化部２６にて符号化が行われる。このとき、符号化部２６は、ステップＳ１４で第１の画像データＢの各ユニットａ，ｃ，ｄについて検出された動きベクトルを用いて、第１の画像データＢの各ユニットａ，ｃ，ｄの符号化を行う（ステップＳ１５）。この符号化処理は、例えば、第１の画像データＢのユニットと、このユニットに対応する第２の画像データＡのユニットとで重複していないデータを求め、このデータと動きベクトルを合わせて符号化することで行う。
これにより、相関があると判定された第１の画像データＢのユニットａ，ｃ，ｄについては、コード量を削減することができる。動きベクトルを用いた符号化は、公知の様々な手法を用いることができる。
【００２６】
一方、相関なしと判定された第１の画像データＢのユニットｂについては、ステップＳ１３の後、動きベクトルの検出が行われない。このため、符号化部２６は、第１の画像データＢのユニットｂについては、該ユニットｂと該ユニットｂに対応する第２の画像データＡのユニットｂとの差分を求め、この差分を符号化する処理を行う（ステップＳ１６）。この符号化は、隣接する画像データ同士の差分を単純に符号化しているだけなので、コード量削減効果は低い。
【００２７】
このようにして、第１の画像データＢの符号化が完了し、全ての画像データに対して上述した処理を実行することで、圧縮動画像データを得ることができる。
【００２８】
以上説明したように、本実施形態の動画像データ圧縮装置５は、符号化対象となる画像データと、それに隣接する画像データとを、それぞれ複数のユニットに分割し、各ユニット毎に個別に相関の有無を判定し、相関有のユニットに対しては動きベクトルを検出し、この動きベクトルを用いて符号化を行うことでコード量を削減する。また、相関無のユニットに対しては動きベクトルの検出を行わないことで消費電力を削減し、隣接画像データ同士の差分を符号化する。この結果、部分相関のある画像データが動画像データに含まれる場合でも、データを効率良く圧縮することができる共に、圧縮時の消費電力を抑えることが可能となる。又、上述した処理によって得られる第１の画像データは、Ｂピクチャ又はＰピクチャとなるため、ＧＯＰ内のフレーム数が減少してランダムアクセス時に検索する負荷が増加し、再生処理速度が低下するといった問題を防ぐこともできる。
【００２９】
尚、図１に示す動画像データ圧縮装置５の各構成要素の機能は、ハードウェアで実現しても良いし、コンピュータにプログラムを実行させることで実現しても良い。
【図面の簡単な説明】
【００３０】
【図１】本発明の実施の形態である動画像データ圧縮装置の概略ブロック図
【図２】図１に示す動画像データ圧縮装置の動作を説明するためのフローチャート
【図３】画像データをイメージ化した図
【図４】従来の電子スチルカメラにおいて、ＭＰＥＧ標準の符号化方式で動画像の圧縮記録を行う動き検出回路のブロック図
【図５】図４に示す動き判定部の構成図
【符号の説明】
【００３１】
２１  入力部
２２  分割部
２３  相関判定部
２４  動きベクトル検出部
２６  符号化部
２７  マクロブロック
３１  ＬＰＦ
３２  ＨＰＦ
３３  ゲート回路
３４  ピークホールド回路
３５  高輝度判定回路
３６  積算回路
３７  動き判定部
３８，４１，４５  レジスタ
３９，４２  差演算器
４０，４３  比較器
４４  オア回路
１００  動画像データ圧縮装置
【図１】
2007074129.tif 000003
【図２】
2007074129.tif 000004
【図３】
2007074129.tif 000005
【図４】
2007074129.tif 000006
【図５】
2007074129.tif 000007