(57)【要約】【課題】動き補償を用いる動画像圧縮でパンなど画面全体が大きく動く映像でも画質確保のために大きな動きベクトル検索範囲が必要で、回路規模、電力、処理時間が増大する。【解決手段】符号化画面と参照画面のずれ量である全体ベクトルを求め、斜線で示す特殊領域の符号化ブロックの動きベクトル検索を省略または検索範囲縮小する。また、通常領域の符号化ブロックの動きベクトル検索範囲のみを拡大する。また、特殊領域の符号化ブロックの動き補償の評価を厳しくしてイントラ処理などが選択され易くする。これらにより、画面全体が大きく動く映像に対する圧縮効率の悪い処理の減少、画質改善効果が期待できる映像領域に対する処理量の増加、かつ、処理判断精度の向上を図ることができる。【選択図】図３
2006211192.tif 000002
【特許請求の範囲】
【請求項１】
符号化画面と参照画面の画面全体としてのずれ量である全体ベクトルを求める全体ベクトル検出手段と、前記全体ベクトルに基づく対応関係を参照画面にもたない符号化画面の領域を特殊領域と判定する特殊領域判定手段と、前記符号化画面内の符号化ブロックの動きベクトルを検索する動きベクトル検索手段とを備え、前記特殊領域判定手段は前記特殊領域に属する符号化ブロックに関して前記動きベクトル検索手段に検索を禁止させる制御か検索領域を縮小させる制御かの少なくともいずれかの制御機能を有する動画像圧縮装置。
【請求項２】
符号化画面と参照画面の画面全体としてのずれ量である全体ベクトルを求める全体ベクトル検出手段と、前記全体ベクトルに基づく対応関係を参照画面にもたない符号化画面の領域を特殊領域と判定する特殊領域判定手段と、前記符号化画面内の符号化ブロックの動きベクトルを検索する動きベクトル検索手段とを備え、前記特殊領域判定手段は前記特殊領域に属さない符号化ブロックに関して前記動きベクトル検索手段に検索領域の拡大を指示する制御機能を有する動画像圧縮装置。
【請求項３】
符号化画面と参照画面の画面全体としてのずれ量である全体ベクトルを求める全体ベクトル検出手段と、前記全体ベクトルに基づく対応関係を参照画面にもたない符号化画面の領域を特殊領域と判定する特殊領域判定手段と、前記符号化画面内の符号化ブロックの動きベクトルを検索する動きベクトル検索手段と、前記動きベクトル検索手段が求めた動きベクトルによる予測ブロックと符号化ブロックの差分である予測誤差の情報量を評価し評価値を求める動き補償評価手段と、前記評価値をもとに符号化ブロックの符号化方式として前記動きベクトルによる動き補償方式を用いるか他の方式を用いるかを決定する符号化方式決定手段とを備え、前記特殊領域判定手段は特殊領域に属する符号化ブロックに関して前記符号化方式決定手段に指示し、前記動き補償方式を採用する確率を下げるように前記評価値に重みを課す機能を備える動画像圧縮装置。
【請求項４】
前記特殊領域判定手段は、全体ベクトルの大きさが設定された基準値以上である場合にのみ前記特殊領域として識別することを特徴とする請求項１から３のいずれかに記載の動画像圧縮装置。
【請求項５】
符号化画面と参照画面の画面全体としてのずれ量である全体ベクトルを求め、前記全体ベクトルに基づく対応関係を参照画面にもたない符号化画面の領域を特殊領域として識別し、前記符号化画面内の符号化ブロックの動きベクトルを検索する動きベクトル検索処理を備え、前記特殊領域に属する符号化ブロックでは前記動きブロック検索処理を禁止する制御か、検索領域を縮小する制御か、少なくともいずれかの制御機能を有する動画像圧縮処理方法。
【請求項６】
符号化画面と参照画面の画面全体としてのずれ量である全体ベクトルを求め、前記全体ベクトルに基づく対応関係を参照画面にもたない符号化画面の領域を特殊領域として識別し、前記符号化画面内の符号化ブロックの動きベクトルを検索する動きベクトル検索処理を備え、前記特殊領域に属さない符号化ブロックでは前記動きベクトル検索処理の検索領域を拡大する制御を有する動画像圧縮処理方法。
【請求項７】
符号化画面と参照画面の画面全体としてのずれ量である全体ベクトルを求め、前記全体ベクトルに基づく対応関係を参照画面にもたない符号化画面の領域を特殊領域として識別し、前記符号化画面内の符号化ブロックの動きベクトルを検索する動きベクトル検索処理を備え、前記動きベクトル検索処理で求めた動きベクトルによる予測ブロックと符号化ブロックの差分である予測誤差の情報量を評価し評価値を求め、前記評価値をもとに符号化ブロックの符号化方式として前記動きベクトルによる動き補償方式を用いるか他の方式を用いるかを決定する符号化方式決定処理を具備し、前記特殊領域に属する符号化ブロックでは、前記動き補償方式を採用する確率を下げるように前記評価値に重みを課す機能を備えた動画像圧縮処理方法。
【請求項８】
前記全体ベクトルの大きさが設定された基準値以上である場合にのみ特殊領域が存在すると判断する制御を加えた請求項５から７のいずれかに記載の動画像圧処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動き補償符号化を用いて動画像圧縮を行う動画圧縮装置と動画圧縮処理方法に関するものである。
【背景技術】
【０００２】
近年、動画像符号化方式として、ＭＰＥＧ２（ＩＴＵ−Ｔ  Ｈ．２６２）など、フレーム間相関を用いた符号化方式が用いられるようになってきた。これらの方式では符号化する画像を小さな矩形領域である符号化ブロックに分割し、符号化ブロック毎に参照画像から検出した動きベクトルにより予測ブロックを求め、符号化ブロックと予測ブロックとの差分を圧縮符号化する動き補償符号化方式が用いられる。
【０００３】
図９はＭＰＥＧ２の映像フレームと参照の関係を示すものである。映像フレームはＩピクチャー、Ｐピクチャー、Ｂピクチャーの３種類に分類される。Ｉピクチャーはイントラと呼ばれるフレーム内圧縮がなされるが、Ｐピクチャーは過去のＩピクチャーまたは過去のＰピクチャーを参照画面として、Ｂピクチャーは過去のＩまたはＰピクチャーを順方向参照画面として、未来のＩまたはＰピクチャーを逆方向参照画面としてそれぞれ動きベクトルを求めるものである。
【０００４】
代表的な動きベクトル検索方式としてブロックマッチング方式が挙げられる。ブロックマッチング方式とは、動きベクトル検索領域から符号化ブロックと同じサイズの予測ブロック候補を取り出し、取り出した予測ブロック候補が予測ブロックとして採用するのに適切であるかどうかを符号化ブロックと予測ブロック候補の誤差量を算出することにより評価する方式である。動きベクトル検索領域内にあるすべての予測ブロック候補を評価して、評価結果が最適であるものが予測ブロックとして採用され、また採用した予測ブロックと符号化ブロックとの位置座標の差分が動きベクトルとなる。
【０００５】
動き補償符号化方式とは、このようにして得られた予測ブロックの映像データと符号化ブロックの映像データの差分をとることで大幅に情報量を削減し、高効率符号化を実現する方法である。従って、圧縮された映像の画質は動きベクトル検索処理でいかに符号化ブロックによくマッチした予測ブロックを見つけだすことができるかどうかに大きく依存しているものである。
【０００６】
また、最近ではビデオカメラの分野にも上記したＭＰＥＧなどのフレーム間相関を用いた動画像圧縮が導入されるようになってきた。ビデオカメラの分野では取り扱う映像に激しいパンやチルトなど画面全体が大きく動く場合が多いという特徴がある。しかし、画面全体の移動が検索範囲を超えている場合は、適切な予測ブロックを発見することが極めて困難である。そのため画質が著しい劣化が避けがたく、またその対策として単に検索範囲を拡大するのでは処理量の増大、電力の増大を招くこととなる。従ってこれら画面全体が大きく動く映像に対して、上記動きベクトル検索の検索領域の設定方法が課題とされており、改善策が検討されている。
【０００７】
代表的な改善策の例として、特許文献１に記載されたものが知られている。いま、Ｐピクチャーを符号化画面、Ｉピクチャーを参照画面とする順方向参照の場合を例にとって説明する。図１０は動きベクトル検索範囲の設定方法を説明する関係図である。まず、何らかの手法によりＰピクチャーとＩピクチャーの画面全体のずれ量を求め、それを全体ベクトルとして定義する。図１０に破線で示す矩形は参照画面上で符号化マクロブロックと同一座標のブロックを中心とした検索領域であり、上記全体ベクトルがゼロであればこの波線の領域が動きベクトル検索範囲となる。今、全体ベクトルが図１０に示す状態であるとき、動きベクトル検索範囲を全体ベクトルに従ってシフトさせ、ハッチングで示した矩形領域を検索領域として設定する。この動きベクトル検索範囲のシフト機能により、パン、チルトなど画面全体がシフトした場合においても適切な検索領域で動きベクトル検索することができるものである。また、上記した動きベクトル検索範囲のシフトにより、検索範囲が参照画面の範囲を超える場合も起こりうる。その場合は図１１に示すように全体ベクトルがゼロであると仮定した場合の検索範囲のうち参照画面が存在する領域を実検索範囲として採用するか、または図１２に示すように全体ベクトルでシフトした検索範囲うち参照画面が存在する領域を実検索範囲として採用する。
【０００８】
なお、特許文献１では手ぶれ補正と動きベクトル検索範囲の設定方法とを合わせて処理する方式であるが、本件発明との対比を明確にするため動きベクトル検索範囲の設定方法のみに単純化して説明した。図１０は特許文献１の図３を簡略表示したものであり、図１１、図１２は特許文献１の段落００４４に記載された内容を図示したものである。
【特許文献１】特開平１０−５１７８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上述したように、動きベクトル検索範囲をシフトしない構成ではパンやチルトなど画面全体が大きくシフトする映像に対して、極めて大きな検索範囲が必要となり、処理量が増大することから大規模な検索回路と電力が必要とされ、あるいは処理時間が増大するといった課題があった。
【００１０】
検索範囲をシフトする特許文献１のような構成では、画面のすべての画素が一律にシフトしている限り適切な動きベクトルを発見することができる。しかし実際の大きなパン・チルトが発生する映像は、移動物体を追尾する撮影である場合が多く、画面全体の移動とは異なる動きをする映像部分が含まれていることが一般的である。これらの映像では、検索範囲をシフトする構成であっても検索範囲が不足するため適切な動きベクトルを発見することは困難であり、画質劣化を発生するという課題を有する。
【００１１】
また、パン・チルトで符号化画面内に新たに進入してきた映像部分は、参照画面内に該当する映像部分が存在しないから適切な予測ブロックを発見できる可能性がきわめて低い。このため情報量削減の程度が悪く、また動きベクトルもまちまちな値をとるから動きベクトル符号化の符号量も大きく、その結果、動き補償方式による圧縮効率が悪くなっている。図１１、図１２の領域がこれに相当する。すなわち、大きなパン・チルトが発生する映像では動き補償符号化方式が高効率圧縮に寄与しがたい圧縮効率の悪い処理となってしまい、結果として画質が劣化するという課題があった。
【００１２】
本発明は上記の問題点に鑑み、圧縮効率の悪い無駄な処理を減少させ、検索範囲不足を発生させず、処理量増大を防止する動画像圧縮装置と動画像圧縮処理方法を提供するものである。
【課題を解決するための手段】
【００１３】
この課題を解決するために本発明の請求項１記載の動画像圧縮装置および請求項５記載の動画像圧縮処理方法は、全体ベクトルに基づく対応関係を参照画面にもたない符号化画面の領域を特殊領域と判定する特殊領域判定手段又は判定処理を備え、特殊領域に属する符号化ブロックに関して動きベクトル検索手段に検索を禁止させる制御か検索領域を縮小させる制御かの少なくともいずれかの制御機能を有することを最も主要な特徴とする。
【００１４】
本発明の請求項２記載の動画像圧縮装置および請求項６記載の動画像圧縮処理方法は、全体ベクトルに基づく特殊領域を判定する特殊領域判定手段又は判定処理を備え、特殊領域に属さない符号化ブロックに関して動きベクトル検索手段に検索領域の拡大を指示する制御機能を有することを最も主要な特徴とする。
【００１５】
本発明の請求項３記載の動画像圧縮装置および請求項７記載の動画像圧縮処理方法は、全体ベクトルに基づく特殊領域を判定する特殊領域判定手段または判定処理と、符号化ブロックの符号化方式として動きベクトルによる動き補償方式を用いるか他の方式を用いるかを決定する符号化方式決定手段または決定処理を備え、特殊領域に属する符号化ブロックに関して動き補償方式を採用する確率を下げるように重みを課す機能を有することを最も主要な特徴とする。
【００１６】
本発明の請求項４記載の動画像圧縮装置および請求項８記載の動画像圧縮処理方法は、上記発明において、全体ベクトルの大きさが設定された基準値以上である場合にのみ特殊領域として識別する特殊領域判定手段または判定処理を備えたものである。
【発明の効果】
【００１７】
本発明の動画像圧縮装置と動画像圧縮処理方法は、パンやチルトなど画面全体が大きくシフトする映像に対して、圧縮効率の悪い無駄な処理を減少させ、画質改善効果が期待できる映像領域のみ処理量を増加させ、かつ、誤った処理判断を防止して確実に効率がよいと見込める符号化方式を採用するから、回路規模の増大や処理速度の低下を防止しつつ良好な動画像圧縮を実現することができる。
【発明を実施するための最良の形態】
【００１８】
本発明の請求項１に記載の発明は、符号化画面と参照画面の画面全体としてのずれ量である全体ベクトルを求める全体ベクトル検出手段と、前記全体ベクトルに基づく対応関係を参照画面にもたない符号化画面の領域を特殊領域と判定する特殊領域判定手段と、前記符号化画面内の符号化ブロックの動きベクトルを検索する動きベクトル検索手段とを備え、前記特殊領域判定手段は前記特殊領域に属する符号化ブロックに関して前記動きベクトル検索手段に検索を禁止させる制御か検索領域を縮小させる制御かの少なくともいずれかの制御機能を有する構成としたものであり、これにより動き補償による圧縮効率が悪い特殊領域に属する符号化ブロックに関して、その動きベクトル検索の処理量を大幅に削減するという作用を有する。
【００１９】
請求項２に記載の発明は、符号化画面と参照画面の画面全体としてのずれ量である全体ベクトルを求める全体ベクトル検出手段と、前記全体ベクトルに基づく対応関係を参照画面にもたない符号化画面の領域を特殊領域と判定する特殊領域判定手段と、前記符号化画面内の符号化ブロックの動きベクトルを検索する動きベクトル検索手段とを備え、前記特殊領域判定手段は前記特殊領域に属さない符号化ブロックに関して前記動きベクトル検索手段に検索領域の拡大を指示する制御機能を有する構成としたものであり、これにより検索範囲を拡大して画質改善に効果がある領域のみ検索範囲を拡大し、その他の領域では拡大しないという作用を有する。
【００２０】
請求項３に記載の発明は、符号化画面と参照画面の画面全体としてのずれ量である全体ベクトルを求める全体ベクトル検出手段と、前記全体ベクトルに基づく対応関係を参照画面にもたない符号化画面の領域を特殊領域と判定する特殊領域判定手段と、前記符号化画面内の符号化ブロックの動きベクトルを検索する動きベクトル検索手段と、前記動きベクトル検索手段が求めた動きベクトルによる予測ブロックと符号化ブロックの差分である予測誤差の情報量を評価し評価値を求める動き補償評価手段と、前記評価値をもとに符号化ブロックの符号化方式として前記動きベクトルによる動き補償方式を用いるか他の方式を用いるかを決定する符号化方式決定手段とを備え、前記特殊領域判定手段は特殊領域に属する符号化ブロックに関して前記符号化方式決定手段に指示し、前記動き補償方式を採用する確率を下げるように前記評価値に重みを課す機能を備えるものであり、これにより動き補償による圧縮効率が悪い領域では確実に効率がよいと見込めた符号化ブロックにのみ動き補償方式を採用するという作用を有する。
【００２１】
請求項４に記載の発明は、請求項１から３のいずれかに記載の構成に加えて、特殊領域判定手段は、全体ベクトルの大きさが設定された基準値以上である場合にのみ特殊領域として識別する機能を有するとしたもので、請求項１、２、３は全体ベクトルが小さな場合に限り画質改善の程度に比して処理量が増大してしまう副作用を生じる可能性があるが、上記した構成により、上記副作用を確実に防止する作用を有する。
【００２２】
また、請求項５、６、７及び８に記載の発明である動画像圧縮処理方法は、それぞれ請求項１、２、３及び４に記載の動画像圧縮装置に対応する処理方法であり、それぞれ対応する請求項と同じ作用を有する。
【００２３】
以下、本発明の実施の形態について図面を用いて説明する。
【００２４】
（実施の形態１）
図１は本発明の実施の形態１における動画像圧縮装置の構成を示すブロック図である。図１において、符号化画面メモリ１と参照画面メモリ２は映像データを全体ベクトル検出手段３と動きベクトル検索手段５に供給し、全体ベクトル検出手段３の出力は特殊領域判定手段４に、動きベクトル検索手段５の出力は動き補償評価手段６とＮｏＭＣ評価手段７にそれぞれ接続される。符号化画面メモリ１はイントラ評価手段８に映像データを供給し、動き補償評価手段６とＮｏＭＣ評価手段７とイントラ評価手段８の評価結果は符号化方式決定手段９に接続される。また、特殊領域判定手段４は動きベクトル検索手段５に検索範囲情報を、符号化方式決定手段９に優先度情報をそれぞれ提供する。
【００２５】
以下、本実施の形態の動作について説明する。実施の形態１における動作は、図９に示したＰピクチャーを符号化する場合の動作、すなわち順方向参照を用いたＭＰＥＧ２規格の動画像圧縮動作を行うものであり、符号化画面メモリ１には符号化Ｐピクチャーが、参照画面メモリ２には符号化Ｐピクチャーの３フレーム過去に相当するＩピクチャーまたはＰピクチャーが既に記憶されているものとする。本実施の形態ではパン・チルトなどの画面全体移動が大きい場合と、小さい又は移動が無い場合とで動作が異なる。以下、順に説明する。
【００２６】
まず、画面全体移動が小さい場合について説明する。
【００２７】
最初に、全体ベクトル検出手段３が符号化画面と参照画面の画面全体としての移動状態を検出して、全体ベクトルとして出力する。この全体ベクトルの検出方法としては、画面のいくつかの部分の移動状態を検索してその総合として求める方法、符号化画面と参照画面それぞれの縮小画面を生成して、縮小画面のずれ状態を検索する方法、映像データではなく手振れ補正用ジャイロによる手振れベクトルを得て、それを合成して求める方法などがある。全体ベクトルの検出方法は本発明の主眼点ではなく、いずれの方法を用いてもよい。図２は本実施の形態での全体ベクトルの定義を示す説明図である。図２では符号化画面の右下の矩形領域と参照画面の左上の矩形領域がよく一致している状態を図示したものである。この場合映像全体は時間的に画面内を右下方向に移動しており、カメラが撮影時に左上に移動したと推定できる。本実施の形態で使用する全体ベクトルの定義は図２の符号化画面上に図示したものであり、カメラの移動ベクトルに相当するものである。
【００２８】
特殊領域判定手段４は全体ベクトル検出手段３から全体ベクトルを受け、符号化画面を特殊領域と通常領域の２つの領域に分類識別する。図３は前記特殊領域と通常領域の関係を示す説明図である。特殊領域は符号化画面上で参照画面の時刻以降新たに進入してきた映像部分であると考えられる。特殊領域以外の全領域は通常領域として扱う。また、特殊領域判定手段４は全体ベクトルがあらかじめ設定された基準値よりも小さい場合には、特殊領域が存在しないものとして符号化画面全体が通常領域であると判断する。いま全体移動が小さい、すなわち全体ベクトルが小さい場合の動作を考えているので、特殊領域判定手段４は符号化画面全体が通常領域であると識別する。
【００２９】
上記した領域の分類識別が確定すると、動きベクトル検索手段５は動きベクトル検索動作を開始する。動きベクトル検索動作は符号化画面を縦１６画素横１６画素の矩形領域である符号化マクロブロックに分割し、個々の符号化マクロブロックに対して参照画面上に動きベクトル検索領域を設定して、その検索領域内でブロックマッチング方により符号化マクロブロックと最もよく一致する最適な予測ブロックを探し出す動作である。いま全体ベクトルが小さいので特殊領域判定手段４は標準の検索範囲を検索範囲情報として動きベクトル検索手段５に指示する。上記標準の検索範囲の位置および大きさの決定方法は本発明の要点ではなく、どのような手法を導入することもできる。実施の形態１では図１０に示した従来技術の検索範囲を採用しているものとする。
【００３０】
動きベクトル検索手段５は検索結果として最適と判断した予測ブロックのデータと符号化マクロブロックのデータを動き補償評価手段６に伝送し、動き補償評価手段６は予測ブロックのデータと符号化マクロブロックのデータの差分を求め、それを符号化データとして用いた場合の情報量を予測する評価演算を行う。その評価結果を動き補償評価値として符号化方式決定手段９に伝達する。また、動きベクトル検索手段５は動きベクトルがゼロであると仮定した場合の予測ブロックを参照画面から切り出し、その予測ブロックのデータと符号化マクロブロックのデータをＮｏＭＣ評価手段７に伝送する。ＮｏＭＣ評価手段７はその予測ブロックのデータと符号化マクロブロックのデータの差分を符号化データとして用いた場合の情報量を予測し、ＮｏＭＣ評価値として符号化方式決定手段９に伝達する。さらに、イントラ評価手段８は符号化画面メモリ１から符号化マクロブロックを読み出し、それを符号化データとして用いた場合の情報量を予測し、イントラ評価値として符号化方式決定手段９に伝達する。
【００３１】
符号化方式決定手段９は伝送された動き補償評価値、ＮｏＭＣ評価値、イントラ評価値を比較判断して、動き補償符号化か、ＮｏＭＣ符号化か、イントラ符号化か、いずれの方式を採用するかマクロブロック毎に決定する。いま全体ベクトルが小さいので特殊領域判定手段４は、符号化方式決定手段９に優先度情報として優先度がすべて均等であると指示する。その指示を受けて符号化方式決定手段９は動き補償評価値、ＮｏＭＣ評価値、イントラ評価値を単純比較して最も優れた数値を示す方式を採用決定する。以下、選択された方式に従って符号化データは直交変換され、高効率符号化が実行される。
【００３２】
次に、画面全体の移動が大きく、全体ベクトルが大きい場合について説明する。
【００３３】
全体ベクトルが大きい場合、まず特殊領域判定手段４は、図３に示す特殊領域が存在すると判断し、符号化画面を特殊領域と通常領域の２つの領域に分類識別する。これは請求項４に相当する動作である。全体ベクトルが大きい場合は図３の特殊領域に属する符号化マクロブロックは参照画面内に予測ブロックとして適切な映像が存在する可能性がきわめて低く、動きベクトル検索の処理を実行しても符号化効率のよい動き補償が実現できない可能性が極めて高い。そこで特殊領域判定手段４は特殊領域に属する符号化マクロブロックに関して動きベクトル検索手段５に動きベクトル検索を省略する指示を検索範囲情報で与え、動きベクトル検索処理を実行させない。これは請求項１に相当する動作である。例として全体ベクトルの大きさが図３に示す程度である場合は、動きベクトル検索動作の処理量の約３０％を削減することになる。特殊領域判定手段４は動き補償方式を採用しないように優先度情報を符号化方式決定手段９に与え、符号化方式決定手段９はＮｏＭＣ符号化かイントラ符号化のいずれかを選択することとなる。一般にイントラ符号化を選択した場合符号量の増加をもたらすが、全体ベクトルが大きい場合の特殊領域では映像がぶれており、しかも画面の端の領域であるから注目点を含む可能性も低く、イントラ方式を選択した場合でも符号量を抑えた圧縮が実現できる。このように請求項１の構成をとることにより、符号化効率の影響を最低限に抑えながら、動きベクトル検索の処理量を大幅に削減することができる。
【００３４】
一方、図３の特殊領域に属さない通常領域の符号化マクロブロックは、参照画面内に予測映像として適切な領域が存在する可能性がきわめて高いから、動きベクトル検索の処理が効果的に効率的な符号化に寄与すると期待することができる。しかし、既に述べたように大きなパンやチルトが発生する場合は、移動物体を注目点として追尾撮影していることが多い。そういった、注目点が全体ベクトルとは大きく異なる移動をしているとき、その注目点は通常領域に含まれている可能性が大きい。しかも注目点は適切な予測ブロックを発見することができれば画質を損なわずに符号量を削減することができ、高効率符号化に効果が大きい部分でもある。そこで特殊領域判定手段４は通常領域の符号化マクロブロックに関して動きベクトル検索手段５に検索範囲情報を与え、動きベクトル検索領域を拡大させる。これは請求項２に相当する動作である。図４は上記検索領域拡大の説明図である。図４で拡大前の検索範囲とは動きベクトルが小さい場合の上述した標準の検索範囲のことであり、それを全体ベクトルと逆方向に２倍の面積に拡張させている。このように通常領域の符号化マクロブロックの検索範囲を拡大することで全体ベクトルとは異なる動きをする注目点も良く予測ブロックとして検出することができ、符号量を抑えながら画質を改善することができるものである。また、図４では検索領域を約２倍とする場合を図示したが、実施の形態１では請求項１で特殊領域の処理量を例えば約３０％削減しているので、動きベクトル検索全体としての処理量は約４０％の増加に収まっていることになる。特殊領域判定手段４は動きベクトル検索動作の開始前に特殊領域による処理量削減比率を求めることができるから、３０％削減と判れば検索領域の拡大を１．４３倍に設定することもでき、動きベクトル検索処理の総処理量を一定に納めることもできる。
【００３５】
なお、実施の形態１において、図３の特殊領域に属する符号化マクロブロックでは特殊領域判定手段４が動きベクトル検索動作を省略させる場合を説明したが、これを、特殊領域判定手段４は特殊領域に属する符号化マクロブロックに関して動きベクトル検索手段５に動きベクトル検索の領域を縮小する指示を与える構成とすることもできる。これも請求項１に相当する技術である。図５にその検索領域縮小の説明図を示す。特殊領域の符号化マクロブロックは検索領域を全体ベクトルでシフトさせると必ず参照画面の範囲外にはみ出ることとなる。図５では符号化マクロブロックと同一座標の矩形を全体ベクトルでシフトした後、参照画面の内側に入るように垂直にシフトし、その周辺に小さな縮小検索範囲をもうけている。縮小検索範囲は標準検索範囲と比較して充分に小さいので、やはり大幅な処理量削減が実現できる。圧縮する映像がアニメーションなどで特殊領域がパターン化された背景画である場合など、特殊領域に属する符号化ブロックであっても容易に極めて良好な予測ブロックが得られる場合がある。そこで、図５に示すように小さな検索範囲をもうけることで効率的に良好な予測ブロックを得ることができるのである。
【００３６】
一方、圧縮する映像が自然画である場合、特殊領域に属する符号化マクロブロックは良好な予測ブロックが得られないことは既に述べたとおりである。しかしながら、動き補償評価手段６、ＮｏＭＣ評価手段７、イントラ評価手段８でそれぞれの場合の符号量を正確に推定することは極めて難しい技術であって、多くの場合、特殊領域であっても不適切な動き補償が採用され、符号量の増加と画質の劣化を発生する原因となっている。そこで特殊領域の符号化マクロブロックにも動きベクトル検索を実行させる場合には、特殊領域判定手段４は優先度情報で符号化方式決定手段９に特殊領域での動き補償評価値の優先度を下げるように重みづけさせる。これは請求項３に相当するものである。これにより、たとえばアニメーションなど極めて良好な予測ブロックが得られた場合は動き補償が採用され、自然画など良好な予測ブロックが得られなかった場合確実に他の方式が採用されることとなる。
【００３７】
以上のように実施の形態１では、請求項１の構成により効率の悪い処理である特殊領域の動きベクトル検索を大幅に削減し、請求項２の構成により検索範囲を拡大して効果がある領域のみ効果的に検索領域を拡大し、請求項３の構成により特殊領域に関して符号化方式の不適切な判断を防止し、さらに請求項４の構成により請求項１、２、３の効果が顕著である場合に適応する確実性を備え、パン、チルトなど画面全体の移動が激しい映像に対しても処理量の増大を最低限に押さえながら良好な画質を実現することができるものである。
【００３８】
（実施の形態２）
図６は本発明の実施の形態２における動画像圧縮装置の構成を示すブロック図である。図６において、図１に示した実施の形態１の構成と同一部分には同一番号を付して説明を省略する。符号化画面メモリ１と参照画面メモリ１０は映像データを全体ベクトル検出手段１１と動きベクトル検索手段１３に供給し、全体ベクトル検出手段１１の出力は特殊領域判定手段１２に、動きベクトル検索手段１３の出力は動き補償評価手段１４にそれぞれ接続される。また動きベクトル検索手段５と動きベクトル検索手段１３の出力は双方向動き補償評価手段１５に接続され、動き補償評価手段６、動き補償評価手段１４、双方向動き補償評価手段１５、イントラ評価手段８の評価結果は符号化方式決定手段１６に接続される。また、特殊領域判定手段１２は動きベクトル検索手段１３と符号化方式決定手段１６に動作情報をそれぞれ提供する。
【００３９】
以下、実施の形態２の動作について説明する。実施の形態２の動作は、図９に示したＢピクチャーを符号化する場合の動作、すなわち順方向参照と逆方向参照の双方向参照を用いたＭＰＥＧ２規格の動画像圧縮動作を行うものであり、符号化画面メモリ１には符号化Ｂピクチャーが、参照画面メモリ２には順方向の参照画面として符号化Ｂピクチャーの過去のＰピクチャーが、参照画面メモリ１０には逆方向の参照画面として未来のＰピクチャーがそれぞれ既に記憶されているものとする。
【００４０】
実施の形態２では全体ベクトル検出手段３、特殊領域判定手段４、動きベクトル検索手段５、動き補償評価手段６が符号化画面メモリ１と参照画面メモリ２の記憶する映像データを用いて全体ベクトルを適用しながら順方向参照の動きベクトル検索動作を実行することは既に述べた実施の形態１と全く同一である。また、全体ベクトル検出手段１１、特殊領域判定手段１２、動きベクトル検索手段１３、動き補償評価手段１４が符号化画面メモリ１と参照画面メモリ１０の記憶する映像データを用いて全体ベクトルを適用しながら逆方向参照の動きベクトル検索動作を実行するが、これも使用する参照画面メモリが異なるのみで、その動作内容は順方向の場合と全く同じである。
【００４１】
双方向動き補償評価手段１５は、動きベクトル検索手段５から得た順方向の予測ブロックと動きベクトル検索手段１３から得た逆方向予測ブロックとを合成して双方向予測ブロックを生成し、合成した双方向予測ブロックと符号化マクロブロックの差分を符号化データとして用いた場合の情報量を予測し、双方向動き補償評価値を出力する。
【００４２】
符号化方式決定手段１６は、動き補償評価手段６から伝送された順方向動き補償評価値、動き補償評価手段１４から伝送された逆方向動き補償評価値、双方向動き補償評価手段１５から伝送された双方向動き補償評価値、およびイントラ評価手段８から伝送されたイントラ評価値を比較判断して、順方向動き補償符号化か、逆方向動き補償符号化か、双方向動き補償符号化か、イントラ符号化か、いずれを採用するか符号化マクロブロック毎に決定する。以下、選択された方式に従って符号化データは直交変換され、高効率符号化が実行される。
【００４３】
ここで、順方向と逆方向の全体ベクトルについて説明する。図７は順方向と逆方向の全体ベクトルの説明図である。図７で順方向参照画面と符号化画面および順方向全体ベクトルの関係は、既に説明した図２の参照画面と符号化画面および全体ベクトルの関係と全く同じである。逆方向について、図７では符号化画面の左上の矩形領域と逆方向参照画面の右下の矩形領域がよく一致している状態を図示している。この場合符号化画面から逆方向参照画面に向かって映像全体は時間的に画面内を右下方向に移動しており、カメラが撮影時左上に移動したと推定できる。本実施の形態で使用する逆方向全体ベクトルの定義は、図７の符号化画面上に示したように、カメラの移動ベクトルの逆方向に相当するものである。
【００４４】
特殊領域判定手段４、１２はそれぞれ独立に順方向全体ベクトルと逆方向全体ベクトルから請求項１および請求項２に従った動きベクトル検索範囲の設定と、請求項３に従った動き補償評価値の優先度を指示する。請求項４に従った全体ベクトルの基準値との大小関係による動作の切り替えも順方向と逆方向でそれぞれ独立に実行される。従って、順方向全体ベクトルと逆方向全体ベクトルがともに小さい場合は、符号化方式決定手段１６は順方向動き補償評価値、逆方向動き補償評価値、双方向動き補償評価値、イントラ評価値を単純比較し最も優れた数値を示す方式を採用決定することとなる。また、順方向全体ベクトルと逆方向全体ベクトルのいずれか一方が基準値より大きく特殊領域が存在する場合、例えば順方向全体ベクトルが大きいと仮定すれば、順方向特殊領域に属する符号化マクロブロックは順方向動き補償評価値の優先度が低く設定され、その結果逆方向動き補償方式またはイントラ方式が採用されることとなる。
【００４５】
最後に、順方向全体ベクトルと逆方向全体ベクトルがともに大きく、ともに特殊領域をもつ場合の動作について説明する。図８は特殊領域判定手段４、１２の順方向と逆方向の領域区分を総合的に示したものである。図８で領域Ａは順方向逆方向ともに通常領域に属するものであり、この領域の符号化マクロブロックは動きベクトル検索手段５および１３いずれも検索領域が拡大され、符号化方式決定手段１６ではすべての評価値が均等に評価され、最も効率のよい符号化が実現される領域である。領域Ｂは順方向あるいは逆方向いずれか一方が特殊領域にあたり、この符号化マクロブロックは動きベクトル検索手段５および１３のいずれか一方の特殊領域に相当する側で動きベクトル検索領域の縮小または省略がなされ、他方は適切な予測ブロックの存在が期待できるので検索領域の拡大が指示される。更に符号化方式決定手段１６では特殊領域に該当する動き補償評価値の優先度が下げられるから、通常領域に該当する動き補償方式またはイントラ方式が優先的に採用されることとなる。領域Ｃでは順方向逆方向ともに特殊領域にあたり、この領域の符号化マクロブロックは動きベクトル検索手段５および１３でともに動きベクトル検索領域の縮小または省略がなされる。更に符号化方式決定手段１６では動き補償評価値の優先度が全て下げられるから、イントラ方式が優先的に採用されることとなる。
【００４６】
以上のように実施の形態２では、本発明がＭＰＥＧ２規格のＢピクチャーのような双方向参照の方式にも適用でき、請求項１の構成により効率の悪い処理である特殊領域の動きベクトル検索を大幅に削減し、請求項２の構成により検索範囲を拡大して効果がある領域のみ効果的に検索領域を拡大し、請求項３の構成により特殊領域に関して符号化方式の不適切な判断を防止し、さらに請求項４の構成により請求項１、２、３の効果が顕著である場合に適応する確実性を備え、パン、チルトなど画面全体の移動が激しい映像に対しても処理量の増大を最低限に押さえながら良好な画質を実現することができるものである。
【００４７】
また、実施の形態１、実施の形態２では、請求項１、２、３、４を組み合わせて適用する構成として説明したが、請求項１、２、３は個別に適応して個々の効果を得られるものである。また、請求項５、６、７、８は、それぞれ請求項１、２、３、４に対応する処理方法であり、上述した一部または全ての処理機能は、コンピュータ資源を利用して実現可能であり、これらを適応して同じ効果を有する動画像圧縮ソフトウェアが実現できることはいうまでもない。
【産業上の利用可能性】
【００４８】
本発明にかかる動画像圧縮装置と動画像圧縮処理方法は、画面全体が大きくシフトする映像に対して、圧縮効率の悪い処理を減少させ、画質改善効果が期待できる映像領域のみ処理量を増加させ、かつ、誤った処理判断を防止して、回路規模の増大や処理速度の低下を防止しつつ良好な動画像圧縮を実現することができるものであるから、ＭＰＥＧをはじめとする動き補償符号化を用いて動画像圧縮を行うあらゆる装置やソフトウェアに適応できる。
【図面の簡単な説明】
【００４９】
【図１】本発明の実施の形態１による動画像圧縮装置の構成を示すブロック図
【図２】同動画像圧縮装置における全体ベクトルの説明図
【図３】同動画像圧縮装置における特殊領域の説明図
【図４】同動画像圧縮装置における検索領域拡大の説明図
【図５】同動画像圧縮装置における検索領域縮小の説明図
【図６】本発明の実施の形態２による動画像圧縮装置の構成を示すブロック図
【図７】同動画像圧縮装置における全体ベクトルの説明図
【図８】同動画像圧縮装置における特殊領域の説明図
【図９】ＭＰＥＧ２の参照関係を説明するための概念図
【図１０】従来の動画像圧縮装置における全体ベクトルと動きベクトル検索範囲の関係を示す概念図
【図１１】従来の動画像圧縮装置における全体ベクトルと動きベクトル検索範囲の関係を示す概念図
【図１２】従来の動画像圧縮装置における全体ベクトルと動きベクトル検索範囲の関係を示す概念図
【符号の説明】
【００５０】
１    符号化画面メモリ
２    参照画面メモリ
３    全体ベクトル検出手段
４    特殊領域判定手段
５    動きベクトル検索手段
６    動き補償評価手段
７    ＮｏＭＣ評価手段
８    イントラ評価手段
９    符号化方式決定手段
１０    参照画面メモリ
１１    全体ベクトル検出手段
１２    特殊領域判定手段
１３    動きベクトル検索手段
１４    動き補償評価手段
１５    双方向動き補償評価手段
１６    符号化方式決定手段
【図１】
2006211192.tif 000003
【図２】
2006211192.tif 000004
【図３】
2006211192.tif 000005
【図４】
2006211192.tif 000006
【図５】
2006211192.tif 000007
【図６】
2006211192.tif 000008
【図７】
2006211192.tif 000009
【図８】
2006211192.tif 000010
【図９】
2006211192.tif 000011
【図１０】
2006211192.tif 000012
【図１１】
2006211192.tif 000013
【図１２】
2006211192.tif 000014