(57)【特許請求の範囲】
【請求項１】
移動中の被写体に視線を合わせて追うように操作されるカメラワークにより生成される動画像データを、
多数の小領域の動ベクトルの平均値が前記カメラワークに対応する画面全体の動ベクトルに略等しく、且つ、該画面全体の動ベクトルとの差分が前記小領域毎にランダムに異なる領域である非注目領域と、
それ以外の領域である注目領域と、に分け、
注目領域については、所定の動き補償を含む動画像符号化処理を施して圧縮し、
非注目領域については、該非注目領域の中の前画面との重複領域を、該前画面に画面全体の動ベクトルに基づき動き補償を施して得たデータで置換した後に前記所定の動き補償を含む動画像符号化処理を施して圧縮し、
該非注目領域の中の前画面との非重複領域を前記所定の動き補償を含む動画像符号化処理を施して圧縮する、
動画像処理方法。
【請求項２】
請求項１に於いて、
前記所定の動き補償を含む動画像符号化処理は、動画像符号化標準のＭＰＥＧに準拠したビットストリームを生成する処理である、
動画像処理方法。
【請求項３】
移動中の被写体に視線を合わせて追うように操作されるカメラワークにより生成される動画像データに所定の動き補償を含む動画像符号化処理を施して圧縮する動画像処理装置に於いて、
圧縮前の動画像データから多数の小領域の動ベクトルの平均値が前記カメラワークに対応する画面全体の動ベクトルに略等しく、且つ、該画面全体の動ベクトルとの差分が前記小領域毎にランダムに異なる領域を非注目領域として抽出する抽出手段と、
抽出された前記非注目領域の中の前画面との重複領域の動画像データを、前画面の動画像データに画面全体の動ベクトルに基づき動き補償を施して得た動画像データで置換する置換手段と、
を有する動画像処理装置。
【請求項４】
請求項３に於いて、
前記所定の動き補償を含む動画像符号化処理は、動画像符号化標準のＭＰＥＧに準拠したビットストリームを生成する処理である、
動画像処理装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、動画像データを圧縮する方法と装置に関し、詳しくは、画面内に非注目領域を有する動画像の圧縮度を高める方法と装置に関する。
【０００２】
【従来の技術】
動画像データを所定の方式で圧縮する装置が提供もしくは提案されている。例えば、ＭＰＥＧエンコーダでは、動画像データが適応的に予測符号化され、直交変換及び量子化された後、可変長符号化されて、動画像符号化標準のＭＰＥＧに準拠したビットストリームが生成される。
【０００３】
競技中のレーシングカー、馬、ボート等をテレビカメラで撮影する場合、移動中の被写体に焦点を合わせてテレビカメラで追いかけるように撮影するパンニングというカメラワークが行われる。
【０００４】
特開平２−１７１０９３号公報には、画像フレーム全体の動きを示すグローバルベクトルを検出し、これを用いて背景予測を行う方式が開示されている。
特開平１−１７４１７６号公報には、撮影中の画像をモニタ画面に表示するとともに、該画面上の各分割領域毎に設けたタッチスイッチを押すことにより、当該分割領域にテレビカメラの焦点を合わせる方式が開示されている。
特開昭６３−２３８７７０号公報には、撮影者の視線の方向を検出して、その方向の対象物にテレビカメラの焦点を合わせる方式が開示されている。
【０００５】
【発明が解決しようとする課題】
多数の小領域が各々無秩序な動きをしている画面、例えば、競技中の観客席のように多数の観客がいて各人がランダムな動きをしている画面では、動画像データの圧縮度が低く、圧縮後の符号量が大きくなる。
【０００６】
競技中のレーシングカー等をパンニングで撮影した動画像では、視聴者の注目はレーシングカー等に集まり、背後の観客席等は殆ど注目されない。にもかかわらず、この動画像を圧縮すると、視聴者に注目されない背後の観客席等に符号量をとられてしまい、その結果、全体の画質が劣化するという問題がある。
本発明は、動画像中の注目されない部分の圧縮度を高めて符号量を低減することで、全体の画質を改善することを目的とする。
【０００７】
【課題を解決するための手段】
本発明は、動画像データを注目領域と非注目領域に分け、注目領域については所定の動画像符号化処理を施して圧縮し、非注目領域については前画面に動き補償を施して得たデータで置換した後に前記所定の動画像符号化処理を施して圧縮することを特徴とする動画像処理方法である。
例えば、前記非注目領域の中の前画面との重複領域については該前画面に動き補償を施して得たデータで置換した後に前記所定の動画像符号化処理を施して圧縮し、非重複領域については前記所定の動画像符号化処理を施して圧縮することを特徴とする動画像処理方法である。
また、上記動画像データを移動中の被写体に視線を合わせて追うように操作されるカメラワークにより生成される動画像データとし、上記非注目領域を該領域内の多数の小領域の動ベクトルの平均値が上記カメラワークに対応する画面全体の動ベクトルに略等しく且つ該画面全体の動ベクトルとの差分が上記小領域毎にランダムに異なる領域としてもよい。その場合、前記重複領域を上記画面全体の動ベクトルに基づいて決定できる。
また、上記所定の動画像符号化処理を、例えば、動画像符号化標準のＭＰＥＧに準拠したビットストリームを生成する処理としてもよい。
【０００８】
また、本発明は、動画像データに所定の動画像符号化処理を施して圧縮する動画像処理装置に於いて、圧縮前の動画像データから非注目領域を抽出する抽出手段と、抽出された非注目領域の動画像データを前画面の動画像データに動き補償を施して得た動画像データで置換する置換手段と、を有することを特徴とする動画像処理装置である。
例えば、前記置換手段が、前記非注目領域の中の前画面との重複領域の動画像データを前画面の動画像データに動き補償を施して得た動画像データで置換することを特徴とする動画像処理装置である。
また、上記動画像データを移動中の被写体に視線を合わせて追うように操作されるカメラワークにより生成される動画像データとし、上記抽出手段を多数の小領域の動ベクトルの平均値が前記カメラワークに対応する画面全体の動ベクトルに略等しく且つ該画面全体の動ベクトルとの差分が前記小領域毎にランダムに異なる領域を非注目領域として抽出するように構成してもよい。その場合、前記重複領域を上記画面全体の動ベクトルに基づいて決定できる。
また、上記所定の動画像符号化処理を、例えば、動画像符号化標準のＭＰＥＧに準拠したビットストリームを生成する処理としてもよい。
【０００９】
【作用】
抽出手段により動画像データから非注目領域が抽出される。抽出された非注目領域の動画像データは、置換手段により前画面の動画像データに動き補償を施して得た動画像データで置換される。例えば、非注目領域の中の前画面との重複領域の動画像データが、前画面の動画像データに動き補償を施して得た動画像データで置換される。この置換後の動画像データに所定の動画像符号化処理が施されて圧縮される。なお、注目領域の動画像データや、非注目領域の中の前画面との非重複領域の動画像データについては、そのまま所定の動画像符号化処理が施されて圧縮される。
【００１０】
【実施例】
以下、本発明の実施例を説明する。図１の（ａ）は実施例のＭＰＥＧエンコーダのブロック図、（ｂ）はＭＰＥＧデコーダのブロック図である。また、図２は非注目領域（観客席）中の現画面（第（ｎ＋１）フレーム）と前画面（第ｎフレーム）との重複領域（太黒枠部分）を前画面の対応領域で置換する様子を示す説明図、図３は非注目領域を有する動画像の説明図である。
【００１１】
本実施例では、図３に示すように、競技場内の観客席手前のサーキットを走行中のレーシングカーを、パンニングで撮影した動画像が符号化される。即ち、視聴者に注目されるレーシングカーが画面内に在り、且つ、その背後に非注目領域の在る動画像が符号化される。非注目領域とは、多数の小領域が各々無秩序な動きをしている領域であり、ここでは、多数の観客が各々ランダムな動きをしている観客席の領域をいう。なお、観客席最前列の塀やサーキットの路面は、主観的には視聴者に注目されない部分であるが、多数の小領域が各々無秩序な動きをしている領域ではなく、したがって、圧縮後の符号量も小さいため、本発明の定義の非注目領域には該当せず、注目領域として分類される。
【００１２】
図３に示す動画像のデータが図１の（ａ）のＭＰＥＧエンコーダに入力されると、まず、背景抽出部により非注目領域（観客席の部分）が抽出される。この非注目領域は、例えば、特開平１−１７４１７６号公報に記載の技術のように、モニタ画面上のタッチスイッチの所望の小領域をテレビカメラの操作者が押すことによって指定できる。或いは、特開昭６３−２３８７７０号公報に記載の技術のようにテレビカメラ操作者の視線の方向を検出して、その方向の所定の範囲外であって各小部分が無秩序な動きをしている領域を非注目領域として抽出するようにしてもよい。なお、上記所定の範囲は、例えば、視線の方向と動ベクトルが同じ範囲（レーシングカーの部分）として検出できる。また、各小領域が無秩序な動きをしている領域は、動ベクトルの平均値が画面全体の動ベクトル（カメラワークによる移動量／フレーム）に略等しく、且つ、該画面全体の動ベクトルとの差分が小領域毎にランダムに異なる領域として検出できる。
【００１３】
次に、非注目領域の中から前画面（第ｎフレーム）との重複領域が背景抽出部によって抽出される。即ち、走行中のレーシングカーを追いかけるようにテレビカメラが操作されているため背後の観客席もレーシングカーの移動とともに移行しているのであるが、この移行量に相当する領域（第ｎフレームの後端部分）が非注目領域から除かれて、その残りの領域が重複領域として抽出される。
【００１４】
重複領域が抽出されると、該重複領域（図２で太黒枠内の領域）の画像データが、前画面の対応領域の画像データで置換される。この置換は、例えば、前画面の対応領域の画像データを動き補償部の参照用のフレームメモリの当該部分に書き込み、且つ、その部分の動ベクトルとして上記移行量に相当するデータを与えることによって行うことができる。
【００１５】
こうして重複領域の画像データを前画面の画像データで置換された動画像データは、ＤＣＴ部によりＤＣＴ変換され、量子化部により量子化され、さらに、可変長符号化部により可変長符号化されて、動画像符号化標準のＭＰＥＧに準拠したビットストリームとして出力される。即ち、通常の動画像符号化処理により圧縮されて出力される。なお、重複領域外については、前画面の画像データで置換されることなく、そのまま通常の動画像符号化処理を施される。
【００１６】
このように処理される結果、上記重複領域の符号化後の圧縮データは、動ベクトル（カメラワークによるフレーム当たりの移動量に相当する動ベクトル）のデータのみで構成されることとなって、その符号量は最小となる。
また、このように生成されたビットストリームは、動画像符号化標準のＭＰＥＧに準拠しているため、その復号は、通常のＭＰＥＧデコーダ（図１の（ｂ）参照）を用いて行うことができる。
【００１７】
上記実施例では、動画像データの符号化前に非注目領域の中の前画面との重複領域を抽出し、該重複領域を前画面の画像データで置換することによって符号化後のデータ量を低減しているが、上記重複領域を前画面の対応領域の画像データで置換すべき旨を指令するデータをビットストリーム中に加入することによっても、略同様の効果を達成することができる。なお、その場合には、復号側の装置で上記指令を検出して、該指令に従うように処理することが必要となる。
【００１８】
【発明の効果】
本発明では、動画像中の非注目領域が、前画面内の対応領域に動き補償を施して得た動画像データで置換され、この置換後の動画像データに所定の動画像符号化処理が施されて圧縮される。このため、非注目領域の圧縮後の符号量は動ベクトルによる最小の符号量となる。したがって、非注目領域に符号量をとられて全体の画質が劣化することも防止される。
【図面の簡単な説明】
【図１】実施例のＭＰＥＧエンコーダ（ａ）と、ＭＰＥＧデコーダ（ｂ）の各構成を示すブロック図。
【図２】現画面の非注目領域中の前画面との重複領域を、前画面の対応領域で置換する様子を示す説明図。
【図３】非注目領域を有する動画像の説明図。
【図１】
0003615252.tif 000002
【図２】
0003615252.tif 000003
【図３】
0003615252.tif 000004