(57)【特許請求の範囲】
【請求項１】
画像情報を、背景画の静止画情報と、この背景画上を動く動き物体の情報とに分けて伝送するデジタル画像信号の伝送装置であって、
上記背景画の静止画情報として、１画面として再生される画枠より広い範囲の静止画情報を記憶する背景メモリ手段と、
複数画面分の画像情報から上記背景画の静止画情報を抽出し、当該抽出した背景画の静止画情報を上記背景メモリ手段に書き込む背景分離処理手段と、
を備え、上記背景画の静止画情報として、上記背景メモリ手段に記憶された上記１画面として再生される画枠より広い範囲の静止画情報を伝送することを特徴とするデジタル画像信号の伝送装置。
【請求項２】
請求項１に記載のデジタル画像信号の伝送装置において、
上記伝送するデジタル画像信号は、ビデオカメラの撮像出力をＡ／Ｄ変換したものであると共に、
上記背景分離処理手段は、上記デジタル画像信号の伝送に先立ち、上記ビデオカメラの撮像出力から上記１画面として再生される画枠より広い範囲の静止画情報を抽出して、上記背景メモリ手段に記憶する
ことを特徴とするデジタル画像信号の伝送装置。
【請求項３】
請求項１に記載のデジタル画像信号の伝送装置において、
上記背景分離処理手段は、伝送中の上記デジタル画像信号から上記背景画の静止画情報を抽出して上記背景メモリ手段に記憶することにより、上記１画面として再生される画枠より広い範囲の静止画情報を抽出して、上記背景メモリ手段に記憶するものであり、
上記背景メモリ手段に記憶された上記１画面として再生される画枠より広い範囲の上記背景画の静止画情報は、上記デジタル画像信号の伝送の最後に伝送される
ことを特徴とするデジタル画像信号の伝送装置。
【請求項４】
画像情報を、背景画の静止画情報と、上記背景画上を動く動き物体の情報とに分けて伝送すると共に、上記背景画の静止画情報として、１画面として再生される画枠より広い範囲の静止画情報が、伝送されるようになされたデジタル画像信号の伝送装置において、
上記１画面として再生される画枠より広い範囲の上記背景画の静止画情報を記憶する背景プレーンメモリ手段と、
上記背景画上を動く動き物体の静止画の情報をそれぞれ個別に記憶する動物体プレーンメモリ手段と、
入力デジタル画像信号と上記動物体プレーンメモリ手段に記憶された上記動き物体の静止画の情報との差分に基づいて、上記動物体プレーンメモリ手段に記憶された上記動き物体の静止画に対する変化情報を検出する変化情報検出手段と、上記背景プレーンメモリ手段および上記動物体プレーンメモリ手段の静止画の情報と、上記変化情報検出手段からの変化情報とを伝送する伝送手段と
を備えるデジタル画像信号の伝送装置。
【請求項５】
上記背景プレーンメモリ手段および上記動物体プレーンメモリ手段に記憶された静止画の情報は、圧縮せずに、あるいは圧縮して伝送すると共に、上記変化情報検出手段からの変化情報を圧縮符号化して伝送するようにすることを特徴とする請求項４に記載のデジタル画像信号の伝送装置。
【請求項６】
上記デジタル画像信号は、ビデオカメラの撮像出力をＡ／Ｄ変換したものであると共に、
上記背景プレーンメモリ手段の上記背景画の静止画情報は、上記ビデオカメラによる実際の撮影に際して背景として使用が予定される、１画面として再生される画枠より広い範囲の背景を、予め、撮影したものとされ、
上記動き物体の静止画に対する変化情報には、上記動き物体の上記背景画上における位置を決定するための情報が含まれている
ことを特徴とする請求項４に記載のデジタル画像信号の伝送装置。
【請求項７】
上記デジタル画像信号は、ビデオカメラの撮像出力をＡ／Ｄ変換したものであると共に、
上記ビデオカメラで、その撮影の画枠位置を変える操作をしたときに、１画面分の初期の背景画の静止画からはみでる画像部分が上記背景プレーンメモリ手段の初期の背景画の静止画に加えて順次書き込まれ、この背景プレーンメモリ手段の内容が伝送されるようにされた
請求項４に記載のデジタル画像信号の伝送装置。
【請求項８】
請求項４に記載のデジタル画像信号の伝送装置により伝送されてくるデジタル画像信号の受信装置であって、
上記背景画の静止画情報及び上記動き物体の静止画の情報をそれぞれ記憶するメモリ手段と、
上記背景画の静止画情報のうちの１画面として読み出す背景画部分を指定する手段と、
上記１画面として読み出された背景画に対して、上記動き物体の静止画の情報を上記変化情報に基づいて合成して、出力デジタル画像信号を得る合成手段と
を備えるデジタル画像信号の受信装置。
【請求項９】
画像情報を、背景画の静止画情報と、この背景画上を動く動き物体の情報とに分けて記録媒体に記録するデジタル画像信号の記録装置であって、
上記背景画の静止画情報として、１画面として再生される画枠より広い範囲の静止画情報を記憶する背景メモリ手段と、
複数画面分の画像情報から上記背景画の静止画情報を抽出し、当該抽出した背景画の静止画情報を上記背景メモリ手段に書き込む背景分離処理手段と、
を備え、上記背景画の静止画情報として、上記背景メモリ手段に記憶された上記１画面として再生される画枠より広い範囲の静止画情報を上記記録媒体に記録することを特徴とするデジタル画像信号の記録装置。
【請求項１０】
画像情報を、背景画の静止画情報と、上記背景画上を動く動き物体の情報とに分けて記録媒体に記録すると共に、上記背景画の静止画情報として、１画面として再生される画枠より広い範囲の静止画情報が、記録されるようになされたデジタル画像信号の記録装置において、
上記１画面として再生される画枠より広い範囲の上記背景画の静止画情報を記憶する背景プレーンメモリ手段と、
上記背景画上を動く動き物体の静止画の情報をそれぞれ個別に記憶する動物体プレーンメモリ手段と、
入力デジタル画像信号と上記動物体プレーンメモリ手段に記憶された上記動き物体の静止画の情報との差分に基づいて、上記動物体プレーンメモリ手段に記憶された上記動き物体の静止画に対する変化情報を検出する変化情報検出手段と、上記背景プレーンメモリ手段および上記動物体プレーンメモリ手段の静止画の情報と、上記変化情報検出手段からの変化情報とを上記記録媒体に記録する記録手段と
を備えるデジタル画像信号の記録装置。
【請求項１１】
請求項１０に記載のデジタル画像信号の記録装置により記録されてくるデジタル画像信号の再生装置であって、
上記背景画の静止画情報及び上記動き物体の静止画の情報をそれぞれ記憶するメモリ手段と、
上記背景画の静止画情報のうちの１画面として読み出す背景画部分を指定する手段と、
上記１画面として読み出された背景画に対して、上記動き物体の静止画の情報を上記変化情報に基づいて合成して、出力デジタル画像信号を得る合成手段と
を備えるデジタル画像信号の再生装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
この発明は、デジタル画像信号の伝送装置及びその受信装置に関する。
【０００２】
【従来の技術】
撮像装置での、撮影時には、主撮影目的の被写体のみに注目した撮影を行うのが一般的であり、背景は、撮影時にはあまり考慮されない。このため、従来は、撮影時に定めた構図のままの再生画像しか得られない。
【０００３】
【発明が解決しようとする課題】
しかし、再生時に、背景の位置を変えたいとする要求は多々ある。ところが、従来は、この要求に答える技術手段は、存在しない。
【０００４】
この発明の第１の目的は、この要求に答えることができるデジタル画像信号の伝送装置を提供することである。
【０００５】
また、この発明の第２の目的は、上記要求に答える発明を実現するに当たって、低伝送レートの伝送媒体でも可能にすることである。
【０００６】
すなわち、動画像のデジタル画像データは、非常に多量の情報を含んでおり、これをそのまま伝送しようとすると、伝送ビットレートが非常に高くなってしまう。このため、磁気テープや光磁気ディスクなどを用いてデジタル画像データを記録再生するように、伝送ビットレートが制限された低いレートの伝送媒体を用いて伝送するようにする場合には、従来は、一般的に、画像が時空間の情報であることを利用してデータ圧縮するようにしている。
【０００７】
例えば、デジタル画像データのフレーム間の差を取り、その差をＤＣＴ（ディスクリート・コサイン・トランスフォーム（離散コサイン変換））を用いてデータ圧縮するなど、デジタル画像データを圧縮して伝送するようにすることが、従来から行なわれている。さらには、テレビ会議などでは、画像が動きが少ないものであることに鑑み、フルフレームを伝送するのではなく、片フィールドのデータのみを伝送するようにするなど、情報量を間引いて伝送することなども行なわれている。
【０００８】
片フィールドではなく、さらに伝送するフィールド数を少なくして時間情報を犠牲にし、空間情報は確保することにより、画像は綺麗であるが、動きがギクシャクするような場合もある。
【０００９】
しかし、このように動きがギクシャクしたのでは、動画の良さが損なわれるので、１フレームあたりの画像データを、できるだけデータ圧縮してフルフレームを伝送し、空間解像度を犠牲にするが、動画としてフルモーションで再生できるようにする方法も考えられている。
【００１０】
このように、従来のデジタル画像信号の伝送方法は、画像データを、時間方向、あるいは空間方向にデータ圧縮して伝送レートを下げるように工夫している。しかしながら、データ圧縮のみにより伝送ビットレートを下げるようにした場合、例えば、時間方向に圧縮した場合には、動画像の動きが、ギクシャクとしたものとなり不自然な画像となってしまう。また、空間方向に圧縮した時は、空間解像度がそれだけ劣化するため、再生画像が劣化してしまう。
【００１１】
すなわち、従来の方法は、データ圧縮のみによりビットレートを下げるようにしているため、時間方向あるいは空間方向のデータの一方を犠牲、あるいは両方を犠牲にしており、再生画像として満足のゆくものを得ることは、なかなかできなかったのである。
【００１２】
そこで、この発明では、低伝送レートの伝送媒体であっても、できるだけ美しい再生画が得られると同時に、動きがスムーズにできるように工夫した、デジタル画像信号の伝送装置、及びその受信装置を提供する。
【００１３】
【課題を解決するための手段】
前記課題を解決するため、この発明は、
画像情報を、背景画の静止画情報と、この背景画上を動く動き物体の情報とに分けて伝送するデジタル画像信号の伝送装置であって、
上記背景画の静止画情報として、１画面として再生される画枠より広い範囲の静止画情報を記憶する背景メモリ手段と、
複数画面分の画像情報から上記背景画の静止画情報を抽出し、当該抽出した背景画の静止画情報を上記背景メモリ手段に書き込む背景分離処理手段と、
を備え、上記背景画の静止画情報として、上記背景メモリ手段に記憶された上記１画面として再生される画枠より広い範囲の静止画情報を伝送することを特徴とする。
【００１４】
また、この発明によるデジタル画像信号の伝送装置は、低ビットレートの伝送媒体で伝送できるようにするため、
画像情報を、背景画の静止画情報と、上記背景画上を動く動き物体の情報とに分けて伝送すると共に、上記背景画の静止画情報として、１画面として再生される画枠より広い範囲の静止画情報が、伝送されるようになされたデジタル画像信号の伝送装置において、
上記１画面として再生される画枠より広い範囲の上記背景画の静止画情報を記憶する背景プレーンメモリ手段と、
上記背景画上を動く動き物体の静止画の情報をそれぞれ個別に記憶する動物体プレーンメモリ手段と、
入力デジタル画像信号と上記動物体プレーンメモリ手段に記憶された上記動き物体の静止画の情報との差分に基づいて、上記動物体プレーンメモリ手段に記憶された上記動き物体の静止画に対する変化情報を検出する変化情報検出手段と、上記背景プレーンメモリ手段および上記動物体プレーンメモリ手段の静止画の情報と、上記変化情報検出手段からの変化情報とを伝送する伝送手段と
を備えることを特徴とする。
【００１５】
【作用】
上述のこの発明においては、背景プレーンとしては、１画面として再生される画枠範囲より広い範囲の背景画情報が伝送される。したがって、受信側では、この背景プレーンをメモリに取り込み、このメモリより読み出すときに、読み出す画枠位置を指定することにより、広い範囲の背景プレーンの中から、希望する背景画を抽出して、再生画像を得ることができる。
【００１６】
また、低伝送レートの伝送媒体に好適とされる、この発明の構成においては、例えば、特定の画像内容からなる１つのシーンについて考えた時、そのシーンの画像は、固定の静止画と考えられる背景画と、それぞれ動きが１〜複数個の異なる動き物体としてとらえる。
【００１７】
すなわち、この発明においては、動画の１フレームの二次元画像を、背景及び複数個の動き物体のそれぞれの静止画からなる二次元プレーンの重なりと捕らえる。そして、動き物体については、その動き物体の動き方向、移動距離、物体の形状変化などの変化情報を抽出する。そして、動画データとして、上記の背景画プレーン及び動き物体プレーンを伝送すると共に、動き物体プレーンについての変化情報を伝送する。
【００１８】
受信側では、背景プレーンの背景画の上に、動き物体プレーンの動き物体を、その変化情報に応じて重ねることにより、動画を再生するようにする。
【００１９】
この場合、それぞれの背景プレーン及び動き物体プレーンは１枚の静止画であって、この静止画の情報は、１つのシーンの一番最初に、それぞれ伝送すれば足りる。数秒以上からなる１シーンについて、それぞれ１枚の静止画を伝送すればよいから、これは、低い伝送レートであっても、大量のデータ量を伝送することができる。したがって、高画質となる。そして、変化情報は、高々、数ビットでよいので、１シーンの内の静止画情報を伝送した残りの時間であっても、余裕を持ってリアルタイムで伝送することも可能である。
【００２０】
【実施例】
以下、この発明によるデジタル画像信号の伝送装置及びその受信装置の一実施例を、光磁気ディスクに対してデジタル画像信号を記録再生する装置の場合を例にとって、図を参照しながら説明する。
【００２１】
この例の装置は、例えばＣＣＤ固体撮像素子を用いるビデオカメラ部を備え、このビデオカメラで撮影して得た画像信号を、Ａ／Ｄコンバータにより、デジタル画像信号に変換して、光磁気ディスクに記録するものである。
【００２２】
［デジタル画像信号のディスク記録装置の説明］
図１は、この例の装置のディスク駆動系及びブロック図を示し、この例の装置は、ビデオカメラ部１と、記録信号系２と、全体の制御を行うためのシステムコントローラ３と、ディスク駆動系１０とからなり、ビデオカメラ部１の撮像出力信号が、記録信号系２を介して記録されるようにされている。
【００２３】
ディスク駆動系１０において、１１は光磁気ディスクである。この光磁気ディスク１１は、カートリッジ１１Ａ内に収納されて構成されている。また、ディスク１１には、予め、光スポット制御用（トラッキング制御用）のプリグルーブが形成されていると共に、この例の場合には、このプリグルーブにトラッキング用のウォブリング信号に重畳して絶対アドレスデータが記録されている。この絶対アドレスデータは、この記録時の記録トラック位置制御、また、後述する再生時の再生走査トラック位置制御のために用いられる。
【００２４】
ディスク１１は、スピンドルモータ１２により回転される。スピンドルモータ１２の回転は、サーボ制御回路１５により制御され、ディスク１１が、例えば線速度一定の状態で回転するように制御される。
【００２５】
ディスク１１にはシャッターが設けられており、ディスク１１がディスク装着トレイ上に載置され、装置に装填されると、シャッターが開かれる。そして、ディスク１１のシャッター開口部の上部には記録用の磁気ヘッド１３が対向して配置され、ディスク１１のシャッター開口部の下部には光ピックアップ１４が対向して配置される。
【００２６】
光ピックアップ１４は発光部と受光部とを有し、送りモータ１６により、ディスク１１の径方向に移動制御される。また、サーボ制御回路１５により、光ピックアップ１４のフォーカス及びトラッキング制御がなされる。
【００２７】
システムコントローラ３は、マイクロコンピュータを搭載して構成されており、全体の動作を管理している。このシステムコントローラ３には、キー群４からキー入力信号が与えられる。キー群４には、撮像録画スタンバイキー、撮像録画スタートキー、再生キー、停止キーなどが含まれる。
【００２８】
この例の場合、カメラ部１で撮影した動画像は、固定背景部と、その背景上で動く動き部分とに分けて記録する。固定背景部は、後述する背景プレーンメモリ２３ＢＧに登録して、静止画として記録する。そして、この発明では、この固定背景部は、撮影の際に考えられる最大画枠で、背景プレーン２３ＢＧに登録して、静止画として記録する。
【００２９】
動き部分は、各々の動き物体にそれぞれ分離し、後述する動物体プレーンメモリ２３Ａ１〜２３Ａｎのそれぞれに登録して、その動き物体の静止画を記録すると共に、各動物体プレーンの動き物体の変化情報を記録する。
【００３０】
撮像画像が例えば図２に示すような２次元画像３０の場合、図に示すように、動きのない建造物などからなる固定の静止画が背景プレーン３１として抽出される。そして、動き物体としては、図２の例では、飛行機と、猿と、自動車とが認識されて、それぞれ動物体プレーン３２、３３、３４として分離される。
【００３１】
そして、この例においては、図３に示すように、１シーンの記録を、準備期間と、実際の撮像録画期間とに分けて行う。そして、準備期間において、上述の背景プレーンと動物体プレーンの静止画の記録処理を行う。実際の撮像録画期間では、上記各動物体プレーンとしての動き物体の変化情報のみを記録する。
【００３２】
［準備期間の記録］
この場合、１画面分の情報は、例えば図４に示すように、４８０ライン×７２０画素で構成し、また、１画素のデータを、輝度信号Ｙ（８ビット）及び色情報Ｕ、Ｖ（８ビット）とで構成する。この例の場合、動物体プレーンメモリ２３Ａ１〜２３Ａｎは、この１画面分の静止画情報を書き込むことができる容量のメモリで構成可能であるが、背景プレーンメモリ２３ＢＧは、図５に示すように、１画面分の画素情報以上の、この例では複数画面分の画素情報を記憶可能な大容量メモリの構成とされる。すなわち、背景プレーンメモリ２３ＢＧは、垂直方向に（４８０×ａ）ライン、水平方向に（７２０×ｂ）画素の画素サンプルデータを書き込むことができる容量を備える。この例では、ａ＝３、ｂ＝３とされている。
【００３３】
したがって、例えば、図５の中央位置の背景画を中心としたとき、この中央の背景画の周囲にカメラをパンニング、チルトなどカメラアングルを変更したときに画枠内に入ってくる背景をこの背景プレーンメモリ２３ＢＧに書き込んでおくことができる。また、上記中央位置の背景画のところで、カメラをズーミングしたときには、そのズーム範囲の背景画のすべてが背景プレーンメモリ２３ＢＧに書き込まれていることになる。その１画面分の画枠より広い範囲の背景画情報の書き込み方法の一例を次に述べる。
【００３４】
この例では、先ず、キー群４の所定のキーを操作することにより、カメラ部１により最大画枠の背景プレーンの撮影を行い、それを背景プレーンメモリ２３ＢＧに登録するモードにする。以下、このモードの動作について説明する。
【００３５】
この例のカメラ部１は、図示しないがズームレンズを備えており、先ず、このズームを最も広角側にして広い背景を撮影する。この例では、これを最大画枠とする。
【００３６】
カメラ部１からの撮像信号は、Ａ／Ｄコンバータ２１に供給されて、例えば１画素サンプルが８ビットのデジタル画像信号に変換されて、信号処理回路２２に供給される。この信号処理回路２２では、カメラ部１により撮像されたシーンの画像を、動きのない固定の背景の静止画と、この背景上で動くそれぞれの動き物体とに分離し、分離した背景画情報をバッファメモリに登録する。このバッファメモリには、例えば図６に示すように、最大画枠の背景を１画面として撮影された静止画情報が得られる。
【００３７】
次に、ズームレンズを最も望遠側にして、最大画枠内の一部を撮影する。信号処理回路２２では、前述と同様にして、撮像画像から動物体の成分を分離した固定背景部分（以下、これを一部背景画と呼ぶ）のみを分離する。そして、この分離した一部背景画と、バッファメモリに蓄積した最大画枠との比較を行い、当該一部背景画が、最大画枠の背景画のどの部分であるかを判別する。この場合、一部背景画の画枠の大きさが、最大画枠の１／９である（つまり、最広角側の画枠に対して、最望遠側の画枠は１／９）とすると、一部背景画は、縦方向及び横方向に１／３ずつに画素を間引いて、バッファメモリの最大画枠の背景画と比較し、パターンマッチングを行う。
【００３８】
今、例えばパターンマッチングにより撮影された一部背景部分が、図６で、斜線を付して示す最大画枠の左上隅の画像であると認識されると、図５において、斜線を付して示す背景プレーンメモリ２３ＢＧの対応する一部画面アドレスに、当該一部背景画部分が書き込まれる。この場合、書き込まれるのは、間引かれた画像情報ではなく、元の画像情報である。
【００３９】
そして、信号処理回路２２では、背景プレーンメモリ２３ＢＧに書き込むべき、図６の最大画枠の静止画のうちから、書き込みを終了した一部背景画位置を記憶しておく。
【００４０】
次に、ズームレンズを最も望遠側にした状態を保って、最大画枠内の他の一部背景画の撮影を行ってゆく。信号処理回路２２は、上述と同様にして、その一部背景画が最大画枠のどの部分かをチェックし、未だ、背景プレーンメモリ２３ＢＧに書き込んでいない背景部分を、背景プレーンメモリ２３ＢＧの対応するアドレス位置に、書き込む。
【００４１】
以上の処理を、最大画枠の背景画のすべてが、背景プレーンメモリ２３ＢＧに書き込まれるまで行う。最大画枠の書き込みが終了すると、装置は、例えばそのことを警報音などで知らせる。
【００４２】
以上の背景プレーンメモリ２３ＢＧへの最大画枠の固定背景画の登録の際に、それぞれ最望遠側での撮影時に動き物体として認識されて分離された、例えば前記飛行機、猿、自動車などの動き物体の静止画は、それぞれ動物体プレーンメモリ２３Ａ１〜２３Ａｎ（ｎは自然数）に書き込まれる。
【００４３】
以上の背景プレーン及び動物体プレーンの分離のための具体実施例については後述する。
【００４４】
以上のようにして、背景プレーン及び複数個の動物体プレーンに分離されて、プレーンメモリ２３ＢＧ及び２３Ａ１〜２３Ａｎに書き込まれた各静止画の画像情報は、前述したように、実際にビデオカメラによって撮像録画を開始する前の、図３に示した準備期間で予めディスク１１に記録される。
【００４５】
この場合、１画面分のプレーン情報は、図４に示したように、４８０ライン×７２０画素で構成され、また、１画素のデータが、輝度信号Ｙ及び色情報Ｕ、Ｖで、１６ビットで構成されるので、各１画面分の静止画情報は、それぞれ約５．６Ｍビットの情報量を有する。このまま圧縮せずに、ディスク１１に記録することもできるが、ディスクへのデータの記録レートが、例えば１．２Ｍｂｐｓであるとすると、１枚の静止画を記録するに当たり約５秒掛かってしまう。さらに、この例では、背景プレーンの情報として、複数画面分の静止画情報を含んでおり、このまま記録にかなりの時間を要する。
【００４６】
このため、この例では、各プレーンメモリ２３ＢＧ及び２３Ａ１〜２３Ａｎに書き込まれた画像情報は、圧縮回路２４に供給されて、各プレーン情報が適当に圧縮されて、記録処理回路２５に供給される。この記録処理回路２５では、データをセクタ構造にするなど、ディスク１１の記録フォーマットに適合するデータ処理が行われる。この記録処理回路２５の出力データは、順次、ヘッド駆動回路２７を介して記録用磁気ヘッド１３に供給され、ディスク１１に光磁気記録される。
【００４７】
圧縮回路２４での、データ圧縮率が１／１０であれば、４枚のプレーン情報は、２秒の準備時間で記録できる。１．２Ｍｂｐｓで同じ情報量の動画データのフルフレームを伝送する場合には、データ圧縮率は１／１００以上になるので、これと比べると、プレーン情報の画質の劣化は非常に少ない。
【００４８】
［実際の撮像録画の期間］
この例においては、ビデオカメラ部１で、実際の撮像録画開始キーを操作した後の撮像録画期間では、各動物体プレーンに登録されている動き物体の動き方向及び動き量及び回転や形状変化などの動き変化情報を生成する。
【００４９】
また、背景プレーンについては、撮影録画の際に分離された背景画の画枠の、背景プレーンメモリ２３ＢＧ上の位置を、実際の撮像録画の開始時の背景画の画枠の背景プレーンメモリ２３ＢＧ上の位置を基準にした画枠位置を示す変化情報（以下これを画枠位置情報と称する）として、前記動き変化情報に含める。そして、以上のようにして生成した動き変化情報及び画枠位置情報をリアルタイムでディスク１１に記録する処理を行う。
【００５０】
信号処理回路２２は、このため、撮像録画モードにおいては、そのときに分離した背景プレーン及びｎ個の動物体プレーンの情報を用いて、入力デジタル画像信号から、それぞれの動物体プレーンの動き物体の動き変化情報及び背景画の画枠位置情報を求める。そして、この動き変化情報及び画枠位置情報を圧縮符号化回路２６に供給し、適当な圧縮率で圧縮符号化を行い、記録処理回路２５を介してヘッド駆動回路２７に供給する。
【００５１】
この場合、記録される動き変化情報及び画枠位置情報は、後述もするように、僅かなビット数となり、１．２Ｍｂｐｓの低伝送レートであっても、リアルタイムで十二分に伝送できる。動き変化情報及び画枠位置情報の検出方法の具体的な実施例は後述する。
【００５２】
光磁気ディスク１１では、次のようにしてデータの記録が行われる。すなわち、ヘッド駆動回路２７を介して記録用磁気ヘッド１３に供給されることにより、記録データで変調された磁界がディスク１１の所定位置において印加される。また、光ピックアップ１４からのレーザービームがディスク１１の同一位置に照射される。この記録時は、記録トラックには、再生時より大きな一定のパワーのレーザ光が照射されている。この光照射と、磁気ヘッド１３による変調磁界とにより、ディスク１１には熱磁気記録によってデータが記録される。磁気ヘッド１３と光ピックアップ１４とは、共に同期してディスク１１の半径方向に沿って移動できるように構成されている。
【００５３】
また、記録時においては、光ピックアップ１４の出力がＲＦアンプ２８を介してアドレスデコーダ２９に供給されて、ディスク１１のトラックに沿って設けられたプリグルーブにウォブル記録されている絶対アドレスデータが抽出され、デコードされる。そして、その検出された絶対アドレスデータが、記録処理回路２５に供給され、記録データ中に挿入されて、ディスク１１に記録される。また、絶対アドレスデータは、システムコントローラ３に供給され、記録位置の認識及び位置制御に用いられる。
【００５４】
そして、各シーンの背景プレーン情報、動物体プレーン情報及び画枠位置情報、動き変化情報がそれぞれどのトラック、さらには、どのセクタに記録されているかの情報が、ディスクの最内周に設けられるＴＯＣ（Ｔａｂｌｅ  Ｏｆ  Ｃｏｎｔｅｎｔｓ）領域と呼ばれるディスク管理エリアに記録される。
【００５５】
なお、この記録時、ＲＦアンプ２８からの信号がサーボ制御回路１５に供給され、ディスク１１のプリグルーブからの信号からスピンドルモータ１２の線速度一定サーボのための制御信号が形成され、スピンドルモータ１２が速度制御される。
【００５６】
［プレーン分離処理回路の実施例］
図７は、信号処理回路２２における背景プレーン及び複数個の動物体プレーンに分離するためのプレーン分離処理回路の、一実施例のブロック図である。
【００５７】
すなわち、入力端子４１を通じたＡ／Ｄコンバータ２１からの１画素８ビットの画像データは、フレームメモリ４２に供給されるとともに、減算回路４４及び減算回路４５に供給される。また、入力画像データは、アンドゲート６１を介して動物体プレーン分離回路６２に供給される。
【００５８】
フレームメモリ４２は、１画素８ビットのデータを１フレーム分記憶し、減算回路４４において、入力画素データから前のフレームの同一サンプリング位置に対応する画素データが減算される。この減算回路４４の差出力は、絶対値化回路４６に供給されて、絶対値とされ、比較回路４７に供給される。
【００５９】
比較回路４７には、端子４８を通じて、しきい値θ１が供給され、絶対値化回路４６からの差出力の絶対値がしきい値θ１未満の時には「１」となり、しきい値θ１以上の時には「０」となる判定出力が得られる。この判定出力は、重み係数制御回路４９に供給される。
【００６０】
図７において、２３ＢＧｓは、１画面分の背景画（７２０画素×４８０ライン）を、記憶できる容量の背景プレーンメモリであって、後述するように、初期状態を経過すると、この背景プレーンメモリ２３ＢＧｓに背景プレーン画像（静止画）が格納される。
【００６１】
また、５０は、１フレームの重み係数が格納される重み係数メモリである。この重み係数メモリ５０には、例えば、３ビットの重み係数が記憶される。
【００６２】
フレームメモリ４２、背景メモリ２３ＢＧｓ及び重み係数メモリ５０は、アドレス制御回路４３の出力により、共通にアドレス制御され、同一のアドレスが指定されるようにされている。
【００６３】
減算回路４５では、入力画素データから背景プレーンメモリ２３ＢＧｓよりの画像データが減算され、この減算回路４５の差出力が絶対値化回路５１に供給され、差出力の絶対値が求められる。この絶対値化回路５１からの差の絶対値は、比較回路５２に供給され、端子５３を通じたしきい値θ２と比較され、入力画素データと背景画素データの差出力の絶対値が、しきい値θ２未満の時に「１」となり、しきい値θ２以上の時に「０」となる判定出力が、この比較回路５２から得られる。この比較回路５２よりの判定出力は、重み係数制御回路４９に供給される。
【００６４】
減算回路４５からの入力画素データと背景画素データとの差出力は、また、乗算回路５４に供給され、重み係数制御回路４９から発生する重み係数αが乗じられる。この乗算回路５４の乗算出力は、加算回路５５に供給されて、背景プレーンメモリ２３ＢＧｓからの背景画素データと加算され、その加算出力が背景プレーンメモリ２３ＢＧｓに書き込まれる。
【００６５】
重み係数制御回路４９からの重み係数が、重み係数メモリ５０に書き込まれるとともに、この重み係数メモリ５０から読み出された重み係数が重み係数制御回路４９に供給される。
【００６６】
重み係数制御回路４９は、比較器４７及び５２の判定出力から画素データが動き画素かどうかの判定を行なっている。
【００６７】
以上の構成において、背景プレーンメモリ２３ＢＧｓ、減算回路４５、乗算回路５４及び加算回路５５は、背景プレーンメモリ２３ＢＧｓを１フレーム遅延素子として用いたデジタルフィルタを構成している。すなわち、重み係数をαとし、ｋフレーム目の入力画素データをＺｋとし、背景プレーンメモリ２３ＢＧｓから読み出された背景画像データをＸ（ｋ−１）とするとｋフレーム目の背景画素データ（推定値）Ｘｋは、次式で示されるものとなる。
【００６８】
Ｘｋ＝α・（Ｚｋ−Ｘ（ｋ−１））＋Ｘ（ｋ−１）
＝（１−α）・Ｘ（ｋ−１）＋α・Ｚｋ
この例においては、背景が変化しない１シーンの間では、αを例えば、１／１６に固定している。入力画像中に含まれるホワイト雑音は、上の式で表わされる演算を複数フレームにわたって繰り返すことにより除去され、背景プレーンメモリ２３ＢＧｓに蓄えられている背景画像のＳ／Ｎが改善される。
【００６９】
また、シーンが変わる時などのように、背景が切り替わる時には、つまり、撮像シーンが、別の撮像シーンに変わった場合には、応答時間を短くするとともに有色雑音の影響を受けないように、重み係数αを１／１６から１フレームごとに２倍ずつ乗算してゆく。つまり、１／１６→１／８→１／４→１／２→１と指数関数的に増加する重み係数αを用い、徐々に背景画像の更新を行なうようにしている。したがって、重み係数αは、５種類あり、それぞれが３ビットにより表現されている。重み係数αを２のべき乗にしているのは、乗算回路５４をシフトレジスタあるいはセレクタによって実現するためである。
【００７０】
この例においては、初期状態を経過すると、背景プレーンメモリ２３ＢＧｓに背景静止画データが格納される。減算回路４５及び絶対値化回路５１により、現画素と背景画素の差の絶対値が検出される。この差の絶対値と、しきい値θ２が比較回路５２により比較され、差の絶対値が、しきい値θ２未満の時に、現画素が背景画像のものであると判定されて、次のような処理が行なわれる。
【００７１】
すなわち、このときは、重み係数αが２−４（＝１／１６）に固定される。そして、乗算回路５４において、減算回路４５の出力に、この重み係数αが乗じられ、背景プレーンメモリ２３ＢＧｓの出力と加算回路５５において加算される。そして、その加算出力が背景プレーンメモリ２３ＢＧｓの同一アドレスに書き込まれ、背景プレーンメモリの更新が行なわれる。このときの重み係数は、重み係数メモリ５０に書き込まれる。
【００７２】
現画素と背景画素の差の絶対値が、しきい値θ２以上であると比較回路５２において判定されたときには、減算回路４４及び絶対値化回路４６により検出された現画素と、前フレームの対応する画素との差の絶対値が、しきい値θ１未満か、または、しきい値θ１以上かが比較回路４７の出力として調べられる。この比較回路４７の出力が、しきい値θ１未満の時には、次のような処理が行なわれる。
【００７３】
すなわち、しきい値θ１未満である場合には、シーンチェンジなどにより、背景が切り替わった時のもので、最初に重み係数メモリ５０に記憶されている重み係数α（＝１／１６）が読み出され、乗算器５４によって、この重み係数αが減算回路４５の出力信号に対して乗じられる。したがって、このフレームでなされる背景画素の更新は、
Ｘｋ＝１５／１６・Ｘ（ｋ−１）＋１／１６・Ｚｋ
で示される上述と同様のものである。
【００７４】
背景画素の更新がなされると、重み係数制御回路４９において、αが２倍にされるとともに、この２倍にされた新たな重み係数が１より大きいかどうかが判定され、１より小さければ、この２倍された重み係数αが、重み係数メモリ５０に格納される。１／１６の重み係数からスタートすると、（１／８→１／４→１／２→１）と１フレームごとに重み係数αが変化する。
【００７５】
背景が切り替わって、上述のように重み係数αが変化し、α＝１となる５フレーム後まで、上述と同様の背景画素の更新の処理には移行しない。したがって、有色雑音が誤って新たな背景画素として検出されて、重み係数を変更させる処理を受ける場合でも、正しい背景画素が保存されることになる。この重み係数αの変化の仕方は、背景画素の更新時の応答性を良くするとともに、有色雑音を除去できるように設定される。
【００７６】
比較回路４７において、現画素と前フレーム画素との差の絶対値が、しきい値θ１以上であると判定された時には、これは、現画素が動き画素であると判定されるもので、この場合には、背景プレーンメモリ２３ＢＧｓの更新は行なわれない。この動き画素については、以下に述べるようにして、動きプレーンの分離の処理が行なわれる。
【００７７】
重み係数制御回路４９においては、比較回路５２において、現画素と背景画素との絶対値が、しきい値θ２以上であると検出され、かつ、比較回路４７の出力から、現画素と前フレーム画素との差の絶対値が、しきい値θ１以上である場合に、動き画素として検出されるものである。
【００７８】
重み係数制御回路４９からの動き画素の検出信号は、アンドゲート６１に供給され、このアンドゲートに入力されている入力端子４１からの入力デジタル画素データがゲート制御される。このアンドゲート６１は、現画素が動き画素の時に、ハイレベルになって開になる。したがって、入力画素（現画素）が動き画素でないときには、アンドゲート６１の出力は「０」となり、入力画素が動き画素のときには、その画素データ（これは「０」ではないデータである。以下これをノンゼロのデータという）が、このアンドゲート６１から出力される。
【００７９】
６２は、動物体プレーン分離回路で、１フレーム分の画素データを記憶可能な差分メモリ（フレームメモリ）６２Ｍを備え、アンドゲート６１の出力がこのメモリ６２Ｍに入力される。このメモリ６２Ｍは、アドレス制御回路４３からのアドレス制御信号により、前述のフレームメモリ４２、背景プレーンメモリ２３ＢＧｓ及び重み係数メモリ５０と同じアドレス制御を受ける。
【００８０】
したがって、差分メモリ６２Ｍには、背景画が現画像から除去されて、ノンゼロのデータからなる動き画素の集合からなる複数個の動き物体の画像のみからなる差分画像が蓄えられることになる。そして、図８に示すように、動き物体のノンゼロ画素データ以外の画素のデータとしては、「０」データが、メモリ６２Ｍに書き込まれている。
【００８１】
こうして差分メモリ６２Ｍには、１枚の２次元画像中の複数個の動き物体の画素のデータが、「０」でないレベルを有するノンゼロ画素データとして書き込まれ、動き物体の画素以外の背景画の静止画部分の画素データはオール「０」のデータとして記憶されるものである。したがって、複数個の動き物体が互いに重なり合っていないとすれば、差分メモリ６２Ｍの画素データを順次走査して、近接画素同志で、「０」でないノンゼロ画素データを関連付けてマージ（統合）することにより、各動き物体のそれぞれのみからなる動物体プレーンを分離することが可能になる。
【００８２】
６３は、マイコンであって、動物体プレーン分離回路６２の差分メモリ６２Ｍを走査し、以下のようにして各動き物体ごとにプレーン分離し、分離した動き物体プレーンの情報を対応するアドレスにおいて、各動物体プレーンメモリ２３Ａ１〜２３Ａｎに書き込むようにするものである。なお、動物体プレーンメモリ２３Ａ１〜２３Ａｎのそれぞれのすべてのアドレスには、予め、オール「０」が書き込まれており、各動き物体の画素のみが、差分メモリ６２Ｍと同じアドレスにおいて、いづれかの動物体プレーンメモリに書き込まれるものである。
【００８３】
図１０及び図１１は、マイコン６３の動物体プレーンの分離のための処理のフローチャートである。すなわち、この場合の動き物体の分離の処理は、まず、ステップ１０１において、ノンゼロの画素データをサーチする（動き画素は０でないので、動き画素を探索することになる）。そして、ステップ１０２で、ノンゼロの画素データが見つかったならば、ステップ１０３に進んで、その周囲の画素データがノンゼロかどうかをチェックする。この例の場合には、図９に示すように、注目画素ｘの周辺の上下左右の８画素ａ〜ｈのデータをチェックする。
【００８４】
そして、次のステップ１０４において、８画素ａ〜ｈのいづれのデータもノンゼロでなかったときには、注目画素ｘは、孤立点と見做してステップ１０４からステップ１０１に戻って、次の動き画素を探す。
【００８５】
ステップ１０４において、８画素ａ〜ｈの内の１つでもノンゼロの画素があったときには、ステップ１０４からステップ１０５に進み、注目画素ｘの左の画素ｄと、上（１ライン前）の画素とｂがノンゼロの画素であるか否かをチェックして、次のステップ１０６に進む。
【００８６】
次のステップ１０６では、左及び上の画素ｄ及びｂが、両方共にノンゼロでないか否か判別され、共にノンゼロでない、つまり動き画素でないときには、ステップ１０７に進んで、動物体プレーンメモリのメモリ番号（以下、単にメモリ番号という）として新番号を設定する。そして、ステップ１０８に進んで、そのメモリ番号を当該画素のアドレスに対応して記憶しておく。その後、ステップ１０９に進んで、差分メモリ６２Ｍの全画素の走査が終了したか否か判別し、全走査を終了したときには、この処理ルーチンを終了する。全走査を終了していないときには、ステップ１０１に戻って、次の動き画素の検索を始める。
【００８７】
また、ステップ１０６において、左及び上の画素ｄ及びｂのうち少なくともいずれかはノンゼロの画素であると判別されたときには、ステップ１０６からステップ１１０に進み、両方共にノンゼロであるか否か判別される。そして、両方共ノンゼロであると判別されたときには、ステップ１１０からステップ１１１に進み、両画素ｄ、ｂについてマイコン６３に記憶されているメモリ番号をチェックする。そして、次のステップ１１２に進んで、両画素ｄ、ｂのメモリ番号が一致しているか否か判別する。
【００８８】
ステップ１１２における判別の結果、両画素ｄ、ｂのメモリ番号が一致しているときには、ステップ１１２からステップ１０８に進んで、そのメモリ番号を当該注目画素ｘのアドレスに対応して記憶する。
【００８９】
また、ステップ１１２における判別の結果、両画素ｄ、ｂのメモリ番号が一致していないと判別されたときには、ステップ１１２からステップ１１３に進んで、左の画素ｄのメモリ番号を選択して、そのメモリ番号を当該注目画素ｘに関連させて記憶すると共に、左の画素ｄのメモリ番号と上の画素ｂのメモリ番号とは、関連があり、メモリ番号は異なっても１つの動き物体の画素であることを示す情報（マージ情報と呼ぶ）を記憶する。
【００９０】
これは、動き物体が、ある水平走査ラインのデータでは飛んだ位置の画素であるが、後のラインの画素のサーチの結果、同一の動き物体の画素として繋がっていることが判明する場合を示している。
【００９１】
ステップ１１０における判別の結果、両方共にはノンゼロではないときには、このステップ１１０からステップ１１５に進み、左の画素ｄがノンゼロであるか否か判別する。その判別の結果、左の画素ｄがノンゼロであるときには、ステップ１１６に進んで、その画素ｄのメモリ番号をチェックし、その後、ステップ１０８に進んで、その注目画素ｘのアドレスに対応して、そのメモリ番号を記憶する。
【００９２】
ステップ１１５の判別の結果、左の画素ｄがノンゼロでない、つまり上の画素ｂがノンゼロであると判別されたときには、ステップ１１７に進んで、上の画素ｂのメモリ番号をチェックし、その後、ステップ１０８に進んで、その注目画素ｘのアドレスに対応して、そのメモリ番号を記憶する。
【００９３】
前述したように、ステップ１０８の次には、ステップ１０９に進んで、差分メモリ６２Ｍのすべての画素についてのサーチを終了したか否か判別して、終了していなければ、ステップ１０１に戻って以上の処理ルーチンを繰り返し、全画素のサーチが終了したら、この処理ルーチンを終了する。
【００９４】
以上の差分メモリ６２Ｍの画素サーチにより、マイコン６３の内蔵メモリには、１つ１つの動き物体について、各動き物体に含まれる画素のアドレスに対して、同じメモリ番号及びそれと関連するメモリ番号が、両メモリ番号を関連付ける情報と共に記憶される。マイコン６３は、同じ動き物体と認識された画素のメモリ番号を、１つの動画プレーンメモリのメモリ番号Ｎｏと対応付ける。これにより、それぞれの動き物体は、別々の動画プレーンとして、次のようにして分離することができる。
【００９５】
すなわち、マイコン６３は、差分メモリ６２Ｍから、動き画素データを順次読み出す。この差分メモリ６２Ｍの読み出し出力は、動画プレーンメモリ２３Ａ１〜２３Ａｎのそれぞれに入力される。また、マイコン６３は、読み出した画素について上述のようにして設定し、記憶したメモリ番号Ｎｏの動画プレーンメモリにのみ、書き込み画素アドレス（読み出し画素アドレスと同じでよい）を供給して、その動き画素を、そのメモリ番号Ｎｏの動画プレーンメモリに書き込んでゆく。
【００９６】
こうして、動き物体プレーンメモリ２３Ａ１〜２３Ａｎのそれぞれには、１つ１つの動き物体が、分離されて、別々に記憶されるものである。
【００９７】
以上の動き物体プレーンの分離方法は、差分メモリ６２Ｍを、テレビジョン走査と同様に水平、垂直に画素をサーチして、同じ動き物体に含まれる画素をマージするようにしたが、１つの動き画素を検出したとき、その周囲の画素を順次サーチしてノンゼロの画素を追跡して、マージしてゆくと共に、そのマージした画素データを、１つの動き物体プレーンメモリに同時に順次書き込んでゆくようにして、１つの動き物体についての動き物体プレーンメモリを完成するようにしてもよい。
【００９８】
なお、ある時点で、２つの動き物体が重なり合っているとしても、所定の時間経過した後は、その動き物体は分離して観察することができるので、動物体プレーンメモリを、適宜、書き換えることにより、上記の方法により、それぞれの動き物体のみからなる動物体プレーン情報を、それぞれの動物体プレーンメモリが蓄積することができる。
【００９９】
［背景画の画枠位置情報及び動き物体についての動き変化情報の生成］
次に、信号処理回路２２での背景プレーン上での背景画の画枠位置情報及び各動き物体の動き変化情報の生成回路の構成例について、図１２を参照しながら説明する。
【０１００】
画枠位置情報及び動き変化情報は、現画像情報から、背景プレーンメモリ２３ＢＧ、動物体プレーンメモリ２３Ａ１〜２３Ａｎのデータを用いて生成される。図１２の回路は、前述した準備期間の経過後、撮像録画開始キーの操作をしたときから働く。つまり、この例では画枠位置情報及び動き変化情報は、リアルタイム記録される。
【０１０１】
すなわち、Ａ／Ｄコンバータ２１からの撮像データは、前述した信号処理回路２２のプレーン分離回路で１画面分の背景プレーン情報及び各動き物体毎のプレーン情報に分離される。そして、背景画及びそれぞれの各動き物体の１フレームの情報がフレームメモリ７１ＢＧ及び７１Ａ１〜７１Ａｎに書き込まれる。このフレームメモリ７１ＢＧ、７１Ａ１〜７１Ａｎは、２フレームバッファの構成とされ、背景画及び動き物体の情報の書き込みが一方のフレームメモリに対して行われているとき、他方のフレームメモリからの背景プレーン及び動物体プレーンの情報データが読み出されて、そのデータが画枠位置情報及び動き変化情報の生成のために使用される。
【０１０２】
すなわち、フレームメモリ７１ＢＧからの背景画の情報は、画枠位置変化検出回路７２ＢＧに供給されると共に、フレームメモリ７１Ａ１〜７１Ａｎからの各動き物体の画像情報は、動き変化検出回路７２Ａ１〜７２Ａｎに供給される。そして、背景プレーンメモリ２３ＢＧからの最大画枠の背景情報が画枠位置変化検出回路７２ＢＧに供給されると共に、動物体プレーンメモリ２３Ａ１〜２３Ａｎに準備期間において記憶されている動物体プレーン情報が、動き変化検出回路７２Ａ１〜７２Ａｎに供給される。
【０１０３】
画枠位置変化検出回路７２ＢＧでは、最大画枠の背景画と、フレームメモリ７１ＢＧの背景画とが比較され、フレームメモリ７１ＢＧの背景画の最大画枠の背景画上での画枠位置が検出され、初期位置からの変化が検出され、その変化情報が画枠位置情報として出力され、圧縮符号化回路２６に供給される。
【０１０４】
動き変化検出回路７２Ａ１〜７２Ａｎでは、各動物体プレーンメモリ２３Ａ１〜２３Ａｎに記憶されている動き物体と、フレームメモリ７１Ａ１〜７１Ａｎからの各動き物体画像とのパターンマッチングにより、その動き物体についての動きベクトル、つまり動きの方向と、動き量とが求められる。
【０１０５】
この場合、動き物体は予め動物体プレーンとしてメモリに蓄えられているので、その形状が変化しないとすれば、特定の代表点、あるいは代表ブロックに着目して、その代表点あるいは代表ブロックについてパターンマッチングを行うことにより、動き物体全体についての動きベクトルを抽出することができ、比較的短時間でマッチング処理を行うことが可能である。このことは、背景画の画枠位置情報を検出する場合においても同様のことが言える。
【０１０６】
動き物体が向きを変えたり、形状を変えたりしたとき、パターンマッチングで誤差が大きくなる。そこで、この例では、動きベクトルと共に、その誤差分を動き変化情報として伝送するようにする。
【０１０７】
こうして、動き変化検出回路７２Ａ１〜７２Ａｎで得られた各動物体プレーンメモリの動き物体についての、動きベクトルと、マッチング誤差の情報は圧縮符号化回路２６に供給される。
【０１０８】
圧縮符号化回路２６では、その入力データをデータ圧縮する。前述したように、この圧縮後のデータ量は、画像情報に比べて非常に少なく、リアルタイムでディスクに容易に記録することが可能である。
【０１０９】
なお、カメラがズーミングされたときは、そのズーム比情報を変化情報に含めると共に、撮像信号との比較のために、背景プレーン及び動物体プレーンの情報は、そのズーム比に応じてローパスフィルタ（データ間引き）を通されるものである。また、撮影された背景が、背景プレーンメモリ２３ＢＧからはみだすような場合には、背景プレーンとの差分が、画枠情報と共に記録される。
【０１１０】
各動物体プレーンメモリの動き物体の動き後の位置は、検出された動きベクトルを用いて容易にメモリ上のアドレスとして検出することができる。このため、動き物体同志の重なりが生じた状態を、複数個の動き物体の画素のアドレスが同一になることにより認識することができる。このように、複数個の動き物体に重なりが生じた場合には、現画像で、その部分の画素として、いずれの動き物体の画素が現れているかにより、動き物体間の奥行きを検出する。そして、その奥行き情報を、動き情報と共に、伝送するようにする。なお、奥行き情報は、背景画と、動き物体についても求めるようにする。
【０１１１】
なお、背景画の画枠位置情報の代わりに、初期背景画の位置が定まったならば、その位置からカメラを、チルトやパンニングしたりして移動させたとき、その移動方向及び距離を検知するセンサ手段を設け、このセンサ手段で検知した移動方向及び距離の情報を、記録するようにしてもよい。
【０１１２】
また、動き物体についての動き変化情報としては、次の例のような予測動きベクトルと、物体変形情報を伝送するようにしてもよい。
すなわち、図１３の例においては、フレームメモリ７１Ａ１〜７１Ａｎからの入力画像情報から抽出された各動き物体のフレーム情報は、差分演算回路７３Ａ１〜７３Ａｎに供給される。
【０１１３】
また、動物体プレーンメモリ２３Ａ１〜２３Ａｎの動物体プレーン情報が、予測回路７４Ａ１〜７４Ａｎに供給され、予測動きベクトル発生回路７５Ａ１〜７５Ａｎからの予測動きベクトルに基づいて、予測される現時点での移動後の各動き物体のフレーム画像データがこれより得られる。そして、この予測された各動き物体のフレーム画像データが、差分演算回路７３Ａ１〜７３Ａｎに供給されて、フレームメモリ７１Ａ１〜７１Ａｎからの入力画像情報から抽出された各動き物体のフレーム情報との差分が演算される。
【０１１４】
差分演算回路７３Ａ１〜７３Ａｎでは、動き物体の画像についての差分を、出力データとして圧縮符号化回路２６に出力する。また、差分演算回路７３Ａ１〜７３Ａｎは、上記動き物体の画像についての差分から動きベクトルの差分を求め、出力データとして圧縮符号化回路２６に供給すると共に、予測動きベクトル発生回路７５Ａ１〜７５Ａｎに供給し、次のフレームに対する各動き物体についての予測動きベクトルを生成する。
【０１１５】
以上の例では、入力画像から背景画及び動き物体の静止画を分離するようにしたが、背景画及び動き物体を予め互いに分離した状態で、カメラで撮影することが可能な場合には、予め、これをそれぞれ個別に撮像して、背景プレーンメモリ２３ＢＧ及び動物体プレーンメモリ２３Ａ１〜２３Ａｎに書き込んでおくと共に、ディスク１１に記録しておくことができる。
【０１１６】
この際には、最大画枠の背景画としては、カメラをパン、チルト等して、予め撮影し、メモリ２３ＢＧに蓄積するようにすることができる。
【０１１７】
また、以上の例では、最大画枠の背景画の背景プレーンメモリ２３ＢＧへの登録は、予め、カメラで撮影して行うようにしたが、次のようにして、最大画枠の背景画は、撮影記録後に再記録するようにしてもよい。
【０１１８】
すなわち、準備期間では、図１４に示すように、１画面分の初期背景画ＢＧｓを背景プレーンメモリ２３ＢＧの例えばほぼ中央のアドレス位置に書き込んでおく。そして、カメラをチルトあるいはパンニングしたりして、撮影アングルを変更したとき、その撮像背景画ＢＧｐ（図１４では一点鎖線で示してある）と、初期背景画との差分を求め、その差分を背景画の変化情報として記録すると共に、この差分の背景画を背景プレーンメモリ２３ＢＧに書き込む。これを、１シーンの撮影終了まで行う。
【０１１９】
このようにすると、１シーンの撮影の終了時には、背景プレーンメモリ２３ＢＧには、カメラアングルを変化した最大範囲の背景画、つまり、最大画枠の背景画が記憶されている。よって、これを背景プレーン情報として、ディスク１１に記録することができる。
【０１２０】
なお、リアルタイムで記録するのは、差分の画像情報の代わりに、前述したセンサ手段で検知したカメラの移動方向及び距離の情報であってもよい。
【０１２１】
なお、以上の実施例では、実際の撮像録画の前に準備期間を設定し、その準備期間に背景プレーン、動物体プレーンの分離及びディスクへの記録を行うようにしたが、背景プレーンを最後に記録するようにする場合には、動き変化情報の情報量は非常に少ないので、準備期間を設けることなく、静止画プレーン情報の記録から動き変化情報の記録までを、リアルタイムで実行することも可能である。例えば、１シーンが１０秒であるとすると、前述の例では、動物体プレーンの記録は、２秒で可能であるので、その２秒間については、動き変化情報をバッファメモリに蓄積しておくことにより、準備期間を設けることなく、リアルタイムの撮像録画が可能になる。
【０１２２】
［デジタル画像信号のディスク再生装置の説明］
図１５は、この例のディスク再生装置の一実施例のブロック図である。この例において、図１の例のディスク記録装置と共通部分には同一符号を付してその説明は省略する。
【０１２３】
ディスク１１が装置に装填されると、装置は、先ず、ディスクのＴＯＣエリアを取り込み、システムコントローラ３で、各シーンの背景プレーン及び動物体プレーンの記録位置と、その動き変化情報の記録位置を認識する。
【０１２４】
そして、システムコントローラ３は、このＴＯＣエリア情報から、先ず、再生しようとするシーンの最大画枠の背景プレーン及び複数個の動物体プレーンの情報の再生を行う。
【０１２５】
ディスク１１から取り出されたこれらの画像情報は、ＲＦ回路２８から再生処理回路８１に供給され、セクタ構造などの所定の記録フォーマットのデータのデコード処理が行われ、そのデコードデータがデータ伸長及びプレーン分離回路８２に供給される。そして、この回路８２において、低圧縮率で圧縮されている各プレーン情報が伸長処理されると共に、それぞれのプレーン情報毎に分離され、背景プレーン情報は、背景プレーンメモリ８３ＢＧに、動物体プレーン情報は、動物体プレーンメモリ８３Ａ１〜８３Ａｎに、それぞれ書き込まれる。これにより、動画再生開始準備完了となる。
【０１２６】
次に、当該シーンの、背景画の画枠位置情報、動き変化情報、奥行き情報、回転情報等がディスクからＴＯＣエリア情報を参照して、リアルタイムで抽出され、ＲＦ回路２８、再生処理回路８１を介してデータ伸長復号化回路８４に供給される。そして、動き変化情報等が、データ伸長及び復号化され、信号処理回路８５に供給される。
【０１２７】
また、信号処理回路８５には、背景プレーンメモリ８３ＢＧ及び動物体プレーンメモリ８３Ａ１〜８３Ａｎからの各静止画情報も供給される。そして、この信号処理回路８５においては、背景プレーンメモリ８３ＢＧから画枠位置情報に基づいた背景画が読み出され、この背景画に、動物体プレーンメモリ８３Ａ１〜８３Ａｎからの各動き物体の画像を、伸長復号化回路８４からの、それぞれの動き物体についての動き変化情報及び奥行き情報を用いて合成する。
【０１２８】
つまり、背景画上に、動き物体が、動き変化情報に応じた位置、奥行き情報に応じた重なり（背景画との重なりもある）で、フレームあるいはフィールド毎に張り付けられるような合成が行われて、元の動画像が得られる。
【０１２９】
このとき、背景画についての画枠位置は、キー群４の画枠位置変更キーを操作することにより、記録された画枠位置情報に対して上下左右方向に変更することができる。すなわち、画枠位置変更キーが操作されると、再生された画枠位置情報で定められる画枠位置に対して、変更キーにより指定された方向に画枠位置が変更され、その変更された画枠位置の背景画が、背景プレーン８３ＢＧから読み出される。つまり、画枠位置変更キーにより再生時の背景画の画枠位置を背景プレーンの範囲内で、任意の位置に変更することができる。
【０１３０】
また、再生ズームキーが設けられ、これが操作されたときには、ズーム比に応じて拡大、縮小された画枠の背景画が、メモリ８３ＢＧから読み出される。この際、データは、７２０画素×４８０ラインの１画面のデータに適合するように、ズーム比に応じて補間あるいは間引き処理される。こうして、撮像時の画枠位置に関係なく、再生側で、ユーザは、所望の絵づくりを楽しむことができる。
【０１３１】
この信号処理回路８５からの動画像データは、Ｄ／Ａコンバータ８６により元のアナログ信号に戻され、出力端子８７から導出され、この出力端子に接続される画像モニター装置にその再生画像が映出される。
【０１３２】
シーン毎に背景プレーン、動物体プレーンの情報を、先ず、ディスクから読み出し、その後、動き変化情報を順次ディスクから読み出すことで、各シーンの動画の再生を行うことができる。この場合において、各シーンの動き変化情報の情報量は非常に少ないので、１シーンの動き変化情報を、動画のリアルタイムに合わせてディスクから取り出すのではなく、バッファメモリを設けて、各プレーン情報に続いて動き変化情報を取り出してバッファメモリに蓄積し、そのバッファメモリから順次動き変化情報を動画に合わせて読み出す処理を行うようにすることもできる。
【０１３３】
そして、そのようにした場合には、動画再現処理と、ディスクからの再生信号の抽出とを分離することができるので、前のシーンの再生中に、次のシーンのプレーン情報をディスクから抽出して、別のプレーンメモリに蓄えるようにすることができる。このようにすれば、とぎれることなく複数のシーンを連続して再生することが可能である。
【０１３４】
以上のようにして、この発明によれば、画像を背景画及び動物体プレーンに分け、これを高画質で伝送し、動物体プレーンについては動き変化を共に伝送して再生時に合成するようにするので、伝送レートが低い伝送媒体の場合でも、高画質、かつ、動きのスムースな動画の伝送ができる。
【０１３５】
例えば、従来、いわゆるＭＰＥＧと呼ばれる画像データの圧縮方法が知られているが、この方法は、一番最初に１枚のフレーム（静止画）の画像情報を送り、その後は、その最初の画像フレームとの差を取り、その残差をデータ圧縮して伝送する方法である。このＭＰＥＧで最初の１フレームの画像データのビット数は、データ圧縮された段階で、例えば４００Ｋビットとされている。この４００Ｋビットの画像は、比較的画質の良い画像となっている。
【０１３６】
この４００Ｋビットの画像は、１フレームの情報であるので、これをｂｐｓで表わすと、１秒は、３０フレームからなるので、１２Ｍｂｐｓ相当となる。したがって、かなり高画質の画像が得られている。ＭＰＥＧでは、その後の情報として、残差の情報しか送らないため、再生画像は劣化したものとなってしまうが、最初の１フレームの画像自体は、程度のよい画質となっているのである。
【０１３７】
これに対し、上述したこの発明の構成によれば、背景プレーンと動物体プレーンの複数枚の画像プレーンの情報は、ＭＰＥＧと同等の１２Ｍｂｐｓ相当の画像データとして伝送するとともに、僅かなビット数で伝送された動き変化情報に基づいて、この画質の良い動物体のプレーンを移動させて、背景プレーンと合成することにより動画が再現されるものであるので、画質がよく、しかも動きベクトルの情報はリアルタイムの情報であるので、動きもギクシャクすることなく、良好なものとなる。
【０１３８】
なお、以上の例では、背景プレーンのみがパン、チルト、ズームにより変わることを想定して、背景画のみについて、１画面分の画枠より広い範囲の映像を伝送するようにしたが、動物体プレーンについても同様に１画面分の画枠より広い範囲の映像を用意して、伝送するようにすることもできる。
【０１３９】
なお、背景プレーンと分離される動き情報は、以上の例のように、複数個の動き物体の静止画からなる動物体プレーンに分けて伝送するのではなく、これら複数個の動き物体を含む動き情報をデータ圧縮して背景プレーンとは分離して伝送する装置にも、この発明は適用できる。
【０１４０】
また、以上の例は、画像データの伝送媒体として、光磁気ディスクを使用したが、テープやその他の記録媒体、さらにはケーブル、電波を用いた伝送路を介しての画像データの伝送に、この発明は適用可能であることは言うまでもない。
【０１４１】
【発明の効果】
以上説明したように、この発明によれば、画像を背景の静止画情報（背景プレーン）と、動き情報とに分けて、伝送するようにした伝送装置において、背景プレーンは、１画面として再生される画枠よりも広い範囲の静止画情報を伝送するようにしたので、受信側では、受信側では、この背景プレーンをメモリに取り込み、このメモリより読み出すときに、読み出す画枠位置を指定することにより、広い範囲の背景プレーンの中から、希望する背景画を抽出して、再生画像を得ることができる。また、ズーム操作した任意の大きさの画枠の背景を映出することもできる。
【０１４２】
また、この発明では、画像を背景プレーンの静止画及び動物体プレーンの動き物体の静止画に分け、これら複数枚の静止画プレーンの情報を、圧縮せずにあるいは高画質を保つことができる低圧縮率で低速で伝送するとともに、動き変化情報を僅かなビット数で高速に伝送し、再生側では、動き変化情報に基づいて、画質の良い動物体のプレーンを移動させて、背景プレーンと合成することにより動画が再現されるものであるので、画質がよく、しかも、動きもギクシャクすることなく、良好なものとなる再生画像を得ることができる。
【図面の簡単な説明】
【図１】この発明によるデジタル画像信号の伝送装置の一実施例としてのディスク記録装置のブロック図である。
【図２】この発明の要部の説明のための図である。
【図３】図１の例の信号記録タイミングを説明するための図である。
【図４】図１の例の説明のための図である。
【図５】この発明の一実施例に用いられる背景プレーンメモリ２３ＢＧの一例を説明するための図である。
【図６】背景画の一例を示す図である。
【図７】この発明によるデジタル画像信号の伝送装置の要部の一実施例のブロック図である。
【図８】図７の例の動作の説明のための図である。
【図９】図７の例の動作の説明のための図である。
【図１０】図７の例の動作のフローチャートの一部を示す図である。
【図１１】図７の例の動作のフローチャートの一部を示す図である。
【図１２】この発明によるデジタル画像信号の伝送装置の要部の一実施例のブロック図である。
【図１３】この発明によるデジタル画像信号の伝送装置の要部の他の実施例のブロック図である。
【図１４】この発明の一実施例の他の例を説明するための図である。
【図１５】この発明によるデジタル画像信号の受信装置の一実施例のブロック図である。
【符号の説明】
２２  信号処理装置
２３ＢＧ  背景プレーンメモリ
２３Ａ１〜２３Ａｎ  動物体プレーンメモリ
２４  圧縮回路
２６  圧縮符号化回路
３１  背景プレーン
３２〜３４  動物体プレーンメモリ
６２  動物体プレーン分離回路
６２Ｍ  差分メモリ
７２ＢＧ  画枠位置変化検出回路
【図１】
0003543978.tif 000002
【図２】
0003543978.tif 000003
【図３】
0003543978.tif 000004
【図４】
0003543978.tif 000005
【図５】
0003543978.tif 000006
【図６】
0003543978.tif 000007
【図７】
0003543978.tif 000008
【図８】
0003543978.tif 000009
【図９】
0003543978.tif 000010
【図１０】
0003543978.tif 000011
【図１１】
0003543978.tif 000012
【図１２】
0003543978.tif 000013
【図１３】
0003543978.tif 000014
【図１４】
0003543978.tif 000015
【図１５】
0003543978.tif 000016