(57)【要約】【課題】フレームシーケンシャル方式の動画像伝送において、異色のフレーム間で適正な動き推定を行う。【解決手段】カラー動画像を伝送する装置であって、第１の原色画像と第２の原色画像と第３の原色画像をフレーム単位で順次取得する手段と、取得した３種類の原色画像を、第１の原色画像の加算比率がその余の原色画像のそれより低くなるように加重加算して、第１の淡色画像を生成する手段と、取得した３種類の原色画像を、第２の原色画像の加算比率がその余の原色画像のそれより低くなるように加重加算して、第２の淡色画像を生成する手段と、取得した３種類の原色画像を、第３の原色画像の加算比率がその余の原色画像のそれより低くなるように加重加算して、第３の淡色画像を生成する手段と、生成した前記第１の淡色画像と前記第２の淡色画像と前記第３の淡色画像をフレーム単位で順次送信する手段と、を含むカラー動画像伝送装置を提供する。【選択図】図１
2018121193.tif 000002
【特許請求の範囲】
【請求項１】
カラー動画像を伝送する装置であって、
第１の原色画像と第２の原色画像と第３の原色画像をフレーム単位で順次取得する手段と、
取得した３種類の原色画像を、第１の原色画像の加算比率がその余の原色画像のそれより低くなるように加重加算して、第１の淡色画像を生成する手段と、
取得した３種類の原色画像を、第２の原色画像の加算比率がその余の原色画像のそれより低くなるように加重加算して、第２の淡色画像を生成する手段と、
取得した３種類の原色画像を、第３の原色画像の加算比率がその余の原色画像のそれより低くなるように加重加算して、第３の淡色画像を生成する手段と、
生成した前記第１の淡色画像と前記第２の淡色画像と前記第３の淡色画像をフレーム単位で順次送信する手段と、
を含むカラー動画像伝送装置。
【請求項２】
カラー動画像を伝送する装置であって、
第１の原色画像と第２の原色画像と第３の原色画像をフレーム単位で順次取得する手段と、
取得した３種類の原色画像を、第１の原色画像の加算比率が輝度成分における第１の原色の比率より低くなるように加重加算して、第１の淡色画像を生成する手段と、
取得した３種類の原色画像を、第２の原色画像の加算比率が輝度成分における第２の原色の比率より低くなるように加重加算して、第２の淡色画像を生成する手段と、
取得した３種類の原色画像を、第３の原色画像の加算比率が輝度成分における第３の原色の比率より低くなるように加重加算して、第３の淡色画像を生成する手段と、
生成した前記第１の淡色画像と前記第２の淡色画像と前記第３の淡色画像をフレーム単位で順次送信する手段と、
を含むカラー動画像伝送装置。
【請求項３】
カラー動画像を受信する装置であって、
請求項１または２に記載の前記第１の淡色画像と前記第２の淡色画像と前記第３の淡色画像をフレーム単位で順次受信する手段と、
１種類の前記淡色画像のみを受信した現フレームにおいて、受信していないその余の２種類の前記淡色画像の補間画像を動き補償により取得する手段と、
取得した２種類の前記補間画像のぞれぞれから前記現フレームで受信した前記淡色画像を減算して２種類の差分画像を取得する手段と、
取得した２種類の前記差分画像のぞれぞれに空間フィルタを作用させて孤立点ノイズを除去した後に、該２種類の前記差分画像のぞれぞれに前記現フレームで受信した前記淡色画像を加算して、２種類の補正済み補間画像を取得する手段と、
前記現フレームで受信した前記淡色画像と取得した前記２種類の補正済み補間画像をマトリックス演算により第１の原色画像と第２の原色画像と第３の原色画像に変換する手段と、
を含むカラー動画像受信装置。
【請求項４】
前記動き補償に係る動きベクトルのマッチング誤差の量に応じて、前記空間フィルタの強度を適応的に制御することを特徴とする、
請求項３に記載のカラー動画像受信装置。
【請求項５】
請求項１または２に記載のカラー動画像伝送装置と、
請求項３または４に記載のカラー動画像受信装置と、
からなるカラー動画像送受信システム。
【請求項６】
カラー動画像を伝送する方法であって、
第１の原色画像と第２の原色画像と第３の原色画像をフレーム単位で順次取得するステップと、
取得した３種類の原色画像を、第１の原色画像の加算比率がその余の原色画像のそれより低くなるように加重加算して、第１の淡色画像を生成するステップと、
取得した３種類の原色画像を、第２の原色画像の加算比率がその余の原色画像のそれより低くなるように加重加算して、第２の淡色画像を生成するステップと、
取得した３種類の原色画像を、第３の原色画像の加算比率がその余の原色画像のそれより低くなるように加重加算して、第３の淡色画像を生成するステップと、
前記第１の淡色画像と前記第２の淡色画像と前記第３の淡色画像をフレーム単位で順次送信するステップと、
を含むカラー動画像伝送方法。
【請求項７】
カラー動画像を伝送する方法であって、
第１の原色画像と第２の原色画像と第３の原色画像をフレーム単位で順次取得するステップと、
取得した３種類の原色画像を、第１の原色画像の加算比率が輝度成分における第１の原色の比率より低くなるように加重加算して、第１の淡色画像を生成するステップと、
取得した３種類の原色画像を、第２の原色画像の加算比率が輝度成分における第２の原色の比率より低くなるように加重加算して、第２の淡色画像を生成するステップと、
取得した３種類の原色画像を、第３の原色画像の加算比率が輝度成分における第３の原色の比率より低くなるように加重加算して、第３の淡色画像を生成するステップと、
生成した前記第１の淡色画像と前記第２の淡色画像と前記第３の淡色画像をフレーム単位で順次送信するステップと、
を含むカラー動画像伝送方法。
【請求項８】
カラー動画像を受信する方法であって、
請求項６または７に記載の前記第１の淡色画像と前記第２の淡色画像と前記第３の淡色画像をフレーム単位で順次受信するステップと、
１種類の前記淡色画像のみを受信した現フレームにおいて、受信していないその余の２種類の前記淡色画像の補間画像を動き補償により取得するステップと、
取得した２種類の前記補間画像のぞれぞれから前記現フレームで受信した前記淡色画像を減算して２種類の差分画像を取得するステップと、
取得した２種類の前記差分画像のぞれぞれに空間フィルタを作用させて孤立点ノイズを除去した後に、該２種類の前記差分画像のぞれぞれに前記現フレームで受信した前記淡色画像を加算して、２種類の補正済み補間画像を取得するステップと、
前記現フレームで受信した前記淡色画像と取得した前記２種類の補正済み補間画像をマトリックス演算により第１の原色画像と第２の原色画像と第３の原色画像に変換するステップと、
を含むカラー動画像受信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラー動画像を効率的かつ高画質に伝送するための映像信号形式とその受信方法に関し、特に白色に近い淡色の色プレーンを使うことにより、情報圧縮に適したカラー動画像伝送方法及びカラー動画像受信方法に関する。
【背景技術】
【０００２】
＜カラー動画像＞
動画像に限らずカラー画像信号は、赤(Red),緑(Green),青(Blue)の加法３原色により形成され、撮像や表示はこの形態で行われている。一方、伝送や記録のための形態は、輝度とふたつの色差により形成される信号が使われる。動画像においては、アナログ映像では主にコンポジット方式が、ディジタル映像ではコンポーネント方式が使われている。
【０００３】
＜コンポジット方式＞
輝度成分のみを伝送する白黒テレビ信号と互換性を持たせたカラーテレビ方式として、ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭなどがあった。これらは、色差成分をライン毎に変化させて輝度成分に重畳しており、後述されるコンポーネントに対比させてコンポジット(複合)信号と呼ばれていた。白黒テレビ信号と互換性があるのみならず、信号が１系統で済むので扱いやすかった。
【０００４】
これらの方式がデジタル放送等で用いられなかったのは、高能率符号化(情報圧縮)に適さないためである。動き補償を用いない簡易な手法は、この形式の信号にも適用可能であったが、動き補償の適用は現実的でなかった。輝度に重畳されている色情報の位相の関係から２画素精度でしか動き補償できないので、効率はきわめて低い。なお、現在の動き補償は、４分の１画素精度が一般的である。
【０００５】
＜コンポーネント方式＞
コンポジットに対し、輝度とふたつの色差を別々の系統(チャンネル)で伝送するのが、コンポーネント方式である。放送用ＶＴＲでは、アナログでも使われていたが、主にディジタル映像において用いられる。輝度とふたつの色差は３原色から所定の変換により得られ、さらに色差がサブサンプリングされる場合が多い。具体的には、水平方向に２分の１にサブサンプリングされた４：２：２、水平と垂直の両方で２分の１にサブンサンプリングされた４：２：０がある。放送制作機器では４：２：２が使われるが、放送自体やテレビなどその民生機器、またインターネットなども、すべて４：２：０が使われる。動き補償では、色差信号の画像サイズが輝度と異なるのでやや面倒であるが、コンポジットの様な制約は無いので、高能率化が可能である。
【０００６】
＜フレームシーケンシャル方式＞
動画像のフレーム(インターレース走査の場合はフィールド)単位で、Ｒ,Ｇ,Ｂの中のひとつだけとする方法がある。これはフレーム(フィールド)シーケンシャルと呼ばれるもので、各フレームはＲ,Ｇ,Ｂいずれかのプレーン(色面)のみが存在する。この方法は、撮像、伝送、表示のいずれでも行われ得るが、状況はそれぞれで異なる。表示においては、元々同一タイミングで撮像されたＲ,Ｇ,Ｂ各プレーンが、時間的にずらされて表示されるのが一般的である。ＤＬＰ方式のプロジェクタで用いられている。この場合フルカラーでのフレームレート(60fps)に対して、表示フレームレートは３倍(180fps)となる。
【０００７】
一方、撮像や伝送にフレームシーケンシャルを適用した場合、Ｒ,Ｇ,Ｂは別フレームとなる。この場合、フレームレート(60fps)に対して、１色のレートは３分の１(20fps)となる。１フレームが１プレーンだけなので、データ量は輝度のみ(または単色)と同様になり、データ量が少なく合理的である。また、映像信号が１系統で済むので、取り扱いやすくなる。しかし、フルカラー画像を得るためには、各フレームで存在しない残り２色を補間して形成する必要がある（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１２−１４２８１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
従来のカラー動画像伝送方式はそれぞれ次のような問題点があった。コンポジット信号は、色差成分をライン毎に変化させて輝度成分に重畳していたので、動き補償が適切にできず、情報圧縮に適さなかった。コンポーネント信号は、輝度成分とふたつの色差成分を分けて伝送するの３系統が必要で情報量や処理量が多くなっており、色差信号はサブサンプリングされるので、特に彩度の高い部分で画質劣化が顕著となった。フレームシーケンシャル信号は、異色となるフレーム間での動き推定が、彩度の高い部分で適切にできず、ＲＧＢ全色を揃えるための変換処理が容易でなかった。
【００１０】
本発明は、上記従来技術における課題に鑑みてなされたものであり、フレームシーケンシャル方式の動画像伝送において、異色のフレーム間で適正な動き推定を行うことを目的とする。
【課題を解決するための手段】
【００１１】
本発明者は、フレームシーケンシャル方式の動画像伝送において、異色のフレーム間で適正な動き推定を行うための構成につき鋭意検討した結果、以下の構成に想到し、本発明に至ったのである。
【００１２】
すなわち、本発明によれば、カラー動画像を伝送する装置であって、第１の原色画像と第２の原色画像と第３の原色画像をフレーム単位で順次取得する手段と、取得した３種類の原色画像を、第１の原色画像の加算比率がその余の原色画像のそれより低くなるように加重加算して、第１の淡色画像を生成する手段と、取得した３種類の原色画像を、第２の原色画像の加算比率がその余の原色画像のそれより低くなるように加重加算して、第２の淡色画像を生成する手段と、取得した３種類の原色画像を、第３の原色画像の加算比率がその余の原色画像のそれより低くなるように加重加算して、第３の淡色画像を生成する手段と、生成した前記第１の淡色画像と前記第２の淡色画像と前記第３の淡色画像をフレーム単位で順次送信する手段と、を含むカラー動画像伝送装置およびカラー動画像伝送方法が提供される。
【００１３】
また、本発明によれば、カラー動画像を受信する装置であって、前記第１の淡色画像と前記第２の淡色画像と前記第３の淡色画像をフレーム単位で順次受信する手段と、１種類の前記淡色画像のみを受信した現フレームにおいて、受信していないその余の２種類の前記淡色画像の補間画像を動き補償により取得する手段と、取得した２種類の前記補間画像のぞれぞれから前記現フレームで受信した前記淡色画像を減算して２種類の差分画像を取得する手段と、取得した２種類の前記差分画像のぞれぞれからノイズを除去した後に、該２種類の前記差分画像のぞれぞれに前記現フレームで受信した前記淡色画像を加算して、２種類の補正済み補間画像を取得する手段と、前記現フレームで受信した前記淡色画像と取得した前記２種類の補正済み補間画像をマトリックス演算により第１の原色画像と第２の原色画像と第３の原色画像に変換する手段と、を含むカラー動画像受信装置およびカラー動画像受信方法が提供される。
【００１４】
さらに、本発明によれば、前記カラー動画像伝送装置と前記カラー動画像受信装置とからなるカラー動画像送受信システムが提供される。
【発明の効果】
【００１５】
上述したように、本発明によれば、フレームシーケンシャル方式の動画像伝送において、異色のフレーム間で適正な動き推定を行うための構成が提供される。
【図面の簡単な説明】
【００１６】
【図１】図１は第１の実施形態のカラー動画像伝送装置の構成例を示す図である。
【図２】図２は第２の実施形態の補色系淡色フレームシーケンシャルの様子を示す図である。
【図３】図３は第２の実施形態のカラー動画像伝送装置の構成例を示す図である。
【図４】図４は第３の実施形態のカラー動画像受信装置の構成例を示す図である。
【図５】図５は第３の実施形態の動き補償色プレーン補間の様子を示す図である。
【図６】図６は第３の実施形態の空間フィルタの構成例を示す図である。
【発明を実施するための形態】
【００１７】
以下、本発明を図面に示した実施の形態をもって説明するが、本発明は、図面に示した実施の形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜、その説明を省略するものとする。
【００１８】
＜第１の実施形態＞
本発明の第１の実施形態であるカラー動画像伝送装置について説明する。図１は、本実施形態のカラー動画像伝送装置の構成を示したものである。図１で、Ｒ画像入力１から入来する赤色プレーンのＲ画像信号は、Ｒ画像バッファ４に一時保持され、受け取り側の要求に応じたタイミングで出力される。同様にＧ画像入力２から入来する緑色プレーンのＧ画像信号は、Ｇ画像バッファ５で保持され、Ｂ画像入力３から入来する青色プレーンのＢ画像信号は、Ｂ画像バッファ６で保持され、それぞれ所定タイミングで出力される。各バッファの容量は、Ｒ,Ｇ,Ｂの各信号が完全に並列に入力されるなら僅かで、入出力による遅延もほぼ無い。ＲＧＢ信号がシリアルに入力されるなら１フレーム分を格納して、すべてが揃ってから処理を行うので、１フレーム分の容量と遅延を生じる。なお、以下においては、３種類の原色画像である「Ｒ画像」、「Ｇ画像」、「Ｂ画像」を、単に、「Ｒ」、「Ｇ」、「Ｂ」と表現する場合がある。
【００１９】
白色画像形成器７は、Ｒ,Ｇ,Ｂの各画像信号を同期して受け取り、３値を加算して白色画像Ｗを得る。フレーム選択器８は、フレーム単位でＲ画像バッファ４の出力、Ｇ画像バッファ５の出力、Ｂ画像バッファ６の出力を選択して乗算器９に与える。乗算器９は、選択されたＲ,Ｇ,Ｂ何れかの画像信号に所定の数値を乗じて減算器１０に与える。減算器１０は白色画像形成器７から与えられる白色画像Ｗから乗算器９からの信号を減算する。
【００２０】
形成される画像は、純粋な白色に対して補色系の淡色となる。Ｒを減じたものは明るいシアンでＡ(Aqua)、Ｇを減じたものは明るいマゼンタでＶ(Violet)、Ｂを減じたものは明るい黄色でＥ(Lemon)と呼ぶ。なお、Lemonは、LimeまたはLight GreenをＬとしたので、区別するために２文字目のＥとした。これらは、Ｒ,Ｇ,Ｂ,ＷやＹ,Ｍ,Ｃ,Ｋと別アルファベットとなるように、本実施形態において決めたものであるが、色名としても存在する。
【００２１】
つまり、本実施形態では、３種類の原色画像を、第１の原色画像（Ｒ）の加算比率がその余の原色画像（Ｇ、Ｂ）のそれより低くなるように加重加算することによって第１の淡色画像（補色系淡色画像Ａ）を生成し、また、３種類の原色画像を、第２の原色画像（Ｇ）の加算比率がその余の原色画像（Ｒ、Ｂ）のそれより低くなるように加重加算することによって第２の淡色画像（補色系淡色画像Ｖ）を生成し、さらに、３種類の原色画像を、第３の原色画像（Ｂ）の加算比率がその余の原色画像（Ｒ、Ｇ）のそれより低くなるように加重加算することによって第３の淡色画像（補色系淡色画像Ｅ）を生成する。
【００２２】
以上の処理を式で表す。まず、白色Wは次式で示される。
【００２３】
【数１】
2018121193.tif 000003
【００２４】
加算比率を減じる割合をc(0〜1.0)とすると、淡色画像信号A, V, Eは、次式で与えられる。
【００２５】
【数２】
2018121193.tif 000004
【００２６】
信号振幅を正規化したものは、行列により次のように表される。
【００２７】
【数３】
2018121193.tif 000005
【００２８】
c=0.5の場合は次式になる。
【００２９】
【数４】
2018121193.tif 000006
【００３０】
減じる割合を増やしてc=2/3とすると次式になる。
【００３１】
【数５】
2018121193.tif 000007
【００３２】
さらに増やしてc=0.75とすると次式になる。
【００３３】
【数６】
2018121193.tif 000008
【００３４】
なお、c=1.0の場合は、１色が完全に無くなるので、純粋な補色(Ｃ,Ｍ,Ｙ)になる。
【００３５】
上述したように、本実施形態では、３種類の原色画像を、第１の原色画像（Ｒ）の加算比率がその余の原色画像（Ｇ、Ｂ）のそれより低くなるように加重加算して、第１の淡色画像（補色系淡色画像Ａ）を生成し、また、３種類の原色画像を、第２の原色画像（Ｇ）の加算比率がその余の原色画像（Ｒ、Ｂ）のそれより低くなるように加重加算して、第２の淡色画像（補色系淡色画像Ｖ）を生成し、さらに、３種類の原色画像を、第３の原色画像（Ｂ）の加算比率がその余の原色画像（Ｒ、Ｇ）のそれより低くなるように加重加算して、第３の淡色画像（補色系淡色画像Ｅ）を生成する。
【００３６】
この様にして得られた補色系淡色のフレームシーケンシャル(ＦＳ)画像は、図２に表されるような画像信号（淡色画像信号Ａ, Ｖ, Ｅ）となり、ＦＳ画像符号化器１１に与えられる。ＦＳ画像符号化器１１は、伝送路に合わせてＦＳ画像信号を符号化するもので、最も簡単な場合は同期形成やパリティ追加のみを行う。フレーム単位の圧縮は、ＪＰＥＧやＡＶＣイントラなど、通常の符号化の単色(4:0:0)モードが使える。
【００３７】
高圧縮する場合は、ＦＳ画像専用の動き補償フレーム間予測符号化を行う必要がある。その際、異色プレーン間の予測信号形成方法が、原色(Ｒ,Ｇ,Ｂ)の場合と異なる。また、成分の多くが共通であるので、色プレーン間の画像間相関が高くなり、異色間の動き推定処理が行いやすくなる。得られた淡色のフレームシーケンシャル動画像の情報は、ＦＳ画像情報出力１２より出力され、各種伝送路を通して伝送される。
【００３８】
＜第２の実施形態＞
本発明の第２の実施形態であるカラー動画像伝送装置について説明する。図３は、本実施形態のカラー動画像伝送装置の構成を示したもので、図１の第１の実施形態と同一構成要素には同一付番を記してある。図３には、図１と比較して、白色画像形成器７、乗算器９の代わりにマトリックス２１がある。また、フレーム選択器２２は淡色画像に対してのものになるので、図１のフレーム選択器８と処理bit数などが若干異なる。
【００３９】
第２の実施形態において、第１の実施形態と異なるのは淡色プレーンの形成方法で、Ｒ画像入力１、Ｇ画像入力２、Ｂ画像入力３、Ｒ画像バッファ４、Ｇ画像バッファ５、Ｂ画像バッファ６は、基本的に第１の実施形態と同じである。
【００４０】
図３で、マトリックス２１は、同一画素の全色プレーンの画素値を同時に受け取り、Ｒ,Ｇ,Ｂ(原色)の３値を行列演算で加重加算してＡ,Ｖ,Ｅの３値を得る。また、Ｒ,Ｇ,Ｂを加重加算して、白色Ｗでなく輝度Ｙに近づけることも考えられる。これもマトリックスの係数値を変更することで実現できる。1.2倍された近似輝度成分Y'を次式とする。
【００４１】
【数７】
2018121193.tif 000009
【００４２】
Y'から0.2倍されたR,G,Bを減算すると、次式になる。
【００４３】
【数８】
2018121193.tif 000010
【００４４】
また、Vは輝度Yに近いので、Yそのものにしてしまうと、次式になる。
【００４５】
【数９】
2018121193.tif 000011
【００４６】
上述したように、本実施形態では、３種類の原色画像を、第１の原色画像（Ｒ）の加算比率が輝度成分における第１の原色（Ｒ）の比率より低くなるように加重加算して、第１の淡色画像（補色系淡色画像Ａ）を生成し、また、３種類の原色画像を、第２の原色画像（Ｇ）の加算比率が輝度成分における第２の原色（Ｇ）の比率より低くなるように加重加算して、第２の淡色画像（補色系淡色画像Ｖ）を生成し、さらに、３種類の原色画像を、第３の原色画像（Ｂ）の加算比率が輝度成分における第３の原色（Ｂ）の比率より低くなるように加重加算して、第３の淡色画像（補色系淡色画像Ｅ）を生成する。
【００４７】
フレーム選択器２２は、フレーム単位でマトリックスの出力であるＡ画像、Ｖ(Ｙ)画像、Ｅ画像を選択する。この様にして得られた淡色のフレームシーケンシャル画像信号の様子を図５に示す。
【００４８】
ＦＳ画像符号化器１１は、フレーム単位の圧縮までは、第１の実施形態と同じである。動き補償フレーム間予測符号化では、異色プレーン間の予測信号形成方法を、マトリックスに合わせて変更する。
【００４９】
＜第３の実施形態＞
本発明の第３の実施形態であるカラー動画像受信装置について説明する。本実施形態のカラー動画像受信装置は、上述した第１または第２の実施形態のカラー動画像伝送装置から伝送される３種類の補色系淡色画像（Ａ、Ｖ、Ｅ）を３種類の原色画像（Ｒ、Ｇ、Ｂ）に変換する装置であって、上述したカラー動画像伝送装置とこれから説明するカラー動画像受信装置の組み合わせは、本発明のカラー動画像送受信システムとして観念される。
【００５０】
図４は、本実施形態のカラー動画像受信装置の構成を示したものである。図４で、ＦＳ画像入力３１から入来する淡色のフレームシーケンシャルカラー画像（Ａ、Ｖ、Ｅ）は、１色プレーンが新画像メモリ３２に１フレーム分蓄積される。同時に、それまで新画像メモリに蓄えられていた１フレーム前の色プレーンが現画像メモリ３３に移動する。さらに、それまで現画像メモリに蓄えられていた２フレーム前の色プレーンが旧画像メモリ３４に移動する。これにより、連続した３フレームの３種類の色プレーンが各メモリに揃う。各メモリからは、各色プレーンの画像信号が、受け取り側の要求に応じたタイミングで出力される。
【００５１】
＜フレーム間処理＞
動き補償フレーム間補間と、そのための動き推定処理について説明する。ここでのフレームと色プレーンの関係は、図５に示される。片方向のフレームのみを使う図中(ａ)の隣接補間では、既存画像がＡである４フレームの欠損色Ｅが前の３フレームから、欠損色Ｖが後の５フレームから補間される。図４は、この処理でのものであるが、オクルージョン等の複雑な画像変化に対応するためには、両方向のフレームを使って図中(ｂ)の内挿補間を行なう。この場合、既存画像がＥである１２フレームの欠損色Ｖが前の１１フレームと後の１４フレームから内挿補間される。そして、欠損色Ａが前の１０フレームと後の１３フレームから内挿補間される。内挿補間における２画像の混合比は、画像相関によって変えられる。
【００５２】
図４において、後動き推定器３５は、現画像メモリ３３に蓄えられている被補間フレーム(現フレーム)の画像に対して、新画像メモリに蓄えられている画像の動きベクトルを求める。前動き推定器３６は、現画像メモリ３３に蓄えられている現フレーム画像に対して、旧画像メモリに蓄えられている画像の動きベクトルを求める。後動き推定器３５で求められた動きベクトルは、後動き補償器３７に与えられる。前動き推定器３６で求められた動きベクトルは、前動き補償器３８に与えられる。この動き推定は異色間処理であるが、色成分の多くがフレーム間で共通であり、画像間相関が高いので適正な動きベクトルが求められる。
【００５３】
後動き補償器３７は、新画像メモリ３２に蓄えられている画像を動き補償し、得られた第１の補間画像を減算器３９に与える。前動き補償器３８は、旧画像メモリ３４に蓄えられている画像を動き補償し、得られた第２の補間画像を減算器４０に与える。具体的な色は、フレームにより順次変化するが、現フレームがＶのときは、第１の補間画像がＥ、第２補間画像がＡとなる。これにより、欠損色プレーンが得られ、この段階で既存色プレーンを含めて３種類の色プレーンが揃う。ただし、動き補償により完全な補間はできないので、続けてフレーム内処理を行う。
【００５４】
＜フレーム内処理＞
フレーム内処理は、色間の予測処理に他ならない。各色プレーンは、色の付いた部分では、異なった値となるが、色の変化は輝度(白色成分)の変化ほど激しくない。つまり空間変化についての相関はかなり高い。一方、動き補償フレーム間補間で再構成された欠損画像は、大局的には正しいが動き補償の性能限界により、若干のずれや歪を生じる。そこで、本実施形態では、同フレーム内の色間の残差を得て、それの孤立点ノイズ（孤立的な変化成分）を除去することで、ずれや歪を減らす。
【００５５】
減算器３９では、ある色プレーンの補間画像から、それとは異なった色プレーンの既存画像を減算し、第１の差分画像を得て、これに空間フィルタ４１を作用させる。減算器４０では、さらに異なった色プレーンの補間画像から既存画像を減算し、第２の差分画像を得て、空間フィルタ４２を作用させる。具体的には、現フレームがＶのときは、第１の差分画像がＥ−Ｖ、第２の差分画像がＡ−Ｖとなる。
【００５６】
空間フィルタ４１と４２は、基本的に同様な処理動作で対象信号のみが異なる。具体的な処理は、孤立成分除去に効果的なメディアン(中間値)フィルタ等とする。参照画素数は、周辺３×３画素では効果が低いので、５×５画素程度とする。これにより、動き補償で生じやすいエッジのずれなどは、大幅に軽減される。ここで、本実施形態では、空間フィルタ（４１，４２）の強度は、動き推定器（３５，３６）で得た動きベクトルでのマッチング誤差の量に応じて適応的に制御される。具体的には、マッチング誤差が少ないほど、空間フィルタの強度を弱くし、マッチング誤差が多いほど、空間フィルタの強度を強くする。
【００５７】
＜空間フィルタ処理＞
この場合の空間フィルタの構成を図６に示す。減算器（３９,４０）から入力信号端子５１を通して入来した信号は、５×５画素メディアンフィルタ５３、３×３画素メディアンフィルタ５４、乗算器６０に与えられる。５×５画素メディアンフィルタ５３は、対象画素を含めた周辺５×５の２５画素の中間値を乗算器５５へ、３×３画素メディアンフィルタ５４は、周辺３×３の９画素の中間値を乗算器５６に与える。
【００５８】
乗算器５５はα(0〜1)を乗じて加算器５７へ、乗算器５６は(1-α)を乗じて加算器５７に出力する。加算器５７は両値を加算し、乗算器５９へ与える。乗算器５９はβ(0〜1)を乗じて加算器６１へ、乗算器６０は(1-β)を乗じて加算器６１に出力する。加算器６１は両値を加算し、得られた最終結果が信号出力６２より出力される。α、βの値は、フィルタ強度制御器５８から与えられる。
【００５９】
フィルタ強度制御器５８は、動き推定器（３５，３６）から誤差量入力端子５２を通して入来する各動き補償ブロックのマッチング誤差量により、制限範囲(0〜1.0)でαとβの値は変化させ、各乗算器に与える。αとβの値は、誤差量に比例して増加させる。この処理はノイズ軽減効果もあり、処理をしてもエッジは保持されるので、完全にフィルタリング無しとする必要性は低い。つまり、βの最低値は0.5程度としても良い。
【００６０】
空間フィルタ４１で補正された第１の差分画像は、加算器４３に与えられる。空間フィルタ４２で補正された第２の差分画像は、加算器４４に与えられる。加算器４３と加算器４４は、それぞれの補正された差分画像と現フレームの既存色プレーン画像を加算し、得られたそれぞれの補正済み補間画像を逆マトリックス４５に与える。
【００６１】
前述のように、補間画像と既存画像の差分画像に対して、孤立点ノイズに対してフィルタが作用する。補間画像と既存画像は、本質的に白色成分は共通であるので、その差分画像は、色差成分となる。動き補償が適正に機能すると、色差成分は本来の色変化のみで、色変化自体は緩やかであるので、差分信号の変化も緩やかである。一方、補間画像にずれがあると、そのずれが差分信号に強く現れる。この成分は、本来の色変化とは無関係に孤立して現れるので、これを除去することで、動き補償で生じた色差のエラーを大幅に抑圧できる。
【００６２】
＜逆変換＞
逆マトリックス４５は、両方の補間画像と共に既存画像も得て、Ｒ,Ｇ,Ｂ画像へと変換する。なお、具体的な色は、フレームにより順次変化するので、入力される色の関係に応じてマトリックスを切り替える必要がある。
【００６３】
逆マトリックス４５は、Ａ,Ｖ,ＥからＲ,Ｇ,Ｂへのマトリックス変換が行われる。これはＲ,Ｇ,ＢからＡ,Ｖ,Ｅへの変換の逆変換であり、(5)式に対応するものは次式で表される。
【００６４】
【数１０】
2018121193.tif 000012
【００６５】
c=0.5とした(6)式に対応する逆変換は、次式になる。
【００６６】
【数１１】
2018121193.tif 000013
【００６７】
c=2/3とした(7)式に対応する逆変換は、次式になる。
【００６８】
【数１２】
2018121193.tif 000014
【００６９】
c=0.75とした(8)式に対応する逆変換は、次式になる。
【００７０】
【数１３】
2018121193.tif 000015
【００７１】
本実施形態の信号は、白色成分と色差成分を重畳して伝送している。従って、各成分はそれぞれを独立に伝送したのと比較して、レベル(振幅)が下げられている。その程度とcの関係は、白色成分Wについては、次式に示すように、cによって変わらず、原色に等しい。
【００７２】
【数１４】
2018121193.tif 000016
【００７３】
また、色差成分は、R-Gを例にすると、次式に示すように、逆変換において差分値は(3-c)/c倍される。
【００７４】
【数１５】
2018121193.tif 000017
【００７５】
具体的には、c=0.5で5倍、c=2/3で7/2倍、c=0.75で3倍、c=1.0で2倍され、伝送で生じる誤差の影響が出やすくなる。しかし、色差成分誤差に対する視感度は、輝度成分誤差に対する視感度よりかなり低いので、cが1に近い場合の画質は、そのままでも視覚特性に適合する。また、高い空間周波数に対する色感度は、色差成分に関して大幅に低いので、色差成分にノイズ軽減処理を適用することを前提にすると、c < 0.75も可能になる。c <0.5は、倍率が5より大きくなるので、色差ノイズが目立ち易くなり、現実的でない。
【００７６】
第２の実施形態において、輝度に近づけた(9)式の逆変換は、次式になる。
【００７７】
【数１６】
2018121193.tif 000018
【００７８】
VをYにした(10)式の逆変換は、次式になる。
【００７９】
【数１７】
2018121193.tif 000019
【００８０】
＜従来方式との比較＞
本実施形態は、白色(輝度)成分を全フレーム送るので、原色(Ｒ,Ｇ,Ｂ)のフレームシーケンシャルと言うより、むしろ輝度に色差情報を重畳するコンポジット信号に近いと言える。しかし、コンポジット信号のような空間周波数での処理は無いので、空間解像度の低下は無い。原色(Ｒ,Ｇ,Ｂ)のフレームシーケンシャルに対しては、長所はそのままで、問題点を解決している。
【００８１】
コンポジット信号（ＮＴＳＣ）、コンポーネント信号（４：２：０）、原色フレームシーケンシャル、本実施形態の淡色フレームシーケンシャルの特性を比較して表１に示す。表で、(伝送)チャンネル数は、プレーン数と同様である。カラー周期は、動画像を編集しようとした場合、位相を保たなければならないもので、ＮＴＳＣは２フレーム（インターレースなので４フィールド）である。相対サンプル数は、一色のみを１.０とした相対値である。解像度や動き補償に関する特性は上述のとおりである。
【００８２】
【表１】
2018121193.tif 000020
【００８３】
以上、説明したように、本発明は、３種類の原色画像から、第１の原色画像の割合を低くした淡色画像と第２の原色画像の割合を低くした淡色画像と第３の原色画像の割合を低くした淡色画像を得て、それらのうちのひとつを、フレーム単位で順次選択してフレーム順次で送る。従って、動き補償フレーム間予測符号化や欠損色プレーンの動き補償フレーム間補間のための動き推定において、画像内容の彩度が高い場合でも、その画像信号に含まれる成分の多くは各色共通であり、画像間相関が高いので動き推定が容易になる。得られた画像信号は、輝度または白色成分のノイズが少なく、動き補償画像間符号化で伝送する場合、符号化効率が改善される。
【００８４】
一方、色差成分はレベルが下げられ多重化されて伝送される形になるので、そのままでは色差の誤差が増加するが、受信において色差に対する孤立成分の除去が効果的に行なわれ、主観画質に適合した良好な画質の再生が可能になる。
【００８５】
以上、本発明について実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではなく、当業者が推考しうるその他の実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【符号の説明】
【００８６】
１…Ｒ画像入力、２…Ｇ画像入力、３…Ｂ画像入力、４…Ｒ画像バッファ、５…Ｇ画像バッファ、６…Ｂ画像バッファ、７…白色画像形成器、８,２２…フレーム選択器、９，５５，５６，５９，６０…乗算器、１０…減算器、１１…ＦＳ画像符号化器、１２…ＦＳ画像情報出力、２１…マトリックス、３１…ＦＳ画像入力、３２…新画像メモリ、３３…現画像メモリ、３４…旧画像メモリ、３５…後動き推定器、３６…前動き推定器、３７…後動き補償器、３８…前動き補償器、３９，４０…減算器、４１，４２…空間フィルタ、４３，４４，５７，６１…加算器、４５…逆マトリックス、５１…入力信号端子、５２…誤差量入力端子、５３…５×５画素メディアンフィルタ、５４…３×３画素メディアンフィルタ、５８…フィルタ強度制御器、６２…信号出力
【図１】
2018121193.tif 000021
【図２】
2018121193.tif 000022
【図３】
2018121193.tif 000023
【図４】
2018121193.tif 000024
【図５】
2018121193.tif 000025
【図６】
2018121193.tif 000026