(57)【特許請求の範囲】
【請求項１】
３種類の原色を持つカラー画像を伝送する際に、
第１の原色画像と第２の原色画像と第３の原色画像を得て、
前記第１の原色画像を第１の割合とし、前記第２の原色画像および前記第３の原色画像を前記第１の割合より低い第２の割合として、前記３種類の原色画像を加重加算し、第１の淡色画像を得て、
前記第２の原色画像を前記第１の割合とし、前記第１の原色画像および前記第３の原色画像を前記第２の割合として、前記３種類の原色画像を加重加算し、第２の淡色画像を得て、
前記第３の原色画像を前記第１の割合とし、前記第１の原色画像および前記第２の原色画像を前記第２の割合として、前記３種類の原色画像を加重加算し、第３の淡色画像を得て、
前記第１の淡色画像と前記第２の淡色画像と前記第３の淡色画像のうちのひとつを、フレーム単位で順次選択してフレーム順次淡色画像を送ることを特徴とするカラー動画像伝送方法。
【請求項２】
３種類の原色を持つカラー画像を伝送するためのカラー動画像処理装置であって、
第１の原色画像と第２の原色画像と第３の原色画像を得る手段と、
前記第１の原色画像を第１の割合とし、前記第２の原色画像および前記第３の原色画像を前記第１の割合より低い第２の割合として、前記３種類の原色画像を加重加算し、第１の淡色画像を得る手段と、
前記第２の原色画像を前記第１の割合とし、前記第１の原色画像および前記第３の原色画像を前記第２の割合として、前記３種類の原色画像を加重加算し、第２の淡色画像を得る手段と、
前記第３の原色画像を前記第１の割合とし、前記第１の原色画像および前記第２の原色画像を前記第２の割合として、前記３種類の原色画像を加重加算し、第３の淡色画像を得る手段と、
前記第１の淡色画像と前記第２の淡色画像と前記第３の淡色画像のうちのひとつを、フレーム単位で順次選択してフレーム順次淡色画像を送る手段と
を含むことを特徴とする、カラー動画像処理装置。
【請求項３】
３種類の原色の内ひとつだけ割合を高めた３種類の淡色画像を受信する際に、
第１の原色画像の割合が高い淡色画像と、第２の原色画像の割合が高い淡色画像と、第３の原色画像の割合が高い淡色画像を、各フレームでひとつのみフレーム順次で受信し、
所定フレームにおいて、受信していない２種類の淡色画像を前後フレームからの補間で形成し、３種類すべての淡色画像を得て、
前記３種類の淡色画像からマトリックス演算で３種類の原色画像を得ることを特徴とするカラー動画像受信方法。
【請求項４】
３種類の原色の内ひとつだけ割合を高めた３種類の淡色画像を受信するためのカラー動画像処理装置であって、
第１の原色画像の割合が高い淡色画像と、第２の原色画像の割合が高い淡色画像と、第３の原色画像の割合が高い淡色画像を、各フレームでひとつのみフレーム順次で受信する手段と、
所定フレームにおいて、受信していない２種類の淡色画像を前後フレームからの補間で形成し、３種類すべての淡色画像を得る手段と、
前記３種類の淡色画像からマトリックス演算で３種類の原色画像を得る手段と
を含むことを特徴とする、カラー動画像処理装置。
【請求項５】
３種類の原色を持つカラー画像を送受信するためのカラー動画像通信装置であって、
第１の原色画像と第２の原色画像と第３の原色画像を得る手段と、
前記第１の原色画像を第１の割合とし、前記第２の原色画像および前記第３の原色画像を前記第１の割合より低い第２の割合として、前記３種類の原色画像を加重加算し、第１の淡色画像を得る手段と、
前記第２の原色画像を前記第１の割合とし、前記第１の原色画像および前記第３の原色画像を前記第２の割合として、前記３種類の原色画像を加重加算し、第２の淡色画像を得る手段と、
前記第３の原色画像を前記第１の割合とし、前記第１の原色画像および前記第２の原色画像を前記第２の割合として、前記３種類の原色画像を加重加算し、第３の淡色画像を得る手段と、
前記第１の淡色画像と前記第２の淡色画像と前記第３の淡色画像のうちのひとつを、フレーム単位で順次選択してフレーム順次淡色画像を送る手段と、
前記フレーム順次淡色画像を、各フレームでひとつのみフレーム順次で受信する手段と、
所定フレームにおいて、受信していない２種類の淡色画像を前後フレームからの補間で形成し、３種類すべての淡色画像を得る手段と、
前記３種類の淡色画像からマトリックス演算で３種類の原色画像を得る手段と
を備えるカラー動画像通信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラー動画像伝送方法、カラー動画像受信方法、カラー動画像処理装置およびカラー動画像通信装置に関する。
【背景技術】
【０００２】
＜カラー動画像フォーマット＞
動画像に限らずカラー画像信号は、赤(Red),緑(Green),青(Blue)の加法３原色により形成され、撮像や表示はこの形態で行われている。一方、伝送や記録のための形態は、輝度とふたつの色差により形成されるコンポーネントカラー信号が使われる。これらは３原色から所定の変換により得られ、さらに色差がサブサンプリングされる場合が多い。具体的には、サブサンプリングされない４：４：４、水平方向に２分の１にサブサンプリングされた４：２：２、水平と垂直の両方で２分の１にサブンサンプリングされた４：２：０がある。各動画像カラーフォーマットは、規格で詳細に定義されており、放送などで広く使われている。
【０００３】
＜フレームシーケンシャル伝送＞
動画像のフレーム(インターレース走査の場合はフィールド)単位で、Ｒ,Ｇ,Ｂの中のひとつだけとする方法がある。これはフレーム(フィールド)シーケンシャルと呼ばれるもので、各フレームはＲ,Ｇ,Ｂいずれかのプレーン(色面)のみが存在する。
この方法は、撮像、伝送、表示のいずれでも行われ得るが、状況はそれぞれで異なる。表示においては、元々同一タイミングで撮像されたＲ,Ｇ,Ｂ各プレーンが、時間的にずらされて表示されるのが一般的である。ＤＬＰ方式のプロジェクタで用いられている。この場合フルカラーでのフレームレート(60fps)に対して、表示フレームレートは３倍(180fps)となる。
【０００４】
一方、撮像にフレームシーケンシャルを適用した場合、撮影のタイミングがＲ,Ｇ,Ｂで必ず異なるので、Ｒ,Ｇ,Ｂは別フレームとなる。この場合撮像フレームレート(60fps)に対して、１色のレートは３分の１(20fps)となる。１フレームが１プレーンだけなので、輝度のみ(または単色)と同様になり、データ量が少なく合理的である。しかし、フルカラー画像を得るためには、各フレームで存在しない残り２色を補間して形成する必要がある。
【０００５】
伝送においては、同一フレームのＲ,Ｇ,Ｂの場合と１フレーム１プレーンのみの両タイプが有り得る。前者はフレームバッファが必須となるので、フレーム単位でなく画素単位、またはＲ,Ｇ,Ｂ一体の24bitで送るほうが一般的である。後者も欠損色の補間処理が容易でないので、使われていないのが実状である。
【０００６】
これまで、シーケンシャル動画像を処理する技術として、例えば、本発明者による特開２０１２−１４２８１７号公報（特許文献１）では、被補間フレームと、フレーム順で前方向と後方向に存在するフレームの間で動き推定を行い、被補間フレームに対して前方向と後方向の動きベクトルを求める動き推定手段を備えるカラー動画像構造変換方法及びカラー動画像構造変換装置が開示されている。しかしながら、特許文献１の技術が存在するにも関わらず、近年において画像品質のさらなる改善が望まれていた。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１２-１４２８１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来のカラー画像フレームシーケンシャル伝送では、３原色のＲ(赤),Ｇ(緑),Ｂ(青)をそのままフレーム順で送っていた。この場合、彩度の高い画像においてフレームでかなり異なる画像となり、異色フレーム間で動き推定を行うのが困難であった。特に純粋な赤色などでは、ＧとＢの画素値はすべて０となるので、動き推定が不可能になる場合が発生する。そのため、３フレーム離れた同色間での動き推定に基く動き補償補間やフレーム内補間となり、高画質で３原色(Ｒ,Ｇ,Ｂ)すべての画像を復元することが困難であった。このような問題を解決して、異色フレーム間でも適切な動き推定が可能になり、確実な欠損カラー動画像伝送方法、カラー動画像受信方法、カラー動画像処理装置およびカラー動画像通信装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、３種類の原色を持つカラー画像を伝送する際に、３種類の原色画像を加重比を変えて加算し、第１の原色画像の割合を高めた淡色画像と第２の原色画像の割合を高めた淡色画像と第３の原色画像の割合を高めた淡色画像を得て、それらのうちのひとつを、フレーム単位で順次選択してフレーム順次淡色画像を送るカラー動画像伝送方法である。
【００１０】
また、本発明は、前記のフレーム順次淡色画像を受信し、所定フレームにおいて、受信していない２種類の淡色画像を前後フレームからの補間で形成し、３種類すべての淡色画像を得て、それらからマトリックス演算で３種類の原色画像を得ることを特徴とするカラー動画像受信方法である。
【００１１】
さらに、本発明は、上記処理を可能とするカラー動画像処理装置および上記処理を実行するカラー動画像通信装置である。
【発明の効果】
【００１２】
本発明は、３種類の原色画像を、加重比を変えて加算し、第１の原色画像の割合を高めた淡色画像と第２の原色画像の割合を高めた淡色画像と第３の原色画像の割合を高めた淡色画像を得て、それらのうちのひとつを、フレーム単位で順次選択してフレーム順次淡色画像を送る。それを受信し、所定フレームにおいて、受信していない２種類の淡色画像を前後フレームからの補間で形成し、３種類すべての淡色画像を得て、それらからマトリックス演算で３種類の原色画像を得る。
【００１３】
これにより、得られた動画像信号の動き補償フレーム間予測符号化や欠損色プレーンの動き補償フレーム間補間のための動き推定において、画像内容の彩度が高い場合でも、その画像信号に含まれる成分の多くは各色共通の白色(Ｗ)であり、画像間相関が高いので動き推定が容易になる。その結果、動き補償フレーム間予測性能に関して、通常の輝度信号に対する動き推定と同等の性能が得られる。
【００１４】
白色成分は加算によりノイズが相殺されて少なくなり、動き補償画像間符号化で伝送する場合、符号化効率が改善される。輝度成分に近い白色成分が主体となって伝送されるので、輝度成分の画質が向上する。このような効果は、白色を多くするほど顕著になるが、逆変換で色差成分が増幅される形になるので、色差成分の誤差は増加する。
【００１５】
以上より、従来の原色画像(ＲＧＢ)のフレームシーケンシャルに対して、高画質な画像伝送が可能になる。
【図面の簡単な説明】
【００１６】
【図１】図１は第１実施例カラー動画像伝送の構成例を示す図である。
【図２】図２は第２実施例カラー動画像伝送の構成例を示す図である。
【図３】図３は実施例カラー動画像受信の構成例を示す図である。
【図４】図４は実施例の淡色(パステルカラー)画像の形成を示す図である。
【図５】図５は実施例の淡色(パステルカラー)画像のフレームシーケンシャル伝送を示す図である。
【図６】図６は実施例の淡色(パステルカラー)画像の動き補償色補間を示す図である。
【発明を実施するための形態】
【００１７】
以下、本発明を、実施形態を以て説明するが、本発明は後述する実施形態に限定されるものではない。
【００１８】
＜第１の実施例カラー動画像伝送＞
本発明の第１の実施例カラー動画像伝送について説明する。図１は、本実施例の構成を示したものである。図１で、Ｒ画像入力１から入来する赤色プレーンのＲ画像信号は、Ｒ画像バッファ４に一時保持され、受け取り側の要求に応じたタイミングで出力される。同様にＧ画像入力２から入来する緑色プレーンのＧ画像信号は、Ｇ画像バッファ５で保持され、Ｂ画像入力３から入来する青色プレーンのＢ画像信号は、Ｂ画像バッファ６で保持され、それぞれ所定タイミングで出力される。
【００１９】
各バッファの容量は、Ｒ,Ｇ,Ｂの各信号が完全に並列に入力されるなら僅かで、入出力による遅延もほぼ無い。ＲＧＢ信号がシリアルに入力されるなら１フレーム分を格納して、すべてが揃ってから処理を行うので、１フレーム分の容量と遅延を生じる。
【００２０】
白色画像形成器７は、Ｒ,Ｇ,Ｂの各画像信号を同期して受け取り、３値を加算して白色画像Ｗを得る。この処理の一般式は、下記式（１）となる。
【００２１】
【数１】
0006713165.tif 000002
【００２２】
ここで、kr, kg, kbは加重係数であるが、本実施例ではkr=1.0, kg=1.0, kb=1.0とし、式（１）は、次式となる。
【００２３】
【数２】
0006713165.tif 000003
【００２４】
演算処理では、除算せずに３値の加算のみを行う。その結果、白色画像信号の最大値は元のＲＧＢ画像信号の３倍となり、量子化bit数は2bit増加させる必要がある。
【００２５】
フレーム選択器８は、フレーム単位でＲ画像バッファ４の出力、Ｇ画像バッファ５の出力、Ｂ画像バッファ６の出力を選択して加算器９に与える。加算器９は白色画像形成器７から与えられる白色画像Ｗとフレーム選択器８で選択されたＲ,Ｇ,Ｂ何れかの画像信号を加算する。この様子を図４に示すが、それぞれの画像は淡色(パステルカラー)となる。ＲとＷの加算結果をＰ(Pink)、ＧとＷの加算結果をＬ(Lime)、ＢとＷの加算結果をＡ(Aqua)と呼ぶ。これらは、Ｒ,Ｇ,Ｂ,ＷやＹ,Ｍ,Ｃ,Ｋと別アルファベットとなるように、本実施例において独自に選んだものである。なお、ピンク、ライム、アクアはＲ,Ｇ,Ｂほど一般的ではないが、色名として存在する。加算結果の画像信号Ｐ,Ｌ,Ａは、次式で与えられる。
【００２６】
【数３】
0006713165.tif 000004
【００２７】
この加算も除算せずに行うが、結果的に４値の加算なので白色画像信号と同じ量子化bit数となる。すなわち元のＲＧＢ画像が8bit(0-255)なら10bit(0-1020)、10bitなら12bit(0-4080)となる。この様にして得られた淡色(パステルカラー)のフレームシーケンシャル(ＦＳ)画像信号は、ＦＳ画像符号化器１０に与えられる。
ＦＳ画像符号化器１０は、伝送路に合わせてＦＳ画像信号を符号化するもので、最も簡単な場合は同期形成やパリティ追加のみを行う。フレーム単位の圧縮は、ＪＰＥＧやＡＶＣイントラなど、通常の符号化の単色(4:0:0)モードが使える。
【００２８】
高圧縮する場合は、ＦＳ画像専用の動き補償フレーム間予測符号化を行う必要がある。その際、異色プレーン間の予測信号形成方法が、原色(Ｒ,Ｇ,Ｂ)の場合と異なる。また、３／４は共通であるので、色プレーン間の画像間相関が高くなり、異色間の動き推定処理が行いやすくなる。その結果、動き補償フレーム間予測性能に関して、通常の輝度信号に対する動き推定と同等の性能が得られる。得られた淡色(パステルカラー)のフレームシーケンシャル動画像の情報は、ＦＳ画像情報出力１１より出力され、各種伝送路を通して伝送される。
【００２９】
＜第２の実施例カラー動画像伝送＞
本発明の第２の実施例カラー動画像伝送について説明する。図２は、本実施例の構成を示したもので、図１の第一の実施例と同一構成要素には同一付番を記してある。図２には、図１と比較して、白色画像形成器７、加算器９の代わりにマトリックス演算器２１がある。また、フレーム選択器２２は淡色画像に対してのものになるので、図１のフレーム選択器８と処理bit数などが若干異なる。
【００３０】
第２の実施例において、第１の実施例と異なるのは淡色プレーンの形成方法で、Ｒ画像入力１、Ｇ画像入力２、Ｂ画像入力３、Ｒ画像バッファ４、Ｇ画像バッファ５、Ｂ画像バッファ６は、基本的に第一の実施例と同じである。
図２で、マトリックス演算器２１は、同一画素の全色プレーンの画素値を同時に受け取り、Ｒ,Ｇ,Ｂ(原色)の３値を行列演算で加重加算してＰ,Ｌ,Ａ(淡色)の３値を得る。実施例１と同様な場合は、Ｒ,Ｇ,ＢからＰ,Ｌ,Ａへの変換式は、下記式(6)〜(8)で表わされる。
【００３１】
【数４】
0006713165.tif 000005
【００３２】
ここで、本発明の特徴を寄り強くする場合は、Ｗ成分を多くするため係数を平坦化し、例えば次式のようにする。
【００３３】
【数５】
0006713165.tif 000006
【００３４】
逆にＲ,Ｇ,Ｂ(原色)に近づける場合は、対角を大きくし、例えば次式のようにする。
【００３５】
【数６】
0006713165.tif 000007
【００３６】
また、Ｒ,Ｇ,Ｂを加重加算して、白色Ｗでなく輝度Ｙに近づけることも考えられる。これもマトリックスの係数値を変更することで実現できる。ただし、量子化bitを考慮すると(6)が合理的である。(7)や(8)式の場合、必要bit数が(1)より1bit多い+3bitとなるので、除算してbit数(信号レンジ)を元のＲＧＢと同等や+1bit程度にしても良い。
【００３７】
フレーム選択器２２は、フレーム単位でマトリックスの出力であるＰ画像、Ｌ画像、Ａ画像を選択する。この様にして得られた淡色(パステルカラー)のフレームシーケンシャル画像信号の様子を図５に示す。
【００３８】
ＦＳ画像符号化器１０は、フレーム単位の圧縮までは、第一の実施例と同じである。動き補償フレーム間予測符号化では、異色プレーン間の予測信号形成方法を、マトリックスに合わせて変更する。異色間の動き推定処理は、Ｗ成分が多い(7)で、通常の輝度信号に対する動き推定により近づく。
【００３９】
＜実施例カラー動画像受信方法＞
本発明の実施例カラー動画像受信について説明する。図３は、本実施例の構成を示したものである。図３で、ＳＣ画像入力１から入来するシーケンシャルカラー画像は、復号化器３２で復号化され、各フレーム１プレーンの淡色画像となる。復号化された画像は、フレーム選択器３３で各フレーム単位格納先が選択される。ＰプレーンはＰ画像メモリ３４へ、ＬプレーンはＬ画像メモリ３５、ＡプレーンはＡ画像メモリ３６にそれぞれ１フレーム分が格納される。各メモリからは、各プレーンの画像信号が、受け取り側の要求に応じたタイミングで出力される。
【００４０】
Ｐ画像補間器３７、Ｌ画像補間器３８、Ａ画像補間器３９は、自己が既存色プレーンのフレームではそのまま出力し、欠損色プレーンとなるフレームでは、他色プレーンを使い欠損色の画像を補間して出力する。既存色プレーンとふたつの欠損色プレーンとその補間の様子を図６に示す。
【００４１】
欠損色の補間処理は、動き補償フレーム間補間が基本となる。この処理の様子を図７に示すが、P4に対する処理は過去のみを参照する片方向補間、A12に対する処理は双方向を参照する内挿補間である。片方向補間の場合、補間プレーンと参照プレーンは、１ないし２フレーム間の距離があり、動き推定は必ず異色間になってしまう。内挿補間の場合、参照プレーン間は同色であるが、対象フレームの既存色プレーン(B12)が使われないと、誤補間となる可能性がある。
【００４２】
異色間動き推定では、ＲＧＢの場合は画像の彩度が低ければ画像間相関が比較的高いが、彩度が高いと画像間相関が低くなり動き推定が困難になる。一方、淡色画像では彩度が高い場合でも、その成分の多くは白色(Ｗ)であり、画像間相関が高いので動き推定が容易になる。その結果、動き補償フレーム間予測性能に関して、通常の輝度信号に対する動き推定と同等の性能が得られる。
【００４３】
各補間器からは、毎フレームその色プレーンの画像信号が逆マトリックス演算器４０に与えられる。逆マトリックス演算器４０は、Ｐ,Ｌ,ＡからＲ,Ｇ,Ｂへのマトリックス変換が行われる。これはＲ,Ｇ,ＢからＰ,Ｌ,Ａへの変換の逆変換であり、(6)式(第一の実施例)に対応するものは下記式(9)で表される。
【００４４】
【数７】
0006713165.tif 000008
【００４５】
(7)式に対するのは下記式(10)となる。
【００４６】
【数８】
0006713165.tif 000009
【００４７】
(8)式に対するのは下記式(11)となる。
【００４８】
【数９】
0006713165.tif 000010
【００４９】
なお、各式内の1／4や1／9は、変換で除算が行われておらず、元の量子化bit精度に戻す場合に対応する。このような３行３列の逆変換は、変換係数による一般式があり、他の変換の場合もそれに当てはめて求めることができる。
【００５０】
このようにして得られたＲ,Ｇ,Ｂ画像信号は、基本的に元のＲ,Ｇ,Ｂ画像信号と同等であるが、途中で生じるノイズや量子化(符号化)で生じる誤差において、特徴を持つ。輝度成分に近いＷ(白色)成分が主体となって伝送されるので、輝度成分の画質が向上する。このような効果は、白色を多くするほど顕著になるが、逆変換で色差成分が増幅される形になるので、色差成分の誤差は増加する。
【００５１】
これは、一般的な動画像符号化において、4:2:0フォーマットなどで色差信号がサブサンプリングされ、実効的ダイナミックレンジも狭めて、色差信号の劣化を相対的に大きくしていることに類似する。この画質変化は、主観画質に適合した望ましい方向の変化と言える。一方、4:2:0で生じる色差成分の解像度低下や、高彩度部分の輝度成分解像度低下は起こらない。
【００５２】
これまで本実施形態につき説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【符号の説明】
【００５３】
１…Ｒ画像入力、２…Ｇ画像入力、３…Ｂ画像入力、４…Ｒ画像バッファ、５…Ｇ画像バッファ、６…Ｂ画像バッファ、７…白色画像形成器、８…フレーム選択器、９…加算器、１０…ＦＳ画像符号化器、１１…ＦＳ画像情報出力、２１…マトリックス演算器、２２…フレーム選択器、３１…ＳＣ画像入力、３２…復号化器、３３…フレーム選択器、３４…Ｐ画像メモリ、３５…Ｌ画像メモリ、３６…Ａ画像メモリ、３７…Ｐ画像補間器、３８…Ｌ画像補間器、３９…Ａ画像補間器、４０…逆マトリックス演算器、４１…Ｒ画像出力、４２…Ｇ画像出力、４３…Ｂ画像出力
【図１】
0006713165.tif 000011
【図２】
0006713165.tif 000012
【図３】
0006713165.tif 000013
【図４】
0006713165.tif 000014
【図５】
0006713165.tif 000015
【図６】
0006713165.tif 000016