(57)【特許請求の範囲】
【請求項１】
３つ以上の低分解能画像の画像列を受け取るステップ、
前記３つ以上の低分解能画像の画像列における動きを、水平方向及び垂直方向の両方においてサブ画素精度で推定するステップ、及び、
前記３つ以上の低分解能画像の画像列及び前記推定した動きから高分解能静止画像を創出するステップ
を具えている高分解能静止画像を創出する方法において、
該方法が
前記３つ以上の低分解能画像の画像列に動き補償予測符号化を施し、それにより前記３つ以上の低分解能画像の画像列の連続する画像間の水平方向及び垂直方向の動きを表現する動きベクトルをサブ画素精度で発生するステップであって、符号化画像のＩＰＰＰ．．．画像列を発生するように構成されたＭＰＥＧ符号器の使用を含み、前記ＩＰＰＰ．．．画像列中の各Ｐ画像を、前記３つ以上の低分解能画像の画像列中の現在画像とその直前の画像との間の動きの量から予測符号化するステップ、
前記動き補償予測符号化した画像を復号化するステップ、及び、
前記復号化した画像、及び前記動き補償予測符号化を施すステップにおいて発生した前記動きベクトルから、水平方向及び垂直方向の両方の分解能を増加させた高分解能画像を創出するステップ、
を具えていることを特徴とする高分解能静止画像を創出する方法。
【請求項２】
請求項１記載の方法において、前記高分解能画像を創出するステップが、高分解能領域において反復的に、先に創出された画像に現在復号化した画像を加算することを含み、前記先に創出された画像は、現在復号化した画像に関連する動きベクトルに応じた動き補償を施されていることを特徴とする高分解能静止画像を創出する方法。
【請求項３】
請求項１記載の方法において、更に、前記動き補償予測符号化した画像を記憶媒体上に記憶するステップを具えていることを特徴とする高分解能静止画像を創出する方法。
【請求項４】
動き補償予測符号化された画像の形で受け取った３つ以上の低分解能画像の画像列、及び前記３つ以上の低分解能画像の画像列の連続する画像間の水平方向及び垂直方向の両方の動きを表現する動きベクトルから高分解能静止画像を創出する方法であって、
前記動き補償予測符号化された画像を復号化するステップ、及び、
前記復号化した画像及び前記受け取った動きベクトルから、水平方向及び垂直方向の両方の分解能を増加させた高分解能画像を創出するステップ
を具え、
前記動き補償予測符号化された画像列及び前記動きベクトルを、符号化画像のＩＰＰＰ．．．画像列から成るＭＰＥＧビデオビットストリームの形で受け取り、前記ＩＰＰＰ．．．画像列中の各Ｐ画像は、前記３つ以上の低分解能画像の画像列中の現在画像とその直前の画像との間の動きの量から予測符号化されたＰ画像であることを特徴とする高分解能静止画像を創出する方法。
【請求項５】
請求項４記載の方法において、前記高分解能画像を創出するステップが、高分解能領域において反復的に、先に創出された画像に現在復号化した画像を加算することを含み、前記先に創出された画像は、前記現在復号化した画像に関連する動きベクトルに応じた動き補償を施されていることを特徴とする高分解能静止画像を創出する方法。
【請求項６】
３つ以上の低分解能画像の画像列を受け取るための手段、
前記３つ以上の低分解能画像の画像列における動きを、水平方向及び垂直方向の両方においてサブ画素精度で推定するための手段、及び、
前記３つ以上の低分解能画像の画像列及び前記推定した動きから高分解能静止画像を創出するための手段
を具えている高分解能静止画像を創出するための装置において、
該装置が更に
前記３つ以上の低分解能画像の画像列に動き補償予測符号化を施すための符号器であって、前記３つ以上の低分解能画像の画像列の連続する画像間の水平方向及び垂直方向の動きを表現する動きベクトルをサブ画素精度で発生するための動き推定器を含む符号器、
前記動き補償予測符号化された画像を復号化するためのデコーダー
を具え、
前記高分解能静止画像を創出するための手段が、前記符号化された画像及び前記符号器により発生された前記動きベクトルから、水平方向及び垂直方向の両方の分解能を増加させた高分解能画像を創出するように構成され、
前記符号器が、符号化画像のＩＰＰＰ．．．画像列を発生するように構成されたＭＰＥＧ符号器であり、前記ＩＰＰＰ．．．画像列中の各Ｐ画像を、前記３つ以上の低分解能画像の画像列中の現在画像とその直前の画像との間の動きの量から予測符号化することを特徴とする高分解能静止画像を創出するための装置。
【請求項７】
請求項６記載の装置において、前記高分解能静止画像を創出するための手段が、高分解能領域において反復的に、先に創出された画像に現在復号化した画像を加算するための手段を含み、前記先に創出された画像は、前記現在復号化した画像に関連する動きベクトルに応じた動き補償を施されていることを特徴とする高分解能静止画像を創出するための装置。
【請求項８】
請求項６記載の装置において、更に、前記動き補償予測符号化された画像を記憶するための記憶媒体を具えていることを特徴とする高分解能静止画像を創出するための装置。
【請求項９】
３つ以上の低分解能画像の画像列を、動き補償予測符号化された画像の形で受け取り、前記３つ以上の低分解能画像の画像列の連続する画像間の水平方向及び垂直方向の両方の動きを表現する動きベクトルを受け取るための手段、
前記動き補償予測符号化された画像を復号化するためのデコーダー、及び、
前記復号化した画像及び前記受け取った動きベクトルから、水平方向及び垂直方向の両方の分解能を増加させた高分解能画像を創出するための手段
を具え、
前記動き補償予測符号化された画像列及び前記動きベクトルを、符号化画像のＩＰＰＰ．．．画像列から成るＭＰＥＧビデオビットストリームの形で受け取り、前記ＩＰＰＰ．．．画像列中の各Ｐ画像は、前記３つ以上の低分解能画像の画像列中の現在画像とその直前の画像との間の動きの量から予測符号化されたＰ画像であることを特徴とする高分解能静止画像を創出するための装置。
【請求項１０】
請求項８に記載された装置を具え、更に、前記低分解能画像を得るためのイメージセンサを具えていることを特徴とするイメージ記録及び再生装置。
【発明の詳細な説明】
【０００１】
発明の技術分野
本発明は次のステップ、すなわち低分解能画像の画像列を受け取るステップ、前記低分解能画像の画像列における動きをサブ画素精度で推定するステップ、及び前記低分解能画像の画像列及び前記推定した動きから高分解能静止画像を創出するステップ、を具えている高分解能静止画像を創出する方法に関するものである。本発明はまた、高分解能静止画像を創出するための装置、例えば、電子静止画像カメラにも関係している。
【０００２】
発明の背景
冒頭文節に定義された高分解能静止画像を創出する従来技術の方法は、欧州特許出願明細書第ＥＰ−Ａ−０  ７３１  ６００号に開示されている。この従来技術の方法においては、低分解能画像のうちの一つが基準画像として選択され、且つその基準画像と他の画像の各々一つとの画素の間の相対的な動きがサブ画素精度で推定される。かくして推定した動きを用いて、低分解能画像が高分解能領域に合わせて調整され、且つ高分解能画像を形成するために結合される。相対的な動きが写像変換の形で表現される。
【０００３】
発明の目的及び要約
性能と実際の履行とによって好都合な効果を有する静止画像を創出する方法を提供することが本発明の目的である。
【０００４】
この目的のために、本発明による方法は、画像列に動き補償予測符号化を施し、それにより前記画像列の連続する画像間の動きを表現する動きベクトルを発生するステップ、前記符号化された画像を復号化するステップ、及び前記復号化した画像と前記符号化ステップにおいて発生された動きベクトルとから高分解能画像を創出するステップを具えている。
【０００５】
低分解能画像の画像列からの高分解能画像の創出はサブ画素の動き情報の有効度を頼りにする。（各画像と固定された基準画像との間の動きの代りに）連続する画像の間の動きを基礎として動き補償された予測符号化を使用することが、サブ画素精度を有する動きベクトルが得られる可能性を増大する。この方法の性能はかくして大幅に改善される。本発明はまた動き補償予測符号化された低分解能画像の画像列が、高分解能静止画像の圧縮された表現であると言う利点も有している。従って、その静止画像は効率的に記憶と送信との両方又はいずれか一方をされ得る。その動きベクトルは記憶されるデータの一部分であるから、それでもう一つの推定器を必要とすることなく高分解能静止画像を得ることができる。再生に際して、ユーザが高分解能静止画像の創出か又はもとの低分解能ビデオ画像列の再生を選択できることが別の利点である。
【０００６】
好適には、画像列を符号化するステップは、符号化画像のＩ（ピクチャ）Ｐ（ピクチャ）ＰＰ．．．画像列を発生するように構成されたＭＰＥＧ符号器の使用を含む。高圧縮比を有する費用効果の良いＭＰＥＧ符号器は容易に利用できる。
【０００７】
本発明の一実施例においては、高分解能静止画像が、反復的に、先に創出された画像へ現在復号化した画像を加算することにより創出され、前記先に創出された画像は、現在復号化した画像に関連する動きベクトルに応じた動き補償を施されている。それにより静止画像が単一画像メモリ内に次第に形成されることが達成される。
【０００８】
本発明はまた、動き補償予測符号化された低分解能画像のすでに利用できる（受信されるか又は記録された）画像列、例えば、ＭＰＥＧビットストリームから、高分解能静止画像を創出するためにも用いられ得る。
【０００９】
実施例の記載
図１は高分解能画像を創出する従来技術の方法を図解するための種々の画像を示している。この図においては、画像Ａ1、Ａ2及びＡ3が動いている対象の３個の連続する様相を示している。画像Ｂ1、Ｂ2及びＢ3は低分解能イメージセンサにより発生されるような低分解能グリッド上の対応する画素値を示している。この記載全体を通して、画素は領域０〜１００内の値を有し、種々の画像図面に値０は示されていない。
【００１０】
従来技術においては、動きの総量は固定された基準画像の画素と次の画像の各画素との間で計算される。図１に示された例においては、画像Ｂ1が基準画像である。この例を単純化するために、対象の全画素が動きの同じ総量を有し、それで単一動きベクトルが各々次の画像に対して得られることが仮定される。従って動きベクトルｍ12は画像Ｂ1とＢ2との間の動きの総量を表現している。そのベクトルは値ｍ12＝（１，１／２）を有するように想定されて、右へ１画素及び上側へ１／２画素だけの動きを表している。同様に、動きベクトルｍ13は画像Ｂ1とＢ3との間の動きの総量を示している。このベクトルは値ｍ13＝（１１／２，１／２）を有するように想定される。
【００１１】
画像Ｃ1、Ｃ2及びＣ3は高分解能グリッド上の画像Ｂ1、Ｂ2及びＢ3の各自の変形である。それらはアップ−サンプリングにより得られる。動き推定が半画素精度で実行されるこの例においては、高分解能が水平及び垂直方向の双方において低分解能の２倍である。このアップ−サンプリングは４回各画素を反復することにより実行される。
【００１２】
画像Ｄ1、Ｄ2及びＤ3は、それらの動きベクトルに対応する距離だけ画像Ｃ1、Ｃ2及びＣ3を動かし戻すことにより得られる画像である。その高分解能領域における各自の動きベクトルｍ’12及びｍ’13は、分解能強調係数−２により低分解能領域における元の動きベクトルｍ12及びｍ13を乗算することにより得られる。かくして、画像Ｃ2は左へ２画素及び下側へ１画素シフトされ、且つ画像Ｃ3は左へ３画素及び下側へ１画素シフトされる。
【００１３】
最後に、画像Ｅは画像Ｄ1、Ｄ2及びＤ3を一緒に加算し、且つ３（画像の数）によりその合計を除算した結果である。見られ得るように、画像Ｅは元の対象の高分解能詳細を示すために始める。もっと別の画像がこの方法で処理されれば処理されるほど、より良い画像になる。
【００１４】
図２は本発明による方法を実行するシステムのブロック線図を示している。このシステムは、イメージセンサ１、動き補償予測符号器２、記憶媒体（又は送信チャネル）３、動き補償予測デコーダー４及び高分解能画像を創出するための処理回路５を具えている。イメージセンサが図１に示された画像Ａ1、Ａ2及びＡ3と対応するイメージＡiを受け取って、且つ図１に示された画像Ｂ1、Ｂ2及びＢ3と対応するディジタル化された低分解能画像Ｂiを発生する。
【００１５】
動き補償予測符号器２（好適にはフィリップス社の集積回路ＳＡＡ７６５０のような標準ＭＰＥＧ符号器）が、ＭＰＥＧ２符号化標準に従って画像を符号化し且つ圧縮する。その符号器は、減算器２１、加算器２２、フレームメモリ２３、動き推定器２４及び動き補償器２５を具えている。離散余弦変換器、量子化器及び可変長符号器のような、本発明を理解するために本質的でない素子は、省略されてしまった。符号器の動作は図３を参照してわずかに説明されるだろう。この図においては、入力映像Ａ1、Ａ2及びＡ3とそれらのディジタル副本Ｂ1、Ｂ2及びＢ3とは、図１におけるのと同じである。
【００１６】
この画像列の最初の画像Ｂ1は自立的に符号化される。ＭＰＥＧ符号化においては、そのような画像は通常Ｉ画像（Ｉピクチャ）と呼ばれる。図３においては、画像Ｄ1が自立的に符号化された画像の画素値を示している。この画像が符号器の出力端子へ加えられ、且つまたフレームメモリ２３内に記憶される。
【００１７】
別の画像Ｂ2及びＢ3は予測符号化される。ＭＰＥＧ符号化においては、それらは通常Ｐ画像（Ｐピクチャ）と呼ばれている。これらの画像を符号化するために、動き推定器２４が現在の画像Ｂiと記憶された前に符号化された画像Ｂi-1との間の動きの総量を計算する。普通は、前記動き推定は１６×１６画素のブロックに基いて実行される。計算された動きベクトルを用いて、動き補償器２５が差出力画像Ｄiを形成するように符号化されるべき画像Ｂiから減算される予測画像Ｃiを発生する。予測映像Ｃiと符号化された差Ｄiとが加算器２２により加算され、且つフレームメモリ２３内に記憶される。
【００１８】
図３における画像Ｃ2は画像Ｂ2を符号化するための動き補償された予測画像である。従来技術におけるように、関連する動きベクトルｍ12は値（１，１／２）を有すると想定される。画像Ｂ2はかくして図３においてＤ2として示されている差画像の形で符号化さされる。
【００１９】
同様に、画像Ｃ3は画像Ｂ3を符号化するための、動き補償された予測画像である。動きベクトルｍ23は画像Ｂ2とＢ3の間の動きの総量の表現であることは注意されたい。これは全動きベクトルが同じ基準画像Ｂ1に対して計算される従来技術とは著しく違っている。本例においては、動きベクトルｍ23は値（１／２，０）を有している。画像Ｂ3は今や差画像Ｄ3の形に符号化される。
【００２０】
再び図２を参照して、動きベクトルｍと一緒に符号化された画像Ｄiが記憶媒体３上に記憶されるか、又は送信チャネルを通して伝達される。続いて、低分解能画像の元の画像列が動き補償予測デコーダー４により復号化される。再び、この（ＭＰＥＧ）デコーダーの最も関連する素子のみが示されており、すなわち加算器４１、フレームメモリ４２及び符号器により発生された動きベクトルｍを受け取る動き補償器４３が示されている。
【００２１】
元の低分解能画像を再構成の後に、高分解能静止画像が処理回路５により反復的に創出される。図２に示されたように、この処理回路５は、アップサンプラー５１、乗算器５２、加算器５３、フレームメモリ５４及び動き補償器５５を具えている。
【００２３】
図４は処理回路の動作を図解するために種々の画像を示している。画像Ｂ1、Ｂ2及びＢ3は予測デコーダー４により供給された復号化された低分解能画像である。符号器による圧縮の不備による加工品は別として、それらは図１及び３に示された画像Ｂ1、Ｂ2及びＢ3と対応している。画像Ｅ1、Ｅ2及びＥ3は高分解能領域におけるそれらの変形である。それらは画素予測によるアップサンプラー５１により供給される。
【００２４】
第１反復ステップにおいて、処理回路５が第１高分解能画像Ｇ1を出力し、且つそれをフレームメモリ５４内へ供給する。第１画像はＩ画像であるから、出力画像Ｇ1は入力画像Ｅ1と同じである。
【００２５】
第２反復ステップにおいて、次の高分解能画像Ｅ2と動き補償された先の画像Ｆ2とが加算器５３により加算される。動き補償された画像Ｆ2は、もとの動きベクトルｍ12の２倍である動きベクトルｍ’12＝（２，１）に従って、右へ２画素及び上側へ１画素記憶された画像Ｇ1をシフトすることにより得られる。画像Ｇ2はこの反復ステップの結果である。図示された画素値は正規化されており、すなわち今までに処理された画像の数である２により除算されている。見られ得るように、高分解能詳細は垂直方向に現れるように始まる。元の動きベクトルｍ12が垂直方向においてのみサブ画素成分を有するので、水平方向においては詳細はまだ現れない。（加えられる正規化係数無しで）出力画像Ｇ2がフレームメモリ５４内に記憶される。
【００２６】
第３反復ステップにおいて、次の高分解能画像Ｅ3と動き補償された先の画像Ｆ3とが加算される。動き補償された先の画像Ｆ3は動きベクトルｍ’23＝（１，０）に従って、右へ１画素記憶された画像Ｇ2をシフトすることにより得られる。画像Ｇ3はこの反復ステップの結果である。図示された画素値は、今までに処理された画像の数である３による除算の後に得られる。見られ得るように、元の動きベクトルｍ23がこの方向においてサブ画素成分を有するので、高分解能詳細は今や水平方向においてもまた現れ始める。
【００２７】
上記のステップは復号化される画像列において各々別の画像に対して反復される。もっと続くＰ画像がこの方法で処理されればされるほど、より良く出力画像が元の対象に似るようになる。
【００２８】
認識されるように、本発明は符号化局面において得られた動きベクトルもまた静止画像創出局面において用いられると言う特別の利点を提供する。もう一つの動き推定器を持つ必要はない。各画像に対してはメモリもまた必要でない。更にその上、動きベクトルは一定の基準画像よりもむしろ直前の画像に関係する。連続する画像間の動きは比較的小さいので、半画素精度（それは分解能を倍にするために本質的である）を有する動きベクトルを得る可能性は、それ故に従来技術におけるよりも大幅に大きい。
【００２９】
本発明はまた、静止画像が適度の送信あるいは記憶容量を必要とする圧縮された低分解能画像の画像列として送信されるか又は記憶されることを許容する。広く利用できる標準構成要素（ＭＰＥＧ符号器及びデコーダー）が用いられ得て、且つ低分解能画像の画像列が動画ビデオの形で任意に再生され得る。
【００３０】
要約すれば、高分解能静止画像を創出するための方法及び装置が開示されている。低分解能画像の画像列が、好適には符号化された画像のＩＰＰＰ．．．画像列を発生するＭＰＥＧ符号器により、動き補償予測符号化を施される。イメージセンサの動き又はそのシーン内の動きによる、連続する画像間の比較的小さい差が、サブ画素精度を有する動きベクトルにおいて明らかになる。それで高分解能画像が復号化された画像と符号器により発生された動きベクトルとから創出される。
【００３１】
本発明は記憶媒体を有する電子静止画像カメラに特に適用できる。ＭＰＥＧ符号器はデータ圧縮を処理し、且つデコーダーもまた元の動くビデオ画像列の再生を許す。
【００３２】
【図面の簡単な説明】
【図１】図１は高分解能画像を創出する従来技術の方法を図解するための種々の画像を示している。
【図２】図２は本発明による高分解能画像を創出する方法を実行するシステムのブロック線図を示している。
【図３】図３は図２に示されたシステムの動作を図解するための種々の画像を示している。
【図４】図４は図２に示されたシステムの動作を図解するための種々の画像を示している。
【図１】
0004863333.tif 000002
【図２】
0004863333.tif 000003
【図３】
0004863333.tif 000004
【図４】
0004863333.tif 000005