(57)【特許請求の範囲】
【請求項１】
互いに連続する第１のフレーム及び第２のフレームを入力する入力手段と、
該第１のフレーム内のＮ×Ｎ画素のブロックを直交変換することで得られた直交変換係数の一部及び該第２のフレーム内のＮ×Ｎ画素のｐ個（ｐ≧１）のブロックを直交変換することで得られた直交変換係数の一部から、Ｎ×Ｎの新たな直交変換係数を生成し、該新たな直交変換係数に基づいて補間画像を生成する合成手段と、
前記補間画像及び該第２のフレームを用いて該第１のフレーム及び該第２のフレームよりも高い高解像度の画像を形成する生成手段とを備えることを特徴とする画像処理装置。
【請求項２】
前記第１のフレーム内のＮ×Ｎ画素のブロックを直交変換することで得られた直交変換係数の一部は高周波成分であり、前記第２のフレーム内のＮ×Ｎ画素のｐ個のブロックを直交変換することで得られた直交変換係数の一部は低周波成分であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記合成手段は、前記ｐ個のブロックを直交変換することで得られたｐ個の直交変換係数の低周波領域から１つの合成された低周波領域を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記ｐは４であり、前記第２のフレーム内のＮ×Ｎ画素のｐ個（ｐ≧１）のブロックを直交変換することで得られた直交変換係数は、前記第２のフレーム内のＮ×Ｎ画素の第１のブロックの直交変換係数並びに該第１のブロックを左右及び／又は上下１画素ずらせた第２、第３及び第４のブロックの直交変換係数を合成することで得られることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
さらに、前記第１のフレームと前記第２のフレームとの相対位置を検出する検出手段を備え、前記ｐ個のブロックは、該相対位置に基づいて得られることを特徴とする前記請求項１に記載の画像処理装置。
【請求項６】
前記合成手段は前記合成された直交変換係数を逆直交変換して補間画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
互いに連続する第１のフレーム及び第２のフレームを入力する入力工程と、
該第１のフレーム内のＮ×Ｎ画素のブロックを直交変換することで得られた直交変換係数の一部及び該第２のフレーム内のＮ×Ｎ画素のｐ個（ｐ≧１）のブロックを直交変換することで得られた直交変換係数の一部から、Ｎ×Ｎの新たな直交変換係数を生成し、該新たな直交変換係数に基づいて補間画像を生成する合成工程と、
前記補間画像及び該第２のフレームを用いて該第１のフレーム及び該第２のフレームよりも高い高解像度の画像を形成する生成工程とを備えることを特徴とする画像処理方法。
【請求項８】
コンピュータに、
互いに連続する第１のフレーム及び第２のフレームを入力する入力手順と、
該第１のフレーム内のＮ×Ｎ画素のブロックを直交変換することで得られた直交変換係数の一部及び該第２のフレーム内のＮ×Ｎ画素のｐ個（ｐ≧１）のブロックを直交変換することで得られた直交変換係数の一部から、Ｎ×Ｎの新たな直交変換係数を生成し、該新たな直交変換係数に基づいて補間画像を生成する合成手順と、
前記補間画像及び該第２のフレームを用いて該第１のフレーム及び該第２のフレームよりも高い高解像度の画像を形成する生成手順とを実行させるためのプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、入力した画像情報を拡大変倍して出力するプリンタ等の画像出力装置や、解像度の異なる機種間通信で低解像情報から高解像情報に解像度変換する場合に用いて好適な画像処理装置、方法及びそれらに用いられるコンピュータ読み取り可能な記憶媒体に関するものである。
【０００２】
【従来の技術】
従来より、入力した低解像情報を高解像情報に解像度変換する方法として、様々な方法が提案されている。これらの提案されている従来方法は、対象となる画像の種類（例えば、各画素ごとに階調情報を持つ多値画像、疑似中間調により２値化された２値画像、固定閾値により２値化された２値画像、文字画像等）によって、その変換処理方法が異なっている。
【０００３】
従来の内挿方法としては、図２２に示すように内挿点に最も近い同じ画素値を配列する最近接内挿方法、図２３に示すように内挿点を囲む４点（４点の画素値をＡ，Ｂ，Ｃ，Ｄとする）の距離により、以下の演算によって画素値Ｅを決定する共１次内挿法等が一般的に用いられている。
Ｅ＝（１−ｉ）・（１−ｊ）・Ａ＋ｉ・（１−ｊ）・Ｂ＋（１−ｉ）・ｊ・Ｃ＋ｉ・ｊ・Ｄ・・・・（１）
（但し、画素間距離を１とした場合に、Ａから水平方向にｉ、垂直方向にｊの距離があるとする（ｉ≦１、ｊ≦１）。
【０００４】
また、古くからサンプリング定理で表されているように、サンプリングされた離散信号を連続信号に変換する手段として、ＳＩＮＣ関数で表現できる理想低域ろ波器を通過させることによって再現することができる。ＳＩＮＣ関数を演算するのは処理時間がかかることなどから、ＳＩＮＣ関数で表現される補間関数を近似して、簡単な積和演算のみで補間値を算出する方法がある。
【０００５】
「画像解析ハンドブック：高木幹雄、下田陽久監修  東京大学出版会」によると、３次畳み込み内挿法（Ｃｕｂｉｃ  Ｃｏｖｏｌｕｔｉｏｎ  ｉｎｔｅｒｐｏｌａｔｉｏｎ）において、補間関数の近似が実現できる。内挿したい点の周囲の観測点１６点の画像データを用いて、求める画像データを次の式で示される３次畳み込み関数を用いて内挿する。尚、Ｐ１１〜Ｐ４４は周辺画素値を示し、図２４にその配置を示す。
【０００６】
【数３】
0004095204.tif 000002
【０００７】
しかしながら、上述した３種類の従来例では、何れも補間時に補間によるぼけ及び入力低解像度に依存したブロック状のジャギーが生じ、高画質の高解像度画像を作成することができなかった。
【０００８】
そこで本出願人は、低解像情報から高解像情報を作成する場合に、補間処理による補間ぼけもなく、またジャギーが発生することもない解像度変換方法を特開平７−９３５３１号公報、特開平７−１０７２６８号公報、特開平７−１０５３５９号公報により提案した。これらの提案の基本的な考え方は、入力した原情報から解像度依存成分を除去し、除去した状態で画素数を出力解像度相当まで増加させ、増加させた状態の中で新たな解像度に見合う情報を推測し作成する方法である。入力解像度の依存性を取り除く手段はＬＰＦによる平滑化、画素数の増加は線形補間により実現可能である。高解像情報の推測は補間後の情報を単純２値化して、“１”に分類された画素と“０”に分類された画素に対してそれぞれ異なる処理を行うことにより、出力する画素値を算出する。
【０００９】
また、特開平９−２５２４００号公報で提案したように、画素値の連続性が保たれた良好なエッジを作成する方法もある。上記公報では、低解像度注目画素の周辺画素よりｍ点（ｍ≧１）の画素（ただし、ｍ点中の観測点ｎにおける画素値をＰ（ｎ）とする）を検出し、注目画素を複数画素分に補間した各補間点ｋにおける補間値Ｃ（ｋ）を基に、出力値ｈ（ｋ）を以下の式により演算している。
【００１０】
【数４】
0004095204.tif 000003
【００１１】
【発明が解決しようとする課題】
しかしながら、上記従来例では、以下に述べるような欠点があった。即ち、いくら高解像度情報の作成を行っても、高画質化には限界があるという点である。サンプリング定理より明らかなように、当然、入力解像度のナイキスト限界以上の情報は入力画像には依存しないため、ナイキスト周波数以上の情報作成は全て推測によるものになる。そのため、余り複雑ではないＣＧ画像、イラスト画像、アニメーション画像のような、平坦な人工画像をジャギーレスに変換することは容易であるが、自然画像のナイキスト限界以上の情報推測による高画質化は難しい。即ち、いかなる方法を用いたとしても、低解像度を入力して高解像度に変換した場合は、元々高解像度である画像を入力した場合と比較すると明らかに画質は低くなる。
【００１２】
一方、近年になりデジタルビデオカメラの普及により、撮像した画像を連続した１フレーム単位にコンピュータに入力できる手段が増えてきている。ただ、プリンタの出力解像度は年々増加しているが、撮像系の入力解像度は増加傾向にあるとはいっても、プリンタ解像度に比べればまだまだ低いのが現状である。
【００１３】
そこで、従来の技術で述べたような、一枚の低解像度静止画から一枚の高解像度静止画を作成するのではなく、動画から取り込んだ連続した複数の低解像度静止画から一枚の高解像度静止画を作成する技術を後述する本発明により提案する。
複数の静止画からより広範囲のパノラマ画像を作成する技術としては、「動画のパニングを考慮した背景画像の合成：吉沢、花村、富永、信学春季全大予稿集７−５１（１９９０）」及び「分割撮像によるパノラマ画像の生成法：中村、金子、林、信学春季全大予稿集７−１６５（１９９１）」等の提案がある。しかし、一枚の静止画より撮像範囲を拡大したパノラマ画像の作成技術ではなく、撮像範囲は同じで、複数の静止画情報を合成して内挿により解像度を向上させる技術の提案は数少ない。
【００１４】
このような低解像度の動画から高解像度の静止画を作成する技術に特開平５−２６０２６４号公報による提案がある。この提案は、連続した複数の画像同士を比較して２種画像の差異から、アファイン変換及び平行移動のパラメータを検出して２種画像を合成するものである。上記提案の第２の実施例には、合成を補間に利用する例について記載されている。しかし、この提案では以下の問題点がある。
【００１５】
即ち、上記第２の実施例に記載された方法は、前述した図２２〜図２４に示した補間方法により拡大した連続画像同士を比較することにより、前述したパラメータを算出して補間位置を決定し、合成していくものである。補間演算自体が新たな高解像情報を作成するものではないために、合成する座標の正確な決定も困難である。補間するということは、画素間を内挿するということである。上記方法では、連続画像同士を比較する時に入力解像度の画素間の情報がない。簡単に言い換えると、２種の画像を画像Ａ、画像Ｂと仮定すると、画像Ａの画素間のどの位置に画像Ｂの画素を内挿するかという決定が、単なる拡大画像間の比較では困難である。
【００１６】
これは、動きベクトルのベクトル量の最小単位が画素単位であり、画素間距離よりも細かい分解能がないという点が起因している。即ち、ベクトルの分解能が画素間以下の精度を持たなければ、複数の静止画を用いて補間する効果は薄れ、従来例で述べた一枚の低解像静止画から一枚の高解像静止画を作成する場合と、画質的にほとんど変わりなくなる。
【００１７】
また、「国際標準画像符号化の基礎技術：小野文孝、渡辺裕  コロナ社」には、各種動き検出法について幾つかの方法の説明がある。しかし、何れの記載の方法も動き補償を目的とした検出方法であり、複数の画像から一枚の画像を作成するという本発明の目的とは異なるため、細かい検出精度が不必要であり、これらの技術を利用しても良好な複数画像の合成は困難であった。
【００１８】
そこで本出願人は、直交変換を利用して画素間距離よりも細かい分解能を持つベクトルの算出方法を提案した。この方法により、複数の静止画が各々独立したものではなく、画像間の空間的座標の関連付けが可能になった。しかし、動きベクトルの分解能が画素問距離よりも細かく算出されたとしても、画像間の相対位置が正しく把握できるのみで、まだ問題点は数多く残っている。その一つが複数画像間のデータの合成方法である。
【００１９】
即ち、画像間の空間的座標を補正した後の同一場所の画素値同士を比較すると、画素値が大きく異なっていることが多い。そのため、位置補正を施した後に、ただ単純に複数画像の画素を配置させて内挿しただけでは、内挿した画素値が使用した画像毎に異なっているために、その不均一性がノイズのように視認され画質が劣化していた。即ち、従来では相対位置検出後の複数フレームの画像同士を合成して一枚の高精細静止画に仕上げる良好な合成方法が提案されていなかった。
【００２０】
本発明は、上記の問題を解決するために成されたもので、複数の画像を合成して高画質の高解像度画像を得ることを目的としている。
【００２１】
【課題を解決するための手段】
本発明に係る画像処理装置は、互いに連続する第１のフレーム及び第２のフレームを入力する入力手段と、該第１のフレーム内のＮ×Ｎ画素のブロックを直交変換することで得られた直交変換係数の一部及び該第２のフレーム内のＮ×Ｎ画素のｐ個（ｐ≧１）のブロックを直交変換することで得られた直交変換係数の一部から、Ｎ×Ｎの新たな直交変換係数を生成し、該新たな直交変換係数に基づいて補間画像を生成する合成手段と、前記補間画像及び該第２のフレームを用いて該第１のフレーム及び該第２のフレームよりも高い高解像度の画像を形成する生成手段とを備えることを特徴とする。
【００２２】
また、本発明に係る画像処理方法は、互いに連続する第１のフレーム及び第２のフレームを入力する入力工程と、該第１のフレーム内のＮ×Ｎ画素のブロックを直交変換することで得られた直交変換係数の一部及び該第２のフレーム内のＮ×Ｎ画素のｐ個（ｐ≧１）のブロックを直交変換することで得られた直交変換係数の一部から、Ｎ×Ｎの新たな直交変換係数を生成し、該新たな直交変換係数に基づいて補間画像を生成する合成工程と、前記補間画像及び該第２のフレームを用いて該第１のフレーム及び該第２のフレームよりも高い高解像度の画像を形成する生成工程とを備えることを特徴とする。
【００２４】
【発明の実施の形態】
以下、本発明の実施の形態を図面と共に説明する。
本実施の形態による画像処理装置は、主として動画像を撮像するアナログビデオカメラやデジタルビデオカメラの内部、もしくはビデオカメラと直接あるいはコンピュータを介して接続されるプリンタやビデオプリンタ等の画像出力装置内部に具備することが効率的であるが、ビデオカメラとプリンタとの接続で中間アダプタとなる画像処理装置、又はホストコンピュータ内のアプリケーションソフト、また、プリンタに出力するためのプリンタドライバソフトとして内蔵することも可能である。
【００２５】
図１は本発明の実施の形態による画像処理装置を示すブロック図である。
本実施の形態では、デジタルビデオカメラで撮像した画像をコンピュータに送信して、コンピュータ内のアプリケーションソフトによりプリンタ相当の解像度まで変換する例について説明する。
【００２６】
図１において、ユーザは、デジタルビデオで撮影した動画像を記録した記録媒体を再生し、自分の欲するシーンで画像の取り込み命令を送る。この取り込み命令に同期して、入力端子１００より格納部１０１に取り込み命令直後の連続した複数フレームの画像情報を格納する。動きベクトル演算部１０２は、連続した２枚の画像〔ｍフレーム画像と（ｍ＋１）フレーム画像〕の差異を基に、部分的に移動した移動量をベクトルとして計測する。
【００２７】
配置部Ａ１０３は、撮像した２枚目の画像をメモリ内に配置させる。このメモリは、（入力したフレーム画素数）×（垂直方向拡大率）×（水平方向拡大率）以上のアドレス空間を有している。配置部Ａ１０３は、所定の拡大率に見合った画素の配置を実行していく。例えば、拡大率が水平方向、垂直方向ともに２倍の場合は、垂直方向、水平方向ともに１画素おきに（ｍ＋１）フレーム目の画素を配置していくことになる。
【００２８】
データ加工部１０４は、ｍフレーム目の画像情報を、（ｍ＋１）フレーム目の画像情報にうまく適合するように、画素値に加工を施すものである。このデータ加工部１０４が本実施の形態の大きな特徴になる。
【００２９】
配置部Ｂ１０５は、動きベクトル演算部１０２で算出したｍフレームと（ｍ＋１）フレームとの相対的なベクトル量に応じて、データ加工された画像情報を配置部Ａ１０３と同一メモリ内に配置させるものである。合成部１０６は、上記同一メモリ内に配置した両者の画像を合成して一枚の画像情報を作成する。補間部１０７は、合成した画像がまだ所望の解像度まで内挿点の情報が埋まっていない場合に、埋まっていない内挿点の情報を補間演算により算出するものである。出力端子１０８は、高解像度化した画像情報をプリンタ等に送信する。
【００３０】
次に、動きベクトル演算部１０２について説明する。
動きベクトルを算出する方法は古くから様々な方法が提案されているが、従来方法では画素間距離以下のベクトルの分解能がないために、合成、補間を施して低解像度の動画を高解像度の静止画に変換する用途には適さない。
【００３１】
本実施の形態による動きベクトル演算部１０２の詳細な構成を図２に示す。
図１の格納部１０１から動きベクトル演算部１０２に送信される２種の画像は、１種は、ユーザが取り込み命令をかけた直後の画像（時刻ｍフレームとする）、また、他の１種は時刻ｍフレーム目から１フレーム後の画像〔（ｍ＋１）フレームとする〕とする。
【００３２】
図２において、Ｎ×Ｎブロック化部２０１は、ｍフレーム目の画像をＮ×Ｎ画素単位にブロック化する。Ｎの値は種々考えられるが、例としてＮ＝８を想定する。いま、この作成した８×８画素の注目ブロックを仮にブロックＡと称する。次に、直交変換部２０２において、ブロックＡの直交変換を演算する。直交変換の種類は限定しないが、容易に高速で演算できるアダマール変換、及びＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｆｉｃ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）で採用されているＤＣＴ（離散コサイン変換）等が一般的である。
【００３３】
いま、ＤＣＴを例にすると、Ｎ×Ｎ画素の２次元ＤＣＴの変換係数は、
【００３４】
【数５】
0004095204.tif 000004
【００３５】
で求められる。
【００３６】
一方、（ｍ＋１）フレーム目の画像はＭ×Ｍ’ブロック化部２０３において、Ｍ×Ｍ’画素単位にブロック化される。この時、Ｍ×Ｍ’画素単位のブロックは、（ｍ＋１）フレーム目内の、上記ブロックＡと同一座標のＮ×Ｎ画素のブロックを包括し、大小関係は、Ｍ≧Ｎ、かつＭ’≧Ｎ（但し、Ｍ＝Ｍ’＝Ｎの場合を除く）になる。いま、Ｍ＝Ｍ’＝２０と仮定する。即ち、ブロックＡと同一座標を含む２０×２０画素のブロックを（ｍ＋１）フレーム目内に用意することになる。
【００３７】
次に、Ｎ×Ｎブロック化部２０４において、２０×２０画素のブロック内で、ｍフレーム目と同サイズのＮ×Ｎ画素のブロックを作成する。ブロックの作成は、ブロックＡの同一座標からスタートしてもよいし、Ｍ×Ｍ’ブロックの端から順に初めてもよい。いま、（ｍ＋１）フレーム目内で作成したＮ×Ｎ画素のブロックを仮にブロックＢと称する。
【００３８】
次に直交変換部２０５は、作成したブロックＢをブロックＡと同様に直交変換する。当然、直交変換部２０２、２０５の直交変換は、同一の変換手段でなくてはならない。次に変換係数評価部２０６では、ブロックＡ、ブロックＢの直交変換係数を基に、その変換係数の類似性を評価する。類似性の評価は、ブロックのＤＣ（直流）成分と、ＡＣ（交流）成分の主に低周波域の成分を基に、それぞれの係数の差分に、成分に応じた重み付け係数を乗じた値の和で評価する。
【００３９】
いま、説明を容易にするために、ブロックの座標をブロックを形成する左上の画素の座標で管理することにする（以下、この画素の座標をブロックの原点と称する）。即ち、図３に示したように、ブロックＢの原点（斜線部の画素に相当する）を（ａ，ｂ）とすると、ブロックＡとブロックＢとの類似性の評価関数は、
【００４０】
【数６】
0004095204.tif 000005
【００４１】
で算出する。
【００４２】
高周波域になるほど隣接ブロック間の変換係数の相関が低くなるため、高周波域ほど重み付け係数ｗ（ｕ、ｖ）の値を小さく設定する。座標が空間的に近いブロック同士の低周波域の変換係数は非常に相関が高いため、式７ではブロック同士の空間的な位置関係を変換係数の類似性に置き換えて評価している。また、式７では絶対値を用いているが、差分の２乗でも同様の評価は可能である。
【００４３】
ブロック制御部２０７は、ブロックＢの原点（ａ，ｂ）を１画素移動して、新たにブロックを作成し、同様の処理を繰り返す。即ち、Ｎ＝８、Ｍ＝Ｍ’＝２０を例にすると、８×８画素のブロックは２０×２０画素のブロック中に１３×１３個作成できるので、そのブロック数分に対して繰り返し類似性を演算することになる。
【００４４】
（ｍ＋１）フレーム目内において、全てのブロックＢの走査を終了すると、上述の評価関数であるＲ（ａ，ｂ）が最小になる座標（ａ’，ｂ’）を判定する。即ち、類似性Ｒ（ａ，ｂ）はブロックＡＢ間の誤差成分と見なせるため、Ｒ（ａ，ｂ）が最小値をとる時のブロックＢ（この時のブロックをブロックＢ’と称する）が空間的にもブロックＡと最も近いブロックと見なし、ブロックＡの移動した先と判断する。ただ、これだけでは従来例と同様に、動きベクトルの分解能は１画素単位であり、画素間距離以下のベクトルが判定できない。
【００４５】
そこで、本実施の形態では、画素間距離よりも短い分解能で動きベクトルを推測する。以下にベクトルの推測方法を説明する。
上述の方法において、ｍフレーム目の注目ブロックであるブロックＡの原点を（ａ０，ｂ０）とし、上記Ｒ（ａ，ｂ）が最小値をとる（ｍ＋１）フレーム目のブロックＢ’の原点を（ａ’，ｂ’）とする。変換係数評価部２０６におけるブロックＢ’の検索は大まかな画素単位の検索であったが、今度はブロックＢ’周辺に絞った細かい距離の推測をする。即ち、変換係数評価部２０６では、まず、空間的に最も近いと思われるブロックＢ’の検索を第１段階として行い、次に、第２段階として、求めたブロックＢ’からの微小なずれ量の推測を行うという、構成の異なる２段階の評価を実施することになる。
【００４６】
図４に上記２段階目の推測の動作手順を示すフローチャートを示す。
ステップＳ４０１（以下、ステップ略）は、ブロックＢ’の水平方向に１画素左に作成したブロックと１画素右に作成したブロックとの前記式７による評価関数結果を比較する。即ち、ブロックＢ’の原点は（ａ’，ｂ’）であるため、Ｒ（ａ’＋１，ｂ’）とＲ（ａ’−１，ｂ’）の大小を評価する。このＲ（ａ’＋１，ｂ’）、Ｒ（ａ’−１，ｂ’）については、既に上記第１段階の類似性評価の際に算出しているので、演算結果を記憶、保持しておくのが好ましい。
【００４７】
Ｓ４０１において、もし、Ｒ（ａ’＋１，ｂ’）が小さいと評価されるとＳ４０２に、また否と評価されるとＳ４０３に移動する。次に、Ｓ４０２では原点Ｒ（ａ’＋１，ｂ’）より構成されるブロックをブロックＣと設定し、また、Ｓ４０３では原点Ｒ（ａ’−１，ｂ’）より構成されるブロックをブロックＣと設定する。それと同時に、Ｓ４０２では変数ｃをｃ＝１と設定し、また、Ｓ４０３ではｃ＝−１と設定する。
【００４８】
次にＳ４０４において、今度はブロックＢ’の垂直方向に１画素上に作成したブロックと１画素下に作成したブロックとの式７による評価関数結果を比較する。即ち、ブロックＢ’の原点は（ａ’，ｂ’）であるため、Ｒ（ａ’，ｂ’＋１）とＲ（ａ’，ｂ’−１）の大小を評価する。この類似性の評価関数に関しても、第１段階の類似性評価の際に算出しているので、演算結果を記憶、保持しておくのが好ましい。
【００４９】
Ｓ４０４において、もし、Ｒ（ａ’，ｂ’＋１）が小さいと評価されるとＳ４０５に、また否と評価されるとＳ４０６に移動する。次に、Ｓ４０５では原点Ｒ（ａ’，ｂ’＋１）より構成されるブロックをブロックＤと設定し、また、Ｓ４０６では原点Ｒ（ａ’，ｂ−１）より構成されるブロックをブロックＤと設定する。それと同時に、Ｓ４０５では変数ｄをｄ＝１と設定し、また、Ｓ４０６ではｄ＝−１と設定する。
【００５０】
次にＳ４０７では、ブロックＡの直交変換係数中の水平方向のＡＣ基本波成分であるＦA （１，０）とブロックＢ’及びブロックＣの直交変換係数中の水平方向のＡＣ基本波成分であるＦB ’（１，０）、ＦC （１，０）の３種の値の大小関係を評価する。
【００５１】
即ち、ＦA （１，０）の値が、ＦB ’（１，０）の値とＦC （１，０）の値との間に存在するか否かを判断する。もし、存在していれば、Ｓ４０８へ、否ならＳ４０９へ移動する。Ｓ４０８では、変数ｘが以下の式で算出される。
ｘ＝｛ＦA （１，０）−ＦB ’（１，０）｝／｛ＦC （１，０）−ＦB ’（１，０）｝・・・・式８
また、Ｓ４０９では、変数ｘはｘ＝０と設定される。
【００５２】
同様にＳ４１０では、ブロックＡの直交変換係数中の垂直方向のＡＣ基本波成分であるＦA （０，１）と、ブロックＢ’及びブロックＤの直交変換係数中の水平方向のＡＣ基本波成分であるＦB ’（０，１）、ＦD （０，１）の３種の大小関係を評価する。即ち、ＦA （０，１）の値が、ＦB ’（０，１）の値とＦD （０，１）の値との間に存在するか否かを判断する。もし、存在していれば、Ｓ４１１へ、否ならＳ４１２へ移動する。
【００５３】
Ｓ４１１では、変数ｙが以下の式で算出される。
ｙ＝｛ＦA （０，１）−ＦB ’（０，１）｝／｛ＦD （０，１）−ＦB ’（０，１）｝・・・・式９
また、Ｓ４１２では、変数ｙはｙ＝０と設定される。
【００５４】
Ｓ４１３では式８、式９により算出したｘ，ｙを基に、ブロックＡから真に移動したと判断されるブロック（ブロックＢ”と称する）への動きベクトル→ＡＢ”を以下のように設定して終了する。
→ＡＢ”＝（ａ’＋ｃ×ｘ−ａ０，  ｂ’＋ｄ×ｙ−ｂ０）・・・・式１０
【００５５】
即ち、ブロックＡからフロックＢ’への動きベクトル→ＡＢ”は、
→ＡＢ”＝（ａ’−ａ０，  ｂ’一ｂ０）・・・・式１１
となるので、式１０のｃ×ｘ、及びｄ×ｙの項が画素間距離よりも分解能の高いベクトル成分となっている。
【００５６】
以上のフローについて、図５〜図１０を基にしてさらに詳細に説明する。
図５はブロックＡとブロックＢ’との相対関係を示した図である。ブロックＡの原点が（ａ０，ｂ０）、ブロックＢ’の原点が（ａ’、ｂ’）であることは前述した通りである。いま、第１段階の類似性評価によりブロックＡからブロックＢ’への大まかなベクトルが算出されている。
【００５７】
図６はブロックＢ’とブロックＢ’の周辺に作成したブロックとの相対関係を示した図である。図６（ａ）は水平方向の周辺ブロックを示し、原点が（ａ’，ｂ’）であるブロックＢ’を中心に１画素ずつ左右に原点をずらした２つのブロックを示している。但し、図６（ａ）では、各ブロックを若干縦方向にずらしているが、これはブロックの相対関係を分かりやすく表現するためのものであり、実際には縦方向にはずれてはいない。図中、斜線で示した画素が各々の原点の画素になる。
【００５８】
前述したように、このどちらかのブロックが、ブロックＣと設定される。同様に、図６（ｂ）では、垂直方向の周辺ブロックを示し、原点が（ａ’，ｂ’）であるブロックＢ’を中心に１画素ずつ上下に原点をずらした２つのブロックを示している。但し、図６（ｂ）では、各ブロックを若干横方向にずらしているが、これはブロックの相対関係を分かりやすく表現するためのものであり、実際には横方向にはずれてはいない。同様に、このどちらかのブロックが、ブロックＤと設定される。ブロックＣ及びブロックＤの設定は前述したように、どちらのブロックがブロックＡとの直交変換係数の類似性が高いかという判断によって行う。
【００５９】
図７、図８、図９は、それぞれ実際の自然画像中のブロックＡ、ブロックＢ’、ブロックＣの画素値、及び式６で算出したＤＣＴ変換係数の様子を示したものである。
図７の７０１はｍフレーム中の注目ブロックであるブロックＡの画素データである。ブロックサイズは８×８画素とする。７０２はブロックＡのＤＣＴ変換係数を示す。この変換係数７０２を基に、（ｍ＋１）フレーム中のブロックＢ’の検索を行う。
【００６０】
図８の８０１は、検索した結果、最も類似性が高いと評価されたブロックＢ’の画素値を示す。８０２は、検索に使用されたブロックＢ’のＤＣＴ変換係数である。７０２、８０２から明らかなように、類似性が高いことが分かる。
【００６１】
図９の９０１はブロックＢ’の原点が１画素右方向に移動したブロックＣを示す。これは、原点が１画素左方向に移動したブロックよりも類似性が高いと評価されて選択されたものである。９０２はブロックＣのＤＣＴ変換係数を示している。当然、ブロックＣ（９０２）とブロックＡ（７０２）との類似性は、ブロックＢ’（８０２）とブロックＡ（７０２）との類似性よりも低い（誤差が大きい）。
【００６２】
ここで、ブロックＢ’と１画素ずれたブロックＣとの画素間空間にブロックＡを合成させるために、画素間距離以内での配置位置を決定しなくてはならない。そこで、図４のフローで説明したように、７０２、８０２、９０２のＤＣＴ変換係数の水平方向ＡＣ基本波成分に着目する。いま、７０２の水平方向ＡＣ基本波成分は“３６．３７”、８０２では“３５．５０”、９０２では“４１．４６”であるので、これらの相互比較によって位置を推測する。即ち、空間的な距離に比例して基本波成分が線形に推移するものと仮定するわけである。
【００６３】
ここで、実際の値を式８に当てはめて、ブロックＢ’からの水平方向の距離を算出すると、
ｘ＝（３６．３７−３５．５０）／（４１．４６−３５．５０）≒０．１５・・・・式１２
となる。即ち、ブロックＢ’の原点よりもブロックＢ”の原点は、０．１５画素分右方向に位置するものと判断する。
【００６４】
ただ、図４でのフローにおいて説明したように、ブロックＢ’、ブロックＡ、ブロックＣの水平方向基本波成分が単調増加、もしくは単調減少になっていない場合には、水平方向に関してはブロックＢ’の座標と同位置であると判断する。同様に垂直方向に関しても、垂直方向ＡＣ基本波成分の変化比率に線形的に配置されるものとしてブロックＢ’からの垂直方向の距離ｙを演算する。
【００６５】
図１０にブロックＢ’の原点からのｘ，ｙの位置関係の例を示す。ｘ，ｙともに１画素以内の距離になる。図１０はブロックＢ’よりも右方向及び下方向に位置している例である。●印は（ｍ＋１）フレームの画素位置を示している。上述したフローによって、ｘ，ｙの値が算出されると、（ａ’，ｂ’）の位置から水平方向にｘ、垂直方向にｙだけ移動した×印の位置がブロックＡの合成する原点の位置になる。ブロックＡから真の移動位置であるブロックＢ”への動きベクトルは式１０で示した通りになる。
【００６６】
次に、データ加工部１０４について説明する。
図１１はデータ加工部１０４の詳細な構成を示すブロック図である。
図１１において、座標管理部１１０１は、動きベクトル演算部１０２から算出されたベクトルに従って、ｍフレームのブロックが（ｍ＋１）フレームのどの位置に移るかを管理するものである。この座標管理部１１０１からは、式７の評価関数が最小であったアドレスが出力される。Ｎ×Ｎブロック化部１１０２は、ｍフレーム目の画像をＮ×Ｎ画素単位でブロック化する。直交変換部１１０３は、ブロック化した画像情報を直交変換する。これらの各部は、前段の動きベクトル演算部１０２内部で使用したブロック（注目ブロック）の直交変換情報を保持していれば、改めてデータ加工部１０４内部で行う必要はない。
【００６７】
同様に、Ｎ×Ｎブロック化部１１０４、直交変換部１１０５は、座標管理部１１０１から受けたアドレスに基づいて、（ｍ＋１）フレーム目のＮ×Ｎ画素単位のブロック化、直交変換処理を実行する。これらの各部も前段の動きベクトル演算部１０２内部で作成、評価したブロック（対象ブロック）のうち、評価関数が最小になったブロック、及びその周辺の直交変換情報を保持していれば、改めてデータ加工部１０４内部で行う必要はない。
【００６８】
次に、直交変換係数作成部１１０６は、ｍフレーム目の注目ブロック、及び（ｍ＋１）フレーム目の複数の対象ブロックの直交変換係数から、新たな変換係数を作成するもであり。この直交変換係数作成部１１０６が、本実施の形態の特徴でもある。
逆直交変換部１１０７は、新たに作成した変換係数を逆変換して、実空間の画素値に変換するものである。
以上が、注目ブロックのデータ加工の一連の流れである。
【００６９】
図１２は直交変換係数作成部１１０６の動作手順の第１の実施の形態を示したフローチャートである。
いま、ｍフレーム目の注目画素ブロックをブロックＡ、（ｍ＋１）フレーム目の評価関数の最小になったブロックをブロックＢ’、またブロックＢ’を基準にして水平方向に左右１画素毎にずらしてブロック化した２つのブロックのうち、評価関数が小さいと評価されたブロックをブロックＣ、同様に、ブロックＢ’を基準にして垂直方向に上下１画素毎にずらしてブロック化した２つのブロックのうち、評価関数が小さいと評価されたブロックをブロックＤとする。また、ブロックＣの原点のｘ座標、及びブロックＤの原点のｙ座標を原点とするブロックをブロックＥとする。ブロックＥはブロックＢ’とは水平、垂直ともに１画素ずつずれていることになる。
【００７０】
また、各ブロックの直交変換係数をＦA ，ＦB ’、ＦC ，ＦD として、変換係数の各成分を２次元配列の形式で垂直、水平の順に表現する。例えば、ＦA ［３］［５］は、ブロックＡの垂直（ｙ軸）方向に３成分目、水平（ｘ軸）方向に５成分目の直交変換係数を示し、座標形式で表現したＦA （５、３）と同じである。また、直交変換は８×８画素のＤＣＴを例にする。
【００７１】
図１２において、Ｓ１２０１、Ｓ１２０２は変数の初期化を示し、垂直方向の変数ｉ、水平方向の変数ｊを“０”に初期化する。続いて、Ｓ１２０３において、変数ｉ，ｊの値がともに４未満か否かを判定する。ＹＥＳの場合には、Ｓ１２０４で以下の演算が行われる。
ＦK ［ｉ］［ｊ］＝（１−ｘ’）・（１−ｙ’）・ＦB ’［ｉ］［ｊ］＋ｘ’・（１−ｙ’）・ＦC ［ｉ］［ｊ］＋（１−ｘ’）・ｙ’・ＦD ［ｉ］［ｊ］＋ｘ’・ｙ’・ＦE ［ｉ］［ｊ］・・・・式１３
【００７２】
ＦK ［ｉ］［ｊ］は、新規に作成するブロックＫの成分［ｉ］［ｊ］の直交変換係数を示している。また、ｘ’，ｙ’は、ブロックＢ’の原点からの内挿点までの距離を示している。即ち、前述した式８、式９により算出したｘ，ｙの座標が、所望の内挿点上に完全に合致する場合は極めて少ない。実際には、算出したｘ，ｙの値に基づいて、それに最も距離の近い内挿点ｘ’、ｙ’上に内挿することになる。言い換えると、ｘ’，ｙ’がブロックＫの原点になる。
【００７３】
上記式１３は、（ｍ＋１）フレーム目の４つのブロック（ＦB ’，ＦC ，ＦD ，ＦE ）の同一成分の直交変換係数値を座標ｘ，ｙに応じた配分比率により算出する線形補間になっている。即ち、実空間での距離と線形に直交変換軸上でも変換係数を補間することになる。
【００７４】
次に、Ｓ１２０５では、変数ｊをカウントアップし、Ｓ１２０６でブロックの水平成分が終了したか否かを判定する。ＹＥＳであれば、Ｓ１２０３に戻り、ＮＯであればＳ１２０７で、今度は変数ｉをカウントアップする。Ｓ１２０８でブロックの垂直成分が終了したか否かを判定し、ＹＥＳの場合には、Ｓ１２０２に戻り、Ｎ０の場合には６４成分全て処理が実行されたとして終了する。
【００７５】
一方、Ｓ１２０３で、Ｎ０と判定された場合は、高周波域を処理していると判定されるので、Ｓ１２０９で以下の演算が実行される。
ＦK ［ｉ］［ｊ］＝ＦA ［ｉ］［ｊ］・・・・式１４
即ち、高周波域には、ｍフレーム目の直交変換係数が代入されることになる。
【００７６】
この一連の処理を簡単に図解したのが図１３である。
図１３において、、１３０１、１３０２、１３０３、１３０４は、それぞれブロックＢ’、ブロックＣ、ブロックＤ、ブロックＥの各ブロックの直交変換後（ＦB ’，ＦC ，ＦD ，ＦE ）を示している。斜線部がＤＣ成分で、ブロック中の右に行くほど、あるいは下に行くほど、ＡＣ成分高周波域になる。いま、この４ブロックの同成分の変換係数を基に、ＤＣ成分、及びＡＣ低周波の１５成分の変換係数を補間により作成する（図中、太線部）。この作成した１６成分の変換係数を１３０５で示す。
【００７７】
一方、高周波域４８成分は１３０６で示したブロックＡの直交変換後（ＦA ）の高周波域（太線部）を用いる。用いた高周波域の変換係数を１３０７で示す。そして低周波域１３０５、及び高周波域１３０７を合体させて、新たなブロックＫ（ＦK ）１３０８を作成する。
【００７８】
次に、図１４〜図１９に示す実際の画像データを基に説明する。
図１４はｍフレーム目の注目ブロックであるブロックＡの画像情報（ａ）とその直交変換（ＤＣＴ）の変換係数情報（ｂ）である。また、図１５は（ｍ＋１）フレーム目のブロックＢ’の画像情報（ａ）とその直交変換（ＤＣＴ）の変換係数情報（ｂ）、図１６はブロックＣの画像情報（ａ）とその直交変換（ＤＣＴ）の変換係数情報（ｂ）、図１７はブロックＤの画像情報（ａ）とその直交変換（ＤＣＴ）の変換係数情報（ｂ）、図１８はブロックＥの画像情報（ａ）とその直交変換（ＤＣＴ）の変換係数情報（ｂ）を示す。
【００７９】
いま、拡大率を４倍×４倍と仮定した場合、各ブロックの直交変換係数の比率により、内挿点は図２０の×印の位置になる。即ち、ｘ’＝ｙ’＝１／４となり、×印の位置をブロックＫの原点としてブロック内の６４画素を配置させていくことになる。
【００８０】
図１９はブロックＫの変換係数作成の結果（ａ）と、その逆直交変換情報（ｂ）である。（ａ）から明らかなように、ＤＣ成分、及びＡＣ低周波域の成分は図１５（ｂ）、図１６（ｂ）、図１７（ｂ）、図１８（ｂ）の低周波域の補間結果が代入されている。また、図１９（ａ）の高周波域は図１４（ｂ）の高周波域の変換係数値が代入されている。
【００８１】
また、逆直交変換情報である図１９（ｂ）及び図１５（ａ）から明らかなように、ｍフレーム目の情報を（ｍ＋１）フレーム目と合成しても、違和感なく適合されることが分かる。
【００８２】
以上、直交変換の係数作成による複数画像の合成について述べてきたが、本発明の思想は、複数の異なる静止画のブロックを基に、全く新規なブロックを直交変換軸上で作成する点にある。即ち、複数画像を合成する際に最も役に立つ情報は、高周波域の情報である。ＤＣ成分とＡＣ低周波域の成分は、複数枚を用いてもあまり必要な情報とはならない。どれも非常に相関が高いからである。それに比べて、撮像時や入力時の微少なずれにより、使用するフレーム毎に高周波域の情報が異なる。この異なる情報をいかにうまく活用していくのかが画質向上のポイントになる。
【００８３】
本実施の形態では、高周波域の成分を、他の静止画の低周波域と合成させているために、必要な情報を無駄にすることなく効率的に画像の高画質化に活かすことが可能である。
【００８４】
また、以上の説明では、２つのフレームの画像の合成を例にしてきたが、連続したフレーム毎に一連の処理を繰り返すことにより、合成するフレーム数が増加して、より高解像の静止画像を作成できる。その際に所望の内挿点に合成情報が位置しないときには、補間手段により内挿点の画素値を補間する。この際の補間手段としては、図２２〜図２４に示した方法で十分である。
【００８５】
図２１は本発明の第２の実施の形態を示すフローチャートである。
本実施の形態は、前述した第１の実施の形態の直交変換係数作成部１１０６における処理が異なるのみで、他の部分は共通である。
図２１において、Ｓ２１０１、Ｓ２２０２は変数の初期化を示し、垂直方向の変数ｉ、水平方向の変数ｊを“０”に初期化する。
【００８６】
続いて、Ｓ２１０３において、以下の演算が行われる。
ＦK ’［ｉ］［ｊ］＝（１−ｘ’）・（１−ｙ’）・ＦB ’［ｉ］［ｊ］＋ｘ’・（１−ｙ’）・Ｆ C［ｉ］［ｊ］＋（１−ｘ’）・ｙ’・Ｆ D［ｉ］［ｊ］＋ｘ’・ｙ’・ＦE ［ｉ］［ｊ］・・・・式１５
【００８７】
続いてＳ２１０４において、以下の演算が行われる。
ＦK ［ｉ］［ｊ］＝α［ｉ］［ｊ］・ＦK ’［ｉ］［ｊ］＋β［ｉ］［ｊ］・ＦA ［ｉ］［ｊ］・・・・式１６
【００８８】
ここで、α［ｉ］［ｊ］、β［ｉ］［ｊ］は係数であり、直交変換後の成分であるｉ，ｊに依存した重み付けによって予め設定されている。
ＦK ［ｉ］［ｊ］は図１２の第１の実施の形態と同様に、新規に作成するブロックＫの直交変換係数を示している。また、ｘ’，ｙ’も第１の実施の形態と同様、内挿点の位置を示している。
【００８９】
次にＳ２１０５では、変数ｊをカウントアップし、Ｓ２１０６でブロックの水平成分が終了したか否かを判定する。ＹＥＳであれば、Ｓ２１０３に戻り、ＮＯであれば、Ｓ２１０７で今度は変数ｉをカウントアップする。Ｓ１２０８でブロックの垂直成分が終了したか否かを判定し、ＹＥＳの場合は、Ｓ２１０２に戻り、Ｎ０の場合は、６４成分全て処理が実行したとして終了する。
【００９０】
本実施の形態では、図１２の第１の実施の形態とは異なり、ｉ，ｊの値によって処理を切り換えはしない。その代わりにｉ，ｊの値に依存した重み付け係数で（ｍ＋１）フレーム目の情報ＦK ’［ｉ］［ｊ］とｍフレーム目の情報ＦA ［ｉ］［ｊ］との積和演算を施している。即ち、α［ｉ］［ｊ］、β［ｉ］［ｊ］の値の設定を、
α［ｉ］［ｊ］＝１、β［ｉ］［ｊ］＝０    （ｉ＜４かつｊ＜４の時）
α［ｉ］［ｊ］＝０、β［ｉ］［ｊ］＝１    （上記以外の時）・・・式１７
と設定しておけば、図１２の場合と全く等価にすることができる。
【００９１】
言い換えれば、図１２の実施の形態は図２１の実施の形態を含んでいることになる。図２１の実施の形態では、低周波域ではα［ｉ］［ｊ］の値を大きく、高周波域ではβ［ｉ］［ｊ］の値を大きく設定することが好ましい。
【００９２】
また、一般的には、
α［ｉ］［ｊ］＋β［ｉ］［ｊ］＝１・・・・式１８
が成り立つが、これに限ることではない。即ち、高周波域の変換係数を減少させたい場合などでは、
α［ｉ］［ｊ］＋β［ｉ］［ｊ］＜１・・・・式１９
という設定も十分あり得る。この係数設定は実験的に算出するのが好ましい。
【００９３】
以上、直交変換の係数作成による複数画像の合成について述べてきたが、本発明は直交変換を利用したデータの加工に特徴があるので、その他の部分、例えば、動きベクトル演算部や、合成部等の構成、動作については限定しない。動きベクトル演算部では、本出願人が先に提案した記載の直交変換を利用したベクトル算出を基に説明したが、これに限るものではなく、実空間上の画素値の差分の２乗和が最小になる位置を検出する方法などの、従来から用いられている方法を用いてもよい。
【００９４】
また、データ加工においても、以下の式のように簡易的にｍフレーム目の注目ブロックＡと（ｍ＋１）フレーム目の最も誤差の小さいブロックであるブロックＢ’同士の直交変換係数の演算にしてもよい。
ＦK ［ｉ］［ｊ］＝α［ｉ］［ｊ］・ＦB ’［ｉ］［ｊ］＋β［ｉ］［ｊ］・ＦA ［ｉ］［ｊ］・・・・式２０
【００９５】
即ち、以上述べてきたデータ加工の式をまとめると、一般的に以下のように記述できる。
【００９６】
【数７】
0004095204.tif 000006
【００９７】
上式において、ｑは（ｍ＋１）フレーム目上に形成したブロック番号、ｐは（ｍ＋１）フレーム目上でデータ加工に用いたブロック数、αq はブロック番号ｑにおける係数を示している。図２１の例では（ｍ＋１）フレームの４ブロックを使用しているので、ｐ＝４になる。
【００９８】
即ち、ｍフレーム目の注目ブロックＡの直交変換成分ｉ，ｊにおける変換係数ＦA ［ｉ］［ｊ］と、（ｍ＋１）フレーム目のデータ加工に必要な幾つかのブロックＦq における変換係数Ｆq ［ｉ］［ｊ］との積和演算において、新規なブロックＫの直交変換係数ＦK ［ｉ］［ｊ］を算出していることになる。
【００９９】
また、図１２、図２１に示したように、ＦK ［ｉ］［ｊ］の値が内挿点の距離を示すｘ’，ｙ’の値に依存する場合には、以下のように記述することができる。
【０１００】
【数８】
0004095204.tif 000007
【０１０１】
ここで、ｈ（ｘ’、ｙ’）は内挿点と観測点との距離に依存した補間演算の関数である。この関数は、線形補間、３次畳み込み内挿法等が考えられる。この式２１、及び式２２を用いることによって、複数フレームのブロック情報から新規なブロックの直交変換係数を自由度が高く作成することができる。
【０１０２】
また、以上の説明では、直交変換で８×８画素のブロックのＤＣＴを基に説明したが、これ以外の画素数でもよいのは勿論である。
また、各実施の形態では、全てｍフレームと（ｍ＋１）フレームの連続画像について説明してきたが、本発明においては連続、非連続は限定しない。当然、ｍフレームと（ｍ＋ｎ）フレーム（但し、ｎ≧１）間の動きベクトルを本発明の技術を用いて合成することも可能である。
さらに、複数の機器から構成されるシステムに適用しても１つの機器から成る装置に適用してもよく、また、システムあるいは装置にプログラムを供給することによって達成される場合にも、本発明を適用できることはいうまでもない。
【０１０３】
次に本発明の他の実施の形態としての記憶媒体について説明する。
本発明は、ハードウェア構成により実現することもできるが、ＣＰＵとメモリからなるコンピュータシステムによる構成で実現することもできる。コンピュータシステムに構成する場合、上記メモリは本発明による記憶媒体を構成する。即ち、各実施の形態で説明した各フローチャートによる動作を実行するためのソフトウェアのプログラムコードを記憶した記憶媒体をシステムや装置で用い、そのシステムや装置のＣＰＵが上記記憶媒体に格納されたプログラムコードを読み出し、実行することにより、本発明の目的を達成することができる。
【０１０４】
また、この記憶媒体としては、ＲＯＭ、ＲＡＭ等の半導体メモリ、光ディスク、光磁気ディスク、磁気媒体等を用いてよく、これらをＣＤ−ＲＯＭ、フロッピィディスク、磁気媒体、磁気カード、不揮発性メモリカード等に構成して用いてよい。
【０１０５】
従って、この記憶媒体を図１に示したシステムや装置以外の他のシステムや装置で用い、そのシステムあるいはコンピュータがこの記憶媒体に格納されたプログラムコードを読み出し、実行することによっても、上記各実施の形態と同等の機能を実現できると共に、同等の効果を得ることができ、本発明の目的を達成することができる。
【０１０６】
また、コンピュータ上で稼働しているＯＳ等が処理の一部又は全部を行う場合、あるいは記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された拡張機能ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づいて、上記拡張機能ボードや拡張機能ユニットに備わるＣＰＵ等が処理の一部又は全部を行う場合にも、上記各実施の形態と同等の機能を実現できると共に、同等の効果を得ることができ、本発明の目的を達成することができる。
【０１０７】
【発明の効果】
以上説明したように、本発明によれば、複数フレーム分の直交変換情報を基に新規なブロックの直交変換係数を作成し、その逆直交変換情報を原情報の標本点からずらして配置することにより、違和感の無い複数画像の合成が可能になる。
また、ＤＣ成分やＡＣ成分の各成分毎に重み付けした積和係数を用いて、複数フレームの直交変換情報の積和演算を施すことにより、高周波域の情報の付加が容易に、かつ高画質に実現できる。
【０１０８】
また、従来提案されていた１枚の低解像静止画からの高解像静止画作成の内挿、補間技術に比べ、格段に高画質化した画像情報を作成することができる。
さらに、ビデオカメラで撮影した低解像静止画情報から１枚の高解像静止画情報を容易に作成できるため、入出力の解像度の異なる機種間通信や、拡大変倍して高画質な画像を出力するビデオカメラ、プリンタ等を実現することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態による画像処理装置のブロック図である。
【図２】動きベクトル演算部の構成を示すブロック図である。
【図３】動きベクトルを説明するための構成図である。
【図４】変換係数評価部の動作手順を示すフローチャートである。
【図５】動きベクトルを説明するための構成図である。
【図６】動きベクトルを説明するための構成図である。
【図７】ブロック化された画素値とＤＣＴ変換係数の例を示す構成図である。
【図８】ブロック化された画素値とＤＣＴ変換係数の例を示す構成図である。
【図９】ブロック化された画素値とＤＣＴ変換係数の例を示す構成図である。
【図１０】動きベクトルを説明するための構成図である。
【図１１】データ加工部の構成を示すブロック図である。
【図１２】本発明の第１の実施の形態による直交変換係数作成部の動作手順を示すフローチャートである。
【図１３】直交変換係数作成を説明するための構成図である。
【図１４】ブロック化された画素値とＤＣＴ変換係数の例を示す構成図である。
【図１５】ブロック化された画素値とＤＣＴ変換係数の例を示す構成図である。
【図１６】ブロック化された画素値とＤＣＴ変換係数の例を示す構成図である。
【図１７】ブロック化された画素値とＤＣＴ変換係数の例を示す構成図である。
【図１８】ブロック化された画素値とＤＣＴ変換係数の例を示す構成図である。
【図１９】直交変換係数作成後のブロック情報と逆直交変換の例を示す構成図である。
【図２０】作成ブロックの内挿点の配置位置を説明するための構成図である。
【図２１】本発明第２の実施の形態による直交変換係数作成部の動作手順を示すフローチャートである。
【図２２】従来の最近接内挿法を説明するための構成図である。
【図２３】従来の共１次内挿法を説明するための構成図である。
【図２４】従来の３次畳み込み内挿法を説明するための構成図である。
【符号の説明】
１０２  動きベクトル演算部
１０３  配置部Ａ
１０４  データ加工部
１０５  配置部Ｂ
１０６  合成部
２０１、２０４  Ｎ×Ｎブロック化部
２０３  Ｍ×Ｍ’ブロック化部
２０２、２０５  直交変換部
２０６  変換係数評価部
２０７  ブロック制御部
１１０１  座標管理部
１１０２、１１０４  Ｎ×Ｎブロック化部
１１０３、１１０５  直交変換部
１１０６  変換係数作成部
１１０７  逆変換係数作成部
【図１】
0004095204.tif 000008
【図２】
0004095204.tif 000009
【図３】
0004095204.tif 000010
【図４】
0004095204.tif 000011
【図５】
0004095204.tif 000012
【図６】
0004095204.tif 000013
【図７】
0004095204.tif 000014
【図８】
0004095204.tif 000015
【図９】
0004095204.tif 000016
【図１０】
0004095204.tif 000017
【図１１】
0004095204.tif 000018
【図１２】
0004095204.tif 000019
【図１３】
0004095204.tif 000020
【図１４】
0004095204.tif 000021
【図１５】
0004095204.tif 000022
【図１６】
0004095204.tif 000023
【図１７】
0004095204.tif 000024
【図１８】
0004095204.tif 000025
【図１９】
0004095204.tif 000026
【図２０】
0004095204.tif 000027
【図２１】
0004095204.tif 000028
【図２２】
0004095204.tif 000029
【図２３】
0004095204.tif 000030
【図２４】
0004095204.tif 000031