(57)【要約】 【課題】  高解像度化処理の負荷を軽減しつつ、高精細な画像を得ることが可能な技術を提供する。【解決手段】  まず、参照画像の参照部分領域と他の低解像度画像の比較部分領域との間の共通する画像部分の有無を判定し、判定結果に基づいて参照部分領域と共通画像部分を有する比較部分領域とを選択する。次に、共通画像部分を有する比較部分領域が選択された画像部分については、合成高解像度化処理モードを選択して実行し、共通画像部分を有する比較部分領域が選択されなかった画像部分については、単純高解像度化処理モードを選択して実行する。ここで、これらの処理を一部の領域毎に繰り返し実行する。【選択図】  図２
2006222526.tif 000002
【特許請求の範囲】
【請求項１】
参照画像を含む複数の低解像度画像を用いて１枚の高解像度画像を作成する画像処理装置であって、
前記参照画像の一部の画像領域であって、前記参照画像の一部の画像領域である対象部分領域を含む参照部分領域と、他の低解像度画像の一部の画像領域であって、前記参照部分領域に対応付けられた比較部分領域と、の間の共通な画像部分の有無を、前記他の低解像度画像毎に判定する共通画像判定部と、
前記共通画像判定部の判定結果に基づいて、前記参照部分領域と、前記共通画像部分が有ると判定された比較部分領域と、を選択する処理画像選択部と、
前記処理画像選択部によって選択された部分領域を用いて、前記対象部分領域の高解像度化処理を実行する高解像度化処理部と、
１枚の高解像度画像を生成するために、前記各部の処理を、前記対象部分領域の位置を変更しつつ繰り返し実行させる制御部と、
を備え、
前記高解像度化処理は、
前記複数の低解像度画像を合成することによって前記高解像度画像を作成する合成高解像度化処理モードと、
前記参照画像のみを用いて前記高解像度画像を作成する単純高解像度化処理モードと、を有し、
前記高解像度化処理部は、
（ｉ）前記処理画像選択部によって選択された部分領域の数が複数である場合には、前記合成高解像度化処理モードによる高解像度化を選択して実行し、
（ｉｉ）前記処理画像選択部によって選択された部分領域の数が１つである場合には、前記単純高解像度化処理モードによる高解像度化を選択して実行する、画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記処理画像選択部は、前記共通画像部分有りとの判定結果が得られた比較部分領域の中の少なくとも１つと、前記参照部分領域と、を選択する、画像処理装置。
【請求項３】
請求項１に記載の画像処理装置であって、
前記処理画像選択部は、共通画像部分無しとの判定結果が得られた比較部分領域が存在するときには、前記参照部分領域のみを選択し、全ての前記比較部分領域に対して共通画像部分有りとの判定結果が得られた場合には、前記参照部分領域と、前記全ての比較部分領域と、を選択する、画像処理装置。
【請求項４】
請求項１ないし請求項３のいずれかに記載の画像処理装置であって、
前記共通画像判定部は、所定の特徴を有する領域である特徴点を前記参照部分領域と前記比較部分領域とから検出するとともに、前記参照部分領域と前記比較部分領域との間の共通な画像部分の同じ位置の特徴点となるべき特徴点ペアを検出し、さらに、前記特徴点ペアの検出結果に基づいて、前記共通画像部分の有無を判定する、
画像処理装置。
【請求項５】
請求項４に記載の画像処理装置であって、
前記共通画像判定部は、前記参照部分領域からは、前記対象部分領域の画素を含む特徴点のみを検出する、画像処理装置。
【請求項６】
画像を複数のラインに分割したときの、互いに異なるラインを表す複数のラスタデータを含む印刷データを取得して前記画像の印刷を実行する印刷装置に供給すべき印刷データを生成する印刷データ生成装置であって、
請求項１ないし請求項５のいずれかに記載の画像処理装置と、
前記高解像度画像の一部の領域であって、前記対象部分領域の高解像度化処理によって生成された領域である対象高解像度部分領域を用いて印刷データを生成する印刷データ生成部と、
を備え、
前記各部分領域は、それぞれの画像の一部のラインを有し、
前記印刷データ生成部は、前記対象高解像度部分領域を用いて、前記対象高解像度部分領域が有するラインに対応付けられたラスタデータを生成し、
前記制御部は、さらに前記印刷データ生成部を制御するとともに、前記高解像度画像を表す印刷データを生成するために、前記各部の処理を、前記対象部分領域の位置を変更しつつ繰り返し実行させる、
印刷データ生成装置。
【請求項７】
参照画像を含む複数の低解像度画像を用いて１枚の高解像度画像を作成する画像処理方法であって、
（ａ）前記参照画像の一部の画像領域であって、前記参照画像の一部の画像領域である対象部分領域を含む参照部分領域と、他の低解像度画像の一部の画像領域であって、前記参照部分領域に対応付けられた比較部分領域と、の間の共通な画像部分の有無を、前記他の低解像度画像毎に判定する工程と、
（ｂ）前記共通画像判定部の判定結果に基づいて、前記参照部分領域と、前記共通画像部分が有ると判定された比較部分領域と、を選択する工程と、
（ｃ）前記処理画像選択部によって選択された部分領域を用いて、前記対象部分領域の高解像度化処理を実行する工程と、
（ｄ）１枚の高解像度画像を生成するために、前記工程（ａ）と、前記工程（ｂ）と、前記工程（ｃ）とを、前記対象部分領域の位置を変更しつつ繰り返し実行させる工程と、
を備え、
前記高解像度化処理は、
前記複数の低解像度画像を合成することによって前記高解像度画像を作成する合成高解像度化処理モードと、
前記参照画像のみを用いて前記高解像度画像を作成する単純高解像度化処理モードと、を有し、
前記工程（ｃ）は、
（ｉ）前記処理画像選択部によって選択された部分領域の数が複数である場合には、前記合成高解像度化処理モードによる高解像度化を選択して実行し、
（ｉｉ）前記処理画像選択部によって選択された部分領域の数が１つである場合には、前記単純高解像度化処理モードによる高解像度化を選択して実行する工程を含む、画像処理方法。
【請求項８】
参照画像を含む複数の低解像度画像を用いて１枚の高解像度画像を作成する画像処理をコンピュータに実行させるためのコンピュータプログラムであって、
（ａ）コンピュータに、前記参照画像の一部の画像領域であって、前記参照画像の一部の画像領域である対象部分領域を含む参照部分領域と、他の低解像度画像の一部の画像領域であって、前記参照部分領域に対応付けられた比較部分領域と、の間の共通な画像部分の有無を、前記他の低解像度画像毎に判定させる機能と、
（ｂ）コンピュータに、前記共通画像判定部の判定結果に基づいて、前記参照部分領域と、前記共通画像部分が有ると判定された比較部分領域と、を選択させる機能と、
（ｃ）コンピュータに、前記処理画像選択部によって選択された部分領域を用いて、前記対象部分領域の高解像度化処理を実行させる機能と、
（ｄ）コンピュータに、１枚の高解像度画像を生成するために、前記機能（ａ）と、前記機能（ｂ）と、前記機能（ｃ）とを、前記対象部分領域の位置を変更しつつ繰り返し実行させる機能と、
を実現させるコンピュータプログラムであり、
前記高解像度化処理は、
前記複数の低解像度画像を合成することによって前記高解像度画像を作成する合成高解像度化処理モードと、
前記参照画像のみを用いて前記高解像度画像を作成する単純高解像度化処理モードと、を有し、
前記機能（ｃ）は、
（ｉ）コンピュータに、前記処理画像選択部によって選択された部分領域の数が複数である場合には、前記合成高解像度化処理モードによる高解像度化を選択して実行させ、
（ｉｉ）コンピュータに、前記処理画像選択部によって選択された部分領域の数が１つである場合には、前記単純高解像度化処理モードによる高解像度化を選択して実行させる機能を含む、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の低解像度画像から高解像度画像を生成する技術に関する。
【背景技術】
【０００２】
デジタルビデオカメラで撮影された動画像は、動画像の１シーンをそれぞれ表現する複数の静止画像（フレーム画像とも呼ばれる）を含んでいる。従来から、複数のフレーム画像を用いて、フレーム画像よりも画素の密度の高い（すなわち解像度の高い）静止画像を生成する処理が知られている（例えば、特許文献１参照）。この処理は、「高解像度化処理」又は「高精細化処理」とも呼ばれている。
【０００３】
なお、本明細書において、「精細度が高い」という文言は、単に解像度（画素密度）が高いだけでなく、画像情報量が多いことを意味する。従って、例えば単純水増し処理によって解像度を２倍にした場合には、解像度は２倍になるが、精細度は変わらない。
【０００４】
【特許文献１】特開２００４−２７２７５１号公報
【０００５】
ところで、高解像度化処理では処理に用いられるデータ量が多くなるので、高解像度化処理の負荷が高くなる傾向にある。その結果、このような高解像度化処理を実行するために、高速な演算処理速度や大容量のメモリといった高い演算能力が要求される傾向にあった。
【０００６】
なお、このような問題は、動画像を用いて静止画像を生成する場合に限らず、一般に、複数の低解像度画像を用いて高解像度画像を生成する場合に共通する問題であった。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は、上記の課題を解決するためになされたものであり、高解像度化処理の負荷を軽減しつつ、高精細な画像を得ることが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述の課題の少なくとも一部を解決するため、本発明の第１の態様に係る画像処理装置は、参照画像を含む複数の低解像度画像を用いて１枚の高解像度画像を作成する画像処理装置であって、前記参照画像の一部の画像領域であって、前記参照画像の一部の画像領域である対象部分領域を含む参照部分領域と、他の低解像度画像の一部の画像領域であって、前記参照部分領域に対応付けられた比較部分領域と、の間の共通な画像部分の有無を、前記他の低解像度画像毎に判定する共通画像判定部と、前記共通画像判定部の判定結果に基づいて、前記参照部分領域と、前記共通画像部分が有ると判定された比較部分領域と、を選択する処理画像選択部と、前記処理画像選択部によって選択された部分領域を用いて、前記対象部分領域の高解像度化処理を実行する高解像度化処理部と、１枚の高解像度画像を生成するために、前記各部の処理を、前記対象部分領域の位置を変更しつつ繰り返し実行させる制御部と、を備え、前記高解像度化処理は、前記複数の低解像度画像を合成することによって前記高解像度画像を作成する合成高解像度化処理モードと、前記参照画像のみを用いて前記高解像度画像を作成する単純高解像度化処理モードと、を有し、前記高解像度化処理部は、（ｉ）前記処理画像選択部によって選択された部分領域の数が複数である場合には、前記合成高解像度化処理モードによる高解像度化を選択して実行し、（ｉｉ）前記処理画像選択部によって選択された部分領域の数が１つである場合には、前記単純高解像度化処理モードによる高解像度化を選択して実行する。
【０００９】
この画像処理装置によれば、画像の一部の領域を対象とする処理を繰り返すことによって高解像度画像が生成されるので、画像の全体をまとめて高解像度化する場合と比べて、高解像度化処理の負荷を軽減することが可能となる。さらに、この画像処理装置によれば、参照部分領域との間の共通な画像部分を有する比較部分領域が選択された画像部分については、合成高解像度化処理モードを選択して実行し、共通な画像部分を有する比較部分領域が選択されなかった画像部分については、単純高解像度化処理モードを選択して実行するので、高解像度化処理の負荷を軽減しつつ、高精細な画像を得ることができる。
【００１０】
上記画像処理装置において、前記処理画像選択部は、前記共通画像部分有りとの判定結果が得られた比較部分領域の中の少なくとも１つと、前記参照部分領域と、を選択することとしてもよい。
【００１１】
この構成によれば、共通な画像部分が有ると判定された比較部分領域と、参照部分領域と、を用いて高精細化を図ることが可能となる。
【００１２】
上記画像処理装置において、前記処理画像選択部は、共通画像部分無しとの判定結果が得られた比較部分領域が存在するときには、前記参照部分領域のみを選択し、全ての前記比較部分領域に対して共通画像部分有りとの判定結果が得られた場合には、前記参照部分領域と、前記全ての比較部分領域と、を選択することとしてもよい。
【００１３】
この構成によれば、共通な画像部分が有ると判定された比較部分領域と、参照部分領域と、の間の整合性が良くない可能性が高い場合に、低解像度画像との整合性に欠ける高解像度画像を生成することを抑制することができる。
【００１４】
上記各画像処理装置において、前記共通画像判定部は、所定の特徴を有する領域である特徴点を前記参照部分領域と前記比較部分領域とから検出するとともに、前記参照部分領域と前記比較部分領域との間の共通な画像部分の同じ位置の特徴点となるべき特徴点ペアを検出し、さらに、前記特徴点ペアの検出結果に基づいて、前記共通画像部分の有無を判定することとしてもよい。
【００１５】
この構成によれば、共通画像部分の有無の判定を適切に行うことが可能となる。
【００１６】
上記画像処理装置において、前記共通画像判定部は、前記参照部分領域からは、前記対象部分領域の画素を含む特徴点のみを検出することとしてもよい。
【００１７】
この構成によれば、対象部分領域の高解像度化処理の結果に、対象部分領域が表す画像部分の特徴を強く反映させることが可能となる。
【００１８】
本発明の第２の態様に係る印刷データ生成装置は、画像を複数のラインに分割したときの、互いに異なるラインを表す複数のラスタデータを含む印刷データを取得して前記画像の印刷を実行する印刷装置に供給すべき印刷データを生成する印刷データ生成装置であって、上記第１の態様に係る画像処理装置と、前記高解像度画像の一部の領域であって、前記対象部分領域の高解像度化処理によって生成された領域である対象高解像度部分領域を用いて印刷データを生成する印刷データ生成部と、を備え、前記各部分領域は、それぞれの画像の一部のラインを有し、前記印刷データ生成部は、前記対象高解像度部分領域を用いて、前記対象高解像度部分領域が有するラインに対応付けられたラスタデータを生成し、前記制御部は、さらに前記印刷データ生成部を制御するとともに、前記高解像度画像を表す印刷データを生成するために、前記各部の処理を、前記対象部分領域の位置を変更しつつ繰り返し実行させる。
【００１９】
この印刷データ生成装置によれば、画像の一部のラインを対象とする処理を繰り返すことによって、印刷データが生成されるので、画像の全体をまとめて処理する場合と比べて、複数の低解像度な画像を用いて高解像度な画像を生成するとともに、得られた高解像度な画像を用いて印刷を実行するための印刷データを生成する処理の負荷を軽減することが可能となる。
【００２０】
なお、本発明は、種々の形態で実現することが可能であり、例えば、画像処理方法および装置、高解像度化処理方法および装置、高解像度化処理を用いた印刷データ生成方法および装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。
【発明を実施するための最良の形態】
【００２１】
次に、この発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．実施例：
Ｂ．合成高解像度化処理の詳細：
Ｃ．変形例：
【００２２】
Ａ．実施例：
図１は、本発明の一実施例としての画像処理システムの構成を示すブロック図である。この画像処理システム８００は、プリンタ５００と、デジタルビデオカメラ３００とを有している。プリンタ５００は、データ処理部１００と、印刷実行部７００（印刷機構）と、を有している。図示は省略しているが、プリンタ５００は、画像や操作ガイダンスを表示するための表示部と、ユーザがプリンタ５００の動作を指定するための操作部と、を備えている。動画の中から高解像度化のために使用する複数のフレームを選択する操作は、これらの表示部や操作部を用いて行われる。
【００２３】
データ処理部１００は、ビデオカメラ３００から動画像を受け取り、高解像度化処理（後述）を行って高解像度画像を生成するとともに、その印刷データを生成する。印刷実行部７００は、この印刷データを受け取って印刷を行う。印刷実行部７００としては、インクジェット印刷機構や、熱転写印刷機構等の、周知の種々の印刷機構を採用することができる。
【００２４】
図２は、データ処理部１００の内部構成を示すブロック図である。データ処理部１００は、第１ラインバッファ４８２と、第２ラインバッファ４８４と、制御部４１０と、共通画像判定部４２０と、動き量算出部４３５と、処理画像選択部４３０と、高解像度化処理部４４０と、印刷データ生成部４５０と、を備えている。制御部４１０と、共通画像判定部４２０と、動き量算出部４３５と、処理画像選択部４３０と、高解像度化処理部４４０と、印刷データ生成部４５０と、の機能は、図示しないＣＰＵがコンピュータプログラムを実行することによって実現されている。従って、これらの各部を「プログラムモジュール」、あるいは、単に「モジュール」と呼ぶことも可能である。２つのラインバッファ４８２、４８４は、図示しないメモリ（例えば、ＲＡＭ）によって実現されている。
【００２５】
本実施例では、２枚のフレーム画像Ｉｉｍｇ１〜２（以下、「入力画像」と呼ぶ）を用いて１枚の高解像度画像Ｏｉｍｇを生成し、その印刷を実行する。２枚の入力画像Ｉｉｍｇ１〜２は、動画像の中から選択されたものであり、ここでは所定の時間間隔だけ離れた２枚のフレーム画像が選択されている。但し、入力画像の枚数や時間間隔は任意に設定することが可能である。
【００２６】
２枚の入力画像Ｉｉｍｇ１〜２のうちの先頭の画像Ｉｉｍｇ１は、参照入力画像Ｒｉｍｇ（「参照画像」とも呼ぶ）として利用される。後述するように、参照入力画像Ｒｉｍｇは、種々の目的のために使用される。すなわち、（ｉ）共通な画像部分の有無の判定の基準となり、また、（ｉｉ）単純高解像度化処理の元画像として使用される。なお、参照入力画像Ｒｉｍｇとしては、複数の入力画像Ｉｉｍｇの中の任意の画像を選択することが可能である。
【００２７】
第１ラインバッファ４８２は、高解像度化のために、参照入力画像Ｒｉｍｇの対象入力ラインLAiを中心とする２０ラインLAi-9〜LAi+10（iはライン番号）の画像データを保持するバッファである。同様に、第２ラインバッファ４８４は、第２入力画像Ｉｉｍｇ２の２０ラインの画像データを保持するバッファである。本実施例では、第２ラインバッファ４８４は、第１ラインバッファ４８２と同じライン番号の画像データを格納することとしている。以下、第１ラインバッファ４８２が格納している画像データを「第１画像バンドＢ４８２」と呼ぶ。また、第２ラインバッファ４８４が格納している画像データを「第２画像バンドＢ４８４」と呼ぶ。
【００２８】
共通画像判定部４２０は、これら２つの画像バンドＢ４８２、Ｂ４８４間の共通な画像部分の有無を判定する（詳細は後述）。処理画像選択部４３０は、共通画像の有無の判定結果に応じて、高解像度化処理に用いる画像バンドを選択する。共通画像が無いと判定された場合には、参照入力画像Ｒｉｍｇの画像バンドＢ４８２のみを選択する。共通画像が有ると判定された場合には、２つの画像バンドＢ４８２、Ｂ４８４の両方を選択する。選択された画像バンドは、高解像度化処理部４４０に出力される。図２には、１つの画像バンドＢ４８２のみが選択された場合が示されている。
【００２９】
高解像度化処理部４４０は、単純高解像度化処理部４４２と、合成高解像度化処理部４４４とを含んでいる。単純高解像度化処理部４４２は、参照入力画像Ｒｉｍｇのみを用いて高解像度化を実行する。一方、合成高解像度化処理部４４４は、２枚の入力画像Ｉｉｍｇ１〜２を合成することによって高解像度化を実行する。本明細書では、単純高解像度化処理部４４２による処理を「単純高解像度化モード」と呼び、合成高解像度化処理部４４４による処理を「合成高解像度化モード」と呼ぶ。高解像度化処理部４４０は、処理画像選択部４３０の選択結果に応じて、単純高解像度化モードと合成高解像度化モードとのうちの一方を選択して実行する。具体的には、２つの画像バンドＢ４８２、Ｂ４８４の両方が選択された場合には、「合成高解像度化モード」を実行し、１つの画像バンドＢ４８２のみが選択された場合には、「単純高解像度化モード」を実行する。なお、本実施例では、高解像度化は、処理対象となる１ラインLAi毎に行われる。
【００３０】
高解像度化によって作成された高解像度画像Ｏｉｍｇは、印刷データ生成部４５０に供給される。印刷データ生成部４５０は、高解像度画像Ｏｉｍｇの印刷データを生成し、印刷実行部７００（図１）に供給して印刷を実行させる。
【００３１】
図３は、低解像度画像と高解像度画像の画素位置の関係の一例を示す説明図である。図３において低解像度画像の画素位置を○印で示し、高解像度画像の画素位置を×印で示す。この例では、高解像度画像の画素ピッチＰhighは、低解像度画像の画素ピッチＰlow の半分である。すなわち、高解像度画像は、低解像度画像の２倍の解像度（すなわち２倍の画素密度）を有している。また、高解像度画像の画素位置は、低解像度画像の画素位置から高解像度画素ピッチＰhighの１／２だけ水平方向及び垂直方向にずれている。
【００３２】
図３において、破線で示す枠は、各低解像度画素に対応付けられた４つの高解像度画素の範囲を示している。単純高解像度化においては、１つの低解像度画像の画素値が、この破線内の４つの高解像度画素にコピーされる。すなわち、この破線内の高解像度画素の画素値は、低解像度画素の画素値と同一に設定される。従って、この単純高解像度化では、解像度は高くなるが精細度は変わらない。但し、単純高解像度化処理において、バイリニア法等による補間演算を用いて高解像度画素の画素値を算出してもよい。高解像度化の際に補間演算を利用すると、精細度も若干向上する。一方、合成高解像度化処理では、参照入力画像Ｒｉｍｇのみでなく、複数の入力画像Ｉｉｍｇ１〜２を共に使用して高解像度画素の画素値が算出される（詳細は後述）。従って、合成高解像度化処理では、解像度のみでなく精細度も向上する。
【００３３】
図４は、低解像度画像と高解像度画像の画素位置の関係の他の例を示す説明図である。この例では、高解像度画像内の１／４の画素の位置は、低解像度画像の画素の位置と一致している。低解像度画像と高解像度画像の画素位置の関係としては、図３及び図４に示したもの以外の種々のものを採用することも可能である。但し、以下に説明する実施例では、図３に示した位置関係を使用している。
【００３４】
なお、一般に、高解像度画像の画素ピッチＰhighは、低解像度画像の画素ピッチＰlow の１／Ｍ倍（Ｍは１より大きな任意の値）に設定可能である。但し、Ｍは２以上に設定することが好ましく、本実施例では、Ｍ＝２に設定されている。
【００３５】
図５は、本実施例における高解像度化処理の全体手順を示すフローチャートである。ステップＳ８００では、各種の初期化が行われる。この際、制御部４１０（図２）は、高解像度化処理の対象ラインLAiを示す対象入力ライン番号LineNo(=i)を「０」に初期化する。対象入力ラインLAiは、参照入力画像Ｒｉｍｇのラインを示している。
【００３６】
また、このステップＳ８００では、制御部４１０は、参照入力画像Ｒｉｍｇの対象入力ラインLAiを中心とする１９ライン分の画像データLAi-9〜LAi+9を、第１ラインバッファ４８２に格納する。同様に、第２入力画像Ｉｉｍｇ２のｉ番目のラインを中心とした１９ライン分の画像データを、第２ラインバッファ４８４に格納する。各入力画像の２０本目のライン（例えば、ラインLAi+10）は、次のラインバッファの更新処理で格納される。
【００３７】
次のステップＳ８１０では、制御部４１０は、各ラインバッファ４８２、４８４の内容を更新する。この更新は、第１ラインバッファ４８２に、対象入力ラインLAi（=LineNo）を中心とした２０ライン分の画像データが格納されるように行われる。第２ラインバッファ４８４についても同様である。本実施例では、後述するように、対象入力ラインLAiが、１つずつシフトされる。従って、ラインバッファ４８２、４８４の更新は、最後尾の１本のラインを削除し、新たな１本のラインを格納することによって行われる。なお、初めてこのステップＳ８１０が実行される場合には、２０本目のライン（例えば、ラインLAi+10）が、各ラインバッファ４８２、４８４に格納される。
【００３８】
なお、LineNo＝０が画像領域の上端ラインを示すものとすると、LineNo＝０のときには対象入力ラインLAi（＝LineNo）の手前のラインLAi-1〜LAi-9は現実には存在しない。この場合には、ラインLAi-1〜LAi-9の画像データとして、対象ラインLAi（＝LineNo）の画像データをコピーして使用してもよい。あるいは、ステップＳ８１０以降の処理を、LineNo=9から開始するようにしてもよい。
【００３９】
次のステップＳ８２０では、共通画像判定部４２０（図２）が、第１画像バンドＢ４８２から特徴点を検出する。図６は、高解像度化処理の流れの一例を示す説明図である。図６の上部の左には、第１画像バンドＢ４８２の一例が示されている。この第１画像バンドＢ４８２は、参照入力画像Ｒｉｍｇの建物を表す画像部分を表している。また、この第１画像バンドＢ４８２には、検出された特徴点ＰＡ１〜ＰＡ４が四角印で示されている。なお、共通画像判定部４２０は、対象入力ラインLAiの画素を含む特徴点を検出する。以下、第１画像バンドＢ４８２から検出された特徴点ＰＡを、「第１種特徴点ＰＡ」とも呼ぶ。
【００４０】
特徴点は、画像中の被写体の外観的特徴を表す点である。このような特徴点としては、所定の特徴を有する点を用いることができ、例えば、被写体を表す線（例えば、輪郭線）の端点や分岐点を用いることができる。このような特徴点を検出する方法としては、周知の種々の方法を採用することができる。例えば、ソーベルフィルタ等のエッジ抽出フィルタを用いて画像のエッジ点を抽出し、特徴点を表す所定の条件を満たすエッジ点を、特徴点として採用すればよい。特徴点を表す条件としては周知の種々の条件を採用可能である。例えば、着目しているエッジ点を中心とする所定の近傍範囲（例えば、５×５画素の範囲）内における他のエッジ点の配置が、特徴点を表す所定の配置と一致していることを、条件として採用することができる。なお、特徴点は、必ずしも画素１個分の大きさである必要はなく、複数の画素から構成される領域であっても良い。
【００４１】
次のステップＳ８３０（図５）では、共通画像判定部４２０（図２）が、第２画像バンドＢ４８４の全体から特徴点を抽出する。図６の上部の右には、第２画像バンドＢ４８４の一例が示されている。この第２画像バンドＢ４８４は、第１画像バンドＢ４８２と同じ建物を表す画像部分を表している。また、この第２画像バンドＢ４８４には、検出された特徴点ＰＢ１〜ＰＢ１１が丸印で示されている。以下、第２画像バンドＢ４８４から検出された特徴点ＰＢを、「第２種特徴点ＰＢ」とも呼ぶ。
【００４２】
次のステップＳ８４０（図５）では、共通画像判定部４２０（図２）は、２つの画像バンドＢ４８２、Ｂ４８４間の特徴点の対応関係（「特徴点ペア」とも呼ぶ）を検出する。この対応関係は、共通な画像部分（被写体）の同じ位置の特徴点同士を対応付けるものである。図６の例では、４つの対応関係が矢印で示されている（図６中央）。第１種特徴点ＰＡ１〜ＰＡ４のそれぞれは、第２種特徴点ＰＢ１〜ＰＢ４のそれぞれと、この順番に１対１で対応付けられている。
【００４３】
対応関係の決定方法としては、周知の種々の方法を採用することができる。例えば、共通画像判定部４２０は、第１種特徴点ＰＡと第２種特徴点ＰＢとの間の類似度に基づいて対応関係を決定することができる。ここで、類似度とは、第１種特徴点ＰＡの周辺領域と、第２種特徴点ＰＢの周辺領域と、を比較することによって得られる類似の度合いを意味している。
【００４４】
類似度としては、周知の種々の値を用いることができる。例えば、ある第１種特徴点ＰＡｉ（ｉは各第１種特徴点を識別する識別子）を中心とする所定の周辺範囲（例えば、３×３画素の範囲）と、ある第２種特徴点ＰＢｊ（ｊは各第２種特徴点を識別する識別子）を中心とする同じ形状の周辺範囲とを、中心が重なるように重ね合わせる。ここで、周辺範囲内の各画素位置での画素値の差分の自乗和を、２つの特徴点ＰＡｉ、ＰＢｊ間の類似度を表す評価値として用いることができる。この場合には、評価値（差分自乗和）が小さいほど、類似度が高くなる。
【００４５】
共通画像判定部４２０は、ある第１種特徴点ＰＡｉに対応する第２種特徴点（以下「対応点」とも呼ぶ）として、その第１種特徴点ＰＡｉとの間の類似度が最も高い第２種特徴点ＰＢを採用することができる。また、ある第１種特徴点ＰＡｉとの間の類似度の最大値が、所定の類似しきい値よりも小さい場合（差分自乗和の最小値が所定のしきい値よりも大きい場合）には、その第１種特徴点ＰＡｉに対応する対応点が無いこととしてもよい。なお、類似しきい値は、予め実験的に設定しておけばよい。
【００４６】
また、本実施例では、共通画像判定部４２０は、各対応関係毎の動きベクトル（相対移動量）を算出することによって、対応関係の選別を行う。ここで、動きベクトルとは、第１種特徴点ＰＡと対応点ＰＢとの相対的な位置を表すベクトルである。図６では、各対応関係毎の動きベクトルが矢印で示されている。
【００４７】
通常の入力画像Ｉｉｍｇ１、Ｉｉｍｇ２では、ある対応関係が、正しい（共通な画像部分（被写体）の同じ位置の特徴点同士を対応付ける）対応関係であれば、その動きベクトルは、他の正しい対応関係の動きベクトルと、ほぼ同じ長さと向きとを有する。一方、誤った（異なる画像部分の特徴点同士を対応つける）対応関係の動きベクトルは、正しい対応関係の動きベクトルとは異なる長さや向きを有する場合が多い。そこで、共通画像判定部４２０は、ある対応関係の動きベクトルと、平均動きベクトルと、の差異度が所定の差異しきい値以上である場合に、その対応関係を検出結果から除外する。こうすれば、誤った対応関係を検出することを抑制できる。
【００４８】
なお、動きベクトルの差異度とは、動きベクトルの差異の大きさの度合いを意味している。このようなベクトルの差分度としては、周知の種々の値を用いることができる。例えば、２つのベクトルの長さの差分や、２つのベクトルがなす角度の大きさ、一方のベクトルから他方のベクトルを差し引いて得られる差分ベクトルの長さ、を採用することができる。また、差異しきい値は、予め実験的に設定しておけばよい。
【００４９】
なお、第１画像バンドＢ４８２の特徴点の数が、第２画像バンドＢ４８４の特徴点の数よりも多い場合には、１つの第２種特徴点ＰＢに対して複数の第１種特徴点ＰＡが対応付けられる場合がある。このような場合には、差異度が最も小さな対応関係を採用すればよい。
【００５０】
以上のように、ステップＳ８４０（図５）では、共通画像判定部４２０（図２）が、２つの画像バンドＢ４８２、Ｂ４８４間の特徴点の対応関係を検出する。検出された対応関係は、２つの画像バンドＢ４８２、Ｂ４８４間に共通な画像部分の同じ位置の特徴点を対応付けるものとなる。ここで、共通な画像部分は、２つの画像バンドＢ４８２、Ｂ４８４間における、ほぼ合同な画像部分を表すこととなる。
【００５１】
一方、各画像バンドＢ４８２、Ｂ４８４間に共通な画像部分が存在しなければ、特徴点の対応関係は検出されない。図７は、このような場合の高解像度化処理の流れの一例を示す説明図である。図６の例との差異は、各画像バンドＢ４８２、Ｂ４８４が、建物を表す画像部分ではなく、その建物の上の煙を表す画像部分を表している点である。この煙は風に吹かれ、その形状は、参照入力画像Ｒｉｍｇと第２入力画像Ｉｉｍｇ２との間で異なっている。
【００５２】
図７の例でも、共通画像判定部４２０（図２）は、各画像バンドＢ４８２、Ｂ４８４から特徴点（ＰＡ１１〜ＰＡ１２、ＰＢ１１〜ＰＢ１９）を検出している。ただし、被写体（煙）の形状が、参照入力画像Ｒｉｍｇと第２入力画像Ｉｉｍｇ２との間で異なっている。その結果、第１種特徴点ＰＡと第２種特徴点ＰＢとのそれぞれは、互いに異なる固有の画像（被写体）の特徴点を表すこととなるので、各特徴点ＰＡ、ＰＢ間の類似度は低くなる。従って、共通画像判定部４２０は、対応関係を検出していない。
【００５３】
なお、検出される対応関係の数は、２つの画像バンドＢ４８２、Ｂ４８４の間の共通な画像部分が大きいほど、多くなる傾向にある。従って、本実施例では、検出された対応関係の数が多いことが、２つの画像バンドＢ４８２、Ｂ４８４間の共通な画像部分が有ると判定するための条件として用いられる（後述）。
【００５４】
次のステップＳ８６０（図５）では、対応関係の検出結果に基づく高解像度化処理が実行される。図８は、このステップＳ８６０の手順を示すフローチャートである。ステップＳ１０では、共通画像判定部４２０（図２）が、２つの画像バンドＢ４８２、Ｂ４８４の間の共通な画像部分の有無を判定する。具体的には、以下の条件（ｃ１）が成立したときに、共通な画像部分が有ると判定する。
【００５５】
検出された対応関係の数  ≧  関係しきい値Ｎｔｈ  ...（ｃ１）
【００５６】
ここで、「検出された対応関係の数」は、図５のステップ８４０で検出された特徴点の対応関係の数である。また、関係しきい値Ｎｔｈは、所定の値であり、予め実験的に設定しておけばよい。例えば、１に設定してもよく、２以上の値に設定してもよい。
【００５７】
共通な画像部分が有ると判定された場合には、次のステップＳ１２において、動き量算出部４３５（図２）が、対象入力ラインLAiの動き量（相対移動量）を算出する。この動き量は、対象入力ラインLAiと、第２画像バンドＢ４８４の全体と、の相対的な位置を表す値である。本実施例では、動き量算出部４３５は、共通画像判定部４２０がステップＳ８４０で検出した対応関係の動きベクトルの平均ベクトルが表す動き量を、対象入力ラインLAiの動き量として用いる。
【００５８】
次のステップＳ１５では、処理画像選択部４３０（図２）は、参照画像Ｒｉｍｇの画像バンドＢ４８２と、共通な画像部分が有ると判定された画像バンドＢ４８４と、を選択する。すると、合成高解像度化処理部４４４は、選択された画像バンドＢ４８２、Ｂ４８４を用いて高解像度化処理を実行し、対象入力ラインLAiの各画素に対応付けられた複数の高解像度画素（図３において破線で囲まれた４つの高解像度画素）の画素値を算出する。より具体的には、１本の対象入力ラインLAiに対応付けられた２本の高解像度画素ライン（「対象出力ラインLO(i)」とも呼ぶ）の画素値が算出される。この合成高解像度化処理では、参照入力画像Ｒｉｍｇのみでなく、複数の入力画像Ｉｉｍｇ１〜２を共に使用して高解像度画素の画素値が算出される。なお、合成高解像度化処理の詳細についてはさらに後述する。
【００５９】
一方、共通な画像部分が無いと判定された場合には、ステップＳ１８において、処理画像選択部４３０（図２）は、参照画像Ｒｉｍｇの画像バンドＢ４８２のみを選択する。すると、単純高解像度化処理部４４２が高解像度化処理を実行し、対象入力ラインLAiの各画素に対応付けられた複数の高解像度画素の画素値を算出する。この単純高解像度化処理は、例えば、低解像度画像の画素値を４つの高解像度画素にコピーすることによって実現される。すなわち、単純高解像度化処理では、参照入力画像Ｒｉｍｇのみを用いて高解像度画素の画素値が生成される。
【００６０】
こうして作成された高解像度化画像の画素値は、高解像度化処理部４４０から印刷データ生成部４５０（図２）に順次供給される。
【００６１】
図５のステップＳ８７０では、制御部４１０が、対象入力ライン番号LineNoを更新する。全ラインの処理が完了していなければ、ステップＳ８８０からステップＳ８１０に戻り、各ラインバッファ４８２、４８４内の画像データが必要に応じて更新されてステップＳ８２０〜Ｓ８８０の処理が繰り返される。
【００６２】
このように、本実施例では、共通な画像部分が有ると判定された画素ラインでは、合成高解像度化処理を実行する。その結果、共通な画像部分を有する複数の入力画像を利用可能な画像部分については、より高精細な画像を得ることができる。一方、共通な画像部分が無いと判定された画素ラインでは、単純高解像度化処理を実行する。その結果、各入力画像が互いに異なる固有の画像を表す可能性が高い画像部分については、互いに異なる画像を合成することを避けることができるので、入力画像との整合性に欠ける出力画像を生成することを抑制することができる。また、単純高解像度化処理は、合成高解像度化処理に比べて処理時間が短いので、全体の処理時間を短縮することが可能となる。
【００６３】
また、図５のステップＳ８４０で検出される特徴点の対応関係の数は、画像部分の平滑さ、すなわち、画素値の変化の緩慢さの度合いを表していると考えることもできる。画素値の変化が急峻な画像部分では、検出される特徴点の数が多くなる傾向にある。逆に、画素値の変化が緩慢な画像部分では、検出される特徴点の数が少なくなる傾向にある。その結果、検出される対応関係の数も、画像部分が平滑であるほど、少なくなる傾向にある。従って、上述の条件ｃ１（対応関係の数が関係しきい値Ｎｔｈ以上）が成立することは、画像部分における画素値の変化が急峻であることを意味し、条件ｃ１が成立しないことは、画像部分が平滑であることを意味することとなる。
【００６４】
ところで、平滑な画像部分（例えば、図２の参照入力画像Ｒｉｍｇにおける煙の上の空を表す部分）は、画素値の変化が緩慢であるので、複数の低解像度画像を合成して高解像度化する場合と、参照画像のみを用いて高解像度化する場合とで、得られる高解像度画像の精細度に大きな差は生じない。一方、画素値の変化が急峻な画像部分（例えば、図２の参照入力画像Ｒｉｍｇにおける建物を表す部分）では、複数の低解像度画像を合成して高解像度画像を作成することによって、より高精細な画像を得ることができる。
【００６５】
本実施例では、上述の条件ｃ１（対応関係の数が関係しきい値Ｎｔｈ以上）が成立した画像ラインでは、合成高解像度化処理を実行するので（図８：ステップＳ１５）、画素値の変化が急峻な画像部分については、より高精細な画像を得ることができる。一方、条件ｃ１が成立しなかった画像ラインでは、単純高解像度化処理を実行するので（ステップＳ１８）、高精細化の効果の少ない画像ラインにおいて合成高解像度化処理を実行することを避けることができ、より高速に処理を完了することが可能となる。
【００６６】
また、本実施例では、共通部分画像の有無判定と、判定結果に基づく高解像度化処理とを、一部のライン毎に実行している。従って、入力画像の一部のラインのみを格納するラインバッファを用いることによって、画像全体の高解像度化処理を実行することが可能となる。その結果、入力画像の全ラインを同時にメモリに格納して高解像度化処理を実行する場合と比べて、高解像度化処理に要するメモリ容量を大幅に少なくすることが可能となる。従って、比較的演算処理能力の高いデータ処理装置（例えば、パーソナルコンピュータ）を用いなくても、演算処理能力が高いとはいえないプリンタを用いて、高解像度な画像の印刷を実行することが可能となる。
【００６７】
なお、本実施例では、入力画像の枚数を２枚に設定していたが、３枚以上に設定してもよい。この場合には、例えば、以下のように高解像度化処理を実行すればよい。すなわち、共通画像判定部４２０は、参照画像とは異なる他の入力画像の画像バンド（「比較画像バンド」とも呼ぶ）毎に、参照入力画像Ｒｉｍｇの画像バンド（「参照画像バンド」とも呼ぶ）との間の共通な画像部分の有無を判定する。処理画像選択部４３０は、共通な画像部分が有ると判定された比較画像バンドと、参照画像バンドと、を選択する。高解像度化処理部４４０は、選択された画像バンド数が複数の場合には、選択された画像バンドを用いた合成高解像度化モードを選択して実行し、選択された画像バンド数が１の場合には、単純高解像度化モードを選択して実行する。
【００６８】
ここで、処理画像選択部４３０は、共通画像部分が有ると判定された比較画像バンドの中の少なくとも１つと、参照画像バンドと、を選択することとすればよい。こうすれば、共通画像部分有りの比較画像バンドと参照画像バンドとを用いて高精細化を図ることが可能となる。この際、共通画像有りの比較画像バンドの全てを選択することが好ましい。こうすれば、適切な高精細化を図ることができる。また、共通画像有りの比較画像バンドの選択数に上限を設けてもよい。こうすれば、高解像度化処理の負荷が過剰に高くなることを防止できる。
【００６９】
また、処理画像選択部４３０は、共通画像部分の無い比較画像バンドが１つでも存在するときには、参照画像バンドのみを選択することとしてもよい。ある比較画像バンドとの間に共通画像部分が無いと判定された参照画像バンドについては、共通画像部分が有ると判定された比較画像バンドとの間の整合性も良くない可能性がある。そこで、参照画像バンドのみを選択すれば、入力画像との整合性に欠ける出力画像を生成することを抑制することができる。
【００７０】
Ｂ．合成高解像度化処理の詳細：
図９は、合成高解像度化処理部４４４の内部構成を示すブロック図である。合成高解像度化処理部４４４は、制御部２１０と、画像選択部２１５と、低解像度画像推定部２２０と、高解像度画像推定部２３０と、低解像度差分画像生成部２４０と、移動量算出部２５０と、高解像度差分画像生成部２６０と、出力高解像度画像更新部２７０と、を有している。これらの各構成要素の機能については後述する。
【００７１】
図１０は、合成高解像度化処理の内容を示す説明図である。図１０の例では、３枚の入力画像Ｉｉｍｇから、１枚の高解像度な出力画像Ｏｉｍｇを生成している。以後、図中において、符号ＬＲ(Low Resolution)が付された画像は低解像度な画像を表し、符号ＨＲ(High Resolution)が付された画像は高解像度な画像を表すこととする。
【００７２】
図１１は、合成高解像度化処理の手順を示すフローチャートである。ステップＳ１１０では、高解像度画像推定部２３０（図９）が、入力画像Ｉｉｍｇを用いて仮の出力画像Ｏｉｍｇを生成する。図１０の例では、時系列に沿った順番が中央である参照入力画像Ｒｉｍｇを用いて仮の出力画像Ｏｉｍｇを生成する。具体的には、高解像度画像推定部２３０は、周知のバイリニア法を用いて、低解像度な参照入力画像Ｒｉｍｇから高解像度な仮の出力画像Ｏｉｍｇを生成する。
【００７３】
なお、後述するように、最終的な出力画像Ｏｉｍｇは、仮の出力画像Ｏｉｍｇを修正することによって生成される。従って、仮の出力画像Ｏｉｍｇの生成方法としては、バイリニア法に限らず、種々の方法を採用することができる。例えば、ニアレストネイバ法を用いてもよい。
【００７４】
また、参照入力画像Ｒｉｍｇを他の規則に従って定めてもよい。例えば、時系列に沿った順番が先頭の入力画像Ｉｉｍｇを参照入力画像Ｒｉｍｇとして用いることとしてもよい。
【００７５】
次のステップＳ１２０では、移動量算出部２５０（図９）が、各入力画像Ｉｉｍｇの相対移動量を算出する。この相対移動量は、ある入力画像Ｉｉｍｇの全体と、参照入力画像Ｒｉｍｇの全体と、の相対的な位置を表す値である。このような相対移動量（相対動き量とも呼ぶ）としては、例えば、入力画像Ｉｉｍｇ全体の参照入力画像Ｒｉｍｇ全体に対する動きベクトルを用いることができる。また、相対移動量としては、画像の平行移動を表す移動量に限らず、他の種々の動きを表す移動量を採用することができる。例えば、平行移動と回転移動とを含む動きを表す移動量を採用してもよい。いずれの場合も、相対移動量の算出方法としては、周知の種々の方法を採用することができる。例えば、各入力画像Ｉｉｍｇから特徴点を抽出し、特徴点の移動量を算出することによって相対移動量を算出する方法を採用することができる。
【００７６】
なお、図８に示した処理手順ではステップＳ１２において動きベクトル（相対移動量）が算出されている。従って、ステップＳ１２０では、その演算を再度行う必要は無く、ステップＳ１２で得られた値をそのまま使用することができる。この場合には、ステップＳ１２０及び移動量算出部２５０を省略することができる。
【００７７】
次のステップＳ１３０では、低解像度画像推定部２２０（図９）が、高解像度な仮の出力画像Ｏｉｍｇを用いて、低解像度な３枚の推定画像Ｅｉｍｇを生成する（詳細は後述）。これらの推定画像Ｅｉｍｇは、仮の出力画像Ｏｉｍｇと整合性のある入力画像を表している。換言すれば、これらの推定画像Ｅｉｍｇは、仮の出力画像Ｏｉｍｇが最適な画像であると仮定した場合に、各入力画像Ｉｉｍｇが有すべき画像を表している。ここで、各推定画像Ｅｉｍｇと各入力画像Ｉｉｍｇとは、一対一に対応付けられている。
【００７８】
具体的には、ステップＳ１３０において、低解像度画像推定部２２０は、仮の出力画像Ｏｉｍｇと、各相対移動量と、を用いて、各推定画像Ｅｉｍｇを生成する。図１０の例では、低解像度画像推定部２２０は、仮の出力画像Ｏｉｍｇに対してぼかし処理を行い、さらに、相対移動量に従って画像を移動させ、低解像度化処理を実行することによって、推定画像Ｅｉｍｇを生成する。ぼかし処理（平滑化処理）としては、周知の種々の処理を採用することができる。画像の移動処理では、仮の出力画像Ｏｉｍｇが、各入力画像Ｉｉｍｇと重なるように移動される。また、低解像度化処理としては、周知の種々の処理を採用することができる。例えば、バイリニア法やニアレストネイバ法等の補間処理を採用することができる。また、各推定画像Ｅｉｍｇの画素位置が、仮の出力画像Ｏｉｍｇの画素位置と重なっている場合には、単純に画素を間引く処理を採用してもよい。
【００７９】
次のステップＳ１４０では、低解像度差分画像生成部２４０（図９）が、３枚の入力画像Ｉｉｍｇと３枚の推定画像Ｅｉｍｇとを用いて、各入力画像Ｉｉｍｇ毎の低解像度差分画像ＬＤｉｍｇを生成する。この低解像度差分画像ＬＤｉｍｇの各画素値は、入力画像Ｉｉｍｇと推定画像Ｅｉｍｇとの同じ画素位置における画素値の差分（＝Ｅｉｍｇ−Ｉｉｍｇ）に設定される。この低解像度差分画像ＬＤｉｍｇの意味は、以下のように説明できる。仮の出力画像Ｏｉｍｇと、各入力画像Ｉｉｍｇと、の関係が理想的な状態の場合、すなわち、仮の出力画像Ｏｉｍｇと、各入力画像Ｉｉｍｇと、が、位置（相対移動量）のみが異なる同じ画像を表す場合には、各低解像度差分画像ＬＤｉｍｇの各画素値はゼロに近い値となる。一方、仮の出力画像Ｏｉｍｇと理想的な出力画像との間の差異が大きい場合、すなわち、仮の出力画像Ｏｉｍｇと各入力画像Ｉｉｍｇとの間の差異が大きい場合には、その差異によって、各低解像度差分画像ＬＤｉｍｇの画素値がゼロから離れることとなる。このように、低解像度差分画像ＬＤｉｍｇの画素値のゼロからのズレの大きさは、仮の出力画像Ｏｉｍｇと理想的な出力画像との違いの大きさを意味することになる。従って、低解像度差分画像ＬＤｉｍｇの画素値を仮の出力画像Ｏｉｍｇにフィードバックさせれば、仮の出力画像Ｏｉｍｇを理想的な出力画像に近づけることが可能となる。
【００８０】
次のステップＳ１５０では、高解像度差分画像生成部２６０（図９）は、各低解像度差分画像ＬＤｉｍｇ毎に高解像度な差分画像ＨＤｉｍｇを生成する。具体的には、高解像度差分画像生成部２６０は、低解像度差分画像ＬＤｉｍｇに対して高解像度化処理を行い、さらに、シャープネス強調処理を行い、その後、推定相対移動量に従って画像を移動させることによって、各高解像度差分画像ＨＤｉｍｇを生成する。高解像度化処理としては、周知の種々の処理を採用することができる。例えば、バイリニア法やニアレストネイバ法を採用することができる。シャープネス強調処理としては、周知の種々の処理を採用することができる。例えば、アンシャープマスクを利用した処理を採用してもよい。さらに、画像の移動処理は、高解像度差分画像ＨＤｉｍｇが仮の出力画像Ｏｉｍｇと重なるように行われる。この際、各高解像度差分画像ＨＤｉｍｇの各画素値は、仮の出力画像Ｏｉｍｇと同じ画素位置の画素値を表すように補正される。画素値を補正する処理としては、周知の種々の補間処理を採用することができる。
【００８１】
次のステップＳ１６０では、高解像度差分画像生成部２６０は、各高解像度差分画像ＨＤｉｍｇを合成して１枚の合成済高解像度差分画像ＣＨＤｉｍｇを生成する。この合成済高解像度差分画像ＣＨＤｉｍｇの各画素値は、各高解像度差分画像ＨＤｉｍｇの同じ画素位置の画素値の和に設定される。
【００８２】
次のステップＳ１７０では、出力高解像度画像更新部２７０は、合成済高解像度差分画像ＣＨＤｉｍｇを仮の出力画像Ｏｉｍｇにフィードバックする。このフィードバックは、仮の出力画像Ｏｉｍｇの各画素値を、以下の式（１）に従って修正することによって行われる。
【００８３】
更新後画素値  ＝  更新前画素値  ＋  α×差分画素値  ...（１）
【００８４】
ここで、更新後画素値は、フィードバック後の仮の出力画像Ｏｉｍｇの画素値である。更新前画素値は、フィードバック前の仮の出力画像Ｏｉｍｇの画素値である。差分画素値は、合成済高解像度差分画像ＣＨＤｉｍｇの同じ画素位置の画素値である。αは、フィードバックの強度を表す係数である。この係数αは、フィードバックが過剰とならないように予め実験的に設定しておけばよい。なお、この係数αの正負は、負のフィードバックを実現するように決定される。本実施例では、差分画素値は、推定画像Ｅｉｍｇから入力画像Ｉｉｍｇを差し引いた値（Ｅｉｍｇ−Ｉｉｍｇ）から得られているので、係数αは、負の値である。
【００８５】
以上の処理によって、仮の出力画像Ｏｉｍｇを入力画像Ｉｉｍｇにより適した画像に更新することが可能となる。ステップＳ１７０の後は、ステップＳ１３０に戻り、ステップＳ１３０〜Ｓ１７０の処理が繰り返し実行される。そして、合成済高解像度差分画像ＣＨＤｉｍｇの画素値が充分に小さくなった時点で、制御部２１０は、処理が収束したものと判断して、更新を完了する。こうして最終的に更新された出力画像Ｏｉｍｇは、最終的な出力画像Ｏｉｍｇとして利用される。
【００８６】
なお、この実施例では、ステップＳ１３０においてぼかし処理（平滑化処理）を実行しているので、低解像度差分画像ＬＤｉｍｇにおいて、各入力画像Ｉｉｍｇの鮮鋭な部分の画素値の絶対値を平滑な部分の画素値の絶対値よりも大きくすることができる。さらに、ステップＳ１５０でシャープネス強調処理を実行しているので、高解像度差分画像ＨＤｉｍｇにおいて、各入力画像Ｉｉｍｇの鮮鋭な部分を強調させることができる。その結果、更新後の仮の出力画像Ｏｉｍｇを、各入力画像Ｉｉｍｇと整合性のある鮮鋭な画像とすることができる。
【００８７】
なお、図１０及び図１１に示した合成高解像度化処理は、１枚の画像全体に対しても実行することができ、あるいは、１ライン毎に実行することも可能である。１ライン毎に実行する場合には、図１０の各画像Ｅｉｍｇ，ＬＤｉｍｇ，ＨＤｉｍｇ，ＣＨＤｉｍｇ，Ｏｉｍｇとしては、処理対象とする１ライン分の画像が少なくとも生成される。
【００８８】
ところで、図８で説明した高解像度化処理モードの選択は、前述したように各ライン毎に実行される。そこで、図１０及び図１１に示した合成高解像度化処理を各ライン毎に実行することによって、高解像度画像を生成することが可能である。この際、ラインバッファ（例えば、図２のラインバッファ４８２、４８４）に各入力画像毎の一部のラインを格納し、格納された一部のラインを用いて合成高解像度化処理を実行すればよい。
【００８９】
Ｃ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【００９０】
変形例１：
繰り返し実行される高解像度化処理の対象となる参照画像の対象部分領域としては、１本のライン（対象入力ラインLAi）に限らず、種々の一部の領域を採用可能である。また、共通画像部分の有無判定の基準として用いられる参照画像の参照部分領域としては、２０本のライン（第１画像バンドＢ４８２）に限らず、対象部分領域を含む種々の一部の領域を採用可能である。同様に、共通画像部分の有無判定の比較対象として用いられる入力画像の比較部分領域としても、２０本のライン（第２画像バンドＢ４８４）に限らず、種々の一部の領域を採用可能である。例えば、各部分領域の形状として、入力画像を縦横の複数のブロックに分割したときの１つのブロックの形状を用いることとしてもよい。この場合には、各部分領域のそれぞれは、入力画像の一部のラインの全体ではなく、一部のラインのそれぞれの一部分の画素のみを有することとなる。
【００９１】
ところで、プリンタの中には、印刷画像の一部のラインを表すラインデータ（「ラスタデータ」とも呼ばれる）を複数受け取って、ラスタデータに従った一部のラインの印刷を、ラスタデータを変更しつつ繰り返し実行するものがある。このようなプリンタに供給するための印刷データを生成する場合には、高解像度化処理に用いる各部分領域として、上記実施例のように、入力画像の一部のラインを有する画像領域を用いることが好ましい。この際、印刷データ生成部４５０は、対象部分領域（上記実施例では、対象入力ラインLAi）に対する高解像度化処理によって生成された対象高解像度部分領域（上記実施例では、対象出力ラインLO(i)）を用いて、そのラインに対応付けられたラスタデータを生成すればよい。こうすれば、高解像度化処理によって高解像度画像を生成するとともに、高解像度画像の印刷データを生成する処理を、一部のライン毎に実行することが可能となる。その結果、印刷データを生成する処理に要するメモリ容量を少なくすることが可能となる。
【００９２】
変形例２：
第１画像バンドＢ４８２からの特徴点の検出処理（図５：ステップＳ８２０）において、対象入力ラインLAiの画素を含むか否かに拘わらずに、第１画像バンドＢ４８２の全体から特徴点を検出することとしてもよい。このように、参照部分領域（例えば、第１画像バンドＢ４８２）を対象部分領域（例えば、対象入力ラインLAi）よりも広い領域に設定し、さらに、この対象部分領域の画素を含むか否かに拘わらずに参照部分領域の全体から特徴点を検出することとすれば、有無判定における共通画像部分の大きさを比較的大きくすることができる。その結果、高精細化の対象を、画像の観察者が着目しやすい比較的大きな被写体を表す画像部分とすることが可能となる。ただし、上記実施例のように、対象部分領域（例えば、対象入力ラインLAi）の画素を含む特徴点のみを検出することとしてもよい。こうすれば、対象高解像度部分領域（例えば、対象出力ラインLO(i)）の画素値に、対象部分領域（例えば、対象入力ラインLAi）が表す画像部分の特徴をより強く反映させることが可能となる。その結果、比較的小さな被写体を表す画像部分についても、高精細化を図ることが可能となる。
【００９３】
また、参照部分領域を対象部分領域に一致させることとしてもよい。この場合には、参照部分領域の全体が、共通画像部分の有無判定に用いられるとともに、繰り返し実行される高解像度化処理の対象となる。こうすれば、有無判定のために、処理に要するメモリ容量が過剰に大きくなることを防止できる。ただし、参照部分領域を対象部分領域よりも広い領域に設定すれば、対象部分領域よりも広い領域を用いた共通部分画像の有無判定が行われるので、有無判定の精度の向上を図ることが可能となる。
【００９４】
変形例３：
共通な画像部分の有無の判定処理としては、図５、図６、図７に示したもの以外の種々の処理を採用することが可能である。例えば、パターンマッチング処理を用いて、共通な画像部分の有無を判定することとしてもよい。
【００９５】
変形例４：
合成高解像度化処理としては、図１０及び図１１に示したもの以外の種々の処理を採用することが可能である。例えば、他の合成高解像度化処理としては、各高解像度画素に近接した低解像度画素を３つの入力画像Ｉｉｍｇ１〜３からそれぞれ１つずつ選択し、これらの３つの低解像度画素の画素値を補間することによって高解像度画素の画素値を求める方法を採用することができる。また、画素値の補間演算方法としては、例えばバイリニア法やバイキュービック法などの種々の方法を使用することが可能である。
【００９６】
変形例５：
上記実施例においては、データ処理部１００をプリンタ内に設けることとしたが、この代わりに、データ処理部１００を、一般的なパーソナルコンピュータを用いて構成することとしてもよい。また、データ処理部１００を、情報携帯端末や、携帯電話、デジタルビデオカメラ、デジタルスチルカメラ等の他の種々の電子機器に実装することとしてもよい。上述したように、上記実施例では、画像高解像度化処理の負荷が軽減されている。従って、比較的演算処理能力の高いパーソナルコンピュータに限らず、演算処理能力が高いとはいえない種々の機器においても、画像高解像度化処理を実現することが可能となる。また、生成された高解像度な出力画像Ｏｉｍｇは、印刷以外の種々の用途に利用可能である。例えば、モニタへの表示に利用することとしてもよく、また、出力画像Ｏｉｍｇ（より正確には、出力画像Ｏｉｍｇを表す出力画像データ）を格納する出力画像ファイルを、外部記憶装置（例えば、ハードディスクドライブ）に格納することとしてもよい。また、出力画像データを、データ処理部１００に接続された他の機器へ送信することとしてもよい。
【００９７】
変形例６：
上記各実施例では、動画像から高解像度な静止画像を生成することとしているが、この代わりに、複数枚の低解像度な静止画像から、高解像度な静止画像を生成することとしてもよい。
【００９８】
変形例７：
上記各実施例において、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよく、逆に、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよい。
【図面の簡単な説明】
【００９９】
【図１】本発明の一実施例としての画像処理システムの構成を示すブロック図である。
【図２】データ処理部の内部構成を示すブロック図である。
【図３】低解像度画像と高解像度画像の画素位置の関係の一例を示す説明図である。
【図４】低解像度画像と高解像度画像の画素位置の関係の他の例を示す説明図である。
【図５】本実施例における高解像度化処理の全体手順を示すフローチャートである。
【図６】高解像度化処理の流れの一例を示す説明図である。
【図７】共通な画像部分が存在しない場合の高解像度化処理の流れの一例を示す説明図である。
【図８】対応関係の検出結果に基づく高解像度化処理の手順を示すフローチャートである。
【図９】合成高解像度化処理部の内部構成を示すブロック図である。
【図１０】合成高解像度化処理の内容を示す説明図である。
【図１１】合成高解像度化処理の手順を示すフローチャートである。
【符号の説明】
【０１００】
１００...データ処理部
２１０...制御部
２１５...画像選択部
２２０...低解像度画像推定部
２３０...高解像度画像推定部
２４０...低解像度差分画像生成部
２５０...移動量算出部
２６０...高解像度差分画像生成部
２７０...出力高解像度画像更新部
３００...デジタルビデオカメラ
４１０...制御部
４２０...共通画像判定部
４３０...処理画像選択部
４３５...動き量算出部
４４０...高解像度化処理部
４４２...単純高解像度化処理部
４４４...合成高解像度化処理部
４５０...印刷データ生成部
４８２...第１ラインバッファ
４８４...第２ラインバッファ
５００...プリンタ
７００...印刷実行部
８００...画像処理システム
【図１】
2006222526.tif 000003
【図２】
2006222526.tif 000004
【図３】
2006222526.tif 000005
【図４】
2006222526.tif 000006
【図５】
2006222526.tif 000007
【図６】
2006222526.tif 000008
【図７】
2006222526.tif 000009
【図８】
2006222526.tif 000010
【図９】
2006222526.tif 000011
【図１０】
2006222526.tif 000012
【図１１】
2006222526.tif 000013