(57)【特許請求の範囲】
【請求項１】
画素数がＮx×Ｎyである低解像度ＣＣＤカメラで連続画像を撮像した低解像度画像から、画素数がＫx×Ｋy（Ｎx×Ｎy＜Ｋx×Ｋy）である高解像度ＣＣＤカメラで前記連続画像を撮像した高解像度画像と同じ画素数の復元画像を生成する画像高解像度化方法において、
生成する前記復元画像の画素毎に、この画素が対応する位置を含み、その周辺に位置する所定数の画素が占める前記低解像度画像の領域について、記憶手段に記憶している復元作用素を作用させて画素値を求める処理を繰り返して復元画像を生成するステップを有し、
前記復元作用素は、前記連続画像を前記低解像度画像に関連づける第１の作用素と、前記連続画像を前記高解像度画像に関連づける第２の作用素の共役作用素である第３の作用素と、に基づいて求めた作用素であり、且つ、前記復元画像が第１の部分空間と、第２の部分空間と、を直和した特定空間への、前記第１の作用素の零空間に沿った斜射影となる作用素であり、
前記第１の部分空間は、前記復元画像が存在する近似空間の部分空間であり、且つ前記第１の作用素の零空間に含まれていない部分空間とし、
前記第２の部分空間は、前記第１の部分空間と、前記近似空間および第１の作用素の零空間の両方に含まれている共通空間と、を直和した空間の直交補空間とした画像高解像度化方法。
【請求項２】
前記第１の作用素は、前記低解像度ＣＣＤカメラにおけるＣＣＤ素子の配置間隔、および受光領域の大きさを用いて推定したものであり、
前記第２の作用素は、前記高解像度ＣＣＤカメラにおけるＣＣＤ素子の配置間隔、および受光領域の大きさを用いて推定したものである請求項１に記載の画像高解像度化方法。
【請求項３】
前記第１の作用素、および前記第２の作用素は、前記低解像度ＣＣＤカメラ、および前記高解像度ＣＣＤカメラで同じ連続画像を撮像した一対の前記低解像度画像と前記高解像度画像を、複数組用いて推定したものである請求項１または２に記載の画像高解像度化方法。
【請求項４】
連続画像を、画素数がＮx×Ｎyである低解像度ＣＣＤカメラでこの連続画像を撮像した低解像度画像に関連づける第１の作用素、および連続画像を、画素数がＫx×Ｋy（Ｎx×Ｎy＜Ｋx×Ｋy）である高解像度ＣＣＤカメラでこの連続画像を撮像した高解像度画像に関連づける第２の作用素に基づいて、前記低解像度ＣＣＤカメラで連続画像を撮像した前記低解像度画像に作用させて、前記高解像度カメラで連続画像を撮像した前記高解像度画像と同じ画素数の復元画像を生成するのに用いる復元作用素を記憶する記憶手段と、
前記低解像度ＣＣＤカメラで撮像した前記低解像度画像を入力する低解像度画像入力手段と、
前記低解像度画像入力手段に入力された低解像度画像について、前記記憶手段に記憶している復元作用素を用いて前記復元画像を生成する画像高解像度化手段と、を備えた画像高解像度化装置であって、
前記画像高解像度化手段は、復元画像の画素毎に、低解像度画像における、復元画像のこの画素が対応する位置を含み、その周辺に位置する所定数の画素からなる領域サイズの画像に対して、前記記憶手段に記憶している前記復元作用素を作用させて画素値を求める処理を繰り返して復元画像を生成する手段であり、
前記記憶手段が記憶する前記復元作用素は、前記第１の作用素と、前記第２の作用素の共役作用素である第３の作用素と、に基づいて推定した作用素であり、且つ前記復元画像が、第１の部分空間と、第２の部分空間と、を直和した特定空間への前記第１の作用素の零空間に沿った斜射影となる作用素であり、
前記第１の部分空間は、前記復元画像が存在する近似空間の部分空間であり、且つ前記第１の作用素の零空間に含まれていない部分空間であり、
前記第２の部分空間は、前記第１の部分空間と、前記近似空間および前記第１の作用素の零空間の両方に含まれている共通空間と、を直和した空間の直交補空間である画像高解像度化装置。
【請求項５】
前記第１の作用素は、前記低解像度ＣＣＤカメラにおけるＣＣＤ素子の配置間隔、および受光領域の大きさを用いて推定したものであり、
前記第２の作用素は、前記高解像度ＣＣＤカメラにおけるＣＣＤ素子の配置間隔、および受光領域の大きさを用いて推定したものである請求項４に記載の画像高解像度化装置。
【請求項６】
前記第１の作用素、および前記第２の作用素は、前記低解像度ＣＣＤカメラ、および前記高解像度ＣＣＤカメラで同じ連続画像を撮像した一対の前記低解像度画像と前記高解像度画像を、複数組用いて推定したものである請求項４または５に記載の画像高解像度化装置。
【請求項７】
請求項４〜６のいずれかに記載の画像高解像度化装置を適用した画像認識装置であって、
上記復元画像出力手段が出力した上記復元画像を認識する画像認識手段を備えた画像認識装置。
【請求項８】
上記画像認識手段は、復元画像から車両のナンバープレートを抽出し、ここで抽出したナンバープレートのナンバーを認識する請求項７に記載の画像認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、比較的画素数が少ない低解像度ＣＣＤカメラで連続画像を撮像した低解像度画像（低解像度画像）から、比較的画素数が多い高解像度ＣＣＤカメラで同じ連続画像を撮像したときに得られる高解像度画像（高解像度画像）を、復元画像として推定する画像高解像度化方法、画像高解像度化装置、および上記復元画像を認識する画像認識装置に関する。
【背景技術】
【０００２】
従来、道路における渋滞状況、停止車両、事故車両等を監視する交通監視システムや、人の出入を監視する防犯システム等、色々なシステムでＣＣＤカメラが利用されている。例えば、交通監視システムでは、ＣＣＤカメラで撮像した道路上の車両の撮像画像から、この車両のナンバープレートのナンバーを認識し、車両を特定している。また、防犯システムでは、出入している人を撮像した撮像画像を記録したり、この撮像画像から撮像された人の顔を認識し、その人を特定している。
【０００３】
ＣＣＤカメラで撮像した撮像画像を認識する画像認識装置は、撮像画像の解像度が高いほど認識率が良くなる。言い換えれば、認識率は撮像画像の解像度が低くなるにつれて低下する。このため、上記交通監視システムや防犯システム等、撮像画像を認識するシステムにおいては、認識率を確保するために比較的解像度の高いＣＣＤカメラが使用されている。ＣＣＤカメラは、解像度が高くなるにつれて高価になる。例えば２０００×５００画素のＣＣＤカメラは数百万円もするが、１３００×５００画素のＣＣＤカメラは数十万円である。また、撮像画像を認識しないシステム（撮像画像を記録するだけのシステム）であっても、少なくとも撮像されている人物等が目視確認できる程度の解像度が要求される。このような現状において、交通監視システムや防犯システム等、ＣＣＤカメラを使用する様々なシステム（ＣＣＤカメラを内蔵した装置も含む）のコストを安価にする技術として、解像度の低い低解像度ＣＣＤカメラで撮像した撮像画像（低解像度画像）から、解像度が高い高解像度ＣＣＤカメラで撮像したときに得られる高解像度画像（高解像度画像）を推定し、生成する画像高解像度化にかかる技術の開発が要望されている。
【０００４】
なお、ここで言う画像高解像度化にかかる技術とは、低解像度ＣＣＤカメラ等で撮像した撮像画像から、より画素数の多い高解像度の復元画像（例えば、高解像度ＣＣＤカメラで撮像した撮像画像に近い画像）を推定し生成する技術である。
【０００５】
従来提案されている、画素数がＮx×Ｎyである撮像画像（低解像度画像）から、画素数がＫx×Ｋy（Ｎx×Ｎy＜Ｋx×Ｋy）である復元画像を推定し生成する画像高解像度化にかかる技術は、例えば共一次内挿法や３次畳み込み内挿法と呼ばれている手法であり、画素を低解像度画像に内挿（追加）して、画素数がＫx×Ｋyである復元画像を生成する手法である。また、低解像度画像におけるブレを復元する方法として、例えば射影フィルタや部分射影フィルタがある（例えば、特許文献１、２）。さらに、低解像度ＣＣＤカメラ、および高解像度ＣＣＤカメラの光学的特性や電気的特性が含まれている復元作用素を低解像度画像に作用させて復元画像を推定し生成する画像高解像度化方法も提案されている（特許文献３）。
【０００６】
【特許文献１】特開平５−１３５１６７号公報
【特許文献２】特開平５−２０５０４８号公報
【特許文献３】特開２００４−２７２８４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記共一次内挿法や３次畳み込み内挿法は、低解像度画像に対して画素を内挿（追加）して高解像度化する技術であり、低解像度画像の画素については何ら調整していない。また、低解像度画像に内挿する画素は、この内挿する画素の周囲に位置する複数の画素（低解像度画像の画素）に基づいて、１次関数や３次関数などの極めて単純な関数を用いて、その画素値を決定している。また、この共一次内挿法や３次畳み込み内挿法は、低解像度ＣＣＤカメラと高解像度ＣＣＤカメラとの間における光学的特性や、電気的特性の違いについて考慮していない。このため、生成された復元画像において、エッジが不明瞭になる等、実際に高解像度ＣＣＤカメラで撮像した高解像度画像に近い復元画像を推定し生成することができなかった。
【０００８】
なお、上記ＣＣＤカメラの光学的特性とは例えばレンズの開口特性、空間周波数応答特性であり、電気的特性とは例えばＣＣＤのＡ／Ｄ変換特性である。
【０００９】
また、特許文献１、２に述べられている射影フィルタや部分射影フィルタを用いて低解像度画像におけるブレ等の劣化を復元する方法は、低解像度画像と復元された画像とはその画素数が同じであり、低解像度の低解像度画像から、より画素数の多い高解像度の画像（復元画像）を生成するための手法ではない。
【００１０】
さらに、特許文献３は、本願発明者らが先に提案した低解像度ＣＣＤカメラ、および高解像度ＣＣＤカメラの光学的特性や電気的特性が含まれている復元作用素を低解像度画像に作用させて復元画像を生成する画像高解像度化方法である。
【００１１】
この発明の目的は、連続画像を低解像度ＣＣＤカメラで撮像した低解像度画像から、この連続画像を高解像度ＣＣＤカメラで撮像したときに得られる高解像度画像に対して、従来よりも高精度の復元画像を生成することができる画像高解像度化方法、および画像高解像度化装置を提供することにある。
【００１２】
また、上記画像高解像度化装置を適用することにより、撮像画像の認識率を低下させることなく、本体のコストダウンを図った画像認識装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
この発明の画像高解像度化方法は、上記課題を解決するために以下の構成を備えている。
【００１４】
画素数がＮx×Ｎyである低解像度ＣＣＤカメラで連続画像を撮像した低解像度画像から、画素数がＫx×Ｋy（Ｎx×Ｎy＜Ｋx×Ｋy）である高解像度ＣＣＤカメラで前記連続画像を撮像した高解像度画像と同じ画素数の復元画像を生成する画像高解像度化方法において、
生成する前記復元画像の画素毎に、この画素が対応する位置を含み、その周辺に位置する所定数の画素が占める前記低解像度画像の領域について、記憶手段に記憶している復元作用素を作用させて画素値を求める処理を繰り返して復元画像を生成するステップを有し、
前記復元作用素は、前記連続画像を前記低解像度画像に関連づける第１の作用素と、前記連続画像を前記高解像度画像に関連づける第２の作用素の共役作用素である第３の作用素と、に基づいて求めた作用素であり、且つ、前記復元画像が第１の部分空間と、第２の部分空間と、を直和した特定空間への、前記第１の作用素の零空間に沿った斜射影となる作用素であり、
前記第１の部分空間は、前記復元画像が存在する近似空間の部分空間であり、且つ前記第１の作用素の零空間に含まれていない部分空間とし、
前記第２の部分空間は、前記第１の部分空間と、前記近似空間および第１の作用素の零空間の両方に含まれている共通空間と、を直和した空間の直交補空間としている。
【００１５】
この構成では、連続画像をｆ、低解像度画像をｄ、高解像度画像をｈとしたときに、
ｄ＝Ａsｆ
ｈ＝Ａrｆ
となる、Ａsを第１の作用素とし、Ａrを第２の作用素とする。第１の作用素Ａsは連続画像ｆを低解像度画像ｄに直接的に関連づける作用素であってもよいし、連続画像ｆを低解像度画像ｄに対応する係数ベクトルに関連づける作用素であってもよい。同様に、第２の作用素Ａrは連続画像ｆを高解像度画像ｈに直接的に関連づける作用素であってもよいし、連続画像ｆを高解像度画像ｈに対応する係数ベクトルに関連づける作用素であってもよい。この第１の作用素には、低解像ＣＣＤカメラの光学的特性や電気的特性等が含まれている。また、第２の作用素には、高解像ＣＣＤカメラの光学的特性や電気的特性等が含まれている。
【００１６】
また、復元画像の各画素は、低解像度画像における、復元画像のこの画素が対応する位置を含む周辺に位置する所定数の画素に、その画素値にかかる情報が含まれている。一方、復元画像の各画素は、低解像度画像における復元画像のこの画素が対応する位置からある程度離れた画素には、その画素値にかかる情報が含まれていないと考えられる。そこで所定数の画素は、例えば２×２の４画素、３×３の９画素、４×４の１６画素とする。復元画像の画素毎に、低解像度画像における、この所定数の画素からなる領域サイズの画像に対して、復元作用素を作用させて、その画素値を求める。
【００１７】
また、復元作用素は、上記第１の作用素と第２の作用素の共役作用素である第３の作用素とに基づいて推定される作用素である。したがって、復元作用素には低解像度ＣＣＤカメラ、および高解像度ＣＣＤカメラの光学的特性や電気的特性が含まれている。さらに、復元作用素は、復元画像が第１の部分空間と、第２の部分空間と、を直和した特定空間への前記第１の作用素の零空間に沿った斜射影となる作用素としている。第１の部分空間を構成する画像は、例えば人間の視覚特性に重要な影響を与える低周波成分の画像や、コンピュータによる画像認識処理に与える影響が大きい画像である。言い換えれば、復元画像を利用するときに、重要な要素になる画像である。したがって、この復元画像が存在する近似空間Ｖrに含まれていて、この近似空間Ｖrおよび前記第１の作用素の零空間の両方に含まれている共通空間に、含まれていない画像の中で、精度良く復元したい重要な画像を略確実に復元することができる。これにより、低解像度ＣＣＤカメラで撮像した低解像度画像ｄから、高解像度ＣＣＤカメラで撮像したときに得られる高解像度画像ｈに近い復元画像を生成することができる。
【００１８】
また、復元作用素については、低解像度ＣＣＤカメラ、および高解像度ＣＣＤカメラで同じ連続画像を撮像した一対の低解像度画像と高解像度画像を、複数用いて統計的に求めることで、より適正な復元作用素を求めることができる。
【００１９】
また、この発明にかかる画像高解像度化装置は、連続画像を、画素数がＮx×Ｎyである低解像度ＣＣＤカメラでこの連続画像を撮像した低解像度画像に関連づける第１の作用素、および連続画像を、画素数がＫx×Ｋy（Ｎx×Ｎy＜Ｋx×Ｋy）である高解像度ＣＣＤカメラでこの連続画像を撮像した高解像度画像に関連づける第２の作用素に基づいて、前記低解像度ＣＣＤカメラで連続画像を撮像した前記低解像度画像に作用させて、前記高解像度カメラで連続画像を撮像した前記高解像度画像と同じ画素数の復元画像を生成するのに用いる復元作用素を記憶する記憶手段と、
前記低解像度ＣＣＤカメラで撮像した前記低解像度画像を入力する低解像度画像入力手段と、
前記低解像度画像入力手段に入力された低解像度画像について、前記記憶手段に記憶している復元作用素を用いて前記復元画像を生成する画像高解像度化手段と、を備えた画像高解像度化装置であって、
前記画像高解像度化手段は、復元画像の画素毎に、低解像度画像における、復元画像のこの画素が対応する位置を含み、その周辺に位置する所定数の画素からなる領域サイズの画像に対して、前記記憶手段に記憶している前記復元作用素を作用させて画素値を求める処理を繰り返して復元画像を生成する手段であり、
前記記憶手段が記憶する前記復元作用素は、前記第１の作用素と、前記第２の作用素の共役作用素である第３の作用素と、に基づいて推定した作用素であり、且つ前記復元画像が、第１の部分空間と、第２の部分空間と、を直和した特定空間への前記第１の作用素の零空間に沿った斜射影となる作用素であり、
前記第１の部分空間は、前記復元画像が存在する近似空間の部分空間であり、且つ前記第１の作用素の零空間に含まれていない部分空間であり、
前記第２の部分空間は、前記第１の部分空間と、前記近似空間および前記第１の作用素の零空間の両方に含まれている共通空間と、を直和した空間の直交補空間である。
【００２０】
この構成では、前記復元作用素を記憶手段に記憶し、画像高解像度化手段が低解像度画像入力手段に入力された低解像度ＣＣＤカメラで撮像された低解像度画像から、記憶手段に記憶している復元作用素を用いて復元画像を生成する。したがって、上記画像高解像度化方法により生成される復元画像と同様に、復元画像の各画素について、その画素値を求める際の計算量を十分に抑えることができ、結果的に低解像度画像から復元画像を生成する際の計算量を抑えることができる。また、低解像度ＣＣＤカメラ、および高解像度ＣＣＤカメラの光学的特性や電気的特性が含まれている復元作用素を低解像度ＣＣＤカメラで撮像した低解像度画像に作用させているとともに、復元画像の画素毎に、その画素値にかかる情報が含まれていない低解像度画像の画素（復元画像のこの画素が対応する位置からある程度離れた低解像度画像の画素）の影響を受けることなく、その画素値を求めているので、実際に高解像度ＣＣＤカメラで撮像したときに得られる高解像度画像に近い復元画像を生成することができる。
【００２１】
さらに、この発明にかかる画像認識装置は、上記画像高解像度化装置を適用することにより、低解像度ＣＣＤカメラで撮像された低解像度画像に対する、認識率の低下を防止することができる。したがって、この画像認識装置を用いる、交通監視システム等において、認識率を低下させることなく、本システムで使用するＣＣＤカメラを低解像度のものにでき、システムのコストダウンが図れる。
【発明の効果】
【００２２】
この発明によれば、近似空間Ｖrに含まれていて、近似空間Ｖrとサンプリング空間Ｖsの直交補空間Ｖs’との両方に含まれている共通空間に含まれていない画像の中で、精度良く復元したい重要な画像を完全に復元する復元作用素を用い、低解像度画像ｄから推定される復元画像ｆ0を生成する。したがって、精度良く復元したい重要な画像を、略確実に復元することができるので、低解像度ＣＣＤカメラで撮像した低解像度画像ｄから、高解像度ＣＣＤカメラで撮像したときに得られる高解像度画像ｈに近い復元画像を生成することができる。
【発明を実施するための最良の形態】
【００２３】
まず最初に、この発明の実施形態である画像高解像度化方法について説明する。この実施形態の画像高解像度化方法は、本願発明者らが先に提案した画像高解像度化方法（特許文献３参照）を基本とし、この画像高解像度化方法をさらに改良したものである。
【００２４】
図１を参照しながら、画像高解像度化の概要を説明する。図１において、Ｈは撮像対象が存在する連続画像空間である。１は、その画素数がＮx×Ｎyである低解像度ＣＣＤカメラであり、２はその画素数がＫx×Ｋy（Ｎx×Ｎy＜Ｋx×Ｋy）である高解像度ＣＣＤカメラである。また、ｆは連続画像空間Ｈに存在している対象物の連続画像であり、ｄは低解像度ＣＣＤカメラ１で連続画像ｆを撮像した低解像度画像であり、ｈは高解像ＣＣＤカメラ２で連続画像ｆを撮像した高解像度画像である。ここで言う画像高解像度化とは、低解像度ＣＤＤカメラ１で撮像した低解像度画像ｄから、高解像度ＣＣＤカメラ２で同じ連続画像ｆを撮像したときに得られる高解像度画像ｈに近い復元画像を推定し、生成することである。
【００２５】
図２は、各空間と作用素の関係を示す図である。図２において、Ｈは連続画像空間である。また、低解像度画像空間は、低解像度ＣＣＤカメラ１で撮像した低解像度画像ｄが存在するＮxＮy次元ユニタリ空間である。高解像度画像空間は、高解像度ＣＣＤカメラ２で撮像した高解像度画像ｈが存在するＫxＫy次元ユニタリ空間である。ここでは、ＮxＮy次元ユニタリ空間をＣNxNyで表し、ＫxＫy次元ユニタリ空間をＣKxKyで表す。
【００２６】
ここでは、低解像度画像ｄは、横方向、および縦方向の画素数がＮx、Ｎyである画像とする。また、低解像度画像ｄの横方向、および縦方向の画素間隔は、それぞれΔLx、ΔLyとする。この低解像度画像ｄの横方向の長さｌx 、および縦方向の長さｌy は、
ｌx＝ＮxΔLx
ｌy＝ＮyΔLy
である。ここで、低解像度画像ｄの左上の画素を原点とし、水平右向きにｘ軸、垂直下向きにｙ軸を考える。図３（Ａ）に示すように、横方向に第ｎx番目（ｎx ＝１、２、・・・Ｎx）、縦方向に第ｎy番目の画素の値をｄnx,ny とすると、低解像度画像ｄはＮx行、Ｎy列の行列とみなすことができる。そして、この低解像度画像ｄは、第ｎx ＋（ｎy −１）Ｎx番目の要素がｄnx,ny であるＮxＮy次元ベクトル（図３（Ｂ）参照）で表すと、
ｄ＝（ｄ1,1，ｄ2,1，・・・，ｄNx,Ny）T
となる。すなわち、低解像度画像ｄは、ベクトルとして取り扱うことができる。
【００２７】
また、高解像度画像ｈは、横方向、および縦方向の画素数がＫx、Ｋyである画像とする。高解像度画像ｈの横方向、および縦方向の画素間隔は、それぞれΔHx、ΔHyとする。この高解像度画像ｈの横方向の長さｌx 、および縦方向の長さｌy は、
ｌx＝ＫxΔHx
ｌy＝ＫyΔHy
である。ここで、上述の低解像度画像ｄと同様に、左上の画素を原点とし、水平右向きにｘ軸、垂直下向きにｙ軸を考え、横方向に第ｋx 番目（ｋx ＝１、２、・・・Ｋx）、縦方向に第ｋy 番目（ｋy ＝１、２、・・・Ｋy）の画素の値をｈKx,Ky とすると、高解像度画像ｈはＫx行、Ｋy列の行列とみなすことができる。したがって、高解像度画像ｈは、第ｋx ＋（ｋy −１）Ｋx番目の要素がｈKx,Ky であるＫxＫy次元ベクトルで表すと、
ｈ＝（ｈ1,1，ｈ2,1，・・・，ｈKx,KKy）T
となる。すなわち、高解像度画像ｈも、低解像度画像ｄと同様にベクトルとして取り扱うことができる。
【００２８】
さらに、連続画像空間Ｈにおける座標平面上の領域［０，ｌx］×［０，ｌy］で定義された２乗可積分の連続画像をｆ（ｘ，ｙ）とし、連続空間Ｈの内積を、
【００２９】
【数１】
0004671352.tif 000002
【００３０】
で定義する。また、この連続画像空間Ｈのノルムを、
【００３１】
【数２】
0004671352.tif 000003
【００３２】
で定義する。
【００３３】
次に、連続画像空間Ｈにおける連続画像ｆ（ｘ，ｙ）の近似モデル（以下、近似モデル画像と言う）について説明する。ここでは、この近似モデル画像ｆ1（ｘ，ｙ）の線形モデルとして、
【００３４】
【数３】
0004671352.tif 000004
【００３５】
を用いる。ここでは、ｃkx,kyが第ｋx ＋（ｋy −１）Ｋx番目の要素であるＫxＫy次元ベクトルをｃで表す。この近似モデル画像ｆ1は、上述した高解像度画像ｈと同じ画素数の画像である。上述したように、高解像度画像ｈは、ＫxＫy次元ベクトルで表すことができる。すなわち、ｃは、高解像度画像ｈに対応する係数ベクトルである。ここで、図２に示すように、連続画像空間Ｈの連続画像ｆを係数ベクトルｃに関連づける作用素（この発明で言う第２の作用素）をＡrとすると、係数ベクトルｃは、
【００３６】
【数４】
0004671352.tif 000005
【００３７】
で示すことができる。作用素Ａrは、連続画像を高解像度画像ｈに関連づける作用素であってもよいし、連続画像ｆを高解像度画像ｈに対応する係数ベクトルｃに関連づける作用素であってもよい。ここでは、作用素Ａrを、連続画像を係数ベクトルｃに関連づける作用素として取り扱っている。ここで、ＫxＫy次元ユニタリ空間ＣKxKyから連続画像空間Ｈに対応付ける作用素、すなわち作用素Ａrの共役作用素（この発明で言う第３の作用素）、を図２に示すＡr *とすると、近似モデル画像ｆ1は、
ｆ1＝Ａr *ｃ
で表すことができる。作用素Ａの共役作用素Ａ*とは、実行列における転置の概念を一般の作用素に拡張したものであり、任意の連続画像空間Ｈの元ｆ、ｇに対して
＜Ａｆ，ｇ＞＝＜ｆ，Ａ*ｇ＞
を満たす作用素として定義したものである。また、作用素Ａrは、一般にノイマン−シャッテン積と呼ばれる演算子を用いることで、
【００３８】
【数５】
0004671352.tif 000006
【００３９】
と表すことができる。このノイマン−シャッテン積と呼ばれる演算子は、任意の連続画像空間Ｈの任意の元ｆ、ｇと、任意の空間Ｃkの任意の元ｈと、に対して、
【００４０】
【数６】
0004671352.tif 000007
【００４１】
によって定義され、連続画像空間Ｈから空間Ｃkへの作用素を表すものである。また、［数５］における「ｅkx+(ky-1)Kx (KxKy)」は、第ｋｘ＋（ｋｙ−１）Ｋｘ番目の要素が１で、それ以外の要素が０であるＫxＫy次元ベクトルである。［数５］は、［数４］と異なり、連続画像ｆを用いることなく作用素Ａrを表している。
【００４２】
また、低解像度画像ｄは、上述したように、ＮxＮy次元ベクトルで表すことができる。ここで、低解像度画像ｄにおける各画素の画素値ｄnx,nyは、ある関数ψ（ｘ、ｙ）を平行移動して得られる関数と、連続画像ｆと、の内積で表されると仮定する。すなわち、関数ψnx,nyを、
ψnx,ny（ｘ，ｙ）＝ψ（ｘ−ｘn，ｙ−ｙn）
と定義する。これにより、低解像度画像ｄの各画素の画素値ｄnx,nyは、
ｄnx,ny＝＜ｆ，ψnx,ny＞
で表されることになる。ここで、図２に示すように、連続画像空間Ｈの連続画像ｆを、ＮxＮy次元ユニタリ空間ＣNxNyの低解像度画像ｄに関連づける作用素（この発明で言う第１の作用素）をＡsとすると、低解像度画像ｄは、
ｄ＝Ａsｆ
となる。第１の作用素Ａsは、連続画像ｆを低解像度画像ｄに直接的に関連づける作用素であってもよいし、連続画像ｆを低解像度画像ｄに対応する係数ベクトルに関連づける作用素であってもよい。ここでは、作用素Ａsを、連続画像を低解像度画像ｄに関連づける作用素として取り扱っている。ここで、上述したノイマン−シャッテン積を用いることで、作用素Ａsは、
【００４３】
【数７】
0004671352.tif 000008
【００４４】
と表すことができる。［数７］における「ｅnx+(ny-1)Nx (NxNy)」は、第ｎｘ＋（ｎｙ−１）Ｎｘ番目の要素が１で、それ以外の要素が０であるＮxＮy次元ベクトルである。
【００４５】
さらに、ＮxＮy次元ユニタリ空間ＣNxNyの低解像度画像ｄ（ＮxＮy次元ベクトル）を、ＫxＫy次元ユニタリ空間ＣKxKyの高解像度画像ｈ（ＫxＫy次元ベクトル）に対応付ける行列をＸとすると、
ｃ＝Ｘｄ
で表すことができる。この行列Ｘは、ＫxＫy行ＮxＮy列の矩形行列である。以上のことから、近似モデル画像ｆ1は、
ｆ1＝Ａr *ＸＡsｆ
と表すことができる。したがって、ＮxＮy次元ユニタリ空間ＣNxNyの低解像度画像ｄ（ＮxＮy次元ベクトル）を、ＫxＫy次元ユニタリ空間ＣKxKyの高解像度画像ｈ（ＫxＫy次元ベクトル）に対応付ける行列Ｘを精度よく決めることで、低解像度画像ｄから近似モデル画像ｆ1を精度よく推定することができる。近似モデル画像ｆ1は、高解像度ＣＣＤカメラ２で撮像された高解像度画像ｈに対応する、連続画像空間Ｈにおける画像であり、低解像度画像ｄから推定し生成する復元画像の目標となる画像（目標画像）である。
【００４６】
ここで、［数３］における関数系｛ψkx,ky｝kx=1 Kx ky=1 Kyが張る連続画像空間Ｈの部分空間（以下、近似空間と言う。）をＶrと表し、上述の「ｄnx,ny＝＜ｆ，ψnx,ny＞」における関数系｛ψnx,ny｝nx=1 Nx ny=1 Nyが張る連続画像空間Ｈの部分空間（以下、サンプリング空間と言う。）をＶsで表し、さらにサンプリング空間Ｖsの直交補空間Ｖs’で表す。また、ここでは、
Ｖr＋Ｖs’＝Ｈ
が成立している場合を考えるものとする。この条件は、例えばＶrの次元がＶsの次元よりも大きい場合に成立する。この条件では、サンプリング空間Ｖsの直交補空間Ｖs’の連続画像ｆは、関数ψnx,ny（ｎx＝１，２，・・・Ｎx，ｎy＝１，２，・・・Ｎy）に直交している。したがって、連続画像ｆと関数ψnx,nyとの内積は０になる。すなわち、
【００４７】
【数８】
0004671352.tif 000009
【００４８】
が成立している。このことは、低解像度画像ｄがｄ＝０であることを意味しており、行列Ｘが線形であるかぎり、この低解像度画像ｄから推定される復元画像も０になる。連続画像空間は、一般に無限次元の空間であり、サンプリング空間Ｖsは有限次元の空間であることから、このような関数は必ず存在するといえる。また、近似空間Ｖrの近似モデル画像ｆ1は、連続画像空間Ｈの中で特に着目した画像であるので、低解像度画像ｄから全ての画像を精度良く復元できることが望ましい。しかし、低解像度画像ｄにおいてｄ＝０となる画像が近似空間Ｖrの中にも存在する。すなわち、
【００４９】
【数９】
0004671352.tif 000010
【００５０】
が成立している。このため、低解像度画像ｄから復元できる復元画像は、近似空間Ｖrと、サンプリング空間Ｖsの直交補空間Ｖs’との両方に含まれている共通空間
【００５１】
【数１０】
0004671352.tif 000011
【００５２】
の近似空間Ｖrにおける任意に固定した補空間に含まれている画像になる。この補空間をＬとすると、
【００５３】
【数１１】
0004671352.tif 000012
【００５４】
が成立する。［数１１］で用いた直和記号は、補空間Ｌと、［数１０］で示される共通空間と、において共通する空間が｛０｝であることを示す記号である。また、記号「＋」は、近似空間Ｖrと、サンプリング空間Ｖsの直交補空間Ｖs’とにおいて共通する空間が一般に｛０｝でないことを示すときに用いる記号である。上述した「Ｖr＋Ｖs’＝Ｈ」および［数１１］から、
【００５５】
【数１２】
0004671352.tif 000013
【００５６】
となる。すなわち、連続画像空間Ｈは、補空間Ｌとサンプリング空間Ｖsの直交補空間Ｖs’と、に直和分解されている。このことから、補空間Ｌの画像を復元でき、且つサンプリング空間Ｖsの直交補空間Ｖs’の画像が０になることが分かる。したがって、低解像度画像ｄから推定され、復元される復元画像は、サンプリング空間Ｖsの直交補空間Ｖs’に沿った補空間Ｌへの斜射影になる。
【００５７】
ここで、近似空間Ｖrと、サンプリング空間Ｖsの直交補空間Ｖs’との両方に含まれている共通空間の直交補空間を、補空間Ｌとして用いると、低解像度画像ｄから推定される復元画像は、サンプリング空間Ｖsを直交補空間Ｖs’に沿った近似空間Ｖrに射影した部分空間に含まれる。一方、この直交補空間は、サンプリング空間Ｖsに基づいて決定される空間であることから、低解像度画像ｄから推定する復元画像に対する考慮がなされていないことになる。したがって、近似空間Ｖrの中で重要な画像が復元されないことがある。一般に画像は、各画素の画素値の平均画像（一定値画像）と、変動部分の和で表すことができるので、この平均画像が精度よく推定できなかった画素が、推定された復元画像においてノイズとなってあらわれる。
【００５８】
そこで、この実施形態では、近似空間Ｖrと、サンプリング空間Ｖsの直交補空間Ｖs’との両方に含まれている共通空間の直交補空間を、補空間Ｌとして用いるのではなく、以下のようにして補空間Ｌを決定している。
【００５９】
まず、近似空間Ｖrに含まれていて、近似空間Ｖrとサンプリング空間Ｖsの直交補空間Ｖs’との両方に含まれている共通空間に含まれていない画像の中で、精度良く復元したい重要な画像（上記の平均画像）の集合を｛φi｝i=1 Iとする。この関数｛φi｝i=1 Iに含まれる画像は、例えば人間の視覚特性に重要な影響を与える低周波成分の画像や、コンピュータによる画像認識処理に与える影響が大きい画像である。言い換えれば、復元画像を利用するときに、重要な要素になる画像である。この関数｛φi｝i=1 Iに含まれる画像は、復元画像の利用に応じて適宜設定すればよい。また、関数｛φi｝i=1 Iで張られる近似空間Ｖrの部分空間をＶiとし、作用素Ａiを
【００６０】
【数１３】
0004671352.tif 000014
【００６１】
と定義する。［数１３］における、ｅi (I)は、第ｉ番目の要素が１で、それ以外の要素が０であるＩ次元ベクトルである。ここで、仮に、
【００６２】
【数１４】
0004671352.tif 000015
【００６３】
が成立していれば、補空間Ｌは部分空間Ｖiに一意に定まるのであるが、一般に［数１４］は成立しておらず、
【００６４】
【数１５】
0004671352.tif 000016
【００６５】
となっている。そこで、この実施形態では、［数１５］における左辺と右辺との隙間を埋める空間Ｖcを決定し、この空間Ｖcと部分空間Ｖiの直和を補空間Ｌとした。具体的にいうと、［数１５］における左辺と右辺との隙間を埋める空間Ｖcとして、近似空間Ｖrにおける
【００６６】
【数１６】
0004671352.tif 000017
【００６７】
の直交補空間を用いることにした。すなわち、補空間Ｌは、
【００６８】
【数１７】
0004671352.tif 000018
【００６９】
である。また、この補空間Ｌへのサンプリング空間Ｖsの直交補空間Ｖs’に沿った斜射影の作用素をＰL,Vs'とする。ここで、連続画像空間Ｈの連続画像ｆに対する近似モデル画像ｆ1が補空間Ｌへの、サンプリング空間Ｖsの直交補空間Ｖs’に沿った斜射影となるとき、すなわち、
【００７０】
【数１８】
0004671352.tif 000019
【００７１】
が成立するとき、この［数１８］における行列Ｘを特定画像完全復元射影フィルタと言う。この特定画像完全復元射影フィルタの一般形は
【００７２】
【数１９】
0004671352.tif 000020
【００７３】
で与えられる。図１９で用いた記号「Ｘ+」は、「Ｘ」のムーア・ペンローズの一般逆を示している。ここでＷは、部分空間Ｖi、Ｖcへの正射影作用素Ｐvi、Ｐvcによって、
Ｗ＝Ｐvi＋Ｐvc
と、定義される作用素である。また、Ｙは、ＫxＫy行ＮxＮy列の任意の行列である。ここでは、説明を簡単にするため、「Ｙ＝０」とし、特定画像完全復元射影フィルタ（行列Ｘ）を求める。
【００７４】
まず、行列Ｇを、
Ｇ＝ＡrＡr *
と定義する。［数５］より行列Ｇは、
【００７５】
【数２０】
0004671352.tif 000021
【００７６】
となる。この行列Ｇは、ＫxＫy行ＫxＫy列の正方行列である。また、行列Ｂを、
Ｂ＝ＡsＡs *
と定義する。［数５］および［数７］より行列Ｂは、
【００７７】
【数２１】
0004671352.tif 000022
【００７８】
となる。この行列Ｂは、ＮxＮy行ＫxＫy列の矩形行列である。また、行列Ｃ、および行列Ｄを、
Ｃ＝ＡrＡi *
Ｄ＝ＡsＡi *
と定義する。［数５］および［数１３］により行列Ｃは、
【００７９】
【数２２】
0004671352.tif 000023
【００８０】
となり、［数７］および［数１３］より行列Ｄは、
【００８１】
【数２３】
0004671352.tif 000024
【００８２】
となる。行列ＣはＫxＫy行Ｉ列の矩形行列であり、行列ＤはＮxＮy行Ｉ列の矩形行列である。さらに、行列Ｅを、
Ｅ＝ＡiＡi *
と定義する。［数１３］より行列Ｅは、
【００８３】
【数２４】
0004671352.tif 000025
【００８４】
となる。この行列Ｅは、Ｉ行Ｉ列の正方行列である。
【００８５】
ここで、Φ、Ψ、およびＺを
【００８６】
【数２５】
0004671352.tif 000026
【００８７】
と定義し、さらにＵ、Ｖを
【００８８】
【数２６】
0004671352.tif 000027
【００８９】
と定義する。これにより、［数１９］における行列Ｘの第１項は、
【００９０】
【数２７】
0004671352.tif 000028
【００９１】
と、表すことができる。ここで、行列Ｇが単位行列であるとすると、
【００９２】
【数２８】
0004671352.tif 000029
【００９３】
を用いて、行列Ｕ、Ｖは、
【００９４】
【数２９】
0004671352.tif 000030
【００９５】
となり、［数１９］における行列Ｘの第１項は、
【００９６】
【数３０】
0004671352.tif 000031
【００９７】
により、求めることができる。この行列Ｘが、上述したように、この実施形態にかかる画像高解像度化方法で用いる特定画像完全復元射影フィルタである。
【００９８】
ここで、低解像度ＣＣＤカメラにおけるＣＣＤ素子の配置間隔、および受光領域の大きさを用いて作用素Ａsを推定する手法、および高解像度ＣＣＤカメラにおけるＣＣＤ素子の配置間隔、および受光領域の大きさを用いて作用素Ａrを推定する手法について説明する。ここでは、説明を簡単にするために、ＣＣＤの受光特性を受光領域内で１、それ以外の部分で０であるとした場合を例にして説明する。作用素Ａsは、連続画像ｆから低解像度画像ｄを推定する作用素である。低解像度ＣＣＤカメラ１は、図４に示すように、ＣＣＤ素子が横方向にΔLx間隔でＮx個、縦方向にΔLy間隔でＮy個、配列されている。１つのＣＣＤ素子が１画素に相当する。横方向にｎx 番目、縦方向にｎy 番目に配列されているＣＣＤ素子の横方向の中心位置をｘnx 、縦方向の中心位置をｙny とすると、
【００９９】
【数３１】
0004671352.tif 000032
【０１００】
である。また、ＣＣＤ素子の受光領域は、ΔLx×ΔLyの全領域ではなく、図４に示すように、その一部である。
この受光領域の横方向の大きさは２ｒLx、縦方向の大きさは２ｒLyである。ＣＣＤ素子の中心と受光領域の中心とは一致しているものとする。そして、この受光領域における連続画像ｆの積分値が画素値ｄnx,ny である。したがって、横方向にｎx 番目、縦方向にｎy 番目に配列されているＣＣＤ素子の画素値ｄnx,ny は、
【０１０１】
【数３２】
0004671352.tif 000033
【０１０２】
となる。ここで、複素係数ｄvx (nx)，ｄvy (ny)，ｄvx,vy (nx,ny)をそれぞれ、
【０１０３】
【数３３】
0004671352.tif 000034
【０１０４】
と定義し、さらに関数ｖnx,ny（ｘ，ｙ）を
【０１０５】
【数３４】
0004671352.tif 000035
【０１０６】
と定義することにより、第ｎx，ｎy番目の画素値ｄnx,nyは
ｄnx,ny＝＜ｆ，ｖnx,ny＞
となり、これは連続画像ｆと関数ｖnx,ny との内積である。また、ｖnx,ny （ｘ，ｙ）は、低解像度ＣＣＤカメラ１の光学的特性や電気的特性を含む特性関数である。したがって、作用素Ａsは低解像度ＣＣＤカメラ１の光学的特性や電気的特性を含んでいる。
【０１０７】
また、上記作用素Ａrは、連続画像ｆから高解像度画像ｈに対応する係数ベクトルｃを推定する作用素である。高解像度ＣＣＤカメラ２は、図５に示すようにＣＣＤ素子が横方向にΔHx間隔でＫx個、縦方向にΔHy間隔でＫy個、配列されている。１つのＣＣＤ素子が１画素に相当する。横方向にｋx番目、縦方向にｋy番目に配列されているＣＣＤ素子の横方向の中心位置をｘkx、縦方向の中心位置をｙkyとすると、
【０１０８】
【数３５】
0004671352.tif 000036
【０１０９】
である。また、ＣＣＤ素子の受光領域は、ΔHx×ΔHyの全領域ではなく、図５に示すように、その一部である。この受光領域の横方向の大きさは２ｒHx、縦方向の大きさは２ｒHyである。ＣＣＤ素子の中心と受光領域の中心とは一致している。そして、この受光領域における連続画像ｆの積分値が画素値ｃkx,ky である。したがって、横方向にｋx 番目、縦方向にｋy 番目に配列されているＣＣＤ素子の画素値ｃkx,ky は、
【０１１０】
【数３６】
0004671352.tif 000037
【０１１１】
である。ここで、複素係数ｃvx (kx)，ｃvy (ky)，ｃvx,vy (kx,ky)をそれぞれ、
【０１１２】
【数３７】
0004671352.tif 000038
【０１１３】
と定義し、さらに関数ｕkx,ky（ｘ，ｙ）を
【０１１４】
【数３８】
0004671352.tif 000039
【０１１５】
と定義することにより、第ｋx，ｋy番目の画素値ｃkx,kyは
ｃkx,ky＝＜ｆ，ｕkx,ky＞
となり、これは連続画像ｆc と関数ｕkx,ky との内積である。また、ｕkx,ky（ｘ，ｙ）は、高解像度ＣＣＤカメラ２の光学的特性や電気的特性を含む特性関数である。したがって、作用素Ａrは高解像度ＣＣＤカメラ２の光学的特性や電気的特性を含んでいる。
【０１１６】
次に、［数３０］で求めた特定画像完全復元射影フィルタ（行列Ｘ）を用いて低解像度画像ｄから、近似モデル画像ｆ1に近い復元画像を推定し生成する画像高解像度化方法について説明する。図６は、この画像高解像度化方法にかかる処理を説明する図である。なお、特定画像完全復元射影フィルタ（行列Ｘ）については、予め求め、メモリ等の記憶部に記憶している。図６において、上部に示す格子は低解像度画像ｄの一部を示しており、下部に示す格子は復元画像ｆ0の一部を示している。格子の窓が１画素に相当する。
【０１１７】
図６の復元画像ｆ0に示した着目画素の画素値を求める場合について説明する。ここでは、復元画像ｆ0の各画素は低解像度画像ｄにおける、その画素が対応する位置を含む周辺のいくつかの画素に画素値の情報が含まれているとする、考えによるものである。図６では、低解像度画像ｄにおける、復元画像ｆ0の着目画素が対応する位置を含む周辺の縦横２×２の４画素に画素値の情報が含まれていると考えた場合を示している。この着目画素の画素値の情報が含まれていると考える低解像度画像ｄの画素からなる領域を、ここでは領域サイズと呼ぶ。
【０１１８】
なお、領域サイズは、図６に示す縦横２×２の４画素に限らず、３×３の９画素、４×４の１６画素、２×３の６画素、３×４の１２画素等にしてもよいが、この領域サイズは余り大きくしないほうが好ましい。その理由は、復元画像ｆ0の生成にかかる計算量を抑えるとともに、復元画像ｆ0の画素に対してその画素値にかかる情報を含んでいない低解像度画像ｄの画素が与える影響を抑えるためである。
【０１１９】
ここでは、低解像度画像ｄにおける領域サイズの画素を用いて、着目画素の画素値を求める。図７は、低解像度画像ｄにおける領域サイズの画素と、復元画像ｆ0の着目画素との位置関係を示す図である。ここでは、領域サイズの左上を座標原点に設定している。領域サイズの画素数Ｎx、Ｎyは、ともに２である。領域サイズの各画素の中心位置（ｘNx，ｙNy）は、［数３１］により与えられる。ＣＣＤ素子の受光領域は、上述したように、ΔLx×ΔLyの全領域ではなく、その一部である（図４参照）。ここで、復元画像ｆ0は、その画素位置が（γmx，ηmy）で表され、且つ受光素子の特性は画素に関係なく一定で関数ξ（ｘ，ｙ）の平行移動で表されるものとする。ここでは、関数ξ（ｘ，ｙ）を、
ξmx，my（ｘ，ｙ）＝ξ（ｘ−γmx，ｙ−ηmy）
と定義する。これにより、復元画像ｆ0 の画素値ｈmx,myについては、
ｈmx,my＝＜ｆ1，ξmx，my＞
で表すことができる。したがって、復元画像ｆ0の画素値ｈmx,myは、
ｈmx,my＝＜Ａr *ｃ，ξmx，my＞＝＜Ａr *Ｘｄ，ξmx，my＞＝＜ｄ，Ｘ*Ａrξmx，my＞
になるので、
α(mx,my)＝Ｘ*Ａrξmx，my
と定義することにより、復元画像ｆ0の画素値ｈmx,myは、
ｈmx,my＝＜ｄ，α(mx,my)＞
で表すことができる。ここで、α(mx,my)は、ＮxＮy次元ベクトルである。したがって、復元画像ｆ0の画素値ｈmx,myは、低解像度画像ｄの画素値ｄnx,nyと、α(mx,my)の成分αnx+(ny-1)Nx (mx,my)との積和演算により求めることができる。すなわち、復元画像ｆ0の各画素の画素値ｈmx,myは、
【０１２０】
【数３９】
0004671352.tif 000040
【０１２１】
により求めることができる。
【０１２２】
このように、この実施形態の画像高解像度化方法は、近似空間Ｖrに含まれていて、近似空間Ｖrとサンプリング空間Ｖsの直交補空間Ｖs’との両方に含まれている共通空間に含まれていない画像の中で、完全に復元したい重要な画像（上記の平均画像）の集合を｛φi｝i=1 Iとし、この関数｛φi｝i=1 Iに含まれる画像を完全に復元する作用素である行列Ｘを特定画像完全復元射影フィルタとして用い、低解像度画像ｄから推定される復元画像ｆ0を生成する。このため、精度良く復元したい重要な画像については、略確実に復元することができる。
【０１２３】
また、上記特定画像完全復元射影フィルタ（行列Ｘ）は、任意の連続画像ｆを低解像度ＣＣＤカメラ１で撮像した低解像度画像ｄから推定し生成される復元画像ｆ0が対応する目標画像ｆ1に近い画像になるように、低解像度ＣＣＤカメラ１と高解像度ＣＣＤカメラ２により、連続画像空間に存在する同じ連続画像ｆを撮像した、低解像度画像ｄと高解像度画像ｈからなる対の画像（以下、一対の画像と言う。）１組で決定するのではなく、複数組用いて統計的に決定するのが好ましい。特定画像完全復元射影フィルタを決定する際に利用する、一対の画像の総組数についてはできるだけ多いほうがよい。
【０１２４】
また、解像度の倍率を定めておくと、復元画像ｆ0の画素位置（γmx，ηmy）は、数種類に限定される。例えば、領域サイズを２×２の４画素とし、解像度の倍率を縦横１．５倍とした場合、復元画像ｆ0の画素位置（γmx，ηmy）は、図８（Ａ）〜（Ｉ）に示す９種類であり、この場合に現れるα(mx,my)も９種類である。したがって、領域サイズにおける着目画素の位置（γmx，ηmy）毎に、α(mx,my)（係数ベクトル）を求めておき、領域サイズにおける着目画素の位置（γmx，ηmy）によって使い分ければ、［数３９］の積和演算を行うことで、復元画像ｆ0の着目画素の画素値を求めることができる。言い換えれば、復元画像ｆ0の画素毎に、その画素を着目画素に指定し、上記処理で画素値を求めることで、低解像度画像ｄから復元画像ｆ0を生成することができる。
【０１２５】
なお、α(mx,my)には、領域サイズにおける着目画素の位置に応じた位置係数だけでなく、上述した説明から明らかなように、低解像度ＣＣＤカメラ１、および高解像度ＣＣＤカメラ２の光学的特性や電気的特性が含まれている。
【０１２６】
以上のように、この実施形態の画像高解像度化方法によれば、領域サイズにおける着目画素の位置（γmx，ηmy）毎に予め係数ベクトルα(mx,my)を求めておき、以下の１〜４の処理を復元画像ｆ0の画素毎に行うことで、低解像度画像ｄからより画素数の多い復元画像ｆ0を精度良く推定し、生成することができる。
１．復元画像ｆ0の着目画素を指定し、
２．低解像度画像ｄにおける指定された着目画素に対する領域サイズを特定し、
３．領域サイズにおける着目画素の位置に応じた係数ベクトルを特定し、
４．［数３９］の積和演算を行う。
【０１２７】
このように、復元画像ｆ0の各画素の画素値が簡単な積和演算により求められるので、低解像度画像から復元画像ｆ0を生成する際の計算量を十分に抑えることができ、膨大な容量のメモリを有していない一般的なパーソナルコンピュータ等の情報処理装置でも、数万画素の低解像度画像ｄから高解像度画像ｈに近い復元画像ｆ0を推定し、生成することができる。また、復元画像ｆ0の画素毎に、その画素値にかかる情報が含まれていない低解像度ｄの画素（復元画像ｆ0のこの画素が対応する位置からある程度離れた低解像度画像ｄの画素）の影響を受けることなく、その画素値を求めることができる。したがって、低解像度ＣＣＤカメラ１で撮像した低解像度画像ｄから、高解像度ＣＣＤカメラ２にて撮像したときに得られる高解像度画像ｈに近い復元画像ｆ0を推定し、生成することができる。
【０１２８】
次に、この発明の実施形態である画像高解像度化装置について説明する。図９は、この発明の実施形態である画像高解像度化装置の機能構成を示すブロック図である。この実施形態の画像高解像度化装置１１、本体の動作を制御する制御部１２と、低解像度ＣＣＤカメラ１で撮像された撮像画像（低解像度画像ｄ）の入力を受け付ける画像入力部１３と、画像入力部１３に入力された低解像度画像ｄについて手ぶれ等による劣化を復元し、且つ高解像度化した画像（復元画像ｆ0）を生成する高解像度化部１４と、高解像度化部１４で高解像度化した復元画像ｆ0 を出力する画像出力部１５とを備えている。
【０１２９】
低解像度ＣＣＤカメラ１は、画素数がＮx×Ｎyである、比較的解像度の低い安価なＣＣＤカメラである。
制御部１２は、上記画像高解像度化方法で説明した係数ベクトルα(mx,my)を、領域サイズにおける着目画素の位置（γmx，ηmy）毎に求めた値、を記憶している。低解像度ＣＣＤカメラ１で撮像された低解像度画像ｄは画像入力部１３に入力される。高解像度化部１４は、復元画像ｆ0の画素毎に、
１．着目画素として指定し、
２．低解像度画像ｄにおける指定された着目画素に対する領域サイズを特定し、
３．領域サイズにおける着目画素の位置に応じて、制御部１２に記憶している係数ベクトルを特定し、
４．上記［数３９］の積和演算を行う。
【０１３０】
係数ベクトルα(mx,my)には、領域サイズにおける着目画素の位置に応じた位置係数だけでなく、低解像度ＣＣＤカメラ１、および高解像度ＣＣＤカメラ２の光学的特性や電気的特性が含まれている。また、復元画像ｆ0の画素毎に、低解像度画像ｄにおける、その画素が対応する位置を含む周辺のいくつかの画素、例えば縦横２×２の４画素、を用いて、その画素値の情報を求めるので、その画素値にかかる情報が含まれていない低解像度画像ｄの画素の影響を受けることなく、その画素値を求めることができる。したがって、高解像度化部１４において、この低解像度画像ｄと同じ連続画像ｆを高解像度ＣＣＤカメラ２で撮像した高解像度画像ｈに近い復元画像ｆ0を生成することができる。さらに、低解像度画像ｄから復元画像ｆ0を生成する際の計算量を十分に抑えているので、膨大な容量のメモリを有していない一般的なパーソナルコンピュータ等の情報処理装置でも、数万画素の低解像度画像ｄから高解像度画像ｈに近い復元画像ｆ0を推定し、生成することができ、装置本体を安価にできる。高解像度化部１４で復元された復元画像ｆ0は画像出力部１５から出力される。
【０１３１】
この実施形態の画像高解像度化装置１１を、例えば人の出入を監視する監視システムに利用すれば、低解像度ＣＣＤカメラ１で撮像した低解像度画像ｄ（監視画像）を、高解像度画像ｈに近い復元画像ｆ0 に高解像度化してから、記録することができるので、この監視システムに用いるＣＣＤカメラを、比較的安価な低解像度ＣＣＤカメラ１で実現することができる。したがって、監視システムのコストダウンが図れる。
【０１３２】
また、低解像度ＣＣＤカメラ１で撮像した低解像度画像ｄ（監視画像）をそのまま記録し、必要に応じて記録している低解像度画像ｄを高解像度画像ｈに近い復元画像ｆ0 に高解像度化するようにしてもよい。このようにすれば、画像を記録する記録媒体の記録容量を抑えることができ、一層のコストダウンが図れる。
【０１３３】
次に、この発明の実施形態である画像認識装置について説明する。図１０は、この発明の実施形態である画像認識装置の構成を示すブロック図である。図１０では、図９と同じ構成については同じ符号を付している。
【０１３４】
この実施形態の画像認識装置２１は、本体の動作を制御する制御部１２と、低解像度ＣＣＤカメラ１で撮像された撮像画像（低解像度画像ｄ）の入力を受け付ける画像入力部１３と、画像入力部１３に入力された低解像度画像ｄについて手ぶれ等による劣化を復元し、且つ高解像度化した画像（復元画像ｆ0）を生成する高解像度化部１４と、高解像度化部１４で高解像度化した復元画像ｆ0 を認識する画像認識部２２と、認識結果を出力する認識結果出力部２３と、を備えている。
【０１３５】
この実施形態の画像認識装置２１は、高解像度化部１４で高解像度化された復元画像ｆ0を画像認識部２２で認識する。画像認識部２２は、復元画像ｆ0から認識対象の画像、例えば交通監視システムでは車両のナンバープレートの画像、を切り出し、この切り出した画像について認識処理を行う。上述の画像高解像度化装置１１において説明したように、高解像度化部１４において、低解像度画像ｄと同じ連続画像ｆを高解像度ＣＣＤカメラ２で撮像した高解像度画像ｈに近い復元画像ｆ0を生成することができる。したがって、本体に入力された低解像度画像ｄが比較的低解像度の画像であっても、画像認識部２２における認識率を低下させることがない。
【０１３６】
したがって、比較的安価な低解像度ＣＣＤカメラ１を利用することができ，交通監視システムのコストダウンが図れる。
【０１３７】
図１１に、この画像認識装置２１において低解像度ＣＣＤカメラ１で撮像した低解像度画像ｄ（図１１（Ａ））、高解像ＣＣＤカメラ２で撮像した高解像度画像ｈ（図１１（Ｂ））、およびこの低解像度画像ｄから復元された復元画像ｆ0 （図１１（Ｃ）、（Ｄ））を示す。図１１（Ｃ）は領域サイズを２×２の４画素とした場合であり、図１１（Ｄ）は領域サイズを３×３の９画素とした場合である。この図１１から明らかなように、低解像度画像ｄから高解像度画像ｈに近い復元画像ｆ0が生成できていることが分かる。
【０１３８】
なお、この発明にかかる画像高解像度化方法は、ＣＣＤカメラで撮像した低解像度画像を処理する装置であれば、上記以外の装置にも適用できる。
【図面の簡単な説明】
【０１３９】
【図１】画像高解像度化の概要を説明する図である。
【図２】連続画像空間，低解像度画像空間、高解像度画像空間の関係を示す図である。
【図３】（Ｎx×Ｎy）次元実ベクトルによる画像の取り扱いを説明する図である。
【図４】低解像度ＣＣＤカメラにおけるＣＣＤ素子のモデルを示す図である。
【図５】高解像度ＣＣＤカメラにおけるＣＣＤ素子のモデルを示す図である。
【図６】この発明の実施形態である画像高解像度化方法を説明する図である。
【図７】低解像度画像ｄにおける領域サイズの画素と、復元画像ｆ0の着目画素との位置関係を示す図である。
【図８】領域サイズにおける着目画素の位置を示す図である。
【図９】この発明の実施形態である画像高解像度化装置の機能構成を示すブロック図である。
【図１０】この発明の実施形態である画像認識装置の機能構成を示すブロック図である。
【図１１】低解像度画像、復元画像、高解像度画像の違いを説明する図である。
【符号の説明】
【０１４０】
１−低解像度ＣＣＤカメラ
２−高解像度ＣＣＤカメラ
１１−画像高解像度化装置
１２−制御部
１３−画像入力部
１４−高解像度化部
１５−画像出力部
２１−画像認識装置
２２−画像認識部
２３−認識結果出力部
【図１】
0004671352.tif 000041
【図２】
0004671352.tif 000042
【図３】
0004671352.tif 000043
【図４】
0004671352.tif 000044
【図５】
0004671352.tif 000045
【図６】
0004671352.tif 000046
【図７】
0004671352.tif 000047
【図８】
0004671352.tif 000048
【図９】
0004671352.tif 000049
【図１０】
0004671352.tif 000050
【図１１】
0004671352.tif 000051