(57)【特許請求の範囲】
【請求項１】
有限次元ヒルベルト空間である連続画像空間に存在する対象物の画像を、この対象物を画素数がＮLx×ＮLyである低解像度ＣＣＤカメラで撮像した観測画像に対応付ける第１の作用素、および前記連続画像空間に存在する対象物の画像を、この対象物を画素数がＮHx×ＮHy（ＮLx×ＮLy＜ＮHx×ＮHy）である高解像度ＣＣＤカメラで撮像した目標画像に対応付ける第２の作用素に基づいて求めた作用素であって、前記観測画像に作用させることにより、前記目標画像と同じ画素数で、且つ前記高解像度ＣＣＤカメラでこの観測画像と同じ対象物を撮像したときに得られる目標画像の推定画像である復元画像を生成する復元作用素を記憶手段に記憶しておき、
前記低解像度ＣＣＤカメラから、前記連続画像空間に存在する任意の対象物を撮像した観測画像が観測画像入力手段に入力されると、前記記憶手段が記憶している前記復元作用素を、今回入力された観測画像に作用させて前記復元画像を生成する画像高精細化方法であって、
生成する復元画像の画素毎に、前記観測画像入力手段に入力された観測画像に対して、生成する復元画像の画素が対応する位置を含み、その周辺に位置する所定数の画素からなる領域サイズを設定し、ここで設定した領域サイズに位置する観測画像に、前記復元作用素を作用させて画素値を求めることにより復元画像を生成し、
前記復元作用素は、前記第１の作用素、第２の作用素に加えて、前記領域サイズに位置する各画素に、画素値を求める復元画像の画素との位置に応じた位置係数を作用させる作用素であるとともに、
前記第１の作用素は、前記低解像度ＣＣＤカメラにおけるＣＣＤ素子の配置間隔、および受光領域の大きさを用いて求めた作用素であり、
前記第２の作用素は、前記高解像度ＣＣＤカメラにおけるＣＣＤ素子の配置間隔、および受光領域の大きさを用いて求めた作用素である、画像高解像度化方法。
【請求項２】
前記復元作用素は、前記第１の作用素についての最適復元フィルタ、前記第２の作用素、および前記位置係数を観測画像に作用させる作用素である請求項１に記載の画像高解像度化方法。
【請求項３】
前記第１の作用素、および前記第２の作用素は、前記低解像度ＣＣＤカメラ、および前記高解像度ＣＣＤカメラで同じ対象物を撮像した一対の前記観測画像と前記目標画像を、複数組用いて求める請求項１、または２に記載の画像高解像度化方法。
【請求項４】
有限次元ヒルベルト空間である連続画像空間に存在する対象物の画像を、この対象物を画素数がＮLx×ＮLyである低解像度ＣＣＤカメラで撮像した観測画像に対応付ける第１の作用素、および前記連続画像空間に存在する対象物の画像を、この対象物を画素数がＮHx×ＮHy（ＮLx×ＮLy＜ＮHx×ＮHy）である高解像度ＣＣＤカメラで撮像した目標画像に対応付ける第２の作用素に基づいて求めた作用素であって、前記観測画像に作用させることにより、前記目標画像と同じ画素数で、且つ前記高解像度ＣＣＤカメラでこの観測画像と同じ対象物を撮像したときに得られる目標画像の推定画像である復元画像を生成する復元作用素を記憶する記憶手段と、
上記低解像度ＣＣＤカメラで撮像した上記観測画像を入力する観測画像入力手段と、
上記記憶手段が記憶している上記復元作用素を、上記観測画像入力手段に入力された観測画像に作用させて上記復元画像を生成する画像高解像度化手段と、を備えた画像高解像度化装置であって、
前記画像高解像度化手段は、生成する復元画像の画素毎に、前記観測画像入力手段に入力された観測画像に対して、生成する復元画像の画素が対応する位置を含み、その周辺に位置する所定数の画素からなる領域サイズを設定し、ここで設定した領域サイズに位置する観測画像に、前記復元作用素を作用させて画素値を求めることにより復元画像を生成し、
前記復元作用素は、前記第１の作用素、第２の作用素に加えて、前記領域サイズに位置する各画素に、画素値を求める復元画像の画素との位置に応じた位置係数を作用させる作用素であるとともに、
前記第１の作用素は、前記低解像度ＣＣＤカメラにおけるＣＣＤ素子の配置間隔、および受光領域の大きさを用いて求めた作用素であり、
前記第２の作用素は、前記高解像度ＣＣＤカメラにおけるＣＣＤ素子の配置間隔、および受光領域の大きさを用いて求めた作用素である、画像高解像度化装置。
【請求項５】
前記復元作用素は、前記第１の作用素についての最適復元フィルタ、前記第２の作用素、および前記位置係数を観測画像に作用させる作用素である請求項４に記載の画像高解像度化装置。
【請求項６】
前記第１の作用素、および前記第２の作用素は、前記低解像度ＣＣＤカメラ、および前記高解像度ＣＣＤカメラで同じ対象物を撮像した一対の前記観測画像と前記目標画像を、複数組用いて求める請求項４、または５に記載の画像高解像度化装置。
【請求項７】
請求項４〜６のいずれかに記載の画像高解像度化装置を適用した画像認識装置であって、
上記復元画像出力手段が出力した上記復元画像を認識する画像認識手段を備えた画像認識装置。
【請求項８】
上記画像認識手段は、復元画像から車両のナンバープレートを抽出し、ここで抽出したナンバープレートのナンバーを認識する請求項７に記載の画像認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、比較的画素数が少ない低解像度ＣＣＤカメラで連続画像空間に存在する対象物を撮像した低解像度画像（観測画像）から、比較的画素数が多い高解像度ＣＣＤカメラで同じ対象物を撮像したときに得られる高解像度画像（目標画像）を、復元画像として推定する画像高解像度化方法、画像高解像度化装置、および上記復元画像を認識する画像認識装置に関する。
【背景技術】
【０００２】
従来、道路における渋滞状況、停止車両、事故車両等を監視する交通監視システムや、人の出入を監視する防犯システム等、色々なシステムでＣＣＤカメラが利用されている。例えば、交通監視システムでは、ＣＣＤカメラで撮像した道路上の車両の撮像画像から、この車両のナンバープレートのナンバーを認識し、車両を特定している。また、防犯システムでは、出入している人を撮像した撮像画像を記録したり、この撮像画像から撮像された人の顔を認識し、その人を特定している。
【０００３】
ＣＣＤカメラで撮像した撮像画像を認識する画像認識装置は、撮像画像の解像度が高いほど認識率が良くなる。言い換えれば、認識率は撮像画像の解像度が低くなるにつれて低下する。このため、上記交通監視システムや防犯システム等、撮像画像を認識するシステムでは、認識率を確保するために比較的解像度の高いＣＣＤカメラを使用している。ＣＣＤカメラは、解像度が高くなるにつれて高価になる。例えば２０００×５００画素のＣＣＤカメラは数百万円もするが、１３００×５００画素のＣＣＤカメラは数十万円である。また、撮像画像を認識しないシステム（撮像画像を記録するだけのシステム）であっても、少なくとも撮像されている人物等が目視確認できる程度の解像度が要求される。このような現状において、交通監視システムや防犯システム等、ＣＣＤカメラを使用する様々なシステム（ＣＣＤカメラを内蔵した装置も含む）のコストを安価にする技術として、解像度の低い低解像度ＣＣＤカメラで撮像した撮像画像（観測画像）から、解像度が高い高解像度ＣＣＤカメラで撮像したときに得られる高解像度画像（目標画像）を推定し、生成する画像高解像度化にかかる技術の開発が要望されている。
【０００４】
なお、ここで言う画像高解像度化にかかる技術とは、低解像度ＣＣＤカメラで撮像した撮像画像から、高解像度ＣＣＤカメラで撮像したときに得られる、より画素数の多い高解像度の復元画像を生成する技術である。
【０００５】
従来提案されている、画素数がＮLx×ＮLyである撮像画像（観測画像）から、画素数がＮHx×ＮHy（ＮLx×ＮLy＜ＮHx×ＮHy）である復元画像を生成する画像高解像度化にかかる技術は、画素を観測画像に内挿（追加）して、画素数がＮHx×ＮHyである復元画像を生成するものであり、例えば共一次内挿法や３次畳み込み内挿法がある。また、観測画像におけるブレを復元する方法として、例えば射影フィルタや部分射影フィルタが提案されている（例えば、特許文献１、２）。
【０００６】
【特許文献１】特開平５−１３５１６７号公報
【特許文献２】特開平５−２０５０４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記共一次内挿法や３次畳み込み内挿法等の従来の画像高解像度化にかかる技術により生成される復元画像は、観測画像に対して画素を内挿（追加）して高解像度化する技術であり、観測画像の画素については何ら調整していない。また、観測画像に内挿する画素は、この内挿する画素の周囲に位置する複数の画素（観測画像の画素）に基づいて、１次関数や３次関数などの極めて単純な関数を用いて、その画素値を決定している。このため、生成された復元画像において、エッジが不明瞭になる等、実際に高解像度ＣＣＤカメラで撮像した目標画像に近い復元画像を生成することができなかった。また、従来の画像高解像度化にかかる技術では、低解像度ＣＣＤカメラと高解像度ＣＣＤカメラとの間における光学的特性や、電気的特性の違いについて考慮しておらず、生成される復元画像は実際に撮像した連続画像空間に存在する対象物の画像（以下、連続画像と言う。）がどのような画像であるか考慮されていない画像であった。連続画像空間は、例えば有限次元ヒルベルト空間である。
【０００８】
なお、上記ＣＣＤカメラの光学的特性とは例えばレンズの開口特性、空間周波数応答特性であり、電気的特性とは例えばＣＣＤのＡ／Ｄ変換特性である。
【０００９】
また、特許文献１、２に述べられている射影フィルタや部分射影フィルタを用いて観測画像におけるブレ等の劣化を復元する方法は、観測画像と復元された画像とはその画素数が同じであり、低解像度の観測画像から、より画素数の多い高解像度の画像（復元画像）を生成するための手法ではなく、画像を高解像度化することはできない。
【００１０】
この発明の目的は、有限次元ヒルベルト空間である連続画像空間に存在する対象物の画像を低解像度ＣＣＤカメラで撮像した観測画像から、この対象物を高解像度ＣＣＤカメラで撮像したときに得られる目標画像に近い復元画像を生成することができ、また復元画像を生成する際の計算量を抑えた実用的な画像高解像度化方法、および画像高解像度化装置を提供することにある。
【００１１】
また、上記画像高解像度化装置を適用することにより、撮像画像の認識率を低下させることなく、本体のコストダウンを図った画像認識装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
この発明の画像高解像度化方法は、上記課題を解決するために、
有限次元ヒルベルト空間である連続画像空間に存在する対象物の画像を、この対象物を画素数がＮLx×ＮLyである低解像度ＣＣＤカメラで撮像した観測画像に対応付ける第１の作用素、および前記連続画像空間に存在する対象物の画像を、この対象物を画素数がＮHx×ＮHy（ＮLx×ＮLy＜ＮHx×ＮHy）である高解像度ＣＣＤカメラで撮像した目標画像に対応付ける第２の作用素に基づいて求めた、前記観測画像に作用させて、前記目標画像と同じ画素数で、且つ前記高解像度ＣＣＤカメラでこの観測画像と同じ対象物を撮像したときに得られる目標画像の推定画像である復元画像を生成する復元作用素を記憶手段に記憶しておき、
前記連続画像空間に存在する任意の対象物を、前記低解像度ＣＣＤカメラで撮像した観測画像が観測画像入力手段に入力されると、前記記憶手段が記憶している前記復元作用素を、今回入力された観測画像に作用させて前記復元画像を生成する画像高精細化方法であって、
生成する復元画像の画素毎に、前記観測画像入力手段に入力された観測画像に対して、生成する復元画像の画素が対応する位置を含み、その周辺に位置する所定数の画素からなる領域サイズを設定し、ここで設定した領域サイズに位置する観測画像に、前記復元作用素を作用させて画素値を求めることにより復元画像を生成し、
前記復元作用素は、前記第１の作用素、第２の作用素に加えて、前記領域サイズに位置する各画素に、画素値を求める復元画像の画素との位置に応じた位置係数を作用させる作用素であるとともに、
前記第１の作用素は、前記低解像度ＣＣＤカメラにおけるＣＣＤ素子の配置間隔、および受光領域の大きさを用いて求めた作用素であり、
前記第２の作用素は、前記高解像度ＣＣＤカメラにおけるＣＣＤ素子の配置間隔、および受光領域の大きさを用いて求めた作用素である。
【００１３】
この構成では、有限次元ヒルベルト空間である連続画像空間に存在する対象物の画像（以下、連続画像と言う。）をｆc 、観測画像をｇ、目標画像をｆとしたときに、
ｇ＝ＡL ×ｆc
ｆ＝ＡH ×ｆc
となる、ＡL を第１の作用素として求め、ＡH を第２の作用素として求める。この第１の作用素には、低解像度ＣＣＤカメラの光学的特性や電気的特性等が含まれている。また、第２の作用素には、高解像度ＣＣＤカメラの光学的特性や電気的特性等が含まれている。
【００１４】
また、復元画像の各画素は、観測画像における、復元画像のこの画素が対応する位置を含み、その周辺に位置する所定数の観測画像の画素に、その画素値にかかる情報が含まれていると考えられる。一方、復元画像の各画素は、観測画像における復元画像のこの画素が対応する位置からある程度離れた観測画像の画素に、その画素値にかかる情報が含まれていないと考えられる。ここで所定数の画素は、例えば２×２の４画素、３×３の９画素、４×４の１６画素である。復元画像の画素毎に、観測画像における、この所定数の画素からなる領域サイズの画像に対して、復元作用素を作用させて、その画素値を求める。
【００１５】
また、復元作用素は、上記第１の作用素と第２の作用素とを用いて求めた作用素である。したがって、復元作用素には低解像度ＣＣＤカメラ、および高解像度ＣＣＤカメラの光学的特性や電気的特性が含まれている。さらに、この復元作用素は、領域サイズに位置する観測画像の画素毎に、画素値を求める復元画像の画素との位置に応じた位置係数を作用させる。例えば、この復元作用素は、上記第１の作用素についてのムーアペンローズの一般逆作用素である射影フィルタＡL+ 等、観測画像を連続画像に復元する作用素と、連続画像を目標画像に対応付ける第２の作用素と、領域サイズに位置する観測画像の画素毎に、画素値を求める復元画像の画素との位置に応じた位置係数を作用させる作用素と、の積からなる作用素である。
【００１６】
したがって、復元画像の各画素について、その画素値を求める際の計算量を十分に抑えることができ、結果的に観測画像から復元画像を生成する際の計算量を抑えることができる。また、低解像度ＣＣＤカメラ、および高解像度ＣＣＤカメラの光学的特性や電気的特性が含まれている復元作用素を低解像度ＣＣＤカメラで撮像した観測画像に作用させているとともに、復元画像の画素毎に、その画素値にかかる情報が含まれていない観測画像の画素（復元画像のこの画素が対応する位置からある程度離れた観測画像の画素）の影響を受けることなく、その画素値を求めているので、実際に高解像度ＣＣＤカメラで撮像したときに得られる目標画像に近い復元画像を生成することができる。
【００１７】
さらに、上記第１の作用素、および上記第２の作用素を、上記低解像度ＣＣＤカメラ、および上記高解像度ＣＣＤカメラで同じ対象物を撮像した一対の上記観測画像と上記目標画像を、複数用いて統計的に求めることで、より適正な復元作用素を求めることができ、観測画像から目標画像により近い復元画像を推定し、生成することができる。
【００１８】
また、この発明にかかる画像高解像度化装置は、前記復元作用素を記憶手段に記憶し、画像高解像度化手段が観測画像入力手段に入力された低解像度ＣＣＤカメラで撮像された観測画像を、記憶手段に記憶している復元作用素を用いて復元画像を生成する。したがって、上記画像高解像度化方法により生成される復元画像と同様に、復元画像の各画素について、その画素値を求める際の計算量を十分に抑えることができ、結果的に観測画像から復元画像を生成する際の計算量を抑えることができる。また、低解像度ＣＣＤカメラ、および高解像度ＣＣＤカメラの光学的特性や電気的特性が含まれている復元作用素を低解像度ＣＣＤカメラで撮像した観測画像に作用させているとともに、復元画像の画素毎に、その画素値にかかる情報が含まれていない観測画像の画素（復元画像のこの画素が対応する位置からある程度離れた観測画像の画素）の影響を受けることなく、その画素値を求めているので、実際に高解像度ＣＣＤカメラで撮像したときに得られる目標画像に近い復元画像を生成することができる。
【００１９】
さらに、この発明にかかる画像認識装置は、上記画像高解像度化装置を適用することにより、低解像度ＣＣＤカメラで撮像された観測画像に対する、認識率の低下を防止することができる。したがって、この画像認識装置を用いる、交通監視システム等において、認識率を低下させることなく、本システムで使用するＣＣＤカメラを低解像度のものにでき、システムのコストダウンが図れる。
【発明の効果】
【００２０】
この発明によれば、復元画像の各画素について、その画素値を求める際の計算量を十分に抑えることができ、結果的に観測画像から復元画像を生成する際の計算量を抑えることができる。また、低解像度ＣＣＤカメラ、および高解像度ＣＣＤカメラの光学的特性や電気的特性が含まれている復元作用素を低解像度ＣＣＤカメラで撮像した観測画像に作用させているとともに、復元画像の画素毎に、その画素値にかかる情報が含まれていない観測画像の画素（復元画像のこの画素が対応する位置からある程度離れた観測画像の画素）の影響を受けることなく、その画素値を求めているので、実際に高解像度ＣＣＤカメラで撮像したときに得られる目標画像に近い復元画像を生成することができる。
【発明を実施するための最良の形態】
【００２１】
まず最初に、この発明の実施形態である画像高解像度化方法について説明する。この実施形態の画像高解像度化方法は、以下で説明する考えに基くものであり、本願発明者は各点射影フィルタ法と命名した。以下の説明では、この各点射影フィルタ法の前提とした、射影フィルタを用いた画像高解像度化方法について説明し、その後で今回の発明にかかる各点射影フィルタ法について説明する。この各点射影フィルタ法は、前提とした射影フィルタを用いた画像高解像度化方法を改良したものである。
【００２２】
図１は、射影フィルタを用いた画像高解像度化方法の概念を示す図である。図１において、Ｈは撮像対象が存在する連続画像空間である。１は、その画素数がＮLx×ＮLyである低解像度ＣＣＤカメラであり、２はその画素数がＮHx×ＮHy（ＮLx×ＮLy＜ＮHx×ＮHy）である高解像度ＣＣＤカメラである。また、ｆcは連続画像空間Ｈに存在している対象物の画像（以下、連続画像と言う。）であり、ｇは低解像度ＣＣＤカメラ１で連続画像ｆcを撮像した観測画像であり、ｆhは高解像度ＣＣＤカメラ２で連続画像ｆcを撮像した目標画像である。ここで観測画像ｇが存在する空間を低解像度画像空間、目標画像ｆhが存在する空間を高解像度画像空間とする。この射影フィルタを用いた画像高解像度化方法は、この発明にかかる各点射影フィルタ法と同様に観測画像ｇから目標画像ｆhに近い復元画像ｆ0を生成する方法である。
【００２３】
図２を参照しながら、連続画像空間Ｈに存在する連続画像ｆc、低解像度画像空間に存在する観測画像ｇ、および高解像度画像空間に存在する目標画像ｆhの関係について説明する。連続画像ｆcに作用させて観測画像ｇを得る作用素（この発明で言う第１の作用素）がＡLであり、連続画像ｆcに作用させて高解像度画像ｆhを得る作用素（この発明で言う第２の作用素）がＡH、観測画像ｇに作用させて連続画像ｆcを推定する作用素がＸLであり、高解像度画像ｆhに作用させて連続画像ｆcを推定する作用素がＸH である。
【００２４】
観測画像ｇは、横方向、および縦方向の画素数がＮLx、ＮLyであり、それぞれの方向の画素間隔がΔLx、ΔLyである。この観測画像ｇの横方向の長さｌx 、および縦方向の長さｌy は、
【００２５】
【数１】
0004609879.tif 000002
【００２６】
となる。
【００２７】
ここで、図３（Ａ）に示すように、横方向に第ｎx番目（ｎx ＝１、２、・・・ＮLx）、縦方向に第ｎy番目（ｎy ＝１、２、・・・ＮLy）の画素の値をｇnx,ny とすると、観測画像ｇはＮLx行、ＮLy列の行列とみなすことができる。この観測画像ｇを第ｎx ＋（ｎy −１）ＮLx番目の要素がｇnx,ny である図３（Ｂ）に示す（ＮLx×ＮLy）次元実ベクトルで表すことにより、観測画像ｇをベクトルとして取り扱うことができる。
【００２８】
ここで、第ｎ番目の要素が１で、それ以外の要素が０である（ＮLx×ＮLy）次元実ベクトルをｅn(L)（Ｌ＝ＮLx×ＮLy）とすると、観測画像ｇは、
【００２９】
【数２】
0004609879.tif 000003
【００３０】
となる。
【００３１】
目標画像ｆhは、横方向、および縦方向の画素数がＮHx、ＮHyであり、それぞれの方向の画素間隔がΔHx、ΔHyである。この目標画像ｆhの横方向の長さｌx 、および縦方向の長さｌy は、
【００３２】
【数３】
0004609879.tif 000004
【００３３】
となる。
【００３４】
ここで、上記観測画像ｇと同様に、横方向に第ｎx 番目（ｎx ＝１、２、・・・ＮLx）、縦方向に第ｎy 番目（ｎy ＝１、２、・・・ＮLy）の画素の値をｆnx,ny とすると、目標画像ｆhはＮHx行、ＮHy列の行列とみなすことができる。この目標画像ｆhを第ｎx ＋（ｎy −１）ＮHx番目の要素がｆnx,ny である（ＮHx×ＮHy）次元実ベクトルで表すことにより、目標画像ｆhをベクトルとして取り扱うことができる。
【００３５】
ここで、第ｎ番目の要素が１で、それ以外の要素が０である（ＮHx×ＮHy）次元実ベクトルをｅn(H)（Ｈ＝ＮHx×ＮHy）とすると目標画像ｆhは、
【００３６】
【数４】
0004609879.tif 000005
【００３７】
となる。
【００３８】
次に、連続画像空間Ｈの定式化を行う。ここでは、この連続画像空間Ｈを有限次元ヒルベルト空間としている。連続画像空間Ｈの元でのｆ1、ｆ2の内積は、
【００３９】
【数５】
0004609879.tif 000006
【００４０】
と定義する。また、連続画像空間Ｈのノルムは、
【００４１】
【数６】
0004609879.tif 000007
【００４２】
と定義する。連続画像空間Ｈの正規直交系を
【００４３】
【数７】
0004609879.tif 000008
【００４４】
で表す。ここでは、
【００４５】
【数８】
0004609879.tif 000009
【００４６】
が成立する。したがって、連続画像空間Ｈの元ｆcは、係数
【００４７】
【数９】
0004609879.tif 000010
【００４８】
を用いて、
【００４９】
【数１０】
0004609879.tif 000011
【００５０】
と正規直交展開できる。
【００５１】
図２に示したように、連続画像ｆc を目標画像ｆhに対応付ける作用素がＡH、連続画像ｆcを観測画像ｇに対応付ける作用素がＡLであるので、目標画像ｆh、および観測画像ｇは、それぞれ、
【００５２】
【数１１】
0004609879.tif 000012
【００５３】
である。作用素ＡHは連続画像ｆcを目標画像ｆhに対応づける作用素であり、作用素ＡLは連続画像ｆcを観測画像ｇに対応づける作用素である。言い換えれば、作用素ＡHは連続画像ｆcに作用させて目標画像ｆhを得る作用素（この発明で言う第２の作用素）であり、作用素ＡLは連続画像ｆcに作用させて観測画像ｇを得る作用素（この発明で言う第１の作用素）である。観測画像ｇから推定される連続画像をｆPとすると、
【００５４】
【数１２】
0004609879.tif 000013
【００５５】
となる。ここで、ＸLは観測画像ｇをこの観測画像ｇから推定される連続画像ｆPに対応づける作用素であり、言い換えればＸLを観測画像ｇに作用させて、この観測画像ｇから推定される連続画像ｆPを得る作用素である。また、この観測画像ｇから推定される連続画像ｆPに作用素ＡHを作用させて得られる画像を復元画像ｆ0は、
【００５６】
【数１３】
0004609879.tif 000014
【００５７】
となる。この［数１２］、［数１３］より復元画像ｆ0は、
【００５８】
【数１４】
0004609879.tif 000015
【００５９】
となる。この射影フィルタを用いた画像高解像度化方法は、観測画像ｇから実際に高解像度ＣＣＤカメラ２で撮像した目標画像ｆhに近い、復元画像ｆ0を生成するために、これらの作用素を以下のようにして決定する。
【００６０】
上記作用素ＡHに高解像度ＣＣＤカメラ２の光学的特性や電気的特性等を含ませるために、高解像度ＣＣＤカメラ２が目標画像ｆhを得る過程をモデル化した。高解像度ＣＣＤカメラ２は、図４に示すようにＣＣＤ素子が横方向にΔHx間隔でＮHx個、縦方向にΔHy間隔でＮHy個、配列されている。１つのＣＣＤ素子が１画素に相当する。横方向にｎx番目、縦方向にｎy番目に配列されているＣＣＤ素子の横方向の中心位置をｘnx(H)、縦方向の中心位置をｙny(H) とすると、
【００６１】
【数１５】
0004609879.tif 000016
【００６２】
である。また、ＣＣＤ素子の受光領域は、ΔHx×ΔHyの全領域ではなく、
図４に示すように、その一部である。この受光領域の横方向の大きさは２ｒHx、縦方向の大きさは２ｒHyである。ＣＣＤ素子の中心と受光領域の中心とは一致している。そして、この受光領域における連続画像ｆc の積分値が画素値ｆnx,ny である。したがって、横方向にｎx 番目、縦方向にｎy 番目に配列されているＣＣＤ素子の画素値ｆnx,ny は、
【００６３】
【数１６】
0004609879.tif 000017
【００６４】
である。
【００６５】
ここで、複素係数ｃvx(nx)，ｃvy(ny)，ｃvx,vy(nx,ny)をそれぞれ、
【００６６】
【数１７】
0004609879.tif 000018
【００６７】
と定義し、さらに関数ｕnx,ny（ｘ，ｙ）を
【００６８】
【数１８】
0004609879.tif 000019
【００６９】
と定義することにより、第ｎx，ｎy番目の画素値ｆnx,nyは
【００７０】
【数１９】
0004609879.tif 000020
【００７１】
となり、これは連続画像ｆc と関数ｕnx,ny との内積である。また、ｕnx,ny （ｘ，ｙ）は、高解像度ＣＣＤカメラ２の光学的特性や電気的特性を含む特性関数である。ｕnx（ｘ）は、例えばΔHx＝４ｍｍ、ＮHx＝８７、ｌx ＝３４８ｍｍ、ｒHx＝１．５ｍｍ、ｎx ＝４４であるとき、図５に示す関数である。
【００７２】
上記作用素ＡLに低解像度ＣＣＤカメラ１の光学的特性や電気的特性等を含ませるために、低解像度ＣＣＤカメラ１が観測画像ｇを得る過程をモデル化した。低解像度ＣＣＤカメラ１は、図６に示すように、ＣＣＤ素子が横方向にΔLx間隔でＮLx個、縦方向にΔLy間隔でＮLy個、配列されている。１つのＣＣＤ素子が１画素に相当する。横方向にｎx 番目、縦方向にｎy 番目に配列されているＣＣＤ素子の横方向の中心位置をｘnx(L) 、縦方向の中心位置をｙny(L) とすると、
【００７３】
【数２０】
0004609879.tif 000021
【００７４】
である。また、ＣＣＤ素子の受光領域は、ΔLx×ΔLyの全領域ではなく、図６に示すように、その一部である。
この受光領域の横方向の大きさは２ｒLx、縦方向の大きさは２ｒLyである。ＣＣＤ素子の中心と受光領域の中心とは一致している。そして、この受光領域における連続画像ｆc の積分値が画素値ｇnx,ny である。したがって、横方向にｎx 番目、縦方向にｎy 番目に配列されているＣＣＤ素子の画素値ｇnx,ny は、
【００７５】
【数２１】
0004609879.tif 000022
【００７６】
である。
【００７７】
ここで、複素係数ｄvx(nx)，ｄvy(ny)，ｄvx,vy(nx,ny)をそれぞれ、
【００７８】
【数２２】
0004609879.tif 000023
【００７９】
と定義し、さらに関数ｖnx,ny（ｘ，ｙ）を
【００８０】
【数２３】
0004609879.tif 000024
【００８１】
と定義することにより、第ｎx，ｎy番目の画素値ｇnx,nyは
【００８２】
【数２４】
0004609879.tif 000025
【００８３】
となり、これは連続画像ｆc と関数ｖnx,ny との内積である。また、ｖnx,ny （ｘ，ｙ）は、低解像度ＣＣＤカメラ１の光学的特性や電気的特性を含む特性関数である。
【００８４】
次に、連続画像ｆc を観測画像ｇに対応付ける作用素ＡL 、および連続画像ｆc を目標画像ｆhに対応付ける作用素ＡHについて説明する。ここでは、
【００８５】
【数２５】
0004609879.tif 000026
【００８６】
で定義されるノイマン・シャッテン積と呼ばれる演算子を用いる。この演算子は、ｇの空間からｆの空間への変換を意味している。ｇとｈは同じ空間にある。上記のように、連続画像ｆc を高解像度画像ｆhに対応付ける作用素ＡH は、高解像度ＣＣＤカメラ２の光学的特性や電気的特性を含む特性関数ｕnx,ny （ｘ，ｙ）を用いることにより、
【００８７】
【数２６】
0004609879.tif 000027
【００８８】
と表される。また、連続画像ｆc を観測画像ｇに対応付ける作用素ＡL は、低解像度ＣＣＤカメラ１の光学的特性や電気的特性を含む特性関数ｖnx,ny （ｘ，ｙ）を用いることにより、
【００８９】
【数２７】
0004609879.tif 000028
【００９０】
と表される。ここで、図７に示すように連続画像の係数空間Ｃ(Mx*My)を導入し、連続画像空間Ｈを、低解像度画像空間および高解像度空間に対応づける。図７に示すように、連続画像空間Ｈから連続画像の係数空間Ｃ(Mx*My)への変換に用いる作用素Ｅを、
【００９１】
【数２８】
0004609879.tif 000029
【００９２】
と定義する。また、連続画像の係数空間Ｃ(Mx*My)から高解像度画像空間Ｃ(NHx*NHy)への変換に用いる作用素Ａ'Hを（ＮHx×ＮHy）行（Ｍx×Ｍy）列の行列である、
【００９３】
【数２９】
0004609879.tif 000030
【００９４】
と定義する。これにより、連続画像ｆc を高解像度画像ｆhに対応付ける作用素ＡH は、
【００９５】
【数３０】
0004609879.tif 000031
【００９６】
となる。同様に、連続画像の係数空間Ｃ(Mx*My)から低解像度画像空間Ｃ(NLx*NLy)への変換に用いる作用素Ａ'Lを（ＮLx×ＮLy）行（Ｍx×Ｍy）列の行列である、
【００９７】
【数３１】
0004609879.tif 000032
【００９８】
と定義することで、連続画像ｆc を観測画像ｇに対応付ける作用素ＡLは、
【００９９】
【数３２】
0004609879.tif 000033
【０１００】
となる。
【０１０１】
次に、射影フィルタについて説明する。射影フィルタ（または部分射影フィルタ）は、公知のように複素ヒルベルト空間Ｈ（連続画像空間Ｈ）に存在する連続画像ｆc に対して、部分空間Ｒ（Ａ*L）における連続画像ｆc の最良近似を求めるフィルタである。具体的には、ＡLの共役作用素をＡ*L 、Ａ*L の値域をＲ（Ａ*L）、Ｒ（Ａ*L）への正射影作用素をＰＲ（Ａ*L）とした場合に、
【０１０２】
【数３３】
0004609879.tif 000034
【０１０３】
を満たす作用素ＸL を射影フィルタという。ここでは、Ａ(p)で表す。具体的には、射影フィルタＡ(p)は、作用素ＡLに対して、［数３４］に示す１〜４の４つの条件を満足する作用素ＸLである。
【０１０４】
【数３４】
0004609879.tif 000035
【０１０５】
この作用素ＸLは、作用素ＡLのムーアペンローズの一般逆であり、一般にＡ+ と表記される。これにより、射影フィルタＡ(p)は、
【０１０６】
【数３５】
0004609879.tif 000036
【０１０７】
で表すことができ、観測画像ｇを連続画像ｆcに対応付ける作用素ＸLは、Ａ+Lである。したがって、［数１４］より復元画像ｆ0は、
【０１０８】
【数３６】
0004609879.tif 000037
【０１０９】
となる。
【０１１０】
この［数３６］により、低解像度ＣＣＤカメラ１で連続画像ｆc を撮像した観測画像ｇから、高解像度ＣＣＤカメラ２で撮像した目標画像ｆhに近い復元画像ｆ0 を推定し、生成することができる。［数３６］は、以下に示すように、行列を用いて計算することができる。
【０１１１】
［数３６］において、
【０１１２】
【数３７】
0004609879.tif 000038
【０１１３】
とすると、［数３６］は、
【０１１４】
【数３８】
0004609879.tif 000039
【０１１５】
となる。また、［数３０］、［数３２］により、
【０１１６】
【数３９】
0004609879.tif 000040
【０１１７】
となり、Ｂは［数２９］、［数３１］に示すように、
係数ｃνx,νy(nx,ny)，ｄνx,νy(nx,ny)で定義される行列になる。このＢを、ここでは高解像度化行列と言う。
【０１１８】
したがって、この射影フィルタを用いた画像高解像度化方法では、以下に示す１〜５の処理を行うことで、観測画像ｇから復元画像ｆ0を推定し、生成することができる。
【０１１９】
１．［数１７］、［数２９］を用いて行列Ａ'Hを求め、
２．［数２２］、［数３１］を用いて行列Ａ'Lを求め、
３．先に求めたＡ'Lについて、ムーアペンローズの一般逆であるＡ'+Lを求め、
４．高解像度化行列Ｂを求め、
５．高解像度化行列Ｂを用いて、［数３８］により観測画像ｇから復元画像ｆ0を推定し、生成する。
【０１２０】
なお、１〜４の処理については、予め実行し、高解像度化行列Ｂを事前に求めておくことができるので、個々の観測画像に対して５の処理を実行することにより、観測画像ｇから復元画像ｆ0を推定し、生成することができる。
【０１２１】
この高解像度化行列Ｂには、上述した低解像度ＣＣＤカメラ１、および高解像度ＣＣＤカメラ２の光学的特性や電気的特性が含まれている。したがって、低解像度ＣＣＤカメラ１、および高解像度ＣＣＤ２の光学的特性や電気的特性を考慮した復元画像ｆ0を、低解像度ＣＣＤカメラ１で撮像した観測画像ｇから生成することができ、結果的に高解像度ＣＣＤカメラ２で撮像した目標画像ｆhに近い、復元画像ｆ0を生成することができる。この復元画像ｆ0の画素数は、目標画像ｆhの画素数と同じである。
【０１２２】
また、上記高解像度化行列Ｂは、任意の連続画像ｆcを低解像度ＣＣＤカメラ１で撮像した観測画像ｇから推定し生成される復元画像ｆ0が対応する目標画像ｆhに近い画像になるように、低解像度ＣＣＤカメラ１と高解像度ＣＣＤカメラ２により、連続画像空間に存在する同じ連続画像ｆcを撮像した、観測画像ｇと目標画像ｆhからなる対の画像（以下、一対の画像と言う。）を、１組だけで決定するのではなく、複数組用いて統計的に決定するのが好ましい。高解像度化行列Ｂを決定する際に利用する、一対の画像の総組数についてはできるだけ多いほうがよい。
【０１２３】
以上が、この発明にかかる各点射影フィルタ法の前提とした、射影フィルタを用いた画像高解像度化方法である。この射影フィルタを用いた画像高解像度化方法は、特願２００３−６６２７８で本願発明者らが提案したものである。
【０１２４】
この射影フィルタを用いた画像高解像度化方法は、上述したように低解像度ＣＣＤカメラ１、および高解像度ＣＣＤ２の光学的特性や電気的特性を考慮した復元画像を生成することができるのであるが、低解像度画像ｇの全ての画素を一度に用いて復元画像ｆ0を生成することから、復元画像ｆ0の生成時に、低解像度画像ｇの画素数が行数である正方行列の逆を計算することになる。このため、コンピュータ等の情報処理装置で、数万画素の低解像度画像ｇから復元画像ｆ0を生成するための計算を行うには、大きなメモリを情報処理装置に設けなければならない。したがって、数１００〜数１０００画素の低解像度画像ｇから復元画像ｆ0を生成するのには適しているが、数万画素の低解像度画像ｇから復元画像ｆ0を生成するには大きなメモリを有する高価な情報処理装置が必要になる。また、低解像度画像ｇの全ての画素を一度に用いて復元画像ｆ0を生成することから、復元画像ｆ0の各画素が、その画素値にかかる情報を含んでいない観測画像ｇの画素、言い換えれば復元画像ｆ0のこの画素が対応する位置からある程度離れた観測画像ｇの画素、の影響を受けて、観測画像ｇから生成される復元画像ｆ0の精度を低下させることが懸念される。
【０１２５】
この発明にかかる各点射影フィルタ法は、上述した射影フィルタを用いた画像高解像度化方法を改良し、数万画素の低解像度画像ｇから復元画像ｆ0 を生成する際の計算量を抑えることで、大きなメモリを有しない安価な情報処理装置で数万画素の低解像度画像ｇから復元画像ｆ0を生成することができる画像高解像度化方法である。また、復元画像ｆ0の各画素が、その画素値にかかる情報を含んでいない観測画像ｇの画素の影響を受けることなく復元画像ｆ0を生成することができる画像高解像度化方法である。以下、この発明にかかる各点射影フィルタ法について説明する。
【０１２６】
この各点射影フィルタ法は、復元画像ｆ0の各画素は低解像度画像ｇにおける、その画素が対応する位置を含む周辺のいくつかの画素に画素値の情報が含まれており、低解像度画像ｇにおける、その画素が対応する位置からある程度離れた画素に画素値の情報が含まれていないとする、考えによるものである。図８を参照しながら、この各点射影フィルタ法について説明する。図８において、上部に示す格子は低解像度画像ｇの一部を示しており、下部に示す格子は復元画像ｆ0の一部を示している。格子の窓が１画素に相当する。
【０１２７】
各点射影フィルタ法により、図８の復元画像ｆ0に示した着目画素の画素値を求める場合について説明する。各点射影フィルタ法は、上述したように復元画像ｆ0の各画素は低解像度画像ｇにおける、その画素が対応する位置を含む周辺のいくつかの画素に画素値の情報が含まれているとする、考えによるものである。図８では、低解像度画像ｇにおける、復元画像ｆ0の着目画素が対応する位置を含む周辺の縦横２×２の４画素に画素値の情報が含まれていると考えた場合を示している。この着目画素の画素値の情報が含まれていると考える低解像度画像ｇの画素からなる領域を、ここでは領域サイズと呼ぶ。
【０１２８】
なお、領域サイズは、図８に示す縦横２×２の４画素に限らず、３×３の９画素、４×４の１６画素等にしてもよいが、この領域サイズは余り大きくしないほうが好ましい。その理由は、以下の説明で明らかにするが、復元画像ｆ0の生成にかかる計算量を抑えるとともに、復元画像ｆ0の画素に対してその画素値にかかる情報を含んでいない観測画像ｇの画素が与える影響を抑えるためである。
【０１２９】
各点射影フィルタ法は、観測画像における領域サイズの画素を用いて、着目画素の画素値を求める。図９は、観測画像ｇにおける領域サイズの画素と、復元画像ｆ0の着目画素との位置関係を示す図である。ここでは、領域サイズの左上を座標原点に設定している。領域サイズの画素数ＮLx、ＮLyは、ともに２である。
領域サイズの各画素の中心位置（ｘnx(L)，ｙny(L)）は、［数２０］により与えられる。ＣＣＤ素子の受光領域は、上述した射影フィルタを用いた画像高解像度化方法で説明したように、ΔLx×ΔLyの全領域ではなく、その一部である（図６参照）。したがって、領域サイズの画素ｇnx,nyは、［数２４］、［数１０］、［数２３］から
【０１３０】
【数４０】
0004609879.tif 000041
【０１３１】
となる。φνx,νyが正規直交基底であるので、内積部分はνx＝ν' x、かつνy＝ν' yの場合に１となり、その他の場合に０となる。したがって、領域サイズの画素ｇnx,nyは、
【０１３２】
【数４１】
0004609879.tif 000042
【０１３３】
となる。ｇnx,nyが第ｎx＋（ｎy−１）ＮLx番目の要素であるＮLx×ＮLy次元ベクトルをｇで表し、ανx,νyが第νx＋（νy−１）Ｍx番目の要素であるＭx×Ｍy次元ベクトルをαで表すと、［数３１］および［数４１］により、
【０１３４】
【数４２】
0004609879.tif 000043
【０１３５】
となる。ベクトルｇにＡ'Lのムーアペンローズの一般逆でありＡ'+Lを作用させて得られるＭx×Ｍy次元ベクトルをα＾とすると、
【０１３６】
【数４３】
0004609879.tif 000044
【０１３７】
となり、このα＾の第νx＋（νy−１）Ｍx番目の要素をα＾νx,νyとすると、連続画像ｆc（ｘ、ｙ）の最良近似ｆp（ｘ、ｙ）は、
【０１３８】
【数４４】
0004609879.tif 000045
【０１３９】
により求められる。ここで求めた連続画像ｆc（ｘ、ｙ）の最良近似ｆp（ｘ、ｙ）を高解像度ＣＣＤカメラ２のＣＣＤ素子の受光領域で積分することで、着目画素の画素値が求まる。具体的には、［数１６］により、
【０１４０】
【数４５】
0004609879.tif 000046
【０１４１】
となる。これに、［数４４］を代入して整理すれば、
【０１４２】
【数４６】
0004609879.tif 000047
【０１４３】
となる。ｃνx,νy(x(H),y(H))が第νx＋（νy-1）Ｍx番目の要素であるＭx×Ｍy次元ベクトルをｃ(x(H),y(H))とすると、［数４６］は、
【０１４４】
【数４７】
0004609879.tif 000048
【０１４５】
となる。ここでＴはベクトルの転置を表している。［数４３］を［数４７］に代入すると、
【０１４６】
【数４８】
0004609879.tif 000049
【０１４７】
となり、ｃ(x(H),y(H))TＡ+Lは、ＮLX×ＮLy次元ベクトルであるので、ａ(x(H),y(H))で表せば、
【０１４８】
【数４９】
0004609879.tif 000050
【０１４９】
となる。ａ(x(H),y(H))がこの発明で言う復元作用素である。ａ(x(H),y(H))は、領域サイズにおける着目画素の位置によって異なる。ａ(x(H),y(H))には、領域サイズにおける着目画素の位置に応じた位置係数だけでなく、低解像度ＣＣＤカメラ１、および高解像度ＣＣＤカメラ２の光学的特性や電気的特性が含まれている。
【０１５０】
例えば、領域サイズが２×２の４画素で、縦横１．５倍の倍率で高解像度化する場合、［数４９］は、
【０１５１】
【数５０】
0004609879.tif 000051
【０１５２】
となる。また、
【０１５３】
【数５１】
0004609879.tif 000052
【０１５４】
である。領域サイズにおける着目画素の位置（ｘ(H)，ｙ(H)）は図１０（Ａ）〜（Ｉ）に示す９種類であり、この場合に現れるａ(x(H),y(H))も９種類である。したがって、領域サイズにおける着目画素の位置（ｘ(H)，ｙ(H)）毎に、ａ(x(H),y(H))（係数ベクトル）を求めておき、領域サイズにおける着目画素の位置（ｘ(H)，ｙ(H)）によって使い分けることで、［数５０］の積和演算を行うことで、着目画素の画素値を求めることができる。復元画像ｆ0の画素毎に、その画素を着目画素に指定し、上記処理で画素値を求めることで、復元画像ｆ0を生成できる。
【０１５５】
まとめると、この各点射影フィルタ法による画像の高解像度化は、領域サイズにおける着目画素の位置（ｘ(H)，ｙ(H)）毎に予め係数ベクトルａ(x(H),y(H))を求めておき、以下の１〜４の処理を復元画像ｆ0の画素毎に行うことで、復元画像ｆ0を生成することができる。
１．着目画素に指定し、
２．観測画像ｇにおける指定された着目画素に対する領域サイズを特定し、
３．領域サイズにおける着目画素の位置に応じた係数ベクトルを特定し、
４．［数５０］の積和演算を行う。
【０１５６】
このように、復元画像ｆ0の各画素の画素値が簡単な積和演算により求められるので、観測画像から復元画像ｆ0を生成する際の計算量を十分に抑えることができ、膨大な容量のメモリを有していない一般的なパーソナルコンピュータ等の情報処理装置でも、数万画素の低解像度画像ｇから目標画像ｆhに近い復元画像ｆ0を推定し、生成することができる。また、復元画像ｆ0の画素毎に、その画素値にかかる情報が含まれていない観測画像ｇの画素（復元画像のこの画素が対応する位置からある程度離れた観測画像の画素）の影響を受けることなく、その画素値を求めることができる。したがって、低解像度ＣＣＤカメラ１で撮像した観測画像から、高解像度ＣＣＤカメラ２にて撮像したときに得られる目標画像ｆhに近い復元画像ｆ0を推定し、生成することができる。
【０１５７】
次に、この発明の実施形態である画像高解像度化装置について説明する。図１１は、この発明の実施形態である画像高解像度化装置の機能構成を示すブロック図である。この実施形態の画像高解像度化装置１１、本体の動作を制御する制御部１２と、低解像度ＣＣＤカメラ１で撮像された撮像画像（観測画像ｇ）の入力を受け付ける画像入力部１３と、画像入力部１３に入力された観測画像ｇについて手ぶれ等による劣化を復元し、且つ高解像度化した画像（復元画像ｆ0）を生成する高解像度化部１４と、高解像度化部１４で高解像度化した復元画像ｆ0 を出力する画像出力部１５とを備えている。
【０１５８】
低解像度ＣＣＤカメラ１は、画素数がＮLx×ＮLyである、比較的解像度の低い安価なＣＣＤカメラである。
制御部１２は、上記各点射影フィルタ法で説明した係数ベクトルａ(x(H),y(H))を、領域サイズにおける着目画素の位置（ｘ(H)，ｙ(H)）毎に求めた値を記憶している。低解像度ＣＣＤカメラ１で撮像された観測画像ｇは画像入力部１３に入力される。高解像度化部１４は、復元画像ｆ0の画素毎に、
１．着目画素に指定し、
２．観測画像ｇにおける指定された着目画素に対する領域サイズを特定し、
３．領域サイズにおける着目画素の位置に応じて、制御部１２に記憶している係数ベクトルを特定し、
４．上記［数５０］の積和演算を行う。
【０１５９】
係数ベクトルには、ａ(x(H),y(H))には、領域サイズにおける着目画素の位置に応じた位置係数だけでなく、低解像度ＣＣＤカメラ１、および高解像度ＣＣＤカメラ２の光学的特性や電気的特性が含まれている。また、復元画像ｆ0の画素毎に、低解像度画像ｇにおける、その画素が対応する位置を含む周辺のいくつかの画素、例えば縦横２×２の４画素、を用いて、その画素値の情報を求めるので、その画素値にかかる情報が含まれていない観測画像ｇの画素の影響を受けることなく、その画素値を求めることができる。したがって、高解像度化部１４において、この観測画像ｇと同じ連続画像ｆc を高解像度ＣＣＤカメラ２で撮像した目標画像ｆhに近い復元画像ｆ0を生成することができる。さらに、観測画像から復元画像ｆ0を生成する際の計算量を十分に抑えているので、膨大な容量のメモリを有していない一般的なパーソナルコンピュータ等の情報処理装置でも、数万画素の低解像度画像ｇから目標画像ｆhに近い復元画像ｆ0を推定し、生成することができ、装置本体を安価にできる。高解像度化部１４で復元された復元画像ｆ0は画像出力部１５から出力される。
【０１６０】
この実施形態の画像高解像度化装置１１を、例えば人の出入を監視する監視システムに利用すれば、低解像度ＣＣＤカメラ１で撮像した観測画像ｇ（監視画像）を、
目標画像ｆhに近い復元画像ｆ0 に高解像度化してから、記録することができるので、この監視システムに用いるＣＣＤカメラを、比較的安価な低解像度ＣＣＤカメラ１で実現することができる。したがって、監視システムのコストダウンが図れる。
【０１６１】
また、低解像度ＣＣＤカメラ１で撮像した観測画像ｇ（監視画像）をそのまま記録し、必要に応じて記録している観測画像ｇを目標画像ｆhに近い復元画像ｆ0 に高解像度化するようにしてもよい。このようにすれば、画像を記録する記録媒体の記録容量を抑えることができ、一層のコストダウンが図れる。
【０１６２】
次に、この発明の実施形態である画像認識装置について説明する。図１２は、この発明の実施形態である画像認識装置の構成を示すブロック図である。図１２では、図１１と同じ構成については同じ符号を付している。
【０１６３】
この実施形態の画像認識装置２１は、本体の動作を制御する制御部１２と、低解像度ＣＣＤカメラ１で撮像された撮像画像（観測画像ｇ）の入力を受け付ける画像入力部１３と、画像入力部１３に入力された観測画像ｇについて手ぶれ等による劣化を復元し、且つ高解像度化した画像（復元画像ｆ0）を生成する高解像度化部１４と、高解像度化部１４で高解像度化した復元画像ｆ0 を認識する画像認識部２２と、認識結果を出力する認識結果出力部２３と、を備えている。
【０１６４】
この実施形態の画像認識装置２１は、高解像度化部１４で復元された復元画像ｆ0を画像認識部２２で認識する。画像認識部２２は、復元画像ｆ0から認識対象の画像、例えば交通監視システムでは車両のナンバープレートの画像、を切り出し、この切り出した画像について認識処理を行う。上述の画像高解像度化装置１１において説明したように、高解像度化部１４において、観測画像ｇと同じ連続画像ｆc を高解像度ＣＣＤカメラ２で撮像した目標画像ｆhに近い復元画像ｆ0を生成することができる。したがって、本体に入力された観測画像ｇが比較的低解像度の画像であっても、画像認識部２２における認識率を低下させることがない。
【０１６５】
したがって、比較的安価な低解像度ＣＣＤカメラ１を利用することができ，交通監視システムのコストダウンが図れる。
【０１６６】
図１３に、この画像認識装置２１において低解像度ＣＣＤカメラ１で撮像した観測画像ｇ（図１３（Ａ）、高解像度ＣＣＤカメラ２で撮像した目標画像ｆh（図１３（Ｂ））、およびこの観測画像ｇから復元された復元画像ｆ0 （図１３（Ｃ）〜（Ｅ））を示す。図１３（Ｃ）は領域サイズを２×２の４画素とした場合であり、図１３（Ｄ）は領域サイズを３×３の９画素とした場合であり、図１３（Ｅ）は領域サイズを４×４の１６画素とした場合である。この図１３から明らかなように、観測画像ｇから目標画像ｆhに近い復元画像ｆ0が生成できていることが分かる。
【０１６７】
なお、この発明にかかる画像高解像度化方法は、ＣＣＤカメラで撮像した観測画像を処理する装置であれば、上記以外の装置にも適用できる。
【図面の簡単な説明】
【０１６８】
【図１】この発明の画像高解像度化方法の概念を説明する図である。
【図２】連続画像空間，低解像度画像空間、高解像度画像空間の関係を示す図である。
【図３】（ＮLx×ＮLy）次元実ベクトルによる画像の取り扱いを説明する図である。
【図４】高解像度ＣＣＤカメラにおけるＣＣＤ素子のモデルを示す図である。
【図５】関数ｕnx（ｘ）を示す図である。
【図６】低解像度ＣＣＤカメラにおけるＣＣＤ素子のモデルを示す図である。
【図７】連続画像空間Ｈを、低解像度画像空間および高解像度空間に対応づけるために導入した連続画像の係数空間を示す図である。
【図８】各点射影フィルタ法を説明する図である。
【図９】観測画像ｇにおける領域サイズの画素と、復元画像ｆ0の着目画素との位置関係を示す図である。
【図１０】領域サイズにおける着目画素の位置を示す図である。
【図１１】この発明の実施形態である画像高解像度化装置の機能構成を示すブロック図である。
【図１２】この発明の実施形態である画像認識装置の機能構成を示すブロック図である。
【図１３】観測画像、復元画像、目標画像の違いを説明する図である。
【符号の説明】
【０１６９】
１−低解像度ＣＣＤカメラ
２−高解像度ＣＣＤカメラ
１１−画像高解像度化装置
１２−制御部
１３−画像入力部
１４−高解像度化部
１５−画像出力部
２１−画像認識装置
２２−画像認識部
２３−認識結果出力部
【図１】
0004609879.tif 000053
【図２】
0004609879.tif 000054
【図３】
0004609879.tif 000055
【図４】
0004609879.tif 000056
【図５】
0004609879.tif 000057
【図６】
0004609879.tif 000058
【図７】
0004609879.tif 000059
【図８】
0004609879.tif 000060
【図９】
0004609879.tif 000061
【図１０】
0004609879.tif 000062
【図１１】
0004609879.tif 000063
【図１２】
0004609879.tif 000064
【図１３】
0004609879.tif 000065