(57)【要約】【課題】連続画像を低解像度ＣＣＤカメラで撮像した観測画像から、この連続画像を高解像度ＣＣＤカメラで撮像したときに得られる目標画像に近い復元画像を生成する。【解決手段】目標画像ｆを、観測画像ｇ、連続画像ｆｃに対応付ける作用素がそれぞれＡＬ、ＡＨである。ＡＬには、低解像ＣＣＤカメラの光学的特性や電気的特性等が含まれている。また、ＡＨには、高解像ＣＣＤカメラの光学的特性や電気的特性等が含まれている。ＡＬ、ＡＨに基いて求められる復元作用素にも、低解像ＣＣＤカメラ、および高解像度ＣＣＤカメラの光学的特性や電気的特性が含まれている。これにより、低解像度ＣＣＤカメラで撮像した観測画像に、低解像ＣＣＤカメラ、および高解像度ＣＣＤカメラの光学的特性や電気的特性が含まれている復元作用素を作用させて、目標画像に近い復元画像を生成することができる。【選択図】図１
2004272840.tif 000002
【特許請求の範囲】
【請求項１】
連続画像を画素数がＮＬｘ×ＮＬｙである低解像度ＣＣＤカメラで撮像した観測画像に対応付ける第１の作用素を求め、
上記連続画像を画素数がＮＨｘ×ＮＨｙ（ＮＬｘ×ＮＬｙ＜ＮＨｘ×ＮＨｙ）である高解像度ＣＣＤカメラで撮像した目標画像に対応付ける第２の作用素を求め、
上記第１の作用素と、上記第２の作用素とに基いて、上記観測画像から、上記目標画像と同じ画素数で、且つ上記高解像度ＣＣＤカメラでこの観測画像と同じ連続画像を撮像したときに得られる目標画像を、復元画像として推定する復元作用素を求め、
任意の連続画像を、上記低解像度ＣＣＤカメラで撮像した観測画像について、上記復元作用素を用いて上記復元画像を生成する画像高精細化方法。
【請求項２】
上記復元作用素は、上記第１の作用素についてのムーアペンローズの一般逆作用素である射影フィルタ、および上記第２の作用素を観測画像に作用させるものである請求項１に記載の画像高精細化方法。
【請求項３】
上記第１の作用素は、上記低解像度ＣＣＤカメラにおけるＣＣＤ素子の配置間隔、および受光領域の大きさを用いて求め、
上記第２の作用素は、上記高解像度ＣＣＤカメラにおけるＣＣＤ素子の配置間隔、および受光領域の大きさを用いて求めている請求項１または２に記載の画像高精細化方法。
【請求項４】
上記第１の作用素、および上記第２の作用素は、上記低解像度ＣＣＤカメラ、および上記高解像度ＣＣＤカメラで同じ連続画像を撮像した一対の上記観測画像と上記目標画像を、複数組用いて求める請求項１〜３のいずれかに記載の画像高精細化方法。
【請求項５】
連続画像を画素数がＮＬｘ×ＮＬｙである低解像度ＣＣＤカメラで撮像した観測画像に対応付ける第１の作用素、および上記連続画像を画素数がＮＨｘ×ＮＨｙ（ＮＬｘ×ＮＬｙ＜ＮＨｘ×ＮＨｙ）である高解像度ＣＣＤカメラで撮像した目標画像に対応付ける第２の作用素に基いて、上記観測画像から、上記目標画像と同じ画素数で、且つ上記高解像度ＣＣＤカメラでこの観測画像と同じ連続画像を撮像したときに得られる目標画像を、復元画像として推定する復元作用素を記憶する記憶手段と、
上記低解像度ＣＣＤカメラで撮像した上記観測画像を入力する観測画像入力手段と、
上記観測画像入力手段に入力された観測画像について、上記記憶手段に記憶している復元作用素を用いて上記復元画像を生成する画像高精細化手段と、を備えた画像高精細化装置。
【請求項６】
上記記憶手段が記憶する復元作用素は、上記第１の作用素についてのムーアペンローズの一般逆作用素である射影フィルタ、および上記第２の作用素を観測画像に作用させるものである請求項５に記載の画像高精細化装置。
【請求項７】
上記第１の作用素は、上記低解像度ＣＣＤカメラにおけるＣＣＤ素子の配置間隔、および受光領域の大きさを用いて求めたものであり、
上記第２の作用素は、上記高解像度ＣＣＤカメラにおけるＣＣＤ素子の配置間隔、および受光領域の大きさを用いて求めたものである請求項５または６に記載の画像高精細化装置。
【請求項８】
上記第１の作用素、および上記第２の作用素は、上記低解像度ＣＣＤカメラ、および上記高解像度ＣＣＤカメラで同じ連続画像を撮像した一対の上記観測画像と上記目標画像を、複数用いて統計的に求めたものである請求項１〜３のいずれかに記載の画像高精細化装置。
【請求項９】
請求項５〜８のいずれかに記載の画像高精細化装置を適用した画像認識装置であって、
上記復元画像出力手段が出力した上記復元画像を認識する画像認識手段を備えた画像認識装置。
【請求項１０】
上記画像認識手段は、復元画像から車両のナンバープレートを抽出し、ここで抽出したナンバープレートのナンバーを認識する請求項９に記載の画像認識装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、連続画像を比較的画素数が少ない低解像度ＣＣＤカメラで撮像した低解像度画像（観測画像）から、同じ連続画像を比較的画素数が多い高解像度ＣＣＤカメラで撮像したときに得られる高解像度画像（目標画像）を、復元画像として推定する画像高精細化方法、画像高精細化装置、および上記復元画像を認識する画像認識装置に関する。
【０００２】
【従来の技術】
従来、道路における渋滞状況、停止車両、事故車両等を監視する交通監視システムや、人の出入を監視する防犯システム等、色々なシステムでＣＣＤカメラが利用されている。例えば、交通監視システムでは、ＣＣＤカメラで撮像した道路上の車両の撮像画像から、この車両のナンバープレートのナンバーを認識し、車両を特定している。また、防犯システムでは、出入している人を撮像した撮像画像を記録したり、この撮像画像から撮像された人の顔を認識し、その人を特定している。
【０００３】
ＣＣＤカメラで撮像した撮像画像を認識する画像認識装置においては、認識率が入力される撮像画像の解像度が低くなるほど低下するので、十分な認識率を確保するために比較的解像度の高い（画素数の多い）ＣＣＤカメラを使用している。一般に、ＣＣＤカメラは解像度が高くなるにつれて高価になる。例えば２０００×５００画素のＣＣＤカメラは数百万円もするが、１３００×５００画素のＣＣＤカメラであれば数十万円である。また、撮像画像を認識しないシステム（撮像画像を記録するだけのシステム）であっても、撮像画像において少なくとも撮像されている人物が目視確認できる程度の解像度が要求される。
【０００４】
このような現状において、交通監視システムや防犯システム等、ＣＣＤカメラを使用する様々なシステム（ＣＣＤカメラを内蔵した装置も含む）のコストを安価にする技術として、解像度の低い低解像度ＣＣＤカメラで撮像した撮像画像（観測画像）から、解像度が高い高解像度ＣＣＤカメラで撮像したときに得られる高解像度画像（目標画像）を推定し、生成する画像高精細化方法の開発が要望されている。
【０００５】
なお、ここで言う画像高精細化方法とは、低解像度ＣＣＤカメラで撮像した撮像画像から、高解像度ＣＣＤカメラで撮像したときに得られる、より画素数の多い高解像度の復元画像を生成する方法である。また、この画像高精細化方法は、低解像度ＣＣＤカメラで撮像した撮像画像におけるブレの復元を含んでいてもよい。
【０００６】
従来提案されている、画素数がＮＬｘ×ＮＬｙである撮像画像から、画素数がＮＨｘ×ＮＨｙ（ＮＬｘ×ＮＬｙ＜ＮＨｘ×ＮＨｙ）である復元画像を生成する方法は、画素数がＮＬｘ×ＮＬｙである観測画像に、画素を追加（挿入）して、画素数がＮＨｘ×ＮＨｙである復元画像を生成する方法であり、例えば、観測画像に対して、挿入する画素の画素データを隣接する画素の画素データとする手法（観測画像の画素データを冗長的に挿入する手法）や、挿入する画素の画素データを周辺画素の平均とする手法や、挿入する画素の画素データをスプライン補間により算出する手法であった。
【０００７】
また、観測画像におけるブレを復元する方法として、例えば射影フィルタや部分射影フィルタが提案されている（例えば、特許文献１、２）。
【０００８】
【特許文献１】
特開平５−１３５１６７号公報
【特許文献２】
特開平５−２０５０４８号公報
【０００９】
【発明が解決しようとする課題】
しかしながら、従来の画像高精細化方法は、観測画像の画素については何ら調整することなく、この観測画像に画素を追加する方法であった。また、観測画像に追加する画素は、この観測画像の画素に応じて決定しており、実際に撮像した連続画像がどのような画像であるかについては全く考慮していなかった。したがって、従来の画像高精細化方法は、低解像度ＣＣＤカメラと高解像度ＣＣＤカメラとの間における光学的特性や、電気的特性の違いを考慮することなく、観測画像に画素を追加して観測画像を高精細化していただけであり、復元画像においてエッジが不明瞭になる等、実際に高解像度ＣＣＤカメラで撮像した目標画像に近い復元画像を生成することができなかった。言い換えれば、従来の画像高精細化方法では、観測画像から適正な復元画像が生成されていなかった。
【００１０】
なお、上記ＣＣＤカメラの光学的特性とは例えばレンズの開口特性、空間周波数応答特性であり、電気的特性とは例えばＣＣＤのＡ／Ｄ変換特性である。
【００１１】
また、特許文献１、２に述べられている射影フィルタや部分射影フィルタを用いて観測画像におけるブレ等の劣化を復元する方法は、観測画像と復元された画像とはその画素数が同じであり、低解像度の観測画像から、より画素数の多い高解像度の画像（復元画像）を生成するための手法ではなく、画像を高精細化することはできない。
【００１２】
この発明の目的は、連続画像を低解像度ＣＣＤカメラで撮像した観測画像から、この連続画像を高解像度ＣＣＤカメラで撮像したときに得られる目標画像に近い復元画像を生成することができる画像高精細化方法、および画像高精細化装置を提供することにある。
【００１３】
また、上記画像高精細化装置を適用することにより、撮像画像の認識率を低下させることなく、本体のコストダウンを図った画像認識装置を提供することを目的とする。
【００１４】
【課題を解決するための手段】
この発明の画像高精細化方法は、上記課題を解決するために以下の構成を備えている。
【００１５】
連続画像を画素数がＮＬｘ×ＮＬｙである低解像度ＣＣＤカメラで撮像した観測画像に対応付ける第１の作用素を求め、
上記連続画像を画素数がＮＨｘ×ＮＨｙ（ＮＬｘ×ＮＬｙ＜ＮＨｘ×ＮＨｙ）である高解像度ＣＣＤカメラで撮像した目標画像に対応付ける第２の作用素を求め、
上記第１の作用素と、上記第２の作用素とに基いて、上記観測画像から、上記目標画像と同じ画素数で、且つ上記高解像度ＣＣＤカメラでこの観測画像と同じ連続画像を撮像したときに得られる目標画像を、復元画像として推定する復元作用素を求め、
任意の連続画像を、上記低解像度ＣＣＤカメラで撮像した観測画像について、上記復元作用素を用いて上記復元画像を生成する。
【００１６】
この構成では、連続画像をｆｃ、観測画像をｇ、目標画像をｆとしたときに、
ｇ＝ＡＬ×ｆｃ
ｆ＝ＡＨ×ｆｃ
となる、ＡＬを第１の作用素として求め、ＡＨを第２の作用素として求める。
【００１７】
この第１の作用素には、低解像ＣＣＤカメラの光学的特性や電気的特性等が含まれている。また、第２の作用素には、高解像ＣＣＤカメラの光学的特性や電気的特性等が含まれている。
【００１８】
また、復元作用素は、上記第１の作用素と第２の作用素とに基いて求められる作用素であり、低解像ＣＣＤカメラ、および高解像度ＣＣＤカメラの光学的特性や電気的特性が含まれている。この復元作用素は、例えば上記第１の作用素についてのムーアペンローズの一般逆作用素である射影フィルタＡＬ＋等、観測画像を連続画像に復元する作用素と、連続画像を目標画像に対応付ける第２の作用素との積からなる作用素とすればよい。
【００１９】
これにより、低解像度ＣＣＤカメラで撮像した観測画像に、低解像ＣＣＤカメラ、および高解像度ＣＣＤカメラの光学的特性や電気的特性が含まれている復元作用素を作用させることができ、高解像度ＣＣＤカメラにて撮像したときに得られる目標画像に近い復元画像を推定し、生成することができる。
【００２０】
また、上記低解像度ＣＣＤカメラにおけるＣＣＤ素子の配置間隔、および受光領域の大きさを用いて上記第１の作用素を求めることにより、低解像度ＣＣＤカメラの光学的特性や電気的特性を含んだ第１の作用素を求めることができ、同様に上記高解像度ＣＣＤカメラにおけるＣＣＤ素子の配置間隔、および受光領域の大きさを用いて上記第２の作用素を求めることにより、高解像度ＣＣＤカメラの光学的特性や電気的特性を含んだ第２の作用素を求めることができる。
【００２１】
さらに、上記第１の作用素、および上記第２の作用素を、上記低解像度ＣＣＤカメラ、および上記高解像度ＣＣＤカメラで同じ連続画像を撮像した一対の上記観測画像と上記目標画像を、複数用いて統計的に求めることで、より適正な復元作用素を求めることができ、観測画像から目標画像により近い復元画像を推定し、生成することができる。
【００２２】
また、この発明にかかる画像高精細化装置は、上記復元作用素を記憶手段に記憶し、画像高精細化手段が観測画像入力手段に入力された低解像度ＣＣＤカメラで撮像された観測画像を、記憶手段に記憶している復元作用素を用いて復元画像を生成する。したがって、上記画像高精細化方法により生成される復元画像と同様に、低解像度ＣＣＤカメラで撮像した観測画像に、低解像ＣＣＤカメラ、および高解像度ＣＣＤカメラの光学的特性や電気的特性が含まれている復元作用素を作用させることで、高解像度ＣＣＤカメラにて撮像したときに得られる目標画像に近い復元画像を推定し、生成することができる。
【００２３】
さらに、この発明にかかる画像認識装置は、上記画像高精細化装置を適用することにより、低解像度ＣＣＤカメラで撮像された観測画像に対する、認識率の低下を防止することができる。したがって、この画像認識装置を用いる、交通監視システム等において、認識率を低下させることなく、本システムで使用するＣＣＤカメラを低解像度のものにでき、システムのコストダウンが図れる。
【００２４】
【発明の実施の形態】
まず最初に、この発明の実施形態である画像高精細化方法について説明する。この実施形態の画像高精細化方法は、以下で説明する考えに基くものである。
【００２５】
図１は、この画像高精細化方法の概念を示す図である。図１において、Ｈは撮像対象が存在する連続画像空間である。１は、その画素数がＮＬｘ×ＮＬｙである低解像度ＣＣＤカメラであり、２はその画素数がＮＨｘ×ＮＨｙ（ＮＬｘ×ＮＬｙ＜ＮＨｘ×ＮＨｙ）である高解像度ＣＣＤカメラである。また、ｆｃは連続画像空間Ｈに存在している対象物の連続画像であり、ｇは低解像度ＣＣＤカメラ１で連続画像ｆｃを撮像した観測画像であり、ｆは高解像ＣＣＤカメラ２で連続画像ｆｃを撮像した目標画像ｆである。ここで観測画像ｇが存在する空間を低解像度画像空間、目標画像ｆが存在する空間を高解像度画像空間とする。
【００２６】
この実施形態の画像高精細化方法は、観測画像ｇから目標画像ｆに近い復元画像ｆ０を生成することである。
【００２７】
図２を参照しながら、連続画像空間Ｈに存在する連続画像ｆｃ、低解像度画像空間に存在する観測画像ｇ、および高解像度画像空間に存在する目標画像ｆの関係について説明しておく。ここでは、連続画像ｆｃを観測画像ｇに対応付ける作用素がＡＬ、連続画像ｆｃを高解像度画像ｆＨに対応付ける作用素がＡＨ、観測画像ｇを連続画像ｆｃに対応付ける作用素がＸＬ、高解像度画像ｆＨを連続画像ｆｃに対応付ける作用素がＸＨである。
【００２８】
観測画像ｇは、横方向、および縦方向の画素数がＮＬｘ、ＮＬｙであり、それぞれの方向の画素間隔がΔＬｘ、ΔＬｙである。この観測画像ｇの横方向の長さｌｘ、および縦方向の長さｌｙは、
【００２９】
【数１】
2004272840.tif 000003
【００３０】
となる。
【００３１】
ここで、図３（Ａ）に示すように、横方向に第ｎｘ番目（ｎｘ＝１、２、・・・ＮＬｘ）、縦方向に第ｎｙ番目（ｎｙ＝１、２、・・・ＮＬｙ）の画素の値をｇｎｘ，ｎｙとすると、観測画像ｇはＮＬｘ行、ＮＬｙ列の行列とみなすことができる。この観測画像ｇを第ｎｘ＋（ｎｙ−１）ＮＬｘ番目の要素がｇｎｘ，ｎｙである図３（Ｂ）に示す（ＮＬｘ×ＮＬｙ）次元実ベクトルで表すことにより、観測画像ｇをベクトルとして取り扱うことができる。
【００３２】
ここで、第ｎ番目の要素が１で、それ以外の要素が０である（ＮＬｘ×ＮＬｙ）次元実ベクトルをｅｎ（Ｌ）とすると、観測画像ｇは、
【００３３】
【数２】
2004272840.tif 000004
【００３４】
となる。
【００３５】
目標画像ｆは、横方向、および縦方向の画素数がＮＨｘ、ＮＨｙであり、それぞれの方向の画素間隔がΔＨｘ、ΔＨｙである。この目標画像ｆの横方向の長さｌｘ、および縦方向の長さｌｙは、
【００３６】
【数３】
2004272840.tif 000005
【００３７】
となる。
【００３８】
ここで、上記観測画像ｇと同様に、横方向に第ｎｘ番目（ｎｘ＝１、２、・・・ＮＬｘ）、縦方向に第ｎｙ番目（ｎｙ＝１、２、・・・ＮＬｙ）の画素の値をｆｎｘ，ｎｙとすると、目標画像ｆはＮＨｘ行、ＮＨｙ列の行列とみなすことができる。この目標画像ｆを第ｎｘ＋（ｎｙ−１）ＮＨｘ番目の要素がｆｎｘ，ｎｙである（ＮＨｘ×ＮＨｙ）次元実ベクトルで表すことにより、目標画像ｆをベクトルとして取り扱うことができる。
【００３９】
ここで、第ｎ番目の要素が１で、それ以外の要素が０である（ＮＨｘ×ＮＨｙ）次元実ベクトルをｅｎ（Ｈ）とすると目標画像ｆは、
【００４０】
【数４】
2004272840.tif 000006
【００４１】
となる。
【００４２】
また、連続画像空間Ｈは、ここでは三角多項式で張られる空間としている。具体的には、
【００４３】
【数５】
2004272840.tif 000007
【００４４】
なる整数Ｍｘ、Ｍｙを導入し、整数νｘ＝−Ｍｘ，−Ｍｘ＋１，・・・Ｍｘ、およびνｙ＝−Ｍｙ，−Ｍｙ＋１，・・・Ｍｙ、に対して、
【００４５】
【数６】
2004272840.tif 000008
【００４６】
を定義し、
【００４７】
【数７】
2004272840.tif 000009
【００４８】
で張られる線形空間を連続画像空間Ｈとしている。この連続画像空間Ｈは、
【００４９】
【数８】
2004272840.tif 000010
【００５０】
であり、この連続画像空間Ｈの内積は、
【００５１】
【数９】
2004272840.tif 000011
【００５２】
であり、また連続画像空間Ｈのノルムは、
【００５３】
【数１０】
2004272840.tif 000012
【００５４】
である。さらに、［数７］が正規直交基底になっているので、連続画像空間Ｈに存在する連続画像ｆｃは、
【００５５】
【数１１】
2004272840.tif 000013
【００５６】
に示すように正規直交展開することができる。ここで、
【００５７】
【数１２】
2004272840.tif 000014
【００５８】
である。
【００５９】
図２に示したように、連続画像ｆｃを目標画像ｆに対応付ける作用素がＡＨ、連続画像ｆｃを観測画像ｇに対応付ける作用素がＡＬであるので、目標画像ｆ、および観測画像ｇは、それぞれ、
【００６０】
【数１３】
2004272840.tif 000015
【００６１】
である。
【００６２】
この実施形態の画像高精細化方法は、観測画像ｇから連続画像ｆｃを推定する処理と、ここで推定した連続画像ｆｃＬから復元画像ｆ０を生成する処理の２つの処理を行う。この復元画像ｆ０は、目標画像ｆと同じ画素数の画像である。この２つの処理は、簡単に言うと、図２に示したように、観測画像ｇを連続画像ｆｃに対応付ける作用素がＸＬであるので、観測画像ｇから推定される連続画像ｆｃＬは、
【００６３】
【数１４】
2004272840.tif 000016
【００６４】
である。そして、この推定された連続画像ｆｃＬから生成される復元画像ｆ０は、図２に示したように連続画像ｆｃを目標画像ｆに対応付ける作用素がＡＨであるので、
【００６５】
【数１５】
2004272840.tif 000017
【００６６】
である。したがって、復元画像ｆ０は、
【００６７】
【数１６】
2004272840.tif 000018
【００６８】
である。［数１６］において、ＡＨＸＬがこの発明で言う復元作用素に相当する。
【００６９】
この実施形態の画像高精細化方法は、観測画像ｇから実際に高解像ＣＣＤカメラ２で撮像した目標画像ｆに近い、復元画像ｆ０を生成するために、これらの作用素を以下のようにして決定する。
【００７０】
上記作用素ＡＨに高解像度ＣＣＤカメラ２の光学的特性や電気的特性等を含ませるために、高解像カメラ２が目標画像ｆを得る過程をモデル化した。高解像度ＣＣＤカメラ２は、図４に示すように、ＣＣＤ素子が横方向にΔＨｘ間隔でＮＨｘ個、縦方向にΔＨｙ間隔でＮＨｙ個、配列されている。１つのＣＣＤ素子が１画素に相当する。横方向にｎｘ番目、縦方向にｎｙ番目に配列されているＣＣＤ素子の横方向の中心位置をｘｎｘ、縦方向の中心位置をｙｎｙとすると、
【００７１】
【数１７】
2004272840.tif 000019
【００７２】
である。
【００７３】
また、ＣＣＤ素子の受光領域は、ΔＨｘ×ΔＨｙの全領域ではなく、図４に示すように、その一部である。この受光領域の横方向の大きさは２ｒＨｘ、縦方向の大きさは２ｒＨｙである。ＣＣＤ素子の中心と受光領域の中心とは一致している。そして、この受光領域における連続画像ｆｃの積分値が画素値ｆｎｘ，ｎｙである。したがって、横方向にｎｘ番目、縦方向にｎｙ番目に配列されているＣＣＤ素子の画素値ｆｎｘ，ｎｙは、
【００７４】
【数１８】
2004272840.tif 000020
【００７５】
である。［数１８］において、ｆｃ（ｘ、ｙ）は連続画像ｆｃである。ここで、ｕｎｘ（ｘ）、ｕｎｙ（ｙ）を、それぞれ、
【００７６】
【数１９】
2004272840.tif 000021
【００７７】
とし、さらにｕｎｘ，ｎｙ（ｘ，ｙ）を、
【００７８】
【数２０】
2004272840.tif 000022
【００７９】
とすると、横方向にｎｘ番目、縦方向にｎｙ番目に配列されているＣＣＤ素子の画素値ｆｎｘ，ｎｙは、
【００８０】
【数２１】
2004272840.tif 000023
【００８１】
となり、これは連続画像ｆｃと関数ｕｎｘ，ｎｙとの内積である。また、ｕｎｘ，ｎｙ（ｘ，ｙ）は、高解像度ＣＣＤカメラ２の光学的特性や電気的特性を含む特性関数である。ｕｎｘ（ｘ）は、例えばΔＨｘ＝５ｍｍ、ＮＨｘ＝８７、ｌｘ＝３４８ｍｍ、ｒＨｘ＝１．５ｍｍ、ｎｘ＝４４であるとき、図５に示す関数である。
【００８２】
作用素ＡＨは、この特性関数であるｕｎｘ，ｎｙ（ｘ，ｙ）を用いることにより、
【００８３】
【数２２】
2004272840.tif 000024
【００８４】
で表される。［数２２］は、ノイマン・シャッテン積と呼ばれる演算子を用いて表した数式である。この演算子は、
【００８５】
【数２３】
2004272840.tif 000025
【００８６】
によって定義される作用素であり、ｇの空間からｆの空間への変換を意味している。ｇとｈは同じ空間にある。
【００８７】
上記のように、連続画像ｆｃを目標画像ｆに対応付ける作用素ＡＨは、［数２２］により与えられる。この作用素ＡＨには、上述のように高解像度ＣＣＤカメラ２の光学的特性、電気的特性が含まれている。したがって、この作用素ＡＨを用いることで、高解像度ＣＣＤカメラ２の光学的特性、電気的特性を考慮した画像の推定（連続画像ｆｃから目標画像ｆの推定）が行える。
【００８８】
次に、上記作用素ＡＬに低解像度ＣＣＤカメラ１の光学的特性や電気的特性等を含ませるために、低解像カメラ１が観測画像ｇを得る過程をモデル化する。低解像度ＣＣＤカメラ１は、図６に示すように、ＣＣＤ素子が横方向にΔＬｘ間隔でＮＬｘ個、縦方向にΔＬｙ間隔でＮＬｙ個、配列されている。１つのＣＣＤ素子が１画素に相当する。横方向にｎｘ番目、縦方向にｎｙ番目に配列されているＣＣＤ素子の横方向の中心位置、および縦方向の中心位置を、それぞれ
【００８９】
【数２４】
2004272840.tif 000026
【００９０】
とすると、これらは、
【００９１】
【数２５】
2004272840.tif 000027
【００９２】
である。
【００９３】
また、ＣＣＤ素子の受光領域は、ΔＬｘ×ΔＬｙの全領域ではなく、図６に示すように、その一部である。この受光領域の横方向の大きさは２ｒＬｘ、縦方向の大きさは２ｒＬｙである。ＣＣＤ素子の中心と受光領域の中心とは一致している。そして、この受光領域における連続画像ｆｃの積分値が画素値ｇｎｘ，ｎｙである。したがって、横方向にｎｘ番目、縦方向にｎｙ番目に配列されているＣＣＤ素子の画素値ｇｎｘ，ｎｙは、
【００９４】
【数２６】
2004272840.tif 000028
【００９５】
である。［数２５］において、ｆｃ（ｘ、ｙ）は連続画像ｆｃである。ここで、ｖｎｘ（ｘ）、ｖｎｙ（ｙ）を、それぞれ、
【００９６】
【数２７】
2004272840.tif 000029
【００９７】
とし、さらにｖｎｘ，ｎｙ（ｘ，ｙ）を、
【００９８】
【数２８】
2004272840.tif 000030
【００９９】
とすると、横方向にｎｘ番目、縦方向にｎｙ番目に配列されているＣＣＤ素子の画素値ｇｎｘ，ｎｙは、
【０１００】
【数２９】
2004272840.tif 000031
【０１０１】
となり、これは連続画像ｆｃと関数ｖｎｘ，ｎｙとの内積である。また、ｖｎｘ，ｎｙ（ｘ，ｙ）は、低解像度ＣＣＤカメラ１の光学的特性や電気的特性を含む特性関数であると言える。
【０１０２】
作用素ＡＬは、この特性関数であるｖｎｘ，ｎｙ（ｘ，ｙ）を用いることにより、
【０１０３】
【数３０】
2004272840.tif 000032
【０１０４】
で表される。
【０１０５】
上記のように、連続画像ｆを観測画像ｇに対応付ける作用素ＡＬは、［数３０］により与えられる。この作用素ＡＬには、上述のように低解像度ＣＣＤカメラ１の光学的特性、電気的特性が含まれている。したがって、この作用素ＡＬを用いて求められる、後述する射影フィルタＡ＋（＝ＸＬ）にも低解像度ＣＣＤカメラ１の光学的特性、電気的特性が含まれる。
【０１０６】
次に、射影フィルタについて説明する。射影フィルタ（または部分射影フィルタ）は、公知のように連続画像空間Ｈに存在する連続画像ｆｃに対して、部分空間における連続画像ｆｃの最良近似を求めるフィルタである。具体的には、ＡＬの共役作用素をＡ＊Ｌ、Ａ＊Ｌの値域をＲ（Ａ＊Ｌ）、Ｒ（Ａ＊Ｌ）への正射影作用素をＰＲ（Ａ＊Ｌ）とした場合に、
【０１０７】
【数３１】
2004272840.tif 000033
【０１０８】
を満たす作用素ＸＬを射影フィルタという。
【０１０９】
より、具体的には、射影フィルタは、作用素Ａに対して、［数３２］に示す１〜４の４つの条件を満足する作用素Ｘである。
【０１１０】
【数３２】
2004272840.tif 000034
【０１１１】
この作用素Ｘは、作用素Ａのムーアペンローズの一般逆であり、一般にＡ＋と表記される。したがって、観測画像ｇを連続画像ｆｃに対応付ける作用素ＸＬは、Ａ＋Ｌであり、上記［数１６］は、
【０１１２】
【数３３】
2004272840.tif 000035
【０１１３】
となる。
【０１１４】
上記［数３３］により、低解像ＣＣＤカメラ１で連続画像ｆｃを撮像した観測画像ｇから、高解像度ＣＣＤカメラ２で撮像した目標画像ｆに近い復元画像ｆ０を推定し、生成することができる。
【０１１５】
［数３３］は、以下に示すように、行列を用いて計算することができる。
【０１１６】
ムーアペンローズの一般逆に関する公式
【０１１７】
【数３４】
2004272840.tif 000036
【０１１８】
により、ＡＨＡ＋Ｌは、
【０１１９】
【数３５】
2004272840.tif 000037
【０１２０】
である。ここで、作用素Ｕ，Ｖを、
【０１２１】
【数３６】
2004272840.tif 000038
【０１２２】
とすると、［数３３］は、
【０１２３】
【数３７】
2004272840.tif 000039
【０１２４】
となる。作用素Ｕは、
【０１２５】
【数３８】
2004272840.tif 000040
【０１２６】
であり、内積＜ｖｎ’ｘ，ｎ’ｙ，ｕｎｘ，ｎｙ＞が第ｎｘ＋ＮＨｘｎｙ−ＮＨｘ行、ｎ’ｘ＋ＮＬｘｎ’ｙ−ＮＬｘ列の要素に現れる（ＮＨｘ×ＮＨｙ）行（ＮＬｘ×ＮＬｙ）列の行列である。また、作用素Ｖは、
【０１２７】
【数３９】
2004272840.tif 000041
【０１２８】
であり、内積＜ｖｎ’ｘ，ｎ’ｙ，ｖｎｘ，ｎｙ＞が第ｎｘ＋ＮＬｘｎｙ−ＮＬｘ行、ｎ’ｘ＋ＮＬｘｎ’ｙ−ＮＬｘ列の要素に現れる（ＮＬｘ×ＮＬｙ）行（ＮＬｘ×ＮＬｙ）列の行列（正方行列）である。
【０１２９】
上記内積＜ｖｎ’ｘ，ｎ’ｙ，ｕｎｘ，ｎｙ＞は、
【０１３０】
【数４０】
2004272840.tif 000042
【０１３１】
で計算できる。ここで、Ｗｎ’ｘ，ｎｘ、Ｗｎ’ｙ，ｎｙは、
【０１３２】
【数４１】
2004272840.tif 000043
【０１３３】
である。同様に内積＜ｖｎ’ｘ，ｎ’ｙ，ｖｎｘ，ｎｙ＞は、
【０１３４】
【数４２】
2004272840.tif 000044
【０１３５】
で計算できる。ここで、
【０１３６】
【数４３】
2004272840.tif 000045
【０１３７】
である。
【０１３８】
したがって、行列Ｕ、および行列Ｖを求め、行列Ｖのムーアペンローズの一般逆Ｖ＋を求め、さらにＵＶ＋を復元作用素として求めればよい。この復元作用素ＵＶ＋には、上記したように低解像度ＣＣＤカメラ１、および高解像度ＣＣＤカメラ２の光学的特性や電気的特性が含まれている。したがって、この復元作用素ＵＶ＋を用いることで、低解像ＣＣＤカメラ１で撮像した観測画像ｇから、低解像度ＣＣＤカメラ１、および高解像度ＣＣＤ２の光学的特性や電気的特性を考慮した復元画像を生成することができ、結果的に高解像ＣＣＤカメラ２で撮像した目標画像ｆに近い、復元画像ｆ０を生成することができる。この復元画像ｆ０の画素数は、目標画像ｆの画素数と同じである。
【０１３９】
上記復元作用素ＵＶ＋は、任意の連続画像ｆｃを低解像度ＣＣＤカメラ１で撮像した観測画像ｇから推定し生成される復元画像ｆ０が対応する目標画像ｆに近い画像になるように、低解像度ＣＣＤカメラ１と高解像度ＣＣＤカメラ２により、連続画像空間に存在する同じ連続画像ｆｃを撮像した、観測画像ｇと目標画像ｆからなる対の画像（以下、一対の画像と言う。）を、１組だけで決定するのではなく、複数組用いて統計的に決定するのが好ましい。復元作用素ＵＶ＋を決定する際に利用する、一対の画像の総組数についてはできるだけ多いほうがよい。
【０１４０】
次に、この発明の実施形態である画像高精細化装置について説明する。図７は、この発明の実施形態である画像高精細化装置の機能構成を示すブロック図である。この実施形態の画像高精細化装置１１、本体の動作を制御する制御部１２と、低解像度ＣＣＤカメラ１で撮像された撮像画像（以下、観測画像ｇと言う。）の入力を受け付ける画像入力部１３と、画像入力部１３に入力された観測画像ｇについて手ぶれ等による劣化を復元し、且つ高精細化した画像（以下、目標画像ｆと言う。）を生成する高精細化部１４と、高精細化部１４で高精細化した復元画像ｆ０を出力する画像出力部１５とを備えている。
【０１４１】
低解像度ＣＣＤカメラ１は、画素数がＮＬｘ×ＮＬｙである、比較的解像度の低い安価なＣＣＤカメラである。制御部１２は、上記画像高精細化方法で説明した復元作用素ＵＶ＋を記憶している。低解像度ＣＣＤカメラ１で撮像された観測画像ｇは画像入力部１３に入力される。高精細化部１４は、制御部１２に記憶している復元作用素を入力された観測画像ｇに作用させる。
【０１４２】
この復元作用素ＵＶ＋は、上述のように低解像度ＣＣＤカメラ１、および高解像度ＣＣＤカメラ２の光学的特性や電気的特性を含んだ作用素である。これにより、高精細化部１４では、低解像度ＣＣＤカメラ１、および高解像度ＣＣＤカメラ２の光学的特性や電気的特性を考慮した復元画像ｆ０が生成される。したがって、高精細化部１４において、この観測画像ｇと同じ連続画像ｆｃを高解像度ＣＣＤカメラ２で撮像した目標画像ｆに近い復元画像ｆ０を生成することができる。高精細化部１４で復元された復元画像ｆ０は画像出力部１５から出力される。
【０１４３】
この実施形態の画像高精細化装置１１を、例えば人の出入を監視する監視システムに利用すれば、低解像度ＣＣＤカメラ１で撮像した観測画像ｇ（監視画像）を目標画像ｆに近い復元画像ｆ０に高精細化してから、記録することができるので、この監視システムに用いるＣＣＤカメラを、比較的安価な低解像度ＣＣＤカメラ１で実現することができる。したがって、監視システムのコストダウンが図れる。
【０１４４】
また、低解像度ＣＣＤカメラ１で撮像した観測画像ｇ（監視画像）をそのまま記録し、必要に応じて記録している観測画像ｇを目標画像ｆに近い復元画像ｆ０に高精細化するようにしてもよい。このようにすれば、画像を記録する記録媒体の記録容量を抑えることができ、一層のコストダウンが図れる。
【０１４５】
次に、この発明の実施形態である画像認識装置について説明する。図８は、この発明の実施形態である画像認識装置の機能構成を示すブロック図である。図８では、図７と同じ構成については同じ符号を付している。
【０１４６】
この実施形態の画像認識装置２１は、本体の動作を制御する制御部１２と、低解像度ＣＣＤカメラ１で撮像された撮像画像（以下、観測画像ｇと言う。）の入力を受け付ける画像入力部１３と、画像入力部１３に入力された観測画像ｇについて手ぶれ等による劣化を復元し、且つ高精細化した画像（以下、目標画像ｆと言う。）を生成する高精細化部１４と、高精細化部１４で高精細化した復元画像ｆ０を認識する画像認識部２２と、認識結果を出力する認識結果出力部２３と、を備えている。
【０１４７】
この実施形態の画像認識装置２１は、高精細化部１４で復元された復元画像ｆ０を画像認識部２２で認識する。画像認識部２２は、復元画像ｆ０から認識対象の画像、例えば交通監視システムでは車両のナンバープレートの画像、を切り出し、この切り出した画像について認識処理を行う。上述の画像高精細化装置１１において説明したように、高精細化部１４において、観測画像ｇと同じ連続画像ｆｃを高解像度ＣＣＤカメラ２で撮像した目標画像ｆに近い復元画像ｆ０を生成することができる。したがって、本体に入力された観測画像ｇが比較的低解像度の画像であっても、画像認識部２２における認識率を低下させることがない。
【０１４８】
したがって、比較的安価な低解像度ＣＣＤカメラ１を利用することができ，交通監視システムのコストダウンが図れる。
【０１４９】
図９に、この画像認識装置２１において低解像度ＣＣＤカメラ１で撮像した観測画像ｇ、この観測画像ｇから復元された復元画像ｆ０、および高解像ＣＣＤカメラ２で撮像した目標画像ｆを示す。図９から明らかなように、観測画像ｇから復元された復元画像ｆ０が目標画像ｆに近い画像である。
【０１５０】
なお、この発明にかかる画像高精細化方法は、ＣＣＤカメラで撮像した観測画像を処理する装置であれば、上記以外の装置にも適用できる。
【０１５１】
【発明の効果】
以上のように、この発明によれば、低解像度ＣＣＤカメラで撮像した観測画像に、低解像ＣＣＤカメラ、および高解像度ＣＣＤカメラの光学的特性や電気的特性が含まれている復元作用素を作用させているので、観測画像から高解像度ＣＣＤカメラで撮像したときに得られる目標画像に近い復元画像を推定し、生成することができる。
【図面の簡単な説明】
【図１】この発明の画像高精細化方法の概念を説明する図である。
【図２】連続画像空間，低解像度画像空間、高解像度画像空間の関係を示す図である。
【図３】（ＮＬｘ×ＮＬｙ）次元実ベクトルによる画像の取り扱いを説明する図である。
【図４】高解像度ＣＣＤカメラにおけるＣＣＤ素子のモデルを示す図である。
【図５】関数ｕｎｘ（ｘ）を示す図である。
【図６】低解像度ＣＣＤカメラにおけるＣＣＤ素子のモデルを示す図である。
【図７】この発明の実施形態である画像高精細化装置の機能構成を示すブロック図である。
【図８】この発明の実施形態である画像認識装置の機能構成を示すブロック図である。
【図９】観測画像、復元画像、目標画像の違いを説明する図である。
【符号の説明】
１−低解像度ＣＣＤカメラ
２−高解像度ＣＣＤカメラ
１１−画像高精細化装置
１２−制御部
１３−画像入力部
１４−高精細化部
１５−画像出力部
２１−画像認識装置
２２−画像認識部
２３−認識結果出力部
【図１】
2004272840.tif 000046
【図２】
2004272840.tif 000047
【図３】
2004272840.tif 000048
【図４】
2004272840.tif 000049
【図５】
2004272840.tif 000050
【図６】
2004272840.tif 000051
【図７】
2004272840.tif 000052
【図８】
2004272840.tif 000053
【図９】
2004272840.tif 000054