(57)【要約】【課題】演算負荷を抑えつつ、鮮鋭度の高い超解像画像を生成する。【解決手段】同一の対象物を映した解像度の異なる複数の元画像Ｓ１〜Ｓｎから超解像画像Ｈを生成する画像生成装置（１）は、少なくとも頂点生成部（１０）と画像描画部（３０）とを備える。頂点生成部（１０）は、元画像Ｓの各々について、元画像Ｓの画素の画素値と、当該画素に対応する、超解像画像Ｈの画素に対応する所定の座標空間における位置とから成るデータを頂点として頂点配列Ｔに保持する。画像描画部（３０）は、頂点配列Ｔから選択された、上記座標空間における位置が隣り合う隣接するＮ個（Ｎは３以上の整数）を頂点とする互いに重ならない複数のＮ角形領域の各々について、Ｎ角形領域の頂点の画素値を用いて、当該Ｎ角形領域内の画素の画素値を補間する。【選択図】図１
2017194876.tif 000002
【特許請求の範囲】
【請求項１】
同一の対象物を映した解像度の異なる複数の元画像から、いずれの元画像よりも解像度が高い超解像画像を生成する画像生成装置であって、
上記元画像の各々について、上記元画像の画素の画素値と、当該画素に対応する、上記超解像画像の画素に対応する所定の座標空間における位置とから成る画素データを保持する保持部と、
上記保持部が保持した画素データから選択された、上記座標空間における位置が隣り合うＮ個（Ｎは３以上の整数）の画素データを頂点とする互いに重ならない複数のＮ角形領域の各々について、上記Ｎ角形領域の頂点である画素データの画素値を用いて、当該Ｎ角形領域に対応する上記超解像画像の画素の画素値を補間する補間部と、を備えることを特徴とする画像生成装置。
【請求項２】
上記保持部は、上記元画像の画素の位置について、上記元画像の画素同士の位置関係を維持しつつ所定範囲の値に正規化した位置を、上記座標空間における位置とすることを特徴とする請求項１に記載の画像生成装置。
【請求項３】
Ｎ＝３であり、
ドロネー三角形分割法を用いて、上記保持部が保持した画素データから、上記Ｎ角形領域を構成する頂点を選択する選択部を備えることを特徴とする請求項１または２に記載の画像生成装置。
【請求項４】
Ｎ＝３であり、
上記保持部が保持する画素データのうち、注目する画素データの周辺領域において上記注目する画素データからの距離が近い上位２つの画素データを探索し、該探索した２つの画素データと上記注目する画素データとを、上記Ｎ角形領域を構成する頂点として選択する選択部を備えることを特徴とする請求項１または２に記載の画像生成装置。
【請求項５】
上記補間部による補間は、コンピュータグラフィックス処理によるポリゴンの描画であることを特徴とする請求項１から４のいずれか１項に記載の画像生成装置。
【請求項６】
同一の対象物を映した解像度の異なる複数の元画像から、いずれの元画像よりも解像度が高い超解像画像を生成する画像生成装置の制御方法であって、
上記元画像の各々について、上記元画像の画素の画素値と、当該画素に対応する、上記超解像画像の画素に対応する所定の座標空間における位置とから成る画素データを保持する保持工程と、
上記保持工程にて保持した画素データから選択された、上記座標空間における位置が隣り合うＮ個（Ｎは３以上の整数）の画素データを頂点とする互いに重ならない複数のＮ角形領域の各々について、上記Ｎ角形領域の頂点である画素データの画素値を用いて、当該Ｎ角形領域に対応する上記超解像画像の画素の画素値を補間する補間工程と、を含むことを特徴とする画像生成装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、同一の対象物を映した解像度の異なる複数の低解像画像から、当該対象物の高解像画像（超解像画像）を生成する画像生成装置等に関する。
【背景技術】
【０００２】
定点カメラや監視カメラなどに映る対象物を認識するための技術として、低解像画像を高解像度化する超解像技術が広く知られている。超解像技術に関して従来から様々な技術開発がなされており、例えば、画像フレーム間の位相差を用いる技術（特許文献１）、移動領域と背景領域とを分離して高解像度化を行う技術（特許文献２）、３次元物体の超解像処理を実現する技術（非特許文献１）などが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１６３５８８号公報（２００９年７月２３日公開）
【特許文献２】特開２００７−２０５号公報（２００７年１月１１日公開）
【非特許文献】
【０００４】
【非特許文献１】山口他、「画素単位のレジストレーションによる３次元形状物体画像の超解像処理」、画像の認識・理解シンポジウム（MIRU2009），２００９年７月，IS2-54:1223-1230
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来技術では、処理対象となる画素が、表示装置等の解像度に応じて均等の間隔で配列されていることを前提としており、その位置を推定するためのイメージレジストレーション処理、位置合わせ処理、および、カラー値の補正処理などの複雑な演算処理を必要とする。
【０００６】
また、高解像度化にあたり、一般に知られている補間技術（例えば、線形補間やキュービック補間など）を適用しても、対象物を認識するのに十分な程度にまで超解像画像の鮮鋭度が高いものにはならない。
【０００７】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、低解像画像を高解像度化して超解像画像を生成するにあたり、演算負荷を抑えつつ、鮮鋭度の高い超解像画像を生成する画像生成装置等を提供することにある。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明の一態様に係る画像生成装置は、同一の対象物を映した解像度の異なる複数の元画像から、いずれの元画像よりも解像度が高い超解像画像を生成する画像生成装置であって、上記元画像の各々について、上記元画像の画素の画素値と、当該画素に対応する、上記超解像画像の画素に対応する所定の座標空間における位置とから成る画素データを保持する保持部と、上記保持部が保持した画素データから選択された、上記座標空間における位置が隣り合うＮ個（Ｎは３以上の整数）の画素データを頂点とする互いに重ならない複数のＮ角形領域の各々について、上記Ｎ角形領域の頂点である画素データの画素値を用いて、当該Ｎ角形領域に対応する上記超解像画像の画素の画素値を補間する補間部と、を備えている。
【０００９】
また、上記の課題を解決するために、本発明の一態様に係る画像生成装置の制御方法は、同一の対象物を映した解像度の異なる複数の元画像から、いずれの元画像よりも解像度が高い超解像画像を生成する画像生成装置の制御方法であって、上記元画像の各々について、上記元画像の画素の画素値と、当該画素に対応する、上記超解像画像の画素に対応する所定の座標空間における位置とから成る画素データを保持する保持工程と、上記保持工程にて保持した画素データから選択された、上記座標空間における位置が隣り合うＮ個（Ｎは３以上の整数）の画素データを頂点とする互いに重ならない複数のＮ角形領域の各々について、上記Ｎ角形領域の頂点である画素データの画素値を用いて、当該Ｎ角形領域に対応する上記超解像画像の画素の画素値を補間する補間工程と、を含んでいる。
【００１０】
上記の構成によれば、各元画像の各画素は、Ｎ角形領域を構成する頂点となる画素データとして保持部に保持される。このとき、画素データの位置として保持されるのは、元画像の画素に対応する、超解像画像の画素に対応する所定の座標空間における位置である。よって、画素データ同士の位置関係は、対応する元画像の画素の位置関係に対応したものであり、かつ、対応する超解像画像の画素の位置関係に対応したものでもある。それゆえ、Ｎ角形領域の各々について、Ｎ角形領域の頂点である画素データの画素値を用いてＮ角形領域に対応する超解像画像の画素の画素値を補間することにより、超解像画像を生成することができる。
【００１１】
よって、各元画像の各画素に対して、同一の座標空間における位置および位置関係に置き換えた上で処理を施すため、処理対象となる画素が均等の間隔で配列されている必要はなく、それゆえ従来技術において行われるイメージレジストレーション処理、位置合わせ処理、カラー値の補正処理などを必要としない。したがって、複雑な演算処理を要することなく超解像画像を生成できるという効果を奏する。
【００１２】
さらに、Ｎ角形領域内の補間処理は、一般に知られるコンピュータグラフィックス処理によるポリゴン描画で実現できるため、ＧＰＵ（Graphics Processing Unit）等を用いることにより鮮鋭度の高い超解像画像を生成することができる。
【００１３】
なお、本発明の一態様に係る画像生成装置は集積回路として実現してもよく、この場合には、上記集積回路を備えるチップなども本発明の範疇に入る。また、本発明の一態様に係る画像生成装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像生成装置が備える各手段として動作させることにより上記画像生成装置をコンピュータにて実現させる画像生成装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【００１４】
本発明によれば、演算負荷を抑えつつ、鮮鋭度の高い超解像画像を生成することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態に係る画像生成装置の概略構成を示すブロック図である。
【図２】（ａ）、（ｂ）、（ｃ）は超解像画像の生成元である元画像を示す模式図である。
【図３】図２の（ａ）〜（ｃ）に示した元画像から上記画像生成装置が生成する頂点配列の一例を示す模式図である。
【図４】（ａ）は、図３に示した頂点配列に含まれる各頂点を、その正規化後の位置に従って同一の二次元座標空間に配置した様子を示す模式図である。（ｂ）は、図４の（ａ）に示した頂点から、三角形領域を構成する頂点群を選択した様子の一例を示す模式図である。
【図５】図４の（ｂ）に示す頂点群に基づいて上記画像生成装置の頂点選択部が生成した三角形リストＬの一例を示す模式図である。
【図６】（ａ）および（ｂ）は、上記画像生成装置にて元画像から超解像画像を生成する処理の流れの一例を示すフローチャートである。
【図７】（ａ）は、ナンバープレートを対象物とする、解像度の異なる複数の元画像の一例を示す図である。（ｂ）は、ナンバープレートの原画像を示す図である。
【図８】（ａ）は、図７（ａ）に示した元画像から上記画像生成装置が生成した超解像画像の一例を示す図である。（ｂ）は、図７（ａ）に示した元画像のうちの１つを図８の（ａ）に示した超解像画像と同じサイズに単純に拡大した画像を示す図である。また、図８（ｃ）は、図７（ａ）に示した元画像の１つをキュービック補間により図８の（ａ）に示した超解像画像と同じサイズに拡大した画像を示す図である。また、図８（ｄ）は、図７（ａ）に示した元画像の１つを線形補間により図８の（ａ）に示した超解像画像と同じサイズに拡大した画像を示す図である。
【図９】（ａ）および（ｂ）は、上記画像生成装置の頂点選択部が頂点群を選択する方法の変形例を示す模式図である。（ｃ）は、図７（ａ）に示した元画像から上記画像生成装置が変形例により生成した超解像画像の一例を示す図である。
【発明を実施するための形態】
【００１６】
本発明の一実施形態について、図１〜図９に基づいて説明すると以下のとおりである。
【００１７】
本実施形態において、同一の対象物が映る解像度の異なる複数の画像を、元画像Ｓ１、Ｓ２、・・・、Ｓｎ（ｎは２以上の整数）と表記し、これらの総称を「元画像Ｓ」と表記する。また、複数の元画像Ｓから生成される画像であって、いずれの元画像Ｓよりも解像度の高い対象物の画像を「超解像画像Ｈ」と表記する。超解像画像Ｈを生成する主目的は、元画像Ｓでは認識し難い対象物を認識可能な状態にすることである。
【００１８】
元画像Ｓは、典型的には、一部または全部の映像領域に対象物が映る動画像を構成する各フレームから抽出された対象物の静止画像である。本実施形態では、車載のドライブレコーダや道路に設置された定点カメラにて同一の自動車を撮影した動画像を構成する各フレームから抽出された自動車のナンバープレートの画像を、元画像Ｓの一例として説明する。この例ではナンバープレートが対象物である。なお、動画像に写る対象物の向きが適切でない場合（例えば正面を向いていない場合）は、周知の画像変換手法を用いて、対象物を非回転状態に（例えば正面を向くように）変換したものを元画像Ｓとする。
【００１９】
また、本実施形態において、画像を構成する画素の位置（座標）は、画像の左上端の画素を原点とする二次元座標（つまりＸ座標およびＹ座標）で表すものとして説明する。原点から水平右方向をＸ軸方向、原点から垂直下方向をＹ軸方向とする。
【００２０】
図１を参照しながら、本実施形態に係る画像生成装置１の構成例について説明する。図１は、画像生成装置１の構成例を示すブロック図である。画像生成装置１は、複数の元画像Ｓから超解像画像Ｈを生成する装置である。画像生成装置１が実行する処理を概括すれば、元画像Ｓの各々を同一サイズにして同一の二次元座標空間（以下では「座標空間Ｃ」と表記する）に重ね合わせた場合において、各元画像Ｓの各画素を頂点とする複数の多角形領域毎に、多角形領域を構成する頂点の画素値（以下ではカラー値とも称する）を用いて多角形領域内の画素の画素値を補間する、というものである。この一連の処理を実行するために、画像生成装置１は、図１に示すとおり、頂点生成部１０（保持部）、頂点選択部２０（選択部）、および、画像描画部３０（補間部）を含んでいる。
【００２１】
頂点生成部１０は、元画像Ｓの各々について、元画像Ｓを構成する画素を、上述した多角形領域を構成する頂点（画素データとも称する）として保持する処理を行う。頂点は、属性値として「カラー値」と「位置」とを有する。頂点のカラー値は、当該頂点が対応する元画像Ｓの画素の画素値であり、かつ、当該頂点が対応する超解像画像Ｈの画素の画素値である。頂点の位置は、当該頂点が対応する元画像Ｓの画素の位置を正規化したものであって、当該画素に対応する座標空間Ｃにおける位置であり、かつ、当該頂点が対応する超解像画像Ｈの画素の位置に対応するものである。したがって、頂点生成部１０が実行する処理は、元画像Ｓの画素の画素値と、当該画素に対応する、超解像画像Ｈの画素に対応する所定の座標空間Ｃにおける位置とから成る画素データを頂点として保持する処理である。
【００２２】
頂点生成部１０が実行する処理を具体的に説明する。まず、頂点生成部１０は、元画像Ｓの各々について、元画像Ｓを構成する各画素のＸ軸方向およびＹ軸方向の位置を、画素同士の位置関係を維持しつつ所定範囲の値になるように正規化する。このように正規化することにより、異なる元画像Ｓの画素同士の、同一の座標空間Ｃでの位置関係を容易に算出することができる。なお、上述したとおり多角形領域を構成する各頂点は超解像画像Ｈを構成する各画素に対応するから、各元画像Ｓを構成する各画素の正規化後の画素同士の位置関係（つまり、頂点の位置関係）は、対応する超解像画像の画素の位置関係と対応する。
【００２３】
正規化における上記所定範囲は限定されるものではないが、典型例としては、０以上１未満である。０以上１未満の範囲で正規化する際の計算方法としては、元画像Ｓを構成する画素のＸ軸方向の位置（水平位置）を当該元画像ＳのＸ軸方向の画素数で除算するとともに、元画像Ｓにおける各画素のＹ軸方向の位置（垂直位置）を当該元画像ＳのＹ軸方向の画素数で除算すればよい。元画像Ｓの解像度が３２×１６である場合（すなわちＸ軸方向の画素数が３２、およびＹ軸方向の画素数が１６である場合）を例に挙げれば、各画素のＸ座標のそれぞれを、０、１／３２、２／３２、・・・、３０／３２、３１／３２とし、また、各画素のＹ座標のそれぞれを、０、１／１６、２／１６、・・・、１４／１６、１５／１６とする。
【００２４】
なお、各画素の位置を０以上１未満の数値で正規化すると、画素の正規化後の位置から、当該画素に対応する超解像画像Ｈの画素の、超解像画像Ｈにおける位置を、容易に算出することができる。すなわち、各画素の正規化後のＸ軸方向の位置に超解像画像ＨのＸ軸方向の画素数を乗算すれば、超解像画像ＨにおけるＸ軸方向の位置を算出でき、同様に、各画素の正規化後のＹ軸方向の位置に超解像画像ＨのＹ軸方向の画素数を乗算すれば、超解像画像ＨにおけるＹ軸方向の位置を算出できる。
【００２５】
そして、頂点生成部１０は、元画像Ｓの各々の全ての画素について、正規化後の位置と画素値とを、それぞれ、頂点の「位置」と「カラー値」として、配列（以下では「頂点配列Ｔ」と表記する）に保持する。なお、正規化後の位置が重複する頂点については（特に、正規化後の位置が０である頂点については）、いずれか１つのみを代表値として頂点配列Ｔに含めるか、または、重複する各頂点のカラー値の平均値を頂点配列Ｔに含めるか、または、処理負荷を軽減するために、重複する全ての頂点を頂点配列Ｔに含めないことが好ましい。
【００２６】
図２および図３を参照しながら、頂点配列Ｔの具体例について説明する。説明の便宜上、３個の元画像Ｓ１〜Ｓ３の各画素を頂点として保持する頂点配列Ｔについて説明する。図２の（ａ）〜（ｃ）はそれぞれ、元画像Ｓ１〜Ｓ３の一例を示す模式図である。説明の便宜上、元画像Ｓ１の解像度は５×４であり、元画像Ｓ２の解像度は７×５であり、元画像Ｓ３の解像度は８×７であるものとした。そして、図２の（ａ）〜（ｃ）では、元画像Ｓｎを構成する各画素を「Ｐｎ／ｊｋ」と表記した（ｊは画素のＸ軸方向の位置を示す０以上ｈ未満の整数、ｈはＸ軸方向の総画素数、ｋは画素のＹ軸方向の位置を示す０以上ｖ未満の整数、ｖはＹ軸方向の総画素数）。
【００２７】
図３は、図２の（ａ）〜（ｃ）に示した元画像Ｓ１〜Ｓ３の各画素を頂点として保持する頂点配列Ｔの一例を示す模式図である。図３に示すとおり、この頂点配列Ｔは、元画像Ｓｎを構成する各画素Ｐｎ／ｊｋについて、０以上１未満の範囲で正規化した位置と、画素値とから成る頂点を保持している。例えば、図３に示す頂点配列Ｔの先頭では、元画像Ｓ１の画素Ｐ１／００の正規化後の位置（０，０）と、Ｐ１／００の画素値とから成る頂点を保持している。
【００２８】
次に、再び図１を参照して、頂点選択部２０について説明する。頂点選択部２０は、頂点配列Ｔに保持した各頂点が、同一の座標空間Ｃにおいて、頂点配列Ｔに保持した位置に配置されているものとみなして、座標空間Ｃにおいて互いに重ならない複数のＮ角形領域（Ｎは３以上の整数）を構成する頂点群を、Ｎ角形領域毎に選択する。具体的には、頂点選択部２０は、頂点配列Ｔに保持された頂点から、座標空間Ｃにおける位置が隣り合い、かつ、Ｎ角形領域を構成するＮ個の頂点を選択する処理を、頂点配列Ｔに保持した頂点の全てが少なくとも１回選択されるまで繰り返す。この処理は、頂点配列Ｔに保持した頂点をＮ角形領域毎に分類する処理（つまり、頂点をソートする処理）でもある。
【００２９】
そして、頂点選択部２０は、選択したＮ個の頂点から成る頂点群の各々を並べたリスト（以下では「Ｎ角形リストＬ」または「多角形リストＬ」と表記する）を生成する。リストを構成するデータは、頂点のデータそのもの（すなわち、カラー値および位置）であってもよいし、頂点配列Ｔにおける頂点の配列位置を示すインデックスであってもよい。
【００３０】
ここで、Ｎの値は、画像描画部３０が実行するコンピュータグラフィクス処理の性能に応じて定められる。例えば、画像描画部３０が三角形領域を補間可能（つまり三角形ポリゴンを描画可能）であればＮ＝３としてよく、また、画像描画部３０が四角形領域を補間可能（つまり四角形ポリゴンを描画可能）であればＮ＝４としてよい。なお、超解像画像Ｈの鮮鋭度を高めるには補間領域が小さいほど好ましいため、Ｎの値は小さいほど好ましい。
【００３１】
Ｎ＝３の場合において、頂点選択部２０が三角形領域を構成する頂点群を選択する方法としては様々な方法を取り得るが、頂点配列Ｔに保持されている頂点の全てを対象としてドロネー三角形分割法を用いることが好適である。ドロネー三角形分割法を用いれば、三角形領域と三角形領域との間に隙間（抜け）が生じることがなく、また、処理速度が速い。ドロネー三角形分割法は周知であるため本明細書ではその説明を省略する。
【００３２】
図４および図５を参照しながら、三角形領域および三角形リストＬの具体例について説明する。図４の（ａ）は、図３に示した頂点配列Ｔに含まれる各頂点を、その正規化後の位置に従って同一の座標空間Ｃに配置した様子を示す模式図である。同図に示す黒丸（Ｐ１／００、Ｐ１／１０など）は図２の（ａ）に示した元画像Ｓ１を構成する画素に対応する頂点であり、白丸（Ｐ２／１１など）は図２の（ｂ）に示した元画像Ｓ２を構成する画素に対応する頂点であり、白二重丸（Ｐ３／１０、Ｐ３／１１、Ｐ３／２１など）は図２の（ｃ）に示した元画像Ｓ３を構成する画素に対応する頂点である。
【００３３】
そして、図４の（ｂ）は、頂点選択部２０が、図４の（ａ）に示した頂点から、三角形領域を構成する頂点群を選択した様子の一例を示す模式図である。たとえば、Ｐ１／００、Ｐ３／１０、Ｐ３／１１の３頂点は三角形領域Ａ１を構成する頂点群であり、また、Ｐ１／１０、Ｐ２／１１、Ｐ３／２１の３頂点は三角形領域Ａ２を構成する頂点群である。図４の（ｂ）では、図４の（ａ）に示した頂点の全てが１つ以上の三角形領域の頂点を構成する状態となっており、また、三角形領域と三角形領域との間に隙間（抜け）は生じていない。
【００３４】
そして、図５は、図４の（ｂ）に示す頂点群に基づいて頂点選択部２０が生成した三角形リストＬの一例を示す模式図である。図５に示す三角形リストＬは、３個の頂点から成る頂点群の各々を並べたものとなっている。この例では、三角形リストＬは、頂点を示すデータそのもの（位置およびカラー値）で構成されている。図５を参照すると、Ｐ１／００、Ｐ３／１０、Ｐ３／１１（それぞれの位置は（０，０）、（１／８，０）、（１／８，１／７））の３頂点が三角形領域Ａ１を構成し、また、Ｐ１／１０、Ｐ２／１１、Ｐ３／２１（それぞれの位置は（１／５，０）、（１／７，１／５）、（２／８，１／７））の３頂点が三角形領域Ａ２を構成することが読み取れる。
【００３５】
次に、再び図１を参照して、画像描画部３０について説明する。画像描画部３０は、頂点選択部２０が選択した頂点群で構成されるＮ角形領域の各々について、Ｎ角形領域の頂点の画素値を用いてＮ角形領域に対応する超解像画像Ｈの画素の画素値を補間する。言い換えれば、画像描画部３０は、Ｎ角形リストＬに含まれる頂点群の各々について、頂点群を構成するＮ個の頂点のカラー値を用いてＮ角形ポリゴンを描画する。ポリゴンを描画するために、画像描画部３０は、コンピュータグラフィックス処理を実行可能なＧＰＵ（Graphics Processing Unit）を含んでいることを想定している。それゆえ、画像生成装置１は、ＧＰＵ（Graphics Processing Unit）を備えるコンピュータ等により実現してもよい。
【００３６】
画像描画部３０が全てのＮ角形領域（つまり、Ｎ角形リストＬに含まれる全ての頂点群）についてポリゴン描画を完了すると、全てのＮ角形領域が隙間なく描画されることとなり、その結果、超解像画像Ｈが生成される。なお、上述したとおり頂点の位置は正規化されているため、画像描画部３０は、描画する超解像画像Ｈが所望の解像度となるように描画領域を調整する必要がある。
【００３７】
なお、図１には示していないが、画像生成装置１は、元画像Ｓ、頂点配列Ｔ、Ｎ角形リストＬ、超解像画像Ｈ、およびこれらの生成過程で得られる中間データを保持するためのメモリやレジスタ等の記憶部を備えている。
【００３８】
次に、図６に示すフローチャートを参照しながら、画像生成装置１にて元画像Ｓから超解像画像Ｈを生成する処理の一例について説明する。以下では、頂点生成部１０が実行する処理を頂点生成処理と称し、頂点選択部２０が実行する処理を頂点選択処理と称し、画像描画部３０が実行する処理を描画処理と称する。画像生成装置１にて元画像Ｓから超解像画像Ｈを生成する処理の流れとして、図６の（ａ）および（ｂ）に示すフローのいずれかを取り得る。
【００３９】
図６の（ａ）に示す処理フローは、まず工程Ｓ１１（保持工程）および工程Ｓ１２にて、全ての元画像Ｓについて頂点生成処理を逐次実行して頂点配列Ｔを完成させた後、続いて工程Ｓ１２にて、頂点配列Ｔを用いて頂点選択処理を実行して多角形リストＬを完成させ、最後に工程Ｓ１３（補間工程）にて、多角形リストＬを用いて描画処理を実行することにより超解像画像Ｈを生成する。この処理フローでは、最終段階で超解像画像Ｈが１つ生成される。
【００４０】
図６の（ｂ）に示す処理フローは、まず工程Ｓ２１（保持工程）にて、１つの元画像Ｓについて頂点生成処理を実行して頂点配列Ｔに含める頂点を追加更新し、続いて工程Ｓ２２にて、更新された頂点配列Ｔを用いて頂点選択処理を実行して多角形リストＬに含める頂点群を追加更新し、続いて工程Ｓ２３にて、更新された多角形リストＬを用いて描画処理を実行することにより超解像画像Ｈを描画する。そして、新たに処理対象となる元画像Ｓが存在する限り工程Ｓ２１〜Ｓ２３を繰り返す（工程Ｓ２４）。この処理フローでは、工程Ｓ２３を終える毎に超解像画像Ｈが生成される。新たな元画像Ｓが入力される毎に頂点の総数が増えるため、超解像画像Ｈの鮮鋭度は徐々に高いものとなる。ただし、頂点の総数が多くなるほど、頂点配列Ｔおよび多角形リストＬのデータ量が多くなり処理効率が低下する。よって、頂点の総数に上限を設け、新たな元画像Ｓが入力されることにより上限を超えたら、頂点配列Ｔおよび多角形リストＬに保持済みの頂点の一部については削除することが好ましい。
【００４１】
次に、図７および図８を参照しながら、画像生成装置１が８個の元画像Ｓ１〜Ｓ８から生成した超解像画像Ｈの一例について説明する。図７の（ａ）は、ナンバープレートを対象物とした、解像度の異なる複数の元画像Ｓ１〜Ｓ８の一例を示す図である。これらは、車載のドライブレコーダや道路に設置された定点カメラにて同一の対向車を時間的に連続して撮影した動画像の各フレームから、ナンバープレートのみを抽出した画像であるものとする。なお、ナンバープレートの原画像は図７の（ｂ）に示すとおりである。対向車が近づくにつれてナンバープレートはフレーム内で相対的に大きく撮影されるため、元画像Ｓ１〜Ｓ８はそれぞれ解像度が異なっている。元画像Ｓ１（解像度：３２×１６）は対向車が相対的に最も遠いときに撮影されたものであり、元画像Ｓ８（解像度：４６×２３）は対向車が相対的に最も近いときに撮影されたものであるものとする。
【００４２】
図８の（ａ）は、画像生成装置１が図７の（ａ）に示した元画像Ｓ１〜Ｓ８から生成した超解像画像Ｈの一例を示す図である。図８の（ａ）に示す超解像画像Ｈは、元画像Ｓ１〜Ｓ８のいずれよりも解像度が高く、また、元画像Ｓ１〜Ｓ８では認識し難い文字が認識できる程度に鮮鋭度が高まっている。
【００４３】
なお、図８の（ｂ）は、図７の（ａ）に示した元画像Ｓ８を超解像画像Ｈと同じサイズに単純に拡大した画像を示す図である。また、図８の（ｃ）は、元画像Ｓ８をキュービック補間により超解像画像Ｈと同じサイズに拡大した画像を示す図である。また、図８の（ｄ）は、元画像Ｓ８を線形補間により超解像画像Ｈと同じサイズに拡大した画像を示す図である。図８の（ａ）に示す超解像画像Ｈは、図８の（ｂ）〜（ｄ）に示す画像のいずれよりも鮮鋭度が高まっており、画像中の文字が認識し易いことに留意されたい。
【００４４】
次に、Ｎ＝３の場合において頂点選択部２０が頂点群を選択する方法として、ドロネー三角形分割法を用いない代替方法を、変形例として説明する。本変形例は、処理対象となる頂点（以下では「注目頂点」と表記する）の周辺領域において注目頂点からの距離が相対的に近い上位２つの頂点を探索し、該探索した２つの頂点と注目頂点とを、三角形領域を構成する頂点群として選択する、という方法である。
【００４５】
本変形例においては、様々なバリエーションが考えられる。その一つとして、注目頂点からの距離が近い頂点を探索する範囲である周辺領域を任意に設定することができる。例えば、注目頂点の全周囲を対象として探索してもよいし、注目頂点の周辺を区分けした領域毎に探索してもよい。また例えば、注目頂点を中心として左上、左下、右上、および右下の４領域に区分けしてもよいし、上下または左右の２領域に区分けしてもよい。
【００４６】
他のバリエーションとして、探索対象とする頂点を限定してもよい。例えば、図６の（ｂ）に示した処理フローにおいて、工程Ｓ２１にて新たに頂点配列Ｔに配列された頂点のみを探索対象としてもよいし、工程Ｓ２１にて新たに頂点配列Ｔに配列された頂点を除く頂点のみを探索対象としてもよいし、頂点配列Ｔに配列された全ての頂点を探索対象としてもよい。
【００４７】
さらなる他のバリエーションとして、注目頂点からの距離が近い頂点を探索するにあたり、種々の探索アルゴリズムを適用することができる（例えば４分木アルゴリズムなど）。
【００４８】
次に、図９を参照しながら本変形例について説明する。図９の（ａ）は、対象物が映る動画像を構成する１フレーム目から抽出された元画像Ｓについて、図６の（ｂ）に示した処理フローにより、工程Ｓ２１〜工程Ｓ２３を１回ずつ実行した状態の一例を示す模式図である。黒丸は、１フレーム目から抽出された元画像Ｓの各画素を頂点として頂点配列Ｔに保持したものとする。図９の（ａ）に示す三角形領域を構成する頂点群が、頂点選択部２０により選択された頂点群である。
【００４９】
次に、図９の（ｂ）は、図９の（ａ）に示す状態の後、上記動画像を構成する２フレーム目から抽出された元画像Ｓについて、図６の（ｂ）に示した処理フローにより、再び工程Ｓ２１〜工程Ｓ２３を１回ずつ実行した状態を示す模式図である。図９の（ｂ）に示す黒丸は、図９の（ａ）に示す黒丸と同じである。図９の（ｂ）に示す白丸は、２フレーム目から抽出された元画像Ｓの各画素を頂点として頂点配列Ｔに新たに保持したものとする。図９の（ｂ）に示す例では、新たな三角形領域を構成する頂点群が選択されている。具体的には、白丸を注目頂点として、注目頂点を中心として左上、左下、右上、および右下の４領域の各々から、注目頂点からの距離が近い黒丸の頂点（すなわち、過去に頂点配列Ｔに配列済みの頂点）を１つずつ探索し、該探索した頂点と注目頂点とから成る頂点群が新たに選択されている。
【００５０】
その結果、図９の（ａ）に示す状態において領域Ａ３内は２つの三角形領域であったところ、図９の（ｂ）に示す状態において領域Ａ３内は４つの三角形領域に細分化された。領域Ａ４、Ａ５、およびＡ６についても同様である。
【００５１】
このように、頂点が増える毎に三角形領域が細分化されるため、その結果として、画像描画部３０が補間する三角形領域の面積は小さくなる。したがって、図６の（ｂ）に示した処理フローにて工程Ｓ２１〜工程Ｓ２３を繰り返す毎に、都度生成される超解像画像Ｈの鮮鋭度は徐々に高まるのである。
【００５２】
図９の（ｃ）は、図７の（ａ）に示した元画像Ｓ１〜Ｓ８から、本変形例を用いて生成した超解像画像Ｈの一例を示す図である。図９の（ｃ）に示す超解像画像Ｈは、ドロネー三角形分割法を用いて生成した超解像画像Ｈ（図８の（ａ）参照）ほど鮮鋭度は高くないものの、従来手法を用いた場合（図８の（ｂ）〜（ｄ）参照）より鮮鋭度は高まっており、文字が認識し易いことが分かる。
【００５３】
なお、図９の（ｃ）から分かるように、本変形例では、ドロネー三角形分割法とは異なり、頂点の探索の仕方によっては三角形領域と三角形領域との間に隙間（抜け）が生じ得るが、対象物を認識する上で支障を来たすほどではない。
【００５４】
上述の実施形態では、元画像Ｓおよび超解像画像Ｈはいずれも二次元画像であり、かつ、各頂点は同一の二次元座標空間に位置するものとして説明したが、これに限定されるものではない。例えば、元画像Ｓおよび超解像画像Ｈがいずれも三次元画像であり、かつ、各頂点が同一の三次元座標空間に位置する場合においても、本発明を適用することができる。
【００５５】
最後に、画像生成装置１の各ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。ＣＰＵを用いて実現する場合、画像生成装置１は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭまたは記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【００５６】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【００５７】
１  画像生成装置、１０  頂点生成部（保持部）、２０  頂点選択部（選択部）、３０  画像描画部（補間部）、Ｃ  座標空間、Ｈ  超解像画像、Ｌ  多角形リスト（Ｎ角形リスト）、Ｓ  元画像、Ｓｎ  元画像、Ｔ  頂点配列
【図１】
2017194876.tif 000003
【図２】
2017194876.tif 000004
【図３】
2017194876.tif 000005
【図４】
2017194876.tif 000006
【図５】
2017194876.tif 000007
【図６】
2017194876.tif 000008
【図７】
2017194876.tif 000009
【図８】
2017194876.tif 000010
【図９】
2017194876.tif 000011