(57)【要約】【課題】所定の画像データを時間的および空間的に変化させた画像データを生成および蓄積し、検索または認証の精度をより向上させる。【解決手段】画像生成蓄積装置であって、画像データを記憶する第１の記憶手段と、画素の移動を決定する速度をあらかじめ記憶した第２の記憶手段と、画像データを入力する入力手段と、前記第２の記憶手段に記憶された速度にもとづいて、前記入力した画像データに対して偏微分方程式を適用し、前記画像データを時間的および空間的に変化させた少なくとも１つの画像データを生成する生成手段と、前記生成した画像データ各々に、前記入力手段が入力した画像データに対応付けられた、同一の識別情報を付加し、前記第１の記憶手段に蓄積する蓄積手段と、を有する。【選択図】  図１
2006338221.tif 000002
【特許請求の範囲】
【請求項１】
画像生成蓄積装置であって、
画像データを記憶する第１の記憶手段と、
画素の移動を決定する速度をあらかじめ記憶した第２の記憶手段と、
画像データを入力する入力手段と、
前記第２の記憶手段に記憶された速度にもとづいて、前記入力した画像データに対して偏微分方程式を適用し、前記画像データを時間的および空間的に変化させた少なくとも１つの画像データを生成する生成手段と、
前記生成した画像データ各々に、前記入力手段が入力した画像データに対応付けられた、同一の識別情報を付加し、前記第１の記憶手段に蓄積する蓄積手段と、を備えること
を特徴とする画像生成蓄積装置。
【請求項２】
請求項１記載の画像生成蓄積装置であって、
前記偏微分方程式は、移流項と時間項とを含み、画素の画像強度を変数として有し、
前記移流項は、前記第２の記憶手段に記憶された速度と、前記画像強度の１次空間微分と、の積であること
を特徴とする画像生成蓄積装置。
【請求項３】
請求項１記載の画像生成蓄積装置であって、
前記入力手段が入力した画像データの輝度を、所定の線形方程式または所定の非線形方程式を適用して変化させた少なくとも１つの補正画像データを生成し、前記第１の記憶手段に記憶する補正手段と、をさらに備え、
前記生成手段は、前記補正画像データ各々について、前記偏微分方程式を適用し、当該補正画像データを時間的および空間的に変化させた画像データを生成すること
を特徴とする画像生成蓄積装置。
【請求項４】
情報処理装置が行う画像生成蓄積方法であって、
前記情報処理装置は、画像データを記憶する第１の記憶部と、画素の移動を決定する速度をあらかじめ記憶した第２の記憶部と、処理部と、を備え、
前記処理部は、
画像データを入力する入力ステップと、
前記第２の記憶部に記憶された速度にもとづいて、前記入力した画像データに対して偏微分方程式を適用し、前記画像データを時間的および空間的に変化させた少なくとも１つの画像データを生成する生成ステップと、
前記生成した画像データ各々に、前記入力ステップで入力した画像データに対応付けられた、同一の識別情報を付加し、前記第１の記憶部に蓄積する蓄積ステップと、を行うこと
を特徴とする画像生成蓄積方法。
【請求項５】
情報処理装置が実行する画像生成蓄積プログラムであって、
前記情報処理装置は、画像データを記憶する第１の記憶部と、画素の移動を決定する速度をあらかじめ記憶した第２の記憶部と、処理部と、を備え、
前記処理部は、
画像データを入力する入力ステップと、
前記第２の記憶部に記憶された速度にもとづいて、前記入力した画像データに対して偏微分方程式を適用し、前記画像データを時間的および空間的に変化させた少なくとも１つの画像データを生成する生成ステップと、
前記生成した画像データ各々に、前記入力ステップで入力した画像データに対応付けられた、同一の識別情報を付加し、前記第１の記憶部に蓄積する蓄積ステップと、を実行させること
を特徴とする画像生成蓄積プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を生成し、生成した画像を蓄積する技術に関する。
【背景技術】
【０００２】
静止画像などの画像データを編集し、新たな画像データを生成する技術として、例えば、モーフィング（morphing）と呼ばれる手法、または特許文献１に記載の技術がある。
【０００３】
モーフィングは、ある形状から別の形状へ徐々に変化していく様子を動画で表現するために、その中間を補うための中間画像を作成するものである。図５は、モーフィングによる中間画像の生成を模式的に示した図である。図５では、円柱の画像５００と直方体の画像５１０との間で、自動的もしくは人為的に対応点を設定する。そして、対応点の組合せを適宜変化させることで、２つの入力画像５００、５１０に類似した中間画像５２０を生成する。
【０００４】
また、特許文献１には、移流方程式を用いて静止画像から連続した動画を生成する技術が記載されている。
【特許文献１】特開２００４−３３４６９４
【発明の開示】
【発明が解決しようとする課題】
【０００５】
さて、さまざまな情報がデジタル化されている現代において、デジタル化されたデータの保存や検索の重要性がますます高まってきている。また、データベースには、例えば、過去の気象データ、住所、監視カメラにより撮影された時系列な画像など様々な種類のデータが構造的に蓄積されている。また、セキュリティの観点から、顔の画像や手掌画像をデータベースに蓄積し、本人認証を行うこともある。
【０００６】
一般的に、データベースに蓄積されるデータは、時間的または空間的に離散している（すなわち密度が低い）場合が多い。例えば、本人認証を行うために顔の画像をデータベースに蓄積する場合、正面や横向きなど所定の向きの画像データのみが記憶されていることが多い。
【０００７】
しかしながら、本人認証を行う際に、認証対象となる人の顔の向きが、データベースに蓄積された向きと異なる場合、対応する顔の画像データが存在しないため本人であっても、認証に失敗してしまう場合がある。なお、あらゆる向きの顔の画像をカメラで撮影して、データベースに蓄積することも考えられるが、作業負荷が大きく、現実的ではない。すなわち、撮影時間や使用機器が限られているため、１人１人に様々なバリエーションの撮影を長時間行うことは非現実的である。このように、データベースに格納されるデータは、時間的または空間的に離散している場合が多い。
【０００８】
本発明は上記事情に鑑みてなされたものであり、本発明の目的は、所定の画像データを時間的および空間的に変化させた画像データを生成および蓄積し、検索または認証の精度をより向上させることにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明は、例えば、画像生成蓄積装置であって、画像データを記憶する第１の記憶手段と、画素の移動を決定する速度をあらかじめ記憶した第２の記憶手段と、画像データを入力する入力手段と、前記第２の記憶手段に記憶された速度にもとづいて、前記入力した画像データに対して偏微分方程式を適用し、前記画像データを時間的および空間的に変化させた少なくとも１つの画像データを生成する生成手段と、前記生成した画像データ各々に、前記入力手段が入力した画像データに対応付けられた、同一の識別情報を付加し、前記第１の記憶手段に蓄積する蓄積手段と、を備える。
【００１０】
また、本発明は、情報処理装置が行う画像生成蓄積方法であって、前記情報処理装置は、画像データを記憶する第１の記憶部と、画素の移動を決定する速度をあらかじめ記憶した第２の記憶部と、処理部と、を備え、前記処理部は、画像データを入力する入力ステップと、前記第２の記憶部に記憶された速度にもとづいて、前記入力した画像データに対して偏微分方程式を適用し、前記画像データを時間的および空間的に変化させた少なくとも１つの画像データを生成する生成ステップと、前記生成した画像データ各々に、前記入力ステップで入力した画像データに対応付けられた、同一の識別情報を付加し、前記第１の記憶部に蓄積する蓄積ステップと、を行う。
【００１１】
また、本発明は、情報処理装置が実行する画像生成蓄積プログラムであって、前記情報処理装置は、画像データを記憶する第１の記憶部と、画素の移動を決定する速度をあらかじめ記憶した第２の記憶部と、処理部と、を備え、前記処理部は、画像データを入力する入力ステップと、前記第２の記憶部に記憶された速度にもとづいて、前記入力した画像データに対して偏微分方程式を適用し、前記画像データを時間的および空間的に変化させた少なくとも１つの画像データを生成する生成ステップと、前記生成した画像データ各々に、前記入力ステップで入力した画像データに対応付けられた、同一の識別情報を付加し、前記第１の記憶部に蓄積する蓄積ステップと、を実行させる。
【発明の効果】
【００１２】
本発明により、所定の画像データを時間的および空間的に変化させた画像データを生成および蓄積し、検索または認証の精度をより向上させることができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施の形態について説明する。
【００１４】
図１は、本発明の一実施形態が適用された画像生成蓄積装置１の構成図である。図示する画像生成蓄積装置１は、所定の画像データを時間的および空間的に変化させた拡張画像データを生成し、データベースに蓄積する装置である。
【００１５】
画像生成蓄積装置１は、元になる画像データを入力する画像入力部１１と、入力した画像データを蓄積（記憶）する画像蓄積部１２と、画像蓄積部１２に蓄積された画像データに対し後述する偏微分方程式等を適用して拡張画像データを生成する拡張画像生成部１３と、拡張画像生成部１３が生成した拡張画像データを蓄積（記憶）する拡張画像蓄積部１４と、拡張画像データを表示する表示部１５と、を備える。
【００１６】
なお、画像蓄積部１２および拡張画像蓄積部１４は、いわゆるデータベースである。また、画像蓄積部１２と拡張画像蓄積部１４とを統合し、１つのデータベースとしてもよい。
【００１７】
上記説明した、画像生成蓄積装置１は、ＣＰＵと、メモリと、外部記憶装置と、キーボードやスキャナなどの入力装置と、ディスプレイなどの出力装置と、他の装置と接続するための通信制御装置と、これらの各装置を接続するバスと、を備えた汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、ＣＰＵがメモリ上にロードされた画像生成蓄積装置１用のプログラムを実行することにより、画像生成蓄積装置の各機能が実現される。なお、画像生成蓄積装置１の画像蓄積部１２および拡張画像蓄積部１４には、メモリまたは外部記憶装置が用いられる。
【００１８】
また、画像生成蓄積装置１用のプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯなどのコンピュータ読み取り可能な記録媒体に記憶すること、または、ネットワークを介して配信することも可能である。
【００１９】
次に、本実施形態の画像生成蓄積装置１を用いた画像生成処理について説明する。
【００２０】
まず、画像入力部１１は、所定の画像データを入力し、画像蓄積部１２に記憶する。
【００２１】
なお、画像入力部１１は、画像データの入力の際に、当該画像データの画像データＩＤ（識別情報）を併せて入力し、画像蓄積部１２に記憶することとしてもよい。
【００２２】
そして、拡張画像生成部１３は、画像蓄積部１２に記憶された画像データを、後述する偏微分方程式または照明変化に対応する方程式に入力し、画像データを時間的および空間的に変化させた拡張画像データを、少なくとも１つ生成する。そして、拡張画像生成部１３は、生成した拡張画像データ各々に、同一の拡張画像データＩＤ（識別情報）を検索キーとして付加する。なお、拡張画像データＩＤは、画像入力部１１が入力した画像データと対応付けられたものとする。すなわち、拡張画像データＩＤを用いて、画像入力部１１が入力した画像データを特定できるものとする。
【００２３】
なお、拡張画像データＩＤには、画像入力部１１が入力した画像データＩＤを用いることとしてもよい。また、拡張画像データＩＤには、拡張画像生成部１３が所定のアルゴリズムにより生成したユニークなＩＤ、または、ユーザが入力したユニークなＩＤを用いることとしてもよい。
【００２４】
そして、拡張画像生成部１３は、同一の拡張画像ＩＤが設定された拡張画像データ各々を、拡張画像蓄積部１４に記憶する。また、表示部１５は、必要に応じて、拡張画像蓄積部１４に記憶された拡張画像データを、出力装置に表示する。
【００２５】
次に、拡張画像生成部１３が用いる偏微分方程式について説明する。
【００２６】
本実施形態では、例えば以下に示す式１の偏微分方程式が用いられるものとする。なお、偏微分方程式については、例えば、池田俊介著「流体の非線形現象−数理解析とその応用−」朝倉書店、または、特開２００４−３３４６９４（特許文献１）に記載されている。
【００２７】
I（x,y,n+1）= I（x,y,n）-Δt・（Ｕ・∇I（x,y,n）-λ∇・∇I（x,y,n））    式１
また、上記式１を変形させて、以下の式２で表すことができる。
【００２８】
｛I（x,y,n+1）−I（x,y,n）｝/Δt =-Ｕ・∇I（x,y,n）+λ∇・∇I（x,y,n）  式２
式２において、左辺が時間項、右辺の第１項が移流項、第２項は拡散項であって、画像を構成する画素の画像強度Ｉを変数とする。そして、画素を（x,y）、離散化された時間（または時刻）をｎとすると、Ｉ（x,y,n）は、画素（x,y）の離散化された時間ｎにおける画像強度である。
【００２９】
Δtは時間間隔、λは拡散係数、Ｕは速度である。また、∇は１次空間微分演算子、∇・∇は２次空間微分演算子、「・」はベクトル内積である。なお、式２の移流項は、速度Ｕと、画像強度Ｉ（x,y,n）の１次空間微分との積で表される。
【００３０】
時間間隔Δt、拡散係数λ、および積分回数については、生成する画像の変形の程度などに応じて、所定の値をあらかじめ設定しておくものとする。なお、演算の安定条件を考慮し、時間間隔Δtは比較的小さな値とし、その分、積分回数を比較的多くすることが好ましい。例えば、時間間隔Δtに「０．０５秒」を、拡散係数λに「１．０」を、積分回数に「１００」を設定することが考えられる。
【００３１】
速度Ｕは、画像データの各画素が、新たに生成される拡張画像データにおいてどのように移動するのか（移動の方法、移動の大きさ等）を規定するものである。すなわち、速度Ｕは、画像データの未来または過去に対応した動きを規定するものである。
【００３２】
なお、本実施形態の速度Ｕは、２次元速度ベクトルであって、回転、平行移動、拡散、発散などを表す複数の２次元速度ベクトル（回転ベクトル、並進ベクトル、座標変換ベクトルなど）がメモリまたは外部記憶装置にあらかじめ記憶されているものとする。そして、入力された画像データ（または、生成される拡張画像データ）の種類に応じて、メモリ等に記憶された２次元速度ベクトルの中から所定の２次元速度ベクトルを偏微分方程式に設定することとする。
【００３３】
例えば、後述する図２に示すような顔の画像データを入力する場合、顔の凹凸にあわせて２次元の写真を回転させるようなベクトルを、速度Ｕとして、あらかじめメモリまたは外部記憶装置に記憶しておくこととする。なお、目および鼻の凹凸に合わせた３次元速度ベクトルを２次元に投影したベクトルを用いることが望ましいが、簡単のため、顔の大きさに見合った楕円を２次元速度ベクトルに投影したものを用いることとしてもよい。
【００３４】
なお、ユーザは、任意の２次元速度ベクトルを設定（または編集）することとしてもよい。
【００３５】
拡張画像生成部１３は、式１または式２に示す偏微分方程式を差分法に従って離散化し、２次元画像面および離散時間軸に沿って積分を再帰的に繰り返す。なお、I（x,y,n）は、入力される画像強度（既知量）であって、I（x,y,n+1）は式１または式２を計算することにより出力される画像強度である。すなわち、所定の積分回数を設定し、設定した積分回数だけ式１または式２を繰り返し計算することで、所望の拡張画像データを生成（出力）することができる。
【００３６】
なお、生成される拡張画像データは、入力された画像データを当該画像データに対応する時刻から指定された時刻（過去方向または未来方法）だけ、速度Ｕに基づいて変化したものである。
【００３７】
また、拡張画像生成部１３は、入力された画像データの照明を変化させた補正画像データを生成することとしてもよい。すなわち、拡張画像生成部１３は、以下に示す式３を用いて、入力された画面データ（ｎ＝０）に、様々な輝度値Ｆを加算または減算し、照明変化に対応した補正画像データを生成することとしてもよい。
【００３８】
I（x,y,n+1）= I（x,y,n）＋Ｆ            式３
Ｆは輝度値であって、照明が面光源の場合は線型方程式を、また、照明がスポットライトなどの点光源の場合は非線形方程式を用いることが考えられる。なお、非線形方程式としては、例えば、輝度値Ｆに以下に示す式４を用いることが考えられる。
【００３９】
Ｆ＝Ａｅ−λｎ              式４
なお、Ａは所定の常数である。
【００４０】
このように照明を変化させた複数の補正画像データを生成した場合、拡張画像生成部１３は、補正画像データ毎に式１または式２の偏微分方程式を適用し、照明および速度を変化させた拡張画像データを生成することとしてもよい。また、拡張画像生成部１３は、所定の画像データから偏微分方程式を用いて生成した拡張画像データに、式３を適用して照明および速度を変化させた拡張画像データを生成することとしてもよい。
【００４１】
次に、図２および図３を用いて、画像生成蓄積装置１の画像生成処理を具体的に説明する。
【００４２】
図２は、１枚の顔の画像２００から、異なる視点の顔の画像２１０、２２０を生成した場合の説明図である。
【００４３】
まず、画像入力部１１は、正面を向いた顔の画像２００を入力画像データとして入力し、画像蓄積部１２に記憶する。なお、画像入力部１１は、入力された画像データの画像データＩＤ（ユーザＩＤなど）を併せて入力し、画像蓄積部１２に記憶することとする。
【００４４】
そして、拡張画像生成部１３は、I（x,y,n）の初期値を正面向きの顔の画像データ２００とし、偏微分方程式（式１または式２）を所定の回数積分し、異なる視点の顔の拡張画像データを、複数（例えば２０枚程度）、生成する。そして、拡張画像生成部１３は、生成した拡張画像データ各々に、同一の拡張画像データＩＤを検索キーとして付加し、拡張画像蓄積部１４に記憶する。この場合、拡張画像データＩＤには、画像入力部１１で入力された画像データＩＤ（ユーザＩＤ）を用いることとする。
【００４５】
なお、拡張画像生成部１３は、下向きの顔の画像データ２１０を生成する場合は、偏微分方程式の速度Ｕに、顔の凹凸にあわせて２次元の写真を下向きに回転させる２次元速度ベクトルを設定するものとする。また、拡張画像生成部１３は、横向きの顔の画像データ２２０を生成する場合は、偏微分方程式の速度Ｕに、顔の凹凸にあわせて２次元の写真を横向きに回転させる２次元速度ベクトルを設定するものとする。
【００４６】
このように、１枚の顔の画像データから異なる視点の複数の拡張画像データを生成し、当該生成した拡張画像データ各々に同一の拡張画像データＩＤを付加して拡張画像蓄積部１４に記憶する。この画像蓄積部１４の複数の拡張画像データを用いることにより、より信頼性の高い認証処理を行うことができる。
【００４７】
例えば、本人認証において、認証の際に入力されたユーザＩＤ（または、ユーザＩＤに対応付けられた所定のＩＤ）と一致する拡張画像ＩＤが付加された拡張画像データを抽出する。そして、抽出された拡張画像データは、それぞれ、認証対象となる本人を異なる視点で生成した画像データであるため、認証時に認証対象の本人が所定の方向（正面など）を向いていない場合であっても、本人であると認証することができる。
【００４８】
図３は、拡張画像記憶部１４に記憶された拡張画像データの一例を示した図である。
【００４９】
図３では、偏微分方程式（式１または式２）および照明変化に対応する計算式（式３）を用いて生成した複数の拡張画像データ（補正画像データを含む）を、マトリックス状のデータベースとして表している。
【００５０】
例えば図３（ａ）は、所定の模様の画像データを偏微分方程式に入力し、繰り返し計算（積分）する度に生成される拡張画像データを、縦軸方向に蓄積したものである。また、図３（ａ）は、所定の模様の画像データ（または、拡張画像データ）を照明変化に対応する計算式に入力し、繰り返し計算する度に生成される補正画像データを、横軸方向に蓄積したものである。
【００５１】
なお、照明変化に対応する計算式の輝度値Ｆに例えば「２．０」を設定して繰り返し計算することにより、画像の輝度が線形に変化した補正画像データが生成され、横軸方向に順に蓄積される。また、輝度値Ｆに設定される値に応じて、生成される補正画像データの連続性が変化する。また、図３（ｂ）、（ｃ）、（ｄ）についても、図３（ａ）と同様である。
【００５２】
図４は、同一の顔認識アルゴリズムに対する顔認識率をグラフ化したものである。縦軸は認識率であって、横軸は顔の回転変化量（顔の向きの変化量）と照明変化量とをそれぞれ正規化し、定量化（小、中、大）したものである。
【００５３】
なお、データベース上に記憶された顔画像データ群と、認識対象の未知の顔画像データとの類似性については、両者の正規化相関関数を計算し、その値が大きいほど類似していると判別される。正規化相関関数については、田村秀行著、「コンピュータ画像処理入門」、総研出版、日本工業技術センター編に記載されている。また、顔認識アルゴリズムは、市場で流通している一般的な顔認識アルゴリズムを用いたものである。
【００５４】
図４では、本実施形態により生成された拡張画像データを記憶した拡張画像蓄積部１４のデータベースを用いた場合４００、回転・照明変化量が大きい場合であっても急激に認識率が低下することなく、高い認識率を確保できることを示している。一方、従来のデータベースを用いた場合４１０では、カメラ撮影などにより限られた顔データ（所定の向きおよび所定の照明での顔データ）しか存在しないため、回転・照明変化量が大きい場合は認識率が急激に低下してしまうことを示している。
【００５５】
以上説明した本実施形態では、偏微分方程式に所定の画像データを入力することにより、当該画像データを時間的および空間的に変化させた様々なバリエーションの拡張画像データを生成することができる。そして、生成した拡張画像データを順に蓄積していくことで、時間的および空間的に密度の高いデータベースを作成することができる。
【００５６】
また、本実施形態で生成した拡張画像データを用いることにより、画像データの検索または認証（本人認証など）において、本来は同一である画像が不一致となる場合、または、本来は同一である画像を見逃してしまう場合などを、回避することができる。すなわち、本実施形態では、検索または認証の精度をより向上させることができる。
【００５７】
また、本実施形態では、照明の変化に対応した補正画像データを生成する。これにより、認証時における照明が変化している場合であっても、本来は同一である画像データをより高い精度で検出することができる。
【００５８】
なお、本発明は上記の実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。例えば、本実施形態では、１枚の画像データを偏微分方程式に入力して、時間的および空間的に変化させた拡張画像データを生成することとした。しかしながら、本発明はこれに限定されず、時系列な複数の画像データを入力し、当該複数の画像データ間を、補完する拡張画像データを生成することとしてもよい。
【００５９】
また、本実施形態では画像データを用いることとしたが、画像データ以外の各種データに適用することも考えられる。
【図面の簡単な説明】
【００６０】
【図１】本発明の一実施形態が適用された画像生成蓄積装置の全体構成を示す図である。
【図２】１枚の顔の画像データから、異なる視点の顔の画像データを生成する場合の説明図である。
【図３】マトリックス状のデータベースの一例を示す図である。
【図４】顔認識率の一例をグラフ化した図である。
【図５】モーフィングによる中間画像の生成を模式的に示した図である。
【符号の説明】
【００６１】
１：画像生成蓄積装置１１：画像入力部、１２：画像蓄積部、１３：拡張画像生成部、１４：拡張画像蓄積部、１５：表示部
【図１】
2006338221.tif 000003
【図２】
2006338221.tif 000004
【図３】
2006338221.tif 000005
【図４】
2006338221.tif 000006
【図５】
2006338221.tif 000007