(57)【要約】【課題】  画像識別のためのパタン識別機を学習する際には，多数の学習サンプルが必要となる。学習サンプルの質および数が識別機の性能を決める大きな要因になるが，多数の学習サンプルを収集するためには高いコストがかかるという問題があった。【解決手段】  本発明は，画像識別機の学習において，少数の学習サンプルから多様なバリエーションを持つ学習用サンプルを生成することを目的とし，入力画像を受け付ける入力手段と，対象の変化度合いを表すパラメタまたは撮像系を表すパラメタを入力する入力手段を備え，内臓する画像変化モデルにより，上記対象が質的に変化したときの画像または撮像系の変化により撮影画像が変化したときの画像を合成する手段を用いて，少数の学習用画像から多数の学習用画像を生成し，生成された学習用画像を用いて画像識別機を学習する。【選択図】  図１
2008287378.tif 000002
【特許請求の範囲】
【請求項１】
識別対象の画像が入力される入力部と、前記識別対象の画像に変化度合いを表すパラメタを適用して学習用画像を出力する手段と、前記学習用画像から画像識別機を学習する手段とを備え、
前記変化度合いを表すパラメタを適用して学習用画像を出力する手段は、上記識別対象の画像が劣化した画像を出力する手段，上記識別対象の画像が変形した画像を出力する手段，上記識別対象の画像に汚れが付着した画像を出力する手段，上記識別対象の画像に落書きがなされた画像を出力する手段，上記識別対象の画像が物理的に損傷した画像を出力する手段とを備えることを特徴とする画像識別学習装置。
【請求項２】
識別対象の画像が入力される入力部と、識別対象の画像に撮像系を表すパラメタを適用して学習用画像を出力する手段と、前記学習用画像から画像識別機を学習する手段とを備え、
前記撮像系を表すパラメタを適用して学習用画像を出力する手段は、上記識別対象を異なる撮像系で撮影した画像を出力する手段，又は上記識別対象を異なる撮影条件で撮影した画像を出力する手段をとを備えることを特徴とする画像識別学習装置。
【請求項３】
前記識別対象が劣化したときの画像を出力する手段は、乱数により濃淡を決定した画像を平滑化したものを，識別対象画像に足し合わせた画像を出力することにより，１つの入力画像から，多様なバリエーションを持つ複数の画像を出力する手段であることを特徴とする請求項１記載の画像識別学習装置
【請求項４】
各画素において，輝度値または周囲の画像パタンに依存して輝度値の変化量を決めることにより，変化させた画像を出力する手段を備えることを特徴とする請求項１又は２に記載の画像識別学習装置。
【請求項５】
前記識別対象の画像に落書きなされた画像を出力する手段は、ランダムな方向に線分または曲線を延ばすことにより，落書き画像を生成する手段であることを特徴とする請求項１記載の画像識別学習装置。
【請求項６】
請求項１又は２に記載の画像識別学習装置を備えることを特徴とする印刷物識別装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，画像識別機の画像識別学習装置及びそれを用いた印刷物識別装置に関する。
【背景技術】
【０００２】
画像識別のためのパタン識別機を学習する際には，多数の学習サンプルが必要となる。学習サンプルの質および数が識別機の性能を決める大きな要因になるが，多数の学習サンプルを収集するためには高いコストがかかる。そのため少数の実際に収集した学習サンプルから，多様なバリエーションを持つ学習用サンプルを人工的に生成する手法が望まれる。
【０００３】
多数の学習サンプルが必要となる原因として，同一対象の劣化・変形が挙げられる。識別対象が劣化・変形する可能性がある場合，劣化・変形した対象のサンプルも識別機の学習に必要となる。従って学習サンプルとして劣化・変形がないものしか入手できない場合，シミュレーションにより劣化・変形したサンプルを人工的に生成する手法は極めて有効である。
【０００４】
また多数の学習サンプルが必要となるもう一つの要因として，撮像系ばらつきがある。撮像機の違いや撮影条件の違いにより，識別対象の画像の輝度や画像における対象の位置などが変化するため，複数の撮像機や撮影条件で対象を撮影し，識別機を学習する必要がある。従って，擬似的に撮像機ばらつきや撮影条件ばらつきをシミュレーションすることにより，学習用サンプル画像数を低減することができる。
【０００５】
学習サンプルを人工的に生成する手法の例として，特表2006-501554と特開平10-63789がある。
【０００６】
特表2006-501554には，送付物のアドレスラベル読取機を最適化するために，住所や文字などのデジタル情報から学習サンプルを生成する手法が示されている。しかしながら文字の組み合わせやレイアウトの１パターンに対し，対象の品質や状態，印刷状況，撮像系の状態などに対するバリエーションを生成しない。
【０００７】
また特開平10-63789には，学習パタンにノイズを加え，パタン劣化に対してロバストな識別関数を学習データから学習する手法が示されている。しかしながら文字画像の読取時または印刷時におけるパタンの欠損・損傷を表現することを目的としており，対象物体の経年劣化・状態変化などの質的変化を表現するものではない。
【０００８】
【特許文献１】特表2006-501554
【特許文献２】特開平10-63789
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は，多くの学習サンプル数を必要とする画像識別機に対して，少数の学習サンプルから学習を可能とする学習装置を提供するものである。
【課題を解決するための手段】
【００１０】
本発明は，画像識別機の学習において，
少数の学習サンプルから多様なバリエーションを持つ学習用サンプルを生成することを目的とし，入力画像を受け付ける入力手段と，対象の変化度合いを表すパラメタまたは撮像系を表すパラメタを入力する入力手段を備え，内蔵する画像変化モデルにより，上記対象が質的に変化したときの画像または撮像系の変化により撮影画像が変化したときの画像を合成する手段を用いて，少数の学習用画像から多数の学習用画像を生成し，生成された学習用画像を用いて画像識別機を学習する。
【発明の効果】
【００１１】
上記構成により，本発明は，少数のサンプル画像から多様なバリエーションの画像を生成できるので，サンプル画像の数が少ないときでも，画像識別機の学習が可能となる。また劣化や変形，汚れの付着，撮像系のばらつきなどを予測して画像を生成するので，これらの影響により識別対象の画像が変化した場合でも，正しく識別することが可能となる。
【実施例１】
【００１２】
以下，本発明の実施例１を図面を用いて説明する。学習用画像の出力はプログラムにより行う。
【００１３】
図１は本発明における画像識別機学習装置のデータの流れを示したものである。本発明は画像変化モデル１０２を内部に備え，これは補助記憶２０７に保持されている。画像変化モデル１０２は識別対象の解析および撮像系の解析により事前に得られる。
【００１４】
本発明を利用するときは，まず画像変化モデル用パラメタ１０１を決定する。次に少数のサンプル画像を用意し，これを入力用画像１００として，画像変化モデル用パラメタ１０１とともに画像変化モデル１０２に入力する。画像変化モデル１０２から多数の学習用画像１０３が得られる。１枚の入力用画像につき１枚以上の学習用画像を出力するので，学習用サンプル画像の枚数を増やすことが可能となる。続いて得られた学習用画像１０３と識別機学習プログラム用パラメタ１０５を，識別機学習プログラム１０４に入力し，識別機を学習して学習結果１０６を出力する。
【００１５】
図２は本発明における画像識別機学習装置のブロック図であり，２００はバス，２０１は本発明の画像出力プログラムにより生成される識別機学習用画像の基となる画像を入力する画像入力装置，２０２は本発明の画像出力プログラムのパラメタおよび画像識別機学習装置のパラメタを入力する例えばキーボードなどのパラメタ入力装置，２０３は本発明の画像出力プログラムにより生成した識別機学習用画像を出力する画像出力装置，２０４は本発明により画像識別機を学習したときの出力結果を出力する学習結果出力装置，２０５はＣＰＵ，２０６は主記憶，２０７はプログラムやデータなどを格納する例えばフラッシュメモリやＨＤＤなどの補助記憶である。
【００１６】
本発明の動作を，図３のフローチャートを用いて説明する。まず入力画像１００から学習用画像１０３を合成し（３００），続いて画像識別機を学習する（３０１）。
【００１７】
学習用画像の合成（３００）の詳細を図４を用いて説明する。まず画像入力装置２０１により，学習用画像の基となる画像を取得する（４００）。次にパラメタ入力装置２０２により画像変化モデル用パラメタを取得する（４０１）。画像変化モデル用パラメタとは，例えば劣化度分布モデルパラメタ，変形度分布モデルパラメタ，汚れ度分布モデルパラメタ，落書き度分布モデルパラメタ，物理的損傷度分布モデルパラメタなどである。これらのパラメタの詳細については後述する。続く４０２から４０７まではループ処理となっており，すべての入力画像に対して繰り返し実行する。
【００１８】
ループＡ内において，４０３から４０６まではループ処理となっており，１つの入力画像に対しn回繰り返し実行する。nは入力１画像あたりの生成する学習用画像数を表している。ループＢ内では，まず入力画像に対して対象の質的変化をシミュレーションし（４０４），続いて撮像系の変化をシミュレーションする（４０５）。
【００１９】
対象の質的変化のシミュレーション（４０４）は，図５に示すように，まず経年劣化などにより対象の全体的な色が変化したときの画像を生成し（５００），次に対象の大きさや形が変形したときの画像を生成し（５０１），対象にしみなどの汚れが付着したときの画像を生成し（５０２），対象に落書きがなされたときの画像を生成し（５０３），対象が破れや穴，しわ，へこみなどの物理的破損をしたときの画像を生成する（５０４）。
【００２０】
図５の処理は直列に起こるが，それぞれの処理のパラメタに依っては，処理がなされないこともある。例えばあるパラメタでは，変形処理と汚れ処理は行われるが，その他の処理が行われない。
【００２１】
撮像系の変化のシミュレーション（４０５）は，図６に示すように，まずセンサ出力のばらつきなどの撮像機ばらつきに関する処理を行い（６００），その後に対象の位置や光源の変化などの撮像条件ばらつきに関する処理を行う（６０１）。
【００２２】
図５における対象画像の全体的な色を変化させる処理（５００）の詳細を図７を用いて説明する。まず画像変化モデル用パラメタのうち劣化度分布モデルパラメタを使って，劣化度分布を決定する（７００）。ここで劣化度とは対象の経年劣化を抽象化した量であり，劣化度分布とは各劣化度の生起確率を示す確率分布である。劣化度分布モデルパラメタを決定すると，劣化度分布が一意に決まるようになっている。以下，分布のモデルパラメタとは，分布を一意に決めるようなパラメタのことを指す。
【００２３】
例えば，正規分布のモデルパラメタは平均と分散である。次に劣化度分布に従って劣化度をランダムに決定し（７０１），劣化度に従って対象画像の輝度を変化させる（７０２）。例えば，座標(x,y)の画素値ベクトルをI(x,y)とし，劣化度をrとすると，I(x,y)をI(x,y)+F(I(x,y),r)と変化させる。ここでFは劣化度がrで画素値がI(x,y)のときの画素値の変動分を表す。Ｆは事前の識別対象の解析により得られる。
【００２４】
例えば，まず識別対象を劣化度合い別に見た目で分類し，劣化度ごと，輝度値ごとに基準となる対象画像からどれだけ輝度が変化するかを調べる。得られたデータを線形回帰することによりFが得られる。続いて，２次元平面上にランダムな輝度を持つ有限個の点を配置し，それらの点の間を滑らかに補完することにより図１４に例として示すような画像を作成し，これを対象画像に足しこむ（７０３）。この処理により，対象の劣化により生じるランダムな色むらを表現する。
【００２５】
図５における変形処理（５０１）の詳細を図８を用いて説明する。まず画像変化モデル用パラメタのうち変形度分布モデルパラメタを使って，変形度分布を決定する（８００）。ここで変形度とは大きさと歪みの変化を抽象化した量であり，変形度分布とは各変形度の生起確率を示す確率分布である。変形度分布モデルパラメタを決定すると，変形度分布が一意に決まるようになっている。次に変形度分布に従って変形度をランダムに決定し（８０１），続いて変形度に従って対象画像の大きさ，歪みを変化させる。
【００２６】
図５における汚れ処理（５０２）の詳細を図９を用いて説明する。まず画像変化モデル用パラメタのうち汚れ度分布モデルパラメタを使って，汚れ度分布を決定する（９００）。ここで汚れ度とはしみや油汚れなどの色，大きさを抽象化した量であり，汚れ度分布とは各汚れ度の生起確率を示す確率分布である。汚れ度分布モデルパラメタを決定すると，汚れ度分布が一意に決まるようになっている。次に汚れ度分布に従って汚れ度をランダムに決定する（９０１）。続いて汚れを付着させる場所を決定し（９０２），汚れの形を決定し（９０３），汚れ度に従って汚れの大きさ，色を決定する（９０４）。
【００２７】
汚れを付着させる場所は，事前に対象画像を解析することにより，汚れの付着位置に関する確率分布を調べ，それに従って場所を決める。汚れの形に関しては，事前に対象に付着している汚れの形を調べてデータベース化しておき，データベースの中からランダムに形を選択する。また汚れの大きさ，色は，画像変化モデルにより汚れ度rの関数として，Size(r)，Color(r)のように表されている。Size(r)，Color(r)に関しては，事前の対象画像の解析により得られる。
【００２８】
例えば，汚れが付着している識別対象を集め，それらを汚れ度合い別に見た目で分類し，大きさ，色に関するデータを収集する。得られたデータを線形回帰することにより，Size(r)，Color(r)が得られる。続いて汚れ画像を発生させ，それを対象画像と合成することにより，汚れつきの対象画像を生成する（９０５）。
【００２９】
図５における落書き処理（５０３）の詳細を図１０を用いて説明する。まず画像変化モデル用パラメタのうち落書き度分布モデルパラメタを使って，落書き度分布を決定する（１０００）。ここで落書き度とは対象に書かれた落書きの長さを表す量であり，落書き度分布とは各落書き度の生起確率を示す確率分布である。落書き度は落書きの長さLと等価な量であるが，便宜上，値がスケーリングされている。
【００３０】
落書き度分布モデルパラメタを決定すると，落書き度分布が一意に決まるようになっている。次に落書き度分布に従って落書き度をランダムに決定する（１００１）。続いて落書きの場所を決定し（１００２），落書き度から落書きの長さLを決定する（１００３）。例えば，汚れを付着させる場所は，事前に対象画像を解析することにより，落書きの位置に関する確率分布を調べ，それに従って場所を決める。続く１００４から１００６まではループ処理となっている。ループＣ内では，ランダムな方向に線分を伸ばしていくことにより落書きを生成していく（１００５）。落書きの長さがL以上になるとループを終了する。生成された落書き画像と対象画像を合成し（１００７），落書き処理は終了する。
【００３１】
図５における物理的損傷処理（５０４）の詳細を図１１を用いて説明する。まず物理的損傷の種類を決定し（１１００），画像変化モデル用パラメタから物理的損傷度分布を決定する。ここで物理的損傷度とは対象の物理的損傷の度合いを抽象化した量であり，物理的損傷度分布とは各物理的損傷度の生起確率を表す確率分布である。物理的損傷度分布モデルパラメタを決定すると物理的損傷度分布が一意に決まるようになっている。
【００３２】
次に物理的損傷度分布に従って物理的損傷度をランダムに決定し（１１０２），物理的損傷の場所を決定する（１１０３）。続いて物理的損傷画像を生成し，これを対象画像と合成する（１１０４）。ここで物理的損傷の種類，物理的損傷度に対応する物理的損傷の画像，物理的損傷の場所に関する確率分布は，事前に対象画像を解析することにより得られる。
【００３３】
例えば，物理的損傷がある識別対象を集め，どの程度の頻度でどの種類の物理的損傷があるかを調べる。また物理的損傷の種類それぞれに対して，どの場所にどの割合でその損傷が起こりやすいかを調べる。
【００３４】
さらに，物理的損傷の種類それぞれに対して，損傷度合い別に見た目で分類し，物理的損傷画像をデータベース化しておく。物理的損傷画像を生成する際は，物理的損傷の種類と物理的損傷度に従って，データベースの中からランダムに画像を選ぶ。
【００３５】
図６における撮像機ばらつき処理（６００）の詳細を図１２を用いて説明する。撮像機ばらつき処理では，仮想的に異なる撮像機で対象画像が撮影されたものと仮定して，そのときに得られる画像に近い画像を出力する。まず仮想的な撮像機種を決定し（１２００），撮像機の違いによる輝度の変動分を算出し（１２０１），これを対象画像に足しこむ（１２０２）。異なる機種を用いた場合，どの程度輝度が変動するかを事前に調べておく。
【００３６】
図６における撮像条件ばらつき処理（６０１）の詳細を図１３を用いて説明する。撮像条件ばらつき処理では，仮想的に光源や対象物体の位置などが異なる撮像条件で対象画像が撮影されたものと仮定して，そのときに得られる画像に近い画像を出力する。まず仮想的な撮影条件を決定し（１３００），光源の変化による輝度変動を算出し（１３０１），対象の位置ずれによる画像における位置変動を算出する（１３０２）。続いて算出された値に基づいて画像を合成する（１３０３）。光源の変化によりどのくらい輝度が変動するか，対象の位置が画像の中で何ピクセル変動するかは，事前に複数回，同一機種で対象を撮影して調べておく。
【実施例２】
【００３７】
以下，本発明の実施例２を説明する。実施例１では学習用画像を生成する装置と画像識別機を学習する装置がパッケージ化されていたが，学習用画像を生成する装置単独で本発明を実施することも可能である。学習用画像生成装置単独で実施する場合のブロック図を図１５に示す。
【００３８】
１５００はバス，１５０１は本発明の画像出力プログラムにより生成される識別機学習用画像の基となる画像を入力する画像入力装置，１５０２は本発明の画像出力プログラムのパラメタおよび画像識別機学習装置のパラメタを入力する例えばキーボードなどのパラメタ入力装置，１５０３は本発明の画像出力プログラムにより生成した識別機学習用画像を出力する画像出力装置，１５０４はＣＰＵ，１５０５は主記憶，１５０６はプログラムやデータなどを格納する例えばフラッシュメモリやＨＤＤなどの補助記憶である。
【実施例３】
【００３９】
以下，本発明の実施例３を説明する。実施例１の画像識別学習装置は印刷物識別機の学習に適用することが可能である。実施例１の画像識別学習装置を印刷物識別機に適応したときのブロック図を図１６に示す。
【００４０】
１６００は実施例１の画像識別機学習装置であり，１６０１は印刷物識別装置である。まず印刷物識別装置１６０１により印刷物の画像を読み取り，それを画像識別機学習装置１６００に渡す。画像識別機学習装置１６００では，学習用画像のサンプル数を増やし，識別機の学習を行い，結果を印刷物識別装置１６０１に返す。
【産業上の利用可能性】
【００４１】
本発明は，印刷物識別，顔認証，危険物検知などを行う装置の学習に適する。
【図面の簡単な説明】
【００４２】
【図１】画像識別機学習装置のデータの流れ
【図２】画像識別機学習装置のブロック図
【図３】画像識別機学習のフローチャート
【図４】入力画像から学習用画像を合成する処理のフローチャート
【図５】対象の質的変化の処理のフローチャート
【図６】撮像系変化の処理のフローチャート
【図７】対象画像の全体的な色変化処理のフローチャート
【図８】変形処理のフローチャート
【図９】汚れ処理のフローチャート
【図１０】落書き処理のフローチャート
【図１１】物理的損傷処理のフローチャート
【図１２】撮像機ばらつき処理のフローチャート
【図１３】撮影条件ばらつき処理のフローチャート
【図１４】ランダムノイズの平滑化画像
【図１５】画像識別機学習用画像出力装置のブロック図
【図１６】画像識別機学習装置付き印刷物識別装置のブロック図
【符号の説明】
【００４３】
１００  バス，１０１  画像入力装置，１０２  パラメタ入力装置，１０３  画像出力装置，１０４  学習結果出力装置，１０５  ＣＰＵ，１０６  主記憶，１０７  補助記憶,１５００  バス，１５０１  画像入力装置，１５０２  パラメタ入力装置，１５０３  画像出力装置，  １５０４  ＣＰＵ，１５０５  主記憶，１５０６  補助記憶,１６００  画像識別機学習装置，  １６０１  印刷物識別装置。
【図１】
2008287378.tif 000003
【図２】
2008287378.tif 000004
【図３】
2008287378.tif 000005
【図４】
2008287378.tif 000006
【図５】
2008287378.tif 000007
【図６】
2008287378.tif 000008
【図７】
2008287378.tif 000009
【図８】
2008287378.tif 000010
【図９】
2008287378.tif 000011
【図１０】
2008287378.tif 000012
【図１１】
2008287378.tif 000013
【図１２】
2008287378.tif 000014
【図１３】
2008287378.tif 000015
【図１５】
2008287378.tif 000016
【図１６】
2008287378.tif 000017
【図１４】
2008287378.tif 000018