J. Plasma Fusion Res. Vol.92, No.11 (2016)８３９‐８４９講座 画像再構成とパターン認識の数理

３．パターン認識入門〜人工知能の基盤技術
3. Pattern Recognition and Image Informatics
内田誠一
UCHIDA Seiichi
九州大学大学院システム情報科学研究院（原稿受付：２
０
１
６年６月２
３日）

パターン認識とは，画像などのメディアデータおよび各種センサ信号を対象として，それらの分類および類似性解析の根幹を担う技術である．計算機科学の分野では，人工知能の中心的課題の一つとして非常に活発な研究がなされている．本章では，パターン認識の基本的な考え方を平易かつ直感的に論ずる．また，パターン認識の根幹課題である「識別」について，最近傍識法，サポートベクトルマシン（SVM），ディープニューラルネット
ワーク（DNN）という代表的な３つの手法の概要を紹介する．
Keywords:
Pattern recognition, classification, feature extraction, nearest neighbor, support vector machine, deep neural networks

３．
１ はじめに実である．本稿の読者は今まさに文字を読んでいる．すな

パターン認識とは，「人間の持つ多様な認識機能」を計

わちこれは各文字（画像）がどの文字種であるかを逐次認算機において実現することを目的とした理論・技術であ識していることになる．実はその前に，どこに文字がある

る．「そもそも『認識』とは何か」という議論は古くギリかという検出問題（画像の一部が文字か文字でないかを分

シャ哲学からの命題にもなっているが，本稿の範囲では類する問題に相当）や，文字行から各文字に「切り出す」処「これは何ですか？」という問いに答える分類技術と思っ理もやっている．そのことを意識しながら本稿を読んでいて差し支えない．例えば，バスが写った画像を計算機に入る読者はいないと思われる．一方，計算機にとってこれは力して「これはバスです」と答えさせるタスクがパターン

難問中の難問である．実際，認識のために「ここに１文字認識（この例の場合は画像認識）である．なお，認識は知がある」と切り出すためには，その前に「その黒画素の塊

能の重要な機能であるため，パターン認識はいわゆる人工が１文字である」と認識しなくてはならない．したがって知能の一分野と位置付けられている．

パターン認識は，切り出しと認識という，いわゆる「卵とプラズマ研究の分野でのパターン認識応用としては，画

鶏の問題」を内包しているのである．紙面上の文字はまだ像認識を連想するのではないだろうか．プラズマのイメー

簡単なほうである．我々が日々目にしている情景は実にジング計測ではプラズマを様々な手法で画像化する．この様々な物体で構成されており，それらを個々に切り出しなためイメージ画像から物理法則を抽出する際に，パターン認識の技法は非常に有用なツールになると考えられる．また画像だけでなく，物理現象の様々な測定値もやはりパターンとみなすことができる，それらを分類したり，同一視したりする場合には，本章で述べる方法が利用できる．
パターン認識が扱う問題を形式的に定義すると以下のようになる：「入力されたパターン !が，事前に設定された! 個のクラス（分類先）のうちのどの１つに属するかを決定する」．パターンという用語はデータと読み替えたほうが分かりやすいかもしれない．冒頭の例では，パターン !
が画像であり，! 個のクラスが認識したい物体（Visual object）の種類の集合である．この様子を図１に示す．左側が入力パターン !の例であり，右側がクラスである．
パターン認識の興味深い点は，「人間にはほとんど無意
図１

識にできるのに，計算機には非常に難問である」という事

パターン認識の目的（画像認識の場合）．

Graduate School and Faculty of Information Science and Electrcal Engineering, Kyushu University, FUKUOKA 819-0395, Japanauthor’s e-mail: uchida@ait.kyushu-u.ac.jp

８３９!2016 The Japan Society of Plasma
Science and Nuclear Fusion Research

Journal of Plasma and Fusion Research Vol.92, No.11 November 2016

がら認識する技術は，現在でもやはり難問として君臨してディープニューラルネットワークのように個別の手法についる．

いても，それらの重要性から，良質の入門書が近年多数発

難問とはいえ，計算機によるパターン認識が実応用され刊されている．

るケースはますます増えている．ハガキの郵便番号認識，

本誌においても今年５月号に， 核融合プラズマ研究に

バーコードリーダ，デジカメの顔検出，指紋照合などは，おけるデータマイニングの活用 という小特集が組まれて実用化されて久しい．昨今では，これらに加えて，スマーいる．同特集の文献［５］においては，パターン認識を含めたトフォンの音声入力，画像検索（画像をクエリとした検様々な解説がなされていて参考になる．同文献に比べて，

索），自動運転，家庭用ロボットなどが挙げられる．これら

本稿は特にパターン認識にフォーカスし，その基本となる

いわゆる人工知能として喧伝されている実用技術の多く「考え方」に重点を置いて解説したものである．

は，最近の劇的な認識精度向上により初めて実用化に至っ

３．
２ パターン認識の問題設定たものである．
こうした認識精度向上の背後には，次の三つの理由が存パターン認識は，「入力されたパターン !が，事前に設在する．すなわち，第一に大規模なデータセットの整備，定された!個のクラスのうちのどの１つに属するかを決定

第二にディープニューラルネットワークのような複雑な認する」問題である．このシンプルな問題でも，何を認識対識手法の開発，そして第三にオープンサイエンス，である．

象とするか（３．
２．
１節），その場合のクラスは何か（３．
２．
２

オープンサイエンスの考え方により，これら大規模データ節），パターン!をどのように表現するか（３．
２．
３節），どのと認識手法のソースコードが「誰でもダウンロードしてすようにクラスに割り当てるか（３．
２．
４節）といった，バリ

ぐに使える」ようになっている．こうして参入障壁が低く

エーションがある．さらに実際にパターン認識システムをなったことで，パターン認識研究は今後しばらく加速度的

実装して性能評価までする場合には，どのようなデータをな進歩を遂げるものと予想されている．

準備する必要があるか（３．
２．
５節），またどのように認識手

本稿の主目的は，パターン認識の基本的な考え方を平易法を評価するか（３．
２．
６節），といった課題もある．人工知

かつ直感的に論ずることにある．したがって具体的なソフ能が喧伝され，「何もかも自動にできる」ように誤解されトウエアやライブラリの使い方といったハウツーについてがちであるが，実際にはこのように事前に考えなくてはなは論じないし，数式を用いた手法の詳細解説についても割らないことは結構ある．再考や試行錯誤など泥臭い作業も愛する．本稿で興味を持った読者は，必要と思われる手法

往々にして必要になる．

について，Web や専門書を当たっていただければ幸いあ以下，図２に従って，最初に考えるべきことから順に，

る．そういう場合に，本稿で述べた基本的考え方が役に立どのようにパターン認識問題を設定していくかを解説す

つことを願うばかりである．なお，本稿は完全なる初学者

る．その後次節以降にて，実際の問題の解き方について解を対象としており，物理学や数学のエキスパートである本

説する．

誌の読者には，極めて冗長に思われる個所も多いと思われ

３．
２．
１ 対象とするパターン〜何を認識するか？

る．専門分野の違う筆者による解説ということでご容赦い

最初に考えるべきことは，当然ながら，「何を認識する

ただきたい．またパターン認識の中心的役割を果たす識別か」すなわち対象の設定である．３．
１章で述べた実応用例か

法に つ い て は，最 近 傍 識 法，サ ポ ー ト ベク ト ル マ シ ン

らもわかるように，パターン認識の対象には実に様々なも（SVM），ディープニューラルネットワーク（DNN）というのがある．画像や音声といったメディアデータ，行動デー

代表的な３手法について各々章を設け，極力平易に解説しタ，人流や交通流データ，気象観測データ，文書データ，体た．

重・身長・血圧のようなバイタルデータもある．物理実験

パターン認識についてさらに学びたい読者は，入門書とで得られる測定データも対象となりうるであろう．詳細にして定評のある［１］や，より実用的な入門書として［２］など

見ればさらにバリエーションは多い．実際，画像だけを取がある．さらに体系的に学びたい場合は，バイブルとされり上げても，さらに多様なものがある．顔画像，文字画像，る［３，４］を 勧 め る．後 述 の サ ポ ー ト ベ ク ト ル マ シ ン や

航空写真や衛星画像，情景画像，監視画像，人物画像，物

図２

パターン認識の問題設定．

８４０

Lecture Note

3. Pattern Recognition and Image Informatics

S. Uchida体画像（例えば商品画像），虹彩・指紋・掌静脈，そして動て，! 個の（すなわち離散有限個の）クラスに分類するこ

画像といった具合である．

とを目的としたパターン認識というよりは，一種の回帰問

３．
２．
２ クラスの設定〜何に認識するか？

題として扱うほうが自然であろう．
３．
２．
３ 特徴抽出〜パターンを表現する

次に考えるべきことは，パターンを「何に認識するか」
すなわち分類先としてのクラスの設定である．対象とする

ここまで「何を何に認識するか」という目的を定めたのパターンとクラスが定まれば，まずはパターン認識問題ので，次は内側に入って「どのように認識するか」を考える

目的が定まることになる．

ことになる．この「内側」で最初に考えるべきことは，特冒頭で述べたように，パターン認識では ! 個のクラスを徴抽出（feature extraction）と呼ばれる作業である．これ「事前に」設定しておく必要がある．性別認識の場合，男とはパターンをどう表現するかという問題である．簡単な作

女の２クラスとなる．手書き数字認識の場合， ０ から業に見えるかもしれないが，実は認識性能を左右する非常

９ までの１０クラスである．同じ文字認識でも漢字認識とに重要な鍵となる．

なると数千のクラスとなる．図１の例では，乗り物の種別

３．
２．
３．
１ 特徴ベクトルがクラスとなっている．音声認識では，数十クラスの音素

最も一般的なパターンの表現形態は，複数の数値の組す（およそ単一の発音記号に対応するレベル）が最初の認識

なわちベクトル表現である．これは「特徴ベクトル」と呼対象である．ただしそれだけで終わることはなく，次に一ばれる．例えば，風邪をひいているかいないかを認識する

連の音素の認識結果を組み合わせて単語を認識する．さら場合は，各人を（体温，咳の回数）の２次元ベクトルもしに一連の単語の認識結果を組み合わせて文を認識する場合

くは（体温，咳の回数，喉の赤さ）の３次元特徴ベクトルもある．

で表現することが考えられる．高血圧か否かを推定する場
合なら，血圧値という１次元ベクトルすなわちスカラーで以上のことからわかるように，パターン認識では事前に表現してもよいだろう．

設定されたクラス以外の認識結果を与えることはできない．人間であれば，想定外の入力についても「なんとなく画像のようなメディアデータは，高次元ベクトルとなる想像で」認識できるのとは対照的である．なお，「事前にことが多い．例えば１００×１００画素からなるグレースケール

想定されたどのクラスでもない」という !!!番目のクラ

画像ならば，１００×１００＝１万個の画素値（各画素の明るさ）スを設定することもある．これは棄却（リジェクト）と呼があるので，それらすべてを列挙したベクトル（ビットばれる．無理にいずれかのクラスに認識してしまうより

マップ特徴と呼ばれる）は１万次元となる．通常我々が生は，「わからない」と答えてほしい場合には有効である．

きる物理空間内の１点が高々数次元の低次元ベクトルで表問題によっては，クラスの設定そのものが自明でないこ現されるのに対し，パターン認識では非常に高次元なベクともある．例えば感情認識をする場合，我々の様々な感情

トルが現れることも珍しくない．

を有限のクラスで表現する必要がある．マウスや線虫など

注意すべきは，多くの場合，次元の異なるパターンを同の生物の行動様態を認識する場合も，妥当なクラスを事前一の認識手法では扱えない点である．例えば５０×５０画像はに確定できないだろう．こうした場合は，次のようなボト

２５００次元ベクトルとなるので，１００×１００画像と一緒に扱う

ムアップな方針でクラスを設定する方法が考えられる．まことはできない．したがって，大きさの異なる画像を扱う

ずパターン（データ）を大量に集める．次に，それらを似場合には，事前に拡大縮小処理を行って同一の大きさ（すたものどうしを集めて幾つかのグループに分ける（いわゆなわち次元数）にしておく必要がある．

るクラスタリング）．そして最後に各グループについて，関連して，系列データ，特に時系列データからの特徴抽そこに属するパターン群に適したクラス名をつければよ

出も単純ではない．各時刻の特徴が "次元のベクトルであい．グループ分けには，k‐平均法［５］などのクラスタリン

り，系列長が # で一定ならば，全体を１つの ""# 次元ベグ法が利用できる．ただしこの方針でも，いくつのグルークトルと見なせる．これをそのまま特徴ベクトルにはせプに分けるかは自明ではないので，試行錯誤が必要になる

ず，文献［６］のように周波数解析を行い，低周波数のスペク場合もあるだろう．

トルを改めて特徴ベクトルとしてもよい．いずれにせよ，

やや特殊な形態として，１クラスだけを仮定する場合も実際には，系列長 #が一定しない場合のほうが多い点が問ある．異常認識はその例である．異常認識では，どんな異題になる．この場合，上記のサイズの違う画像を扱う場合

常が起こるかが事前にわからないことが多い．そこで，計と同様，長さが強制的に # となるように正規化する（もし算機には「正常なケース」だけを教えて認識できるように

くは打ち切る）方法が最も単純である．また系列の順序情しておき，正常と認識できなければ異常と判断するという報を放棄し，# 個の " 次元ベクトルの集合と見なし，#対応が採られる．結果的に正常・異常の区別をしているの

個中どのようなベクトルが何回出現しているかをヒストグ

で２クラス認識とも言えるが，その原理から１クラス認識

ラム表現する方法もある．一方，後述する最近傍法の枠組と呼ばれることが多い．

みならば，系列長の異なるパターンであっても，それらのもう一つの特殊な形態として，顔画像からの年齢認識や間に距離（もしくは類似度）さえ計算できれば識別可能で画像内の対象計数のように，クラスが数値・数量で表されあるので，特徴抽出の段階では次元を統一する必要はな

る状況がある．これは，入力パターン !に対して適切な数

い．実際，音声認識やジェスチャ認識の多くはこの方法に値%∈!を返す関数 %#$$!%を決定する問題である．従っ依っている．
８４１

Journal of Plasma and Fusion Research Vol.92, No.11 November 2016

３．
２．
３．
２ 特徴空間３．
２．
３．
４ 特徴が一意でないこと

各パターンを !次元のベクトルで表現できれば，１つのここで，「パターンの特徴表現は一意ではない」というパターンは !次元空間の１点と見ることができる．この空事実を今一度確認しておきたい．先述の例では，風邪を認間のことを（! 次元）「特徴空間」と呼ぶ．先の（体温，咳識するために（体温，咳の回数） もしくは （体温，咳のの回数）の特徴の場合，各人は２次元空間の１点になる．

回数，喉の赤さ）とした．これ以外にも，体温のみを特徴

同様に，１００×１００画像ならば，図３上側に示すように，１としてもよいし，血糖値を加えてもよい．さらに，奇異に万次元特徴空間の１点として表される．このような高次元

見えるかもしれないが，（体温，咳の回数，体温×咳の回

空間に違和感を覚える読者も多いかもしれない．しかし，数）や（体温，咳の回数×体温，咳の回数×体温×体温）でパターンの分布（３．
２．
３．
３項）や識別手法を理解するうえもよい１．このように「特徴はこれにすべし」という絶対的で，非常に便利なので，是非慣れていただきたい．

な決まりはない．実際，極端な例ではあるが，風邪を認識

３．
２．
３．
３ パターンの分布するために，身長を使っても，形式的には何の問題もない．

今，" 個のパターンを準備したとすると，それらの特徴

画像についても，多種多様な特徴表現が存在する．図３

空間において "個の点群となる．もしそれらが同一クラス

は画像の特徴表現の例である．上段は最も基本的なビットのパターンの集合ならば，互いに類似した特徴を持つだろ

マップ特徴である．先述したように，１００×１００画像が１万うから，ベクトルとしても類似したものとなり，結果的に次元の特徴ベクトルとして表現されている．いわゆるフィ

特徴空間において密集した点群になるだろう．さらに異なルタリング処理により，画像をぼかしたり，ノイズ除去をるクラスのパターン集合を準備したなら，それらは先の点行ったり，逆にエッジ（明るさが急激に変化する個所）を群から離れたところに，やはり密集した点群を成すであろう．

強調したりすると，画像の大きさは変わらないために次元

この密集の様子すなわち「パターンの分布」を把握でき数は変わらず１万であるが，パターンの分布の様子は大きれば，認識精度の予測が可能になる．例えば，２つのクラ

く変わることになる．したがってこのような画像加工も一ス A と B を仮定し，各クラスのパターン分布が正規分布種の特徴抽出と言える．さらに図３下段のように，抜本的だったとする．その平均はそのクラスの最も平均的なパに異なる表現形式もある．これは画素値ヒストグラム特徴

ターンであり，それに類似したパターンが頻出することにであり，画像中に画素値（明るさ）i の画素の個数を列挙しなる．分散はそのクラスに属するパターンの変動の大きさてできたベクトルである．グレースケール画像の多くはに相当する．もし２クラスの平均が近ければ，分布がオー

２５６段階の明るさで表現されているので，この特徴ベクト

バーラップしている可能性が高い．分散が大きければなおルは２５６次元となる．

さらである．この分布がオーバーラップしている部分は，

このように特徴表現が変われば，特徴空間の次元が変わ

要するにクラス A でも B でもありうるわけで，区別がつかる．その変わり方は時に劇的ですらある．上記の画像の例

ない部分であり，したがって原理的に正しく認識できない

では１万次元空間と２５６次元空間である．空間の大きさは部分である．よって，この A，B の２クラス認識問題は難

次元数のべき乗なので，単に「約４０倍」と言うだけでは済しいということになる．逆に２分布が離れていれば容易でまない差異がある．
さらに重要なことは，特徴表現が変われば，パターンの

あろう．

図３

特徴ベクトルと特徴空間．

１ この「最初からある特徴を組み合わせて別の（より高次元の）特徴を作る」という考え方は，パターン認識において重要なテクニックの一つである．形式的には，原特徴ベクトル !に対しベクトル値関数 #!
!"を作用させていることになる．本稿では詳述できないが，パターン認識において「カーネル」という用語が出てくれば，このテクニックが暗に使われていることが多い．

８４２

Lecture Note

3. Pattern Recognition and Image Informatics

S. Uchida

分布も変わる点である．特に，分布が変われば，３．
２．
３．
３で

正しく把握できず，単に（" 次元空間の線形部分空間であ述べたように，オーバーラップの状況も変わる点に注意さる）超平面上にあるように誤解してしまう．

れたい．各人を身長という１次元特徴だけで表現したと

これは，いわゆる「次元の呪い［６］」と呼ばれる状況でき，風邪クラスと健康クラスの２クラスは大いにオーバーある．特徴空間の体積は，パターンの次元 " に対して指数ラップするだろう．一方，同じ１次元でも体温のほうがよ

関数的すなわち爆発的に増加する．この広漠なる空間に少りオーバーラップが少ないだろうし，（体温，咳の回数）

数の点群しかなければ，分布が把握できず，その状態で認の２次元にすればさらにオーバーラップは少ないだろう．

識規則を設定しても，十分な認識精度が得られない可能性

オーバーラップの度合いはそのまま認識精度に影響する．

が高い．先の（体温，咳の回数）と（体温，咳の回数，喉以上より，特徴表現が認識性能を左右する非常に重要な鍵の赤さ）についても，パターン数が少なければ，前者のほとなることがわかる．

うが高い認識精度を達成する可能性すらある．また，画像

３．
２．
３．
５ どのような特徴が望ましいのか？

を１万次元で表すと，相当量のパターンがなければ，それ

パターン認識の困難さの一つは，各認識タスクについらの分布を正しく把握できないことになる．

て，どのような特徴が最適なのか，自明ではないという点

３．
２．
３．
６ 望ましい特徴をどう見出すのか？

である．上に述べたように一意でないので，様々に考えう

ここまでの議論を受け，読者は，「結局，望ましい特徴

る特徴表現の中から，何とかして望ましいものを見出す必をどうやって見出すのか？」と疑問に思うだろう．「特徴要がある．ここでどのような特徴が望ましいのであろう

抽出に王道なし」という言葉があるように，残念ながら，か？

この問題に対する絶対的な方法を存在しない．ただし，無一般には以下の３つの性質を満たすものである．

１．クラスが違えば大きく異なる．

策というわけでもない．具体的な対処法は次の通りであ

２．同じクラスであれば，多少異なるパターンであってる．

も類似する．

１．対象とするパターンの性質をよく見て，経験的に３．次元が低い．

（すなわち職人技で）決める（ヒューリスティクス）

第一の性質は自明であろう．風邪クラスの人と健康クラ２．なるべく多くの特徴を一旦列挙しておいて，その中スの人で，身長はそう変わらないだろうが，体温は大きくから有効そうなものだけを選択する（特徴選択）

変わるだろうから，後者のほうが望ましい．
「分布の平均３．なるべく多くの特徴を一旦列挙しておいて，それらが各クラスで大きく異なる特徴」と言ってもよいだろう．

から良さそうな特徴を合成する（低次元部分空間）
４．すべてを機械学習の枠組みに任せる．

その言い方を借りれば，第二の性質は，「各クラスの分布の分散が小さくなる特徴」となる．これは，同じクラスに

紙数の都合上，各対処法について詳述はできないが，機械属するならば，個々のパターン間の差異に鋭敏に反応する学習による特徴抽出の方法については，３．
５章でその一例

ことなく，なるべく似たような特徴になってほしい，といを述べる．特徴選択については，利用する特徴を試行錯誤

う意味である．そうすれば結果的に各クラスはコンパクトしながら徐々に増やしていく方法（山登り法）が最も単純な分布となり，オーバーラップは減るだろう．

である．要するに加えて性能が上がる特徴を選択する方法

困ったことに，この第一と第二の性質は矛盾した要請とである．より洗練された方法である Random Forest や決定なっている．第一の性質を「パターンの差異に対して敏木（"C4.5 が代表的な構成アルゴリズム）に関する解説を感」，第二の性質を「パターンの差異に対して不感」と言い当たっていただきたい．低次元部分空間については，主成

直せば，その矛盾がより明確になる．ただし，全く絶望的分分析（PCA）と強く関連する部分空間法［１］や Fisherというわけでもない．すなわち，前者は「クラス間の差の線形判別法［１］が基本である．

異」，後者は「クラス内の差異」という違いがある．従っ

３．
２．
４ パターンのクラスを決定する〜パターンの識別て，我々が為すべきは，クラス内で起こりそうな差異には

特徴抽出が終われば，いよいよ「パターン !が ! 個のク

不感でクラス間の差異には敏感な特徴を見出すことにな

ラスのうちのどの一つに属するか」を決定することになる．

る．この処理を（狭義の）パターン認識と呼ぶこともある

第三の性質「次元が低い」は，要するに，限られたパターが，本稿ではより明確にすべく「識別」（classification）とンでは，高次元空間内のパターン分布を把握できないこと呼ぶ．この決定規則すなわち !∈!D から $∈［１，
!］への写

２

に起因した要請である ．先に認識精度を確保するために像は，識別器（classifier）と呼ばれる．

はパターンの分布の把握が重要であると述べた．我々は無図４は特徴空間による識別の様子である．このように特限にパターンを準備することができないので，有限の #徴空間は，識別境界（classification boundary）と呼ばれる個のパターンから，分布を推定する必要がある．ここで，クラス間境界により分断される．入力 !のクラスは，分断パターンの次元 " が # より大きければ，必ず # 個のデーされた領域のいずれに入るかによって定まる．また同図にタは超平面上に分布するように見えてしまう．
（例えば２

示しているように，識別器は学習パターン（後述するよう次元空間の２点は必ず直線上にあり，３次元空間の３点はに「例題」）を用いることで学習すなわち設計される．そし必ず平面上にある．
）したがって，真の分布が非常に複雑てその識別器により識別境界が与えられることになる．

であっても，パターン数 # が少なければ，その真の分布をパターン認識研究の長い歴史の中で，実に様々な識別手

２ 本誌記事［５］で触れられている「過学習」も本質的には同じ原因で生じている．

８４３

Journal of Plasma and Fusion Research Vol.92, No.11 November 2016

うべきお手本が多いほうがよいわけである．その一方で，学習パターン数 ! が数万，数十万となると，それぞれに正解クラスを付与するのも大変になるし，そもそも集めること自体が困難な場合も多い４．
３．
２．
５．
２ テストパターン
構築したパターン認識システムの性能を評価する場合，
学習パターンとは別のパターン集合を準備する必要があ
る．これはテストパターンと呼ばれ，それらをどのぐらい正しく認識できるかによって，識別性能を評価する．このため，テストパターンについても，学習パターン同様，正解クラスがわかっている必要がある．また，正しい精度評
価のためには，やはりなるべく多くのテストパターンが必
図４

要になる．

識別器の学習と利用．

３．
２．
５．
３ 学習パターンとテストパターンの関係法が提案されてきた．
「いろいろな識別手法があるようだ

正しい精度評価のためには，学習パターンとテストパが，自分の課題に対して一体どれを使えばいいのか？」―

ターンを混ぜないほうがよい．すなわち，評価に用いるテ

実は各課題に対してどの識別手法を選ぶかは中々の難問

ストパターンを，識別器設計用の学習パターンとして利用

である．準備可能な学習パターンの量，対象の分布の複雑してはならない．簡単に言えば，混ぜてしまうと「カンニさ，クラス数，実装の手間など，様々な要因によって選択ング」になってしまう．例えば３．
３章で述べる最近傍法の場

すべき認識手法も変わってくる．

合，学習パターンをそのままテストパターンとして用いる

本稿では，互いに性質が大きく異なり，かつ代表的な次と，すべてのテストパターンは１００％精度で正しく認識での３つの手法について解説する．

きてしまう．これは決して歓迎すべき状態ではない．すな・最近傍法（３．
３章）．．．長所：原理が非常に単純．学習パ

わち，本当に未知のパターンに対する評価になっていない

ターン（後述）が多ければ，高い認識性能が見込める．

ので，現実的な状況での精度評価になっていない．

・サポートベクトルマシン（SVM）（３．
４章）．．．長所：学習

一方，学習パターンとテストパターンが大きく異なる分パターンが少ない場合に有効．識別に真に必要な学習パ

布を持っても，妥当な精度評価にはならない．例えば，A

ターンだけを自動選択するので，効率的．

国で集めた顔画像を学習パターンとして顔認識システムを・ディープニューラルネットワーク（DNN）（３．
５章）．．．

構築し，その精度評価を B 国民でやると，精度は過少評価

長所：学習パターンが十分あれば，非常に高い認識性能されるだろう．やはり同一の国に住む別の人の顔を使うべが得られる．

きであろう．

３．
２．
５ 学習パターンとテストパターン

３．
２．
５．
４ パターンが少ない場合の対処法

３．
２．
５．
１ 学習パターンもし少数の学習パターンしか集まらない場合，高い識別ある認識課題に対して，実際に特徴を設計したり識別器

性能を望むのは難しくなる．３．
２．
３．
５項で述べた「次元の呪を設計したりするためには，何らかの「例題」が必要であい」の問題も発生し，パターンの分布が把握できなくなるる．ここで例題とは，「このパターン !なら，このクラスためである．とはいえ，物理や生物などサイエンスの分野"に認識してほしい」という，事前に正解クラスが分かっでは，実験コストもあり，パターンを大量に集めることがているパターンのことである．これを学習パターンと呼難しいケースも多いと思われる．もちろん，認識率が多少ぶ．手書き数字認識ならば，複数人に依頼して書いても低くても客観的な評価としては十分な場合もあるだろう．

らった ０ から ９ の画像が学習パターンとなる．! 個のしかし，やはり高い認識率が必要な場合もあるだろう．

!

#

!

学習パターンの集合を#!!
! $と表す ．各学習パ
!!
%!
%!

パターンが少ない状況に対する万能薬は存在しない

ターン に 正 解 が付 随 し て い る こ と を 明 示 し た け れ ば，が，３．
４章で述べる SVM は，少数学習データでも比較的良

!#!
!!!
!!!
!
!
"!"
"#"
"! "
%!
!
%!
!
$と表してもよい．これら#!

好な識別性能を与える手法である．また例えば手元にある

学習パターンをできる限り正しく認識できるように（すな

学習パターンから人工的にパターンを生成することは，

#

３

#

わち ! の写像結果が " となるように），特徴抽出や識別データ拡張（data augmentation）とも呼ばれ，工学の分野

器を構築することになる．

（特に DNN を使う際に）でよく行われる．画像認識の場合，一般に，学習パターンは多ければ多いほど良い．先述の学習パターンの画像を上下左右に反転させたり，数画素ず

通り，学習パターンは「例題」であるから，なるべく見習

らしたり，回転させたりすると，学習パターンを相当数増

３ 本稿では下添え字がベクトルの何番目の要素かを表すため，上添え字により何番目の学習パターンかを表す．べき乗と混乱しないよう注意されたい．
４ ただし最近では Crowd Sourcing と呼ばれる方法で，大量の学習データが集められている．これは，インターネット上に正解クラスを付与してほしいパターンを置いておき，実際に付与してくれた人に謝礼等の報償を払うシステムである．Amazon Mechanical Turk がその代表格である．

８４４

Lecture Note

3. Pattern Recognition and Image Informatics

S. Uchidaと述べたように，最近傍法は最も基本的かつ初歩的なパやせる．
精度評価の際に，学習・テストパターンの両方を合わせ

タ ー ン 認 識 の 原 理 で あ る．い ま # 個 の 学 習 パ タ ー ンても少数しかない場合もある．この場合，パターン集合の使い方を工夫することで，極力妥当な精度評価を行える!!!
!&!
!# $があったとする．最近傍法とは，その名#*!
*!
の通り，入力 !に最も近い学習パターン !&のクラスを識別［１］．例えば交叉検定法（cross-validation）では，まず全パ結果とする方法である．より形式的には，$#
!!!&(
%&(

ターン集合を "個の部分集合に分割する．そしてその部分を与える !& のクラスに識別する．ここで (*(はベクトル集合のうちの１つを除いた "!!個分を学習パターン集合
として識別器を構築し，その除いた１つをテストパターンのノルムである．ユークリッドノルムであれば，(!!!&'は入力 !と学習パターン !&のユークリッド距離である．こ集合として評価を行う．評価に用いる部分集合を変えながのため，最近傍法は最短距離法とも呼ばれる．

ら，同様の評価を "回繰り返し，得られた L 個の評価値を

図５（a）は最近傍法による識別の様子である．ここでは，平均することで，最終的な評価値と見なす．

各クラスに１つの学習パターンが与えられた状況での，

３．
２．
６ 評価指標ユークリッドノルムによる識別を示している．同図で入力構築したパターン認識システムを性能評価する際，最も代!への最近傍は"Car"のクラスの学習パターンなので，入力表的な指標は「認識率」（recognition rate）である．要する!は"Car"に識別される．このように，入力 !があるクラスに，すべてのテストパターンのうち，正しく識別されたもに識別されたのは，最近傍の学習パターンがそのクラスにのの割合である．

属していたことに因る．したがって同パターンを観察すれより詳細な評価が必要な場合，混同行列（confusion ma-

ば識別の理由を容易かつ直感的に理解できる．この点は後trix）も便利である．例えば病気の診断の場合，健康な人を述する他の手法にはない長所である．

病気と誤認識した場合と，病人を健康と誤認識した場合と最近傍法によるクラス間の識別境界は，同図（a）に示す

では，同じ誤認識であっても後者のほうが深刻である．こように，隣接する学習パターン間の垂直二等分線（正確にのように誤認識毎に重要度が異なる場合は，認識率というは超平面）で構成される．このことは，垂直二等分線がそ単一指標よりも詳細な評価が必要になる．混同行列は，ク

れら学習パターンからの等距離点の集合であることから理ラス $を $)に誤認識した個数を $行 $)列の 要 素 とした解できる．全学習パターンとして見ると，学習パターンの!"! 行列である．どのクラスに誤認識が多いかだけでな

位置を母点として特徴空間をボロノイ分割したことに相当

く，どのクラスがどのクラスに間違いやすいかもわかる．

する．
以上のように !と !&の距離を測る代わりに，近さすなわ

理想的な識別器ならば，混同行列が対角行列になる．
認識に要する時間すなわち計算量を評価指標とする場合

ち類似度を測る方法もある．この場合，内積%!!
!&&もしくもある．後述の最近傍認識の場合，一般にデータ数を増やはそれを正規化した %
!!
!&&
!((
!&(が利用される．後者"(

せば増やすほど認識率は向上する．その一方で計算量が膨は２つのベクトル !と !&がなす角度 #に関する "&'#に等大になり，実用に供するのが難しくなる．

しいので，コサイン類似度とも呼ばれる．
３．
３．
２ 最近傍法と学習データ数

３．
３ 最近傍法によるパターン認識

もし学習パターンが十分にあり，かつ計算量が多くても

３．
３．
１ 最近傍法の原理

構わない場合，最近傍法は単純ながら強力な認識手法になりうる．図５（b）は同図（a）から学習パターンが増えた状況

先に３．
２．
４節で「
『わかりやすさ優先』ならば最近傍法」を表している．１クラスあたり多数の学習パターンが与えられたことで，複雑で正確な識別境界が得られる．この図の例では，入力 !は"Truck"に識別されることになり，結局（a）の状況で"Car"に識別されたのは誤りだったことになる．
ただし，学習パターンが増えると，その中にアウトライア（outlier）が含まれるリスクも増える．アウトライアとは観測ノイズ等の影響で，本来のクラス分布から離れたところに（往々にして孤立的に）存在するパターンを指す．
図５（c）
は，アウトライアによる悪影響の様子である．このように入力 !はただ一つのアウトライアにより誤識別に転じる可能性がある．さらに悪いことに，同図では，アウト
ライアのクラスに誤識別される領域が右側に広がっていることも示している．
３．
３．
３ 最近傍法の拡張
最近傍法は非常に単純な方法であるため，拡張性も高
図５

い．例えば，先のアウトライアについては，%近傍法［１］に最近傍法．（a）
学習パターンが少数の場合．（b）
多数の場
合．（c）
アウトライアの影響．（d）
k‐近傍法（k ＝ 3）．

拡張することで解決できる．これは，最近傍だけでなく上
８４５

Journal of Plasma and Fusion Research Vol.92, No.11 November 2016

位 '個の近傍パターンを求め，それらの多数決でクラスを用 い て 識 別 を 行 う．具 体 的 に は，入 力 "に つ い て決定する方法である．図５（d）はその様子である．近傍数"'"'"!であればクラス２&&#!であればクラス１に，&&'#$とすることで，アウトライアの悪影響を回避できてに識別する．このように，SVM は基本的に２クラス識別いることがわかる．'近傍法は単純な拡張ながら非常に強（すなわち !##）を対象としている．なお &&
"'
#!がクラ

力な方法である．ただし近傍数 'の設定については絶対的

ス間の境界となる．

な指標はなく，試行錯誤的に定める必要がある．

SVM の 最 も 簡 単 な 場 合 は「線 形 SVM」と 呼 ば れ，

他の拡張として，ユークリッド距離以外の距離の利用が"'&&#!$""%と表される．要するに傾き !，切片 %の考えられる．具体的には，絶対値距離（L1 距離，マンハッ（超）平 面 で あ る．こ の 場 合，識 別 境 界 はタン距離とも呼ばれる）やマハラノビス距離［１］が挙げら"'&&#!$""%#!であるから，やはり線形である．２次$れる．後者は &"!"('"!"('と表される．これは，! !"&元特徴であれば，その２次元特徴空間（平面）を真っすぐ"( を平均とし，Σ を共分散行列とする（" 次元）正規分布

な直線で分断することになり，３次元特徴であれば平面でを考えたとき，その分布の広がり方に比例した距離となっ分断することになる．要するに真っすぐな包丁で特徴空間ている．

をクラス１と２に分けているイメージである．
特徴ベクトル "が１次元の場合（例えば血圧だけから高

３．
２．
３．
１項で触れたように，距離を工夫することで，長さが一定しない系列パターンの認識にも利用できる．具体的

血圧か否かを決める場合）はさらに簡単で，&&
"'
#!""%

には，編集距離（edit distance）もしくはほぼそれと等価なという直線となる．ここで傾き !，切片 %の値は事前にわDP マッチング距離［７］を使えば，"と "(の系列長が違った

かっていないので，学習パターン (""!
"(!
"# )を使っ*!
*!

としても，両者間の距離を計算できるため，最近傍法が適て設定する必要がある．その際の制約条件は，"( がクラス用可能となる．

１に属するのなら &&"('#!"("%%"となり，クラス２な３．
３．
４ 最近傍法の高速化

ら &&
"('
#!"("%$!"とする５．（図６では，△で表され先述の通り，最近傍法による識別精度は，学習パターン

たクラス１のパターンの箇所については，直線 &&"'が１

数 #の影響を直接受ける．そして一般に#が大きいほど精より上を通ってほしい，ということになる．
）すべての学度は良くなる．ただし，最近傍パターンを見つけるための習パターン "( についてこの条件を満たせば，先の「入力計算量は #に比例するため，#が数百万といったオーダー"について &&"'"'#!であればクラス１に，&&"!であれになると，計算量を低減させて高速化を図る必要が生じばクラス２に識別」が（少なくとも学習パターンについてる．

は）実現することになる．

高速化の第一の方針は，学習パターンのうち，不要なパSVM の原理の面白い点の一つは，以上の条件を満たす

ターンを除外する方法である．図５（b）の識別境界を見る! と %の値を，最適化の枠組みで求めているこ とであと，その構成に影響しているのはクラス境界付近のパターる．具体的には傾き ! を最小化する問題を解く．この様子

ンだけであり，それ以外の影響はないことがわかる．すなを図６に示す．全部の学習パターンについて条件制約を満わちクラス境界以外のパターンを除外しても識別境界は変た す 範 囲 で 傾 き を 最 小 化 す る６と，最 終 的 に は 図 中 のわらず，結果的に識別性能も変わらない．実際には，高次"Optimal solution"が識別関数として求まる．これ以上傾き元の特徴空間において，どの学習パターンがクラス境界にを最小化しようとすると，制約条件が満たせなくなる点にあるかは自明ではない．そこで Condensing や Editing と呼注意されたい．

ばれる手法［８］が伝統的に使われている．

３．
４．
２ サポートベクトルマシンの長所

高速化の第二の方針では，真に最近傍のパターンを見つ

こうして得られた識別関数について重要な点は次の２つ

けなくてもよいと考える．近似最近傍探索（Approximateの性質である．

Nearest Neighbor，ANN）とも呼ばれ，k-d tree のような空

１．識別境界がクラス１と２の分布の間隙の中央を通過している．

間分割に基づく方法［８］が代表的である．他にもハッシュ２．全部で ##%個の学習パターンのうち，識別関数の構関数に基づく方法（特に Locality Sensitive Hashing，LSH）

成に寄与しているのは，クラス境界に面している２個がある［９］．

だけである．

３．
４ サポートベクトルマシン

この第一の性質こそが SVM の識別性能を高めている理

３．
４．
１ サポートベクトルマシンの原理

由である．どちらかのクラスのパターン分布辺縁付近ぎり

SVM も非常によく用いられる識別器の一つである．そぎりではなく，両方のクラスからもできる限り遠いところの原理は，最近傍法と大きく異なる．具体的には，最近傍に識別境界があることを意味する．学習パターンを分離識

法では学習パターン "( をそのまま使っていたのに対し，別するだけの意味であれば，識別境界が中央にある必要はSVM では学習パターンを使って「識別関数 &&」なるも"'ない．しかし，認識システムの実際の使用状況を考えると，のをあらかじめ構成しておき，その識別関数 &&"'のみを

学習パターンよりもより曖昧すなわち他のクラスに混同さ５ これら不等式制約において，%"や $!"の代わりに %$や $!$としても結果は変わらない．ここで $は任意の正数である．
６ 図６の例における学習パターンは完全に２分割できるので，すべての制約条件を満たす解がある．しかし２クラスのパターン
が境界付近時入り混じると，このような解は存在しなくなる．次節３．
４．
２においてこうした場合の対処法について述べる．

８４６

Lecture Note

3. Pattern Recognition and Image Informatics

S. Uchida

たすことは不可能になる．したがって SVM は構築できな
いことになってしまう．
そこで開発されたのがソフトマージンである．要するに，「制約は絶対満たさなくてもいいが，もし満たせな
かったら，満たせなかっただけペナルティを与える」という考え方である．一種の緩和であり，SVM としては # と"の最適化に加えて，ペナルティの最小化も同時に解くこ
とになる．
３．
４．
３．
２ カーネルによる非線形化
３．
４．
１節で述べた線形 SVM では，識別境界も真っすぐになる．しかし分布が複雑に入り組んでいる場合は，真っす
ぐな境界で２クラスを正しく分断できるとは限らない．ソフトマージンで対処してもよいが，もう一つの考え方は
図６

SVM の非線形化である．包丁の比喩を用いるならば，線形SVM の原理．

SVM が真っすぐな包丁であったのに対し，非線形な SVM
ならば曲がった包丁で特徴空間を二分できる．

れそうなパターンが入力されうる．識別境界を中央に置くことで，こうしたパターンが誤識別されるリスクを最小化

SVM の非線形化の方法は少々トリッキーである．基本

できる．こうような（学習パターン以外の）入力に対してとなる考え方は，パターンの高次元化である．すなわち $も高い識別性能を維持することを「汎化」（generalization）

そのままではなく，それを高次元化した ""$#を考える．例と呼ぶ．

!
"
えば $!"
について ""
と３次元
$"!
$##
$#!
$"$##
$#
$"!
!"

第二の性質は，SVM の効率の良さを示している．３．
３．
４

化することを考える．これにより，元の２次元の特徴空間

節でも述べたように，識別に重要なのはクラス分布の中央では線形 SVM で識別できなかった場合でも，３次元の空付近ではなく，むしろ境界付近の（曖昧な）パターンであ間では線形識別できる可能性が上がる８．このように識別る．図６からもわかるように，SVM が自動的に選択し利用関数側を複雑にせずに，識別される側を高次元化により識するのはまさにこうした境界付近の少数のパターンであ別されやすくする．さらに SVM では高次元化により増え

７

る ．識別関数がこの少数のパターンだけで構築されるとる計算量を抑えるために，カーネルトリックという巧妙ないうことは，識別時にはその程度のパターンの情報だけが方法を利用している，

利用され，他のパターンは不要ということになる．

３．
４．
３．
３ 多クラス化SVM は，以上の２つの性質により，比較的少数の学習パ

SVM は基本的に２クラス認識問題用であるため，多クターンでも効率的にクラス間境界を捉える能力および汎化ラスを扱う場合には工夫が必要となる．最もよく用いられ能力を併せ持っていることがわかる．この点が，少ない学るのが 1-vs-others という方式である．具体的には，「クラ

習パターンでも高い識別精度を達成できるという SVM のス #とそれ以外」という２クラス用 SVM をすべての #∈!

強みを生んでいる．

について準備しておく．そして，入力 $をそれら ! 個の３．
４．
３ サポートベクトルマシンの拡張

SVM で識別し，最も高い識別関数値を与えたクラス #に識SVM について，次の３つの拡張法についてその概要を別する．他には，総当たり型の 1-vs-1 方式や，最初から多述べる．第一にソフトマージン（完全に分離できない場合クラスを前提として提案された「多クラス SVM」があるを許す），第二に非線形化（すなわち識別境界を非直線が，1-vs-others が利用されることが多い．

に），そして第三に多クラス化である．いずれも概念的な記述に留める．数式を含めた詳細については，専門書（例３．
５ ディープニューラルネットワーク

えば［２，１０］）をご覧いただきたい．その際，本稿での直感

３．
５．
１ 古くて新しいディープニューラルネットワーク

的な議論が役に立つことを願う．

「ディープラーニング」「深層学習」などの呼称で，昨今

３．
４．
３．
１ ソフトマージン

では人工知能の代名詞とされているディープニューラル

先述の通り，基本的な SVM では，「$% がクラス１ならネットワーク（DNN）を最後に紹介したい．DNN はパター%

$ #は１以上，クラス２なら−１以下」を絶対的な制約$"

ン認識にも利用できる．そして，DNN の一形態である畳み条件として # と "を求めていた．しかし，図６のいずれか

込みニューラルネットワーク（Convolutional neural net-の〇と）が入れ替わったとしたら，こうした制約条件を満

works，CNN）は，画像認識において従来を大きく上回る

７ 特徴空間が高次元になると，境界を構成するパターンの割合は，一般に増加する．したがってこの利点は多少弱まることになるが，それでもできる限り境界を選択しようとする SVM の方針は有効である．なお境界の割合が多くなる理由は，「次元の呪い」の副次的効果として起こる「球面集中現象［１，６］」と呼ばれるもので，要するにすべてのパターン間が似たような距離になる状
況である．
"
"
"
"
と $#!"
がクラス１，$$!"と $%!"
がクラス２の場合，元の２次元空間では直線で二分８ 例えば $"!"
!!
!#
"!
"#
"!
!#
!!
"#
できないが，この "による３次元空間なら平面で二分可能となる．

８４７

Journal of Plasma and Fusion Research Vol.92, No.11 November 2016

図７

DNN の概要．

性能を達成し，昨年（特定の認識課題ではあるが）人間のすなわち２ベクトル "と !の内積であることがわかる．以

画像認識能力を超えたという報告もなされている．

下に述べるように内積には二つの意味がある．この事実

実は DNN の考え方は古い．実際，CNN の原型であるネが，同形式のニューロンを複数組み合わせることで，パオコグニトロン［１１］はすでに１９７９年に発表されている．そターン認識が実現することの原理を与えている．

れが再度注目されている理由は大きく二つある．第一は大

３．
５．
２．
２ 内積の機能（１）：特徴抽出量の学習パターンが入手可能になった点である．今や学習

内積 !""は，２ベクトル "と ! の方向が似ているほど

パターン数 N は時としてトータル数万〜百万のオーダーで内積値は大きくなる．要するに "と ! の類似度である．こ

利用可能であり，それが DNN を構成する大量のパラメー

こでこの「! に対する類似度」が，"の特徴の一つとなりタの学習を可能にしている．第二は数々の細かな工夫であ２．
３．
１では，風邪かどうかを認識うる点は重要である９．３．

る．例えば，従前はニューラルネットワークの構造を大規するために，各人を（体温，咳の回数）の２次元特徴で表模化（正確には深層化）すると，学習が思ったように進ます例を述べた．この体温も咳の回数も，その人を観察するないという問題（Vanishing gradient と呼ばれる）があった

ことで得られる特徴である．一方，その人が「患者 A や健が，最近の DNN/CNN では解決が図られている，

常者 B に似ている」の程度も２次元特徴になりうる．前者

３．
５．
２ ディープニューラルネッワークの基本的考え方

を絶対的な特徴と呼べば，後者は相対的な特徴と言えよ

最近 DNN/CNN については解説書が数多く出版されてう．内積はまさにこの相対的な特徴である．ここで基準といる［１２，１３］．以下では，それら解説書よりもさらに平易なする !を図７（c）のように !個#!!!
!! $考えた場合，そ%!

解説を試みる．

れらとの ! 個の内積値が得られ，それらは "を表現する! 次元ベクトルと考えることができる．

３．
５．
２．
１ ニューロンのモデルと内積

３．
５．
２．
３ 内積の機能（２）：識別関数

DNN や CNN に限らず，およそニューラルネットワークと名がつく数理モデルは，図７（a）に示す「ニューロン」を

今 一 度，３．
４．
１節 で 述 べ た 線 形 識 別 関 数 を 見 る と，組み合わせたものである．数式的には %#"$!""!#$"$#
であり，SVM のところ（３．
４．
１節）で述べた線形識別関数"$%#"!""!#の正負で "の識別結果が与えられるようになっていた．ここでも #を無視すると，ベクトル "と !

との違いは，わずかに非線形関数 $が最後に施されているの内積となっている．すなわち内積は，特徴抽出だけでなか否かである．各ニューロンについて，その ! と #を適切

く，識別の機能も持っていることがわかる．

に定めることをニューラルネットの「学習」と呼ぶ．

３．
５．
２．
４ 内積に次ぐ内積〜多層ニューラルネットワーク

ここで理解を容易にするために $と #を無視すると，パターン認識の基本構成が特徴抽出→識別であったこと"

図７（b）が得られる．これからニューロンの本質は ! "を思い出せば，３．
５．
２．
２項で特徴抽出したのちに，３．
５．
２．
３９ 本文では非線形関数 $を無視したが，一般に $は，類似度の大きくなりすぎ，もしくは小さくなりすぎを抑制する機能を持つ．
単純な機能であるが，これがなければ図７（d）は本当に内積すなわち線形演算だけからなるネットワークとなり，ニューロンが数多くあっても，結果的に単一のニューロン（内積）に帰着してしまう．

８４８

Lecture Note

3. Pattern Recognition and Image Informatics

S. Uchida

項で識別すれば，内積だけでパターン認識が完成することを行い，どのような識別方法を用いればよいか，よくわかがわかる．図７（d）はその全体像である．混乱を避けるたらない」というご意見もあろうかと思われる．残念ながら，めに同図では識別時の内積対象を #で表している．この全

パターン認識には万能薬がない．すなわち，３．
２．
３．
６をはじ

体像，いわゆる多 層 ニ ュ ー ラ ル ネ ッ ト ワ ー ク も しくはめ，本章の随所で述べたように，課題の性質に応じた設計

multi-layer perceptron と呼ばれるものである．１９９０年代にが必要になってくる．このため，その性質を見抜く経験も「ニューロ」ブームを起こしたのがこの形式である．

必要だろうし，さらに試行錯誤も必要になるであろう１０．

学習パターン #に対して正しい識別結果が得られるよう本章では画像認識を例として多用したが，その前段階とに!
"!!
"" "および !というパラメータ集合を「学習」す#!

して必要となる画像情報処理については全く触れていなる必要がある．本稿ではその詳細まで論じられないが，誤い．もし画像情報処理についての概要が必要であれば，本差逆伝搬法が一般に用いられる．これは一種の勾配法であ章と同じように極力平易に書いた解説［１４］をご覧いただけり，識別誤りが少なくなる方向にこれらパラメータ集合をれば幸いである．

修正する方法である．勾配法に共通する弱点として局所解

本記事の執筆にあたり、応用力学研究所の稲垣教授に有への収束があるが，ニューラルネットワークでも同様のリ益なコメントをいただきました．ここに感謝の意を表しまスクが存在する．

す．

３．
５．
２．
５ 深層化のメリット
DNN とは，図７（e）のように，前記の多層パーセプトロ

参考文献

ンの特徴抽出層を何重にも増やして深層化したものであ［１］石井健一郎 他：わかりやすいパターン認識（オーム
社，１
９
９
８）
．
［２］荒木雅弘：フリーソフトではじめる機械学習入門（森
北出版，２
０
１
４）
．
［３］R.O. Duda et al., Pattern Classification (2nd Edition), (WileyInterscience, 2000)（邦訳：パターン識別）（アドコム・
メディア，２００
１）．
［４］C. Bishop, Pattern Recognition and Machine Learning,(Springer, 2006)（邦訳：パターン認識と機械学習，上・
下）
（丸善，２
０
１
４）
）
．
［５］前田新一：プラズマ・核融合学会誌 92, 334 (2016).
［６］宝珍輝尚 他：プラズマ・核融合学会誌 92, 347 (2016).
［７］内田誠一：電子情報通信学会技術研究報 rpPRMU2006166 (2006).
［８］和田俊和：情報処理 46, 912 (2005).
［９］古賀久志：IEICE Fundamentals Review 7, 256 (2013).
［１０］竹内一郎，烏山昌幸：サポートベクトルマシン（講談
社，２
０
１
５）
．
［１
１］福島邦彦：電子通信学会論文誌 J62-A, 658 (1979).
［１２］岡谷貴之：深層学習（講談社，２
０
１
５）
．
［１
３］山下隆義：イラストで学ぶディープラーニング（講談
社，２
０
１
６）
．
［１
４］S. Uchida, Development Growth and Differentiation 55,
Issue 4, 523 (2013).

る．したがって，DNN といえども内積演算が基本である．
では何重にもすることでどのような効果があるだろうか？
先に述べたように，内積による特徴抽出では，元々 ! 次元
ベクトルの #を !
"!!
"" "との内積により "次元ベクト#!
ルに変換していることに相当する．要するに !次元空間をK 次元空間に（非線形）変換していることになる．空間が変換されれば分布が変わる．したがって深層化の目的は，直感的に言えば，何回も空間変換を施すことで混在して分離しにくいところを少しずつ「ほぐして」分離しやすくすることにある．もちろん，よく「ほぐれる」ように各層の"!!
"" "を決めてやる必要があり，その問題は先述のよ!
#!
うに誤差逆伝搬法で解かれる．

３．
６ まとめ
本章では，パターン認識の基本的な流れと，その中心となる識別手法を３種類紹介した．パターン認識の具体的課
題を扱う際，「まず何を考えなくてはならず，そして実際に解く際には多くの選択肢がある」ことを感じていただけ
れば幸いである．その一方で，概念的な説明が多かったた
めに，「自分の課題について，結局，どのような特徴抽出!!!!!!!!!!!!!!!!!

うち

だ

せい

いち

内 田 誠 一!!!!!!!!!!!!!!!!!

!!!!!!!!!!!!!!!!!!!!!!!!!!

１９
９
０ 九大・工・電子卒．１
９９２同大学院修士課程（情報）了．セコム株式会社勤務を経て，現在，同大学院システム情報科学研
究院情報知能工学部門教授．博士（工学）．
画像パターン・時系列パターンの解析・認識に関する研究に従事．最近はバイオイメージ・インフォマティクスなど分野を越えた協働研究を積極的 に 実 施 中．２
００
７IAPR/ICDARBest PaperAward，２００９電子情報通信学会論文賞，２０
１
６デー
タサイエンスアワード他受賞．

!!!!!!!!!!!!!!!!!!!!!!!!!!

１０ 必要あれば，著者までご遠慮なくご質問いただきたい．

８４９