プロジェクト報告書

提出日 (Date) 2017/1/19

Project Report

AI するディープラーニング
AI Love Deep Learningb1015031 黒川大智 Daichi Kurokawa
1 背景と目的についての学習は書籍 [5] を用いて行った．
先行研究調査は論文や書籍，Web などの情報を参考

2010 年代に突入してから今日に至るまで，多層ニューにプロジェクトメンバ各個人で行った．その後，全員でラルネットワークを用いた機械学習手法「ディープラーブレインストーミングを行い，グループテーマとして設ニング（深層学習）」の研究は急速に発展してきた．現

定可能と思われる領域を選考した．その結果，グループ

在では画像処理・音声処理・自然言語処理などの幅広いA では「手話」，グループ B では「詰将棋」を対象に課分野に応用が進み，いずれにおいても高い性能を示し題解決を行うこととなった．ている．また，企業や大学などの研究組織がライブラリを公開したことにより，我々の身近な分野にもディープラーニングが活用されるようになっている．例えば，

3 課題解決のプロセスとその結果
本節では各グループにおける課題解決のプロセスと，Facebook は DeepFace という顔識別システムによって実験の結果，考察について報告する．

97.25% の精度でヒトの顔を見分けることに成功 [1] し3.1ており，この技術は Facebook に投稿された人物写真

3.1.1

グループ A：CNN を用いた指文字の認識
先行研究の顔識別などに応用されている．また，Apple の音声手話を母国語へ翻訳するシステムにはいくつかの先行

アシスタントシステム Siri は，音声認識を 2014 年か事例がある．ひとつは Navid らが開発した「SignAloud」

らディープラーニングによって行っている [2] ．さらに，である [6] ．このシステムは，手の位置と動きを検出する

Microsoft のチャットボット「りんな」は自然言語の学特殊なグローブを使用することにより，手話話者が示し習にディープラーニングを活用している [3] ．

たジェスチャをを音声として出力することができるもの

以上のように，ディープラーニングの活用範囲は広範である．また舩阪ら [7] の研究では，ジェスチャ入力装に及び，今もなお拡大し続けている．しかし，新しい分置である Leap Motion を用いて 87 種類の指文字を認野であるがゆえに未だ注目されていない領域も多い．そ識させることに成功している．

こで本プロジェクトでは，先行研究にない新しいディー

しかし，これらの研究ではジェスチャを認識するためプラーニングの応用領域を開拓することと，その領域でに何らかの特殊装置を用いている．このため，手話話者の課題解決を行うこと目的として活動をおこなった．

はシステムを用いる際に装置を別途用意する必要があり，また，その装置の有効範囲のみでしか口語話者との2 基礎知識の習得とテーマ設定
4 月〜5 月は，主に基礎的な知識習得と先行研究調査に取り組んだ．

コミュニケーションがとれないという課題点がある．

3.1.2 映像から直接翻訳することのメリット
本グループが提案する映像からの直接翻訳には，以下基礎的な知識として，Python によるプログラミンに示すような 2 点のメリットが存在する．1 点目のメグとディープラーニングの初歩を学んだ．Python はリットは，スマートフォンやノート PC に搭載されてい機械学習に関するライブラリが充実しているため，本るカメラで手話を読み取れる点である．先行研究では独プロジェクトで主に使用する言語として採用した．プ

自に開発したグローブや特殊なセンサを用いているが，ログラミングの学習には，オンライン学習環境である

カメラは多くのスマートフォンやノート PC に標準搭載「Progate」を採用した [4] ．ディープラーニングの初歩されているため，それらさえあれば手話の読み取りを実行することができる．2 点目のメリットは，手話認識の有効範囲をユーザが調節可能であるという点である．先認識タスクに専ら用いられる畳み込みニューラルネッ

行研究では，「グローブが接続されている Bluetooth のトワーク (Convolutional Neural Network: CNN) を採有効範囲内」や，「Leap Motion の有効範囲内」でのみ用した．CNN は画像認識タスクの中でも，1 枚の画像しか手話の認識ができない．装置の有効範囲は目に見えからそこに写る物体のカテゴリ名を識別する物体カテる形では分からないため，手話話者は有効範囲からの逸ゴリ認識に有効である [8] ．本グループが行う指文字の脱に気づきにくいということが考えられる．カメラの場認識も物体カテゴリ認識に該当すると考えられるため，合は，手話話者がカメラの枠内から逸脱しないように調CNN の採用は妥当であると考える．

節しながら手話を認識させることが可能である．そのた

3.1.5

め，手話翻訳が途中で途切れるなどのトラブルを未然に実験

本グループでは入力層 (1)，中間層 (4)，出力層 (1) の防ぐことができるというメリットがある．

計 6 層の CNN を構築し，指文字の学習および認識と翻3.1.3 手話の学習における問題と解決する課題訳に関する実験を行った．

ディープラーニングによって映像から手話を翻訳する

CNN の学習を行うために用意したデータセットは，ためには，解決しなくてはならない問題が主に 2 点あ「あ」行から「た」行までの指文字画像 84000 枚と「そる．1 点目の問題は，顔や手など複数の情報を関連付けの他」画像 15000 枚である．本来なら 50 音すべての指て翻訳しなければならない点である．手話の中には腕や文字データセットを用いて実験するべきであったが，学手の動きと顔の表情を組み合わせることによって意味を習を行うための CNN 構築が予想以上に難航したため，成すものがある．よって映像から手話を翻訳する際は，「あ」行から「た」行までの認識実験を行うにとどまっ表情と手の動きを同時に読み取って翻訳しなくてはならた．「その他」画像は，「あ」行から「た」行以外の画像ない．2 点目の問題は，ディープラーニングを行う際にを分類できるかを調べるためのダミーデータである．

手話翻訳に必要な情報のみを抽出してする必要がある

上記に示したデータセットのうち 80400 枚を訓練デーという点である．手話において意味を表しているのは手タ，残りをテストデータとして用いた．CNN の訓練はと顔の情報であり，それ以外の情報は無駄な情報といえ50 エポック行った．訓練の結果得られた学習済みモデる．ディープラーニングによって学習を行う際，無駄なルを用いて，テストデータに対する汎化性能を調べた．

情報は学習に悪影響を及ぼす可能性があると考えられ結果として CNN の訓練データに対する正解率とテストた．従って，ディープラーニングを行う際には無駄な情データに対する正解率を出力させた．

報を極力排除した映像を用いる必要がある．

3.1.6

結果と考察

以上 2 点の問題のうち，1 点目の問題はシステムの実学習済みモデルの正解率は，訓練データにおいて用上の問題であり，2 点目の問題は手話の学習（特徴抽98% 以上，テストデータにおいて 71〜78% であった．

出）に関する問題であると考えられた．本年度はより基

訓練データにおける正解率とテストデータにおける正解礎的な，2 点目の特徴抽出における問題の解決を行うこ

率との間には 20% 程度の差があった．このことから，ととなった．題材として，手話の一種である指文字を取学習済みモデルはテストデータに対する汎化性能を十り上げ，映像中から翻訳を行うことができるのかを実験分に得られていないと考えられた．その理由としては，により確かめることとした．

データセット画像でサンプルとして用いた人物が 12 人

3.1.4 提案するアイデア

程度と少なかったことや，データセット数を増加させる

指文字の学習における特徴抽出の問題を解決するためための「ぼかし」や「ずらし」などの加工が十分ではなに，本グループでは画像中の肌色要素の抽出を行った．

く，同じような画像が訓練に用いられたことなどが考え肌色要素の抽出を行うことで，ディープラーニングを行られる．

う際に不必要な被写体の服や背景の情報を排除すること3.2ができた．この肌色抽出処理を学習に用いるすべての画3.2.1

像に対して行った．
ディープラーニングの具体的な手法としては，画像グループ B：Word2vec を用いた詰将棋問題の生成先行研究

詰将棋問題の創作をコンピュータで実現しようとする試みは 1990 年代からある．それらの試みの中で本グ

ループが注目したアルゴリズムは，野下 [9] によるランダム配置を用いた手法（ランダム法）である．このアル(4) 出力された候補手が入力した手と入れ替え可能であれば，その手を入れ替える

ゴリズムは，ランダムに駒を並べた配置から始めて，そ以上の手順で生成された詰将棋は，Word2vec の学

こから駒の削除，再配置を繰り返しながら詰将棋を創作

習モデルのアドバイスを参考に作った詰将棋となる．

していくものである．このアルゴリズムのメリットは，Word2vec の学習モデルは，人間の詰将棋から駒や指し主に 13 手から長くて 19 手詰め以上の詰将棋を生成で手の意味合い・狙いをモデルとして獲得していると考えきる点である．一方で，単に駒を打ち込むだけで詰みがられる．従って，モデルの出力した候補手と入れ替えが得られたり，一見しただけで詰みが分かってしまったり成功すれば人間が作った詰将棋に近い詰将棋を生成できなど，簡素で面白みに欠ける詰将棋が生成されやすいとると考えられる．このような，「詰め手順」から詰将棋のいうデメリットも存在する[10]．本グループでは以上に「面白さ要素」が獲得できるという仮説の元，本グルー示したランダム法をベースに，面白みのある詰将棋の生プでは以下に示す実験を行った．

成に取り組むこととした．

3.2.4

3.2.2 検討した機械学習手法

実験

実験に用いたデータセットとして，これまで新聞や詰将棋をディープラーニングで学習させるにあたり，雑誌などに掲載された詰将棋 14000 局を用いた．元といくつかの手法を検討した．検討した手法は主に「画像なった詰将棋は全日本詰将棋連盟の荒川様にご提供いた処理的なアプローチ」と「自然言語処理的なアプロー

だいた．

チ」とに大別された．画像処理的なアプローチとは，盤データセットから抽出した「詰め手順」をスペース区

面の 1 マス 1 マスを画像のピクセルのように捉えること切りでテキスト化し，これを元に Word2vec の訓練をで，盤面全体を 9 × 9 の画像として扱うというアプロー行った．実験に用いた Word2vec は，自然言語処理におチである．一方自然言語処理的なアプローチとは，詰将いて利用されていたネットワークをそのまま用いた．自棋の解手順（詰め手順）を文章のように捉えることで，然言語における「単語」と詰将棋における「1 手」は対応自然言語と同じように詰将棋を扱うというアプローチでしており，特にネットワークに加工を行わなくても学習ある．

モデルの作成が可能と考えたたからである．100 エポッ

検討の結果，自然言語の学習と詰将棋の学習とは類似クの訓練の結果学習モデルを得た．

する点が多いと考えられたことから，本年度は自然言語

この学習モデルを用いて，詰将棋問題の生成を行っ処理的なアプローチで詰将棋の学習を行うこととなった．はじめにランダム法を用いて基礎となる詰将棋を生た．具体的には，文章における単語の意味推測に用い成した．次にこの詰将棋の詰め手順を学習モデルに入力られる機械学習手法 Word2vec を用いて，詰将棋におし，出力された候補手から入れ替え可能な手を選び入れける駒の意味や前後手との関係性を学習させることと替えた．最後に，入れ替えた後の詰将棋を図化した．

なった．

3.2.5

3.2.3 提案するアイデア
本グループが提案する詰将棋生成のアイデアは以下である．

詰将棋の評価詰将棋の評価は，広瀬ら [11] において用いられた評価関数を参考に行った．評価関数を用いることにより，詰将棋が面白くなったかどうかを定量的に評価することが(1)Word2vec を用いて，人間が作った詰将棋の詰め手できる．評価関数は表 2 に示すような複数の指標を元順から各手の意味合いを学習させた学習モデル A を作に，詰将棋の「面白さ」を点数化するものである．この成する評価関数では，値が 0 に近づくほど詰将棋に対する評価(2) ランダム法を用いて詰将棋を生成し，その詰め手順を抽出するが高い．

3.2.6

結果と考察

(3)(2) で抽出した詰め手順の１手１手を学習モデル A

入れ替えを行う前と後で，詰将棋の「面白さ」に変化に入力する．学習モデル A は，入力された手に意味合があったのかを評価関数を用いて評価した．その結果，いが近い候補手を出力する

入れ替えを行う前の評価値は-310 であったのに対して，入れ替えを行った後の評価値は-232 となり，入れ替えを参考文献行う前より 78 ポイント評価値が高かった．それぞれの詰め手順を見ると，入れ替え前は持ち駒を打ち込むよう[1] Y. Taigman, M.Yang, M.Ranzato, and L. Wolf,な単調な詰将棋であったが，入れ替えを行った後は打ち

Deepface: Closing the gap to human-level perfor-込む手の他に大駒を使った手も現れるようになった．詰

mance in face verification, In Proc. CVPR, pp.

め手順の数も入れ替え前の 7 手詰めから 9 手詰めに増1701-1708, 2014.

えていた．

[2] Steven Levy, THE IBRAIN IS HERE―AND IT

以上の結果を踏まえて，入れ替え後の詰将棋の評価がS ALREADY INSIDE YOUR PHONE(2016),上がった理由を考察する．まず，評価関数が「面白さ」

WIRED, https://www.wired.com/2016/08/an-を評価する指標に「駒の重み」「手数に対する持ち駒のexclusive-look-at-how-ai-and-machine-learning-数」という項目があった．この項目は上述した「大駒のwork-at-apple/, 2016.

使用」や「手数の上昇」に関わるパラメータである．大[3] 太田智美, ついに明かされる「りんな」の脳

駒は利き筋が広いため，使用頻度が上がれば詰将棋の複内雑性も上がる．手数についても，増えれば増えるほど詰言 語 処 理 ア ル ゴ リ ズ ム を 公 開, ITmedia News,将棋を解くために思考力を要するようになる．従って，

http://www.itmedia.co.jp/news/articles/1605/

入れ替え後の詰将棋は入れ替える前に比べて思考力を要

27/news110.html, 2016.

する複雑な詰将棋になったため，評価値が上がったと考[4] Progate, https://prog-8.com/

えられる．以上の事実から，Word2vec を用いた手順入[5] 斎藤康毅, ゼロから作る Deep Learning -Python

れ替えによる詰将棋の生成は，「面白い」詰将棋の生成で学ぶディープラーニングの理論と実装. オライに有効であると考えられる．

リー・ジャパン, 2016.

4 今後の課題

マ イ ク ロ ソ フ ト 、「 女 子 高 生 AI」の 自 然[6] University of Washington

UW undergradu-

ate team wins $10,000 Lemelson-MIT Student

今後の課題として，グループ A では 50 音すべてにPrize for gloves that translate sign language.

対応した指文字の認識・翻訳を行うことがある．今年度

http://www.washington.edu/news/2016/04/12/は技術的なノウハウがなかったため CNN の構築が難航

uw-undergraduate-team-wins-10000-lemelson-

し，「あ」行から「た」行までの認識にとどまってしまっ

mit-student-prize-for-gloves-that-translate-sign-

た．今回開発した指文字認識システムを実用的なものにlanguage/, 2016

するには 50 音対応であることが必須である．また，動[7] 舩阪真生子, 石川由羽, 高田雅美, 城和貴. Leap

きのある手話や顔の表情と関連した手話を翻訳できるよMotion Controller を用いた指文字認識. 情報処理

うなシステムに改良する必要もあると考えられる．

学会研究報告, Vol.2015-MPS-102, No.8, 2015.

グループ B では，人力による入れ替え作業をコン[8] 岡谷貴之, 深層学習. 講談社, 2015.

ピュータによって自動化するという課題が残った．現状[9] K. Noshita, A Note on Algorithmic Generation ofのシステムでは，学習モデルが出力した候補手との入れTsume-Shogi Problems, In Game Programming

替えはすべて人力に行っている．これが自動化できれWorkshop in Japan ’96, pp. 27-33, 1996.

ば，候補手と入れ替え可能かを余すことなく探索できる[10] 石飛太一. 詰め将棋問題の自動生成アルゴリズムにため，さらに質のよい詰将棋を生成できる可能性があ関する研究. 北陸先端科学技術大学院大学, 研究課

る．また，今年度は駒入れ替えが「面白い」詰将棋生成

題報告書, 2013.に有効かを確かめる実験を行ったのみで，ランダム法自[11] 広瀬正幸, 伊藤琢巳, 松原仁. 逆算法による詰め将棋体の改良は行っていない．ランダム法自体を機械学習にの自動創作. 人工知能学会誌, Vol.13, No.3, 1997.

より改良できれば，より効率よく質の高い詰将棋を生成することができると考えられる．