タイトルカットが入ります

第 1 回 AI 技術の俯瞰、およびプロジェクト研
究「造船業務の AI 化の検討（P60）」の紹介

連載：船舶海洋工学分野における AI 化の検討
正会員

１．はじめに木 村

元＊1

的なルールベースシステムで，コンピュータが読み取り可能な形式（具体的には IF～THEN 形式）でコンピュータが登場した 1950 年代から人工知能知識を格納し，それらを用いて自動推論を行う。知（Artificial Intelligence: 以後 AI）の研究は世界で識は論理的に一貫している（無矛盾である）ことが始まり，現在は第三次ブームとも言われ, AI を活要求される。個々の知識を論理積・論理和・論理包用した様々な業務の効率化や省力化に期待が高まっ

含・否定といった論理演算子を使って結合する。ている。実際に IT 業界や自動車産業など様々な業

知識ベースシステムの代表例として，スタンフォ

界において AI を実際のビジネスに導入し成果を出ード大学の MYCIN（マイシン）1)が知られている。

す事例が出始めている。このように、AI 技術は IT

これは，感染症の症状より，原因となる菌と処方す技術同様に船舶海洋分野の研究や実務において普通べき薬を指示する診断システムである。に使われ始めており，本誌においても AI 技術を用いた研究開発がたびたび紹介されているが，AI 技術

２.２ 知識の修正や追加の限界そのものを対象とした連載記事や特集は企画されてしかしながら，知識ベースシステムの開発のためいない。このような中，情報技術研究会では，他産には，ターゲット領域の専門家にインタビューを行

業での AI 適用事例の調査を行ってきたことを踏まってルールベースを構築しなければならず，大変なえた上で，令和 2 年度 4 月に「造船業務の AI 化の人手による手間と時間が要求される。さらに，長期検討（P60）」をテーマとしたプロジェクト研究委員

間の実運用にはルールの追加や変更が必須であるが，会を立ち上げた。
また，
ストラテジー研究委員会 S-19

もとの開発者以外の者が，システムに記述されてい「造船海洋分野への人工知能（AI）の導入可能性のるルールの意図や文脈を理解した上で，無矛盾の新調査と評価」では「AI 化を期待する造船業務」につしいルールへ変更や追加を行うといったメンテナンいて検討された。そこで本連載記事では，AI 技術にスが大変困難である。このような事情により 1990対する読者の理解を深めること，および船舶海洋分

年代以降，明示的にエキスパートシステムと呼称す

野での AI 利用促進を目的として，主に上記のプロる研究開発は下火となった。

ジェクト委員会（P60）での勉強会において取り上げた内容について紹介していく。
連載第 1 回である本稿では，一般に AI と呼ばれている技術が何なのか，またそのトレンドの変遷について分かりやすく解説する。

３．データからの知識獲得：学習
知識ベースシステムのように論理式を用いた理論は，いわゆる計算幾科学の分野にてプロセッサなどで進歩を遂げたが，推論を行うような AI では，膨２．知識ベースシステム・エキスパートシス
テムとその限界

大なルールを無矛盾に構築することは非現実的であることから下火になっていった。これに代わって台頭したのが「データから知識を獲得」していく，い２.１ 知識 IF-THEN ルールを直接記述わゆる「学習型 AI」である。この場合，「知識」と1970～80 年代に AI の主流だった知識ベースシスはデータ発生の規則性を指し，この規則性より推論テム，いわゆるエキスパートシステムとは，論理学を行う。このような学習の具体例としては，数値や________________________________________________________________________________________________________________________________________________________________________________________________________________________画像などの入力データに対し，特定のパターンに一＊1

九州大学大学院工学研究院

致するかどうかを判定するようなシステムにおいて，入力値と判定結果の事例を教示データとして多数与その方向へ重み変数を更新する操作を意味する。こえて学習させ，教示データに無い未知の入力に対しれは単なる非線形関数における勾配法による最適化ても妥当な判定を行うことを期待するものが典型例

なのだが，ニューラルネットのユニット（活性化関として挙げられる。このようなシステムを実現する数）にシグモイド関数を用いると，上記の微分の計方法としてはニューラルネットや決定木など，無数算が不要になったり，教示データが１コずつ得られの方法が提案されているが，全ての方法において共るたびに更新可能であるので，データを蓄えること通の留意すべき点として，１）得られた学習器（知なく学習可能であるといった工学的な利点がある。

識）の誤り率（正解との誤差），２）得られた学習器

しかしながら，非線形関数を勾配法によって最適（知識）の単純さ（記述長），の 2 点が挙げられる。

化するため，重み変数の初期値によってはグローバ

まず，誤り率をゼロに近付ける最も単純な方法は，ルな最適解を得ずに，誤り率が大きいままの局所解「データの暗記」であり，実際そのようなシステムへ陥ってしまう問題が生じる。さらに，ニューラルも存在するが，データを説明する単純な規則性といネットで得た学習結果が，人間にとって分かりやすう，人間にとって有用な知識は得られない上，デーい「知識」としての表現になっていないといったデタにノイズや外れ値などのエラーが混入した場合や，メリットもあるため，ニューラルネットの研究開発

教示データに無かった未知の入力があった場合に対は 1990 年代半ば～2000 年代半ばくらいまでの間，する妥当な出力は期待できない。よって，学習で得かなり下火になった。ところが，ニューラルネット

るべき知識とは，データそのものよりも単純（記述の訓練方法を工夫するという「自己符号化器（Auto長が小さい）で，且つデータにノイズや外れ値などEncoder）」2)がブレークスルーとなり，後に説明すのエラーを含むことを前提としたものでなければなるアンサンブル学習との併用により，近年の AI ブらない。誤り率を小さくするためエラーデータまでームの主役として復活している。

学習した結果，役に立たない知識を獲得して推定に悪影響を及ぼす現象は過学習（オーバーフィッティ

３.２ 人間に分かりやすい知識表現：決定木ング）と呼ばれる。
これを克服する代表的な方法は、データの入力値（属性値とも呼ばれる）と判定結最小二乗法による関数近似という統計学的手段であ果の関係を，属性値の判別テストの順番や手順を木る。 すなわち，データの入力値と判定結果の関係を構造で表したものである。身近な例として職業適性

何らかの単純な数式で表してモデル（すなわち知識）の判別テストを挙げると，質問に対して 2 択の選択とし，教示データの判定結果とモデルによる判定結肢を選んでいくと，最後に最も適した職種を示して果との誤差の二乗和を最小化するモデルを得る方法

くれる。このとき，「質問」はある属性値、すなわちである。上記のモデル（数式）を線形関数で表せばデータの入力値の特定の要素の判別テストであり，（重）回帰およびニューラルネットの基本となるパ

選択肢は，判別テストの結果，次に実施すべき判別ーセプトロン，モデルを多項式で表す場合は多項式テストを示す。これらが木構造に連なっており，末近似，非線形関数として表現可能なものが多層ニュ端の葉ノードに到達すると最終的な判定結果を得る。

ーラルネットである。モデルが線形関数の場合，誤

この決定木では，膨大なデータから，いかに誤り差の二乗和の最小化問題は 2 次関数の極値問題なの率が少なくて単純な木構造を得るかが問題であり，で微分式＝０の式は 1 次方程式を解くだけであり，様々な決定木の生成アルゴリズムが提案されている最適モデルの求解が保証される。ところがモデルがが，最も洗練された方法として C4.53)が知られてい非線形関数になるとそう簡単ではなく，一般に勾配る。これは，判別テストによって分割されるデータ法などの非線形最適化によりモデルの誤差を小さくの情報量的なエントロピーの減少が大きいものほどしていく。特に多層ニューラルネットにおいて勾配決定木の根すなわち初期に実施する判別テストにす法によってモデルの誤差を改善していく処理は，バるという方法である。ここで述べるエントロピーとックプロパゲーション（BP）と呼ばれている。

は，データを分割した結果，教示データの示す判定結果にどれだけ一致しているかを示す指標であり，

３.１ 多層ニューラルネットと BP

データ分割前（テスト前）ではデータの判定結果が上記のように，ニューラルネットにおける BP は，異なるものが混在しているのでエントロピーは高い

非線形関数として表現された関数近似において，デが，きちんと分割されるとエントロピーはゼロになータ毎に重み変数で誤差関数を微分した値を求めて，る。また個々の判別テストで調節可能な閾値パラメ

ータなども，データ分割により上記エントロピーの減少が最大になるよう調節する。C4.5 は，教示デー
タの与え方などによっては得られる決定木が異なったり，最適な決定木獲得が保証されない，いわゆるヒューリスティクスではあるが，モデルの単純さや分類性能の評価方法として「情報量」に着目したアルゴリズムである点が高く評価されている。
その後，
C4.5 に改良を加えた方法が多数提案されたが，訓練データセットの与え方などによって得られる決定木が異なったり，誤ったデータが混入している場合に判別性能を維持しつつ過学習を避ける方法に決め手が無かった。
しかしながら，多層ニューラルネットの場合と同様に，近年アンサンブル学習と組み合わせることにより上記の問題点が解決され，やはり最近の AI ブームを支える要素の１つとして復活している。

３.３「モデルの単純さ」と「誤り率」の統合
３.３.１ 情報理論に基づく評価規範：AIC と MDL
データからの知識獲得において，モデルの単純さと誤り率をバランス良く評価するため，情報理論および統計学的に基づいて定式化された評価規範がAIC と MDL である 4)。これは，扱いが厄介であったデータに含まれるノイズ，すなわち誤差や外れ値に対する合理的な考え方として，モデルを「確率分４．AI ブームの主役：アンサンブル学習
前章で説明したように，誤差や外れ値などのノイズを含むデータからの知識獲得では，合理的な評価規範が定式化されているものの，最適なモデルを得るアルゴリズムが存在しないため，学習の結果獲得される知識が，局所解に陥った低評価なものになるリスクを避けることはできない。このような性能の低い学習器は「弱学習器」と呼ばれる。当然ながら
弱学習器が得たモデルにデータを入力しても，推定される判定結果の誤り率や誤差は大きい。
ところが，このような弱学習器が多数存在し，かつそれらが多様性を有する状況では，弱学習器群の推定結果を統合することにより，推定の精度を格段に向上させることが可能である。このように多様な弱学習器を多数統合して推定性能を向上させる枠組
みは集団学習，あるいはアンサンブル学習と呼ばれている。図 1 は，入力 x に対して 0 または 1 の値を返すような多種多様な判別器を弱学習器として統合する様子を示す。
ここで判別器は確率的に多様な（偏りのない）ものであることが求められるが，実装としては多層ニューラルネットでも決定木でも良く，それらの混在でも OK である。このように個別の弱学習器の上位の学習法は，一般に「メタ学習法」と呼ばれる。

布」とし、データとモデルの誤差（誤り率）の最小化という考え方を捨て，代わりにデータに対するモデルの尤度の最大化，すなわちモデルとする確率分布からデータが発生する確率（またはその密度関数値）が最大になるようなモデルが良いという考え方である。これは統計学における最尤推定そのものである。もう一つの評価である「モデルの単純さ＝モデルの大きさ」の定義式は，AIC と MDL で異なるが，基本的にモデルの自由パラメータ数に比例する点で共通する。よって，AI の学習目標としては，「－モデルの対数尤度＋モデルの大きさ」を最小化するモデルを獲得することが最も合理的である。
上記の考え方は統計解析そのものであり，3 章の最初のデータからの学習事例で示した教師付き学習

図１ 判別問題での弱学習器の多数決による統合
図 1 の二値分類問題において，n 個の弱学習器それぞれの誤分類率が等しくεであるとすると，n 個中の k 個以上の学習器が誤分類する確率はだけでなく，クラスタリングやデータ量子化・符号化といった「誤差」という評価が存在しないような教師無し学習と呼ばれる AI についても，全く同じ学習目標で扱うことが可能になる。
しかしながら，このような洗練された規範で評価しても，この評価で最適となるモデルを獲得できるかどうかは別問題である。と表される。
すなわち弱学習器の個数 n を増やすと，誤分類率は指数関数的に小さく抑えることが可能である。弱学習器１つあたりの誤分類率 0.3 のとき，学習器の個数 n と，多数決により統合後の誤分離率の計算例のグラフを図２に示す。15 個以上で誤分類率はほぼゼロになる。

ル学習の一種と考えることができる。また Dropoutに類似の方法として，エッジをランダムに無効化す
る Drop Connect6)や，ランダムにノードを無効化する の で は な く 適 応 的 に 無 効 化 を 行 う Adaptive
Dropout7)などの手法も提案されており，これらもアンサンブル学習に類似の仕組みであると考えられる。
弱学習器として決定木を用いたアンサンブル学習としてランダムフォレストが提案されている 8)。ニューラルネットと違い，C4.5 のような決定論的な k
決定木生成アルゴリズムで同一のデータ集合を用いて決定木を生成すると，全て同一の決定木になって図２ 誤分類率 0.3 の判定器数と統合後の誤分類率

しまい，アンサンブル学習で求められている多様な弱学習器ではなくなってしまう。そこで，データ集

図３は，関数近似を行う弱学習器を平均操作によっ合からデータを復元抽出して複数の異なる訓練集合て統合する様子を示す。各弱学習器の出す予測がデを生成し，それらから決定木を作る。このような多ータの真の期待値に対して同じ期待値で，かつ等し様な弱学習器の生成方法はバギングと呼ばれる。

く𝜎2 の分散を持つとき，大数の法則により平均された値は真の期待値へ近づく。また，中心値極限定理
より，弱学習器の個数 n に対し，平均後の分散は 1/n５．おわりにに減る。つまり，学習器の関数近似性能を高めたけ

本稿ではルールを直接記述する知識ベースシステれば，多様な弱学習器の個数 n を増やすだけで過学ム，データから知識を獲得する学習，学習の評価規習することなしに実現できることが分かる。

範，そして近年の AI ブームの主役的なブレークスルーであり，また学習方法の上位概念であるメタ学習方法のアンサンブル学習について概説した。紙面の都合上，遺伝的アルゴリズムなどの最適化手法はAI には含めなかった。また，強化学習についても説明を省いたが，時間的な遅れが存在するだけで強化学習も本質的には関数近似によるデータ学習とほぼ同じである。本稿では専門外の読者に抽象概念を分かりやすく伝えるため，極力数式による表現を避けたが，正確な定式化は参考文献を参照されたい。
参考文献

図３ 関数近似における弱学習器の統合

1 ） Shortliffe, E.H.

: Computer Based MedicalConsultations: MYCIN, American Elsevier, 1976.

多層ニューラルネットにおいて，性能の良い学習2 ） Geoffrey E. Hinton and R. R. Salakhutdinov:

方法として Dropout が知られている 5)。これは，あReducing the Dimensionality of Data with Neural

る更新で層の中のノードのうちのいくつかを無効にして学習を行うことを繰返す方法で，入力層では20％程度のノードを無効化し，隠れ層では 50％程度を無効化するとよいと言われる。これはアンサンブ

木村 元（きむら はじめ）
写真

九州大学 大学院工学研究院
海洋システム工学部門
kimura@nams.kyushu-u.ac.jp

Networks, Science 313 (5786): 504-507, 2006.
3）J.R. Quinlan: Induction of decision trees, Machine
Learning volume 1, 81-106, 1986.
4）赤池弘次：AIC と MDL と BIC，日本オペレーショ
ンズリサーチ学会，pp.375-378，1996 年 7 月号．

5)

NitishSrivastava,Geoffrey

Hinton,Alex

Krizhevsky, Ilya Sutskever, Ruslan Salakhutdinov:
Dropout: A Simple Way to Prevent Neural
Networks from Overftting, Journal of Machine
Learning Research 15 1929—1958 (2014).
6) Li Wan, Matthew Zeiler, Sixin Zhang, Yann LeCun,
Rob Fergus: Regularization of Neural Networks
using DropConnect, Proceedings of the 30th
International Conference on Machine Learning,Atlanta, Georgia, USA, 2013.
7) Lei Jimmy Ba, Brendan Frey: Adaptive dropout fortraining deep neural networks, Advances in Neural
Information Processing Systems 26 (NIPS 2013).
8) Breiman, Leo: Random Forests, Machine Learning
45 (1): 5–32, 2001.