特集

NTT グループの ICT ソリューション

処理
自然言語AI

BERT

汎用言語モデル「BERT」のビジネス実用化技術に迫ることばを処理する AI（人工知能）技術の １ つとして BERT という技術が脚光を浴びています．NTT データでは BERT をビジネスで実用化するため，さまざまな業界の特有な単語や言い回しをとらえることのできる BERT の応用開発を行っています．これにより，個々のお客さまニーズに合わせた最適な AI モデルを構築することができます．本稿では，その一例である「金融版 BERT」と「ドメイン特化 BERT フレームワーク」について紹介します．

和知とくま

徳磨

NTT データ

技術が大きなブレイクスルーを引き起こし，はじめ に注目を浴びています．しかし，BERT をビジ

近年，深層学習をはじめとした AI（人工ネス適用する際の課題として，金融や医療な知能）関連技術がめざましい進歩を遂げておどの業界特有の専門用語や専門知識が多く含り，これまで実用足り得なかった分野に対しまれた文書に対して，期待する精度が実現でて適用が進んでいます．画像処理では，犬ときないことがあります．本稿ではそれを解決猫の区別も難しかった状態であったのに対し，する技術である金融版 BERT およびドメイ

深層学習を活用することで犬種の区別やピク

ン特化 BERT 技術について紹介します．

セルレベルでの位置まで特定することができるようになりました．言語処理では，機械翻自然言語処理技術

訳が10年前と比べて劇的に改善されていま

深層学習の技術は，分類や検出，数値予す．個々のタスクでは「この文の著者は否定測，生成などの幅広いタスクで高い精度を実的な見解を述べている」や「この単語は人名現し，一部のタスクでは人間を上回る精度をを表している」というようなことが機械的に達成しています．2015年には，画像分類のベ判別できるようなっています．

ンチマークタスクで人間を上回る精度を達成

自然言語＊1処理を支える技術としてして話題になりました．

BERT（Bidirectional Encoder Repre­

自然言語処理の分野も発展してきており，

sen­ta­tions from Transformers）という従来のパターン認識や出現頻度をベースとし＊1

76

わち自 然言語：「日本語」，「英語」などの人間が日常的に用いている言語．

2021.3た手法から，深層学習をベースとした手法へシフトしています．これにより以下のようなこ特集とが機械的に実現できるようになっています．

含めゼロから学習を始めるため，課題ごとに・
「この文の著者は否定的な見解を述べて多数の教師 ＊ 2 データが必要でした．BERTいる」（ネガポジ判定）は大規模な文章群による教師なし事前学習を・
「文章を入力として，記載内容から潜在行うことで，教師データを必要とせずに汎用リスク等を数値化」（スコアリング）的なモデルをつくり上げています．このよう・「文中から人名・地名のような特定の種に，大量の自然文をそのまま使うだけで汎用類の単語を抜き出す」（固有表現抽出）

言語モデルを構築できる仕組みをつくり上げ

・
「文章を読み込み，文章に対する質問にたことが，BERT の功績といえます．しかし，回答する」（質問応答）自然言語処理の分野では，単語や文の単位で入力を処理することが一般的です．最近でこのような汎用事前学習モデルをつくることができるのは，技術力や計算資源が豊富な一部の団体に限られているのが現状です．

は，一般的な文章に対して単語や文を処理す

そして BERT 利用時は事前学習済 BERTる汎用的なモデルを用意して，このモデルをモデルを少量の教師データでチューニングす

各タスクに合わせてチューニングする方法がることで，対象の課題に対して高精度を実現

よく用いられています．この汎用モデルは「言できるといわれています．例えば，「著者の語 モ デ ル 」 と 呼 ば れ て い ま す． 後 述 す る見解を肯定と否定に分類するタスク」の場合，BERT も言語モデルの １ 種です．

言語モデルの後段に小規模な重み付けモデル

BERTとはBERT は Google が開発した汎用自然言語処理モデルです．2018年に発表された際に，さまざまな自然言語処理のベンチマークタス
クの従来記録を塗り替えたことで話題になりを追加し，肯定度合いと否定度合いをそれぞれ数字で出力するようにして，その大きさを比べて最終結果を出力する，といったチューニングを行うことが一般的です．

BERT の日本語化とNTT 版 BERTました．例えば，「Wikipedia から抜き出しGoogle が発表した BERT は英語版でした

た140単語程度の文を読み内容に関する質問が，日本では京都大学や情報通信研究機構に答える」というようなタスクがベンチマー（NICT）などが日本語版の事前学習済モデルクとして採用されており，人間より高い精度を公開しています．BERT の汎用事前学習モを実現しました．
BERT の強みはさまざまなドメインやタスクの課題を単一のモデルで解くことができる点です．BERT 以前のタスク特化型モデルでは，解きたい課題に対して言語自体の特徴を＊2教
 師（データ）：解きたいタスクに合わせて，データにAIモデルが解釈できるようなラベル付けを行うこと（またはラベル付けされたデータ）．例えば，ある商品のレビュー文を「好意的」 ・ 「非好意的」で分類することや，文章中に出てくる「人名」 ・ 「地名」部分に目印をつけることを行います．
また，データに教師情報を付与することをアノテーションともいいます．

2021.377

特集

NTT グループの ICT ソリューション

デル構築の肝は，事前学習で用いる文書群のモデルをチューニングするやり方では，実際質（多様性）と量をいかに担保するか，にあのビジネス適用において期待するほどの精度ります．当初，日本語版の事前学習モデル構が実現できないこともあり，課題となってい築では，一定の質と量が担保され，かつ入手ます．

が容易である日本語 Wikipedia 全文（約 3

この傾向はビジネス課題の対象となるデーGB）を用いる方法が主流でした．しかしこ

タが特定のドメインに偏っている場合（ドメの方法では，Wikipedia で出現頻度が少ないインデータ）で特によくみられます．例えば，文体（話し言葉など）に対して，性能が発揮「金融や医療などの専門語を多く含んだデーしづらいという問題点も分かってきています．

タ」や「道路交通法や慣習などの特有の知識NTT 研究所では，独自に収集した大規模が必要な運転関連データ」などがドメインデー
タの例といえます．

文章群（約13 GB）から日本語の事前学習モデルを構築しており，多くのタスクで公開さドメインデータごとに大規模文書群を用意れている事前学習済モデルより高い性能を発することは現実的ではなく，特定のドメイン揮しています．後述する BERT も特に断りタスクで汎用 BERT より精度向上を図りたのない限り，NTT 研究所の BERT を基にしい場合，何らかの工夫をする必要があります．
最近の研究では，小～中規模の文章群を事ています．

前学習済 BERT モデルに追加学習を行うこ

ドメイン特化のための追加学習とにより，ドメインに適応した事前学習モデ

BERT やその日本語版は従来技術に比してルを構築する手法が提唱されています（表）．

高い性能を実現しています．例えば，金融分つまりタスクに特化した言語モデルをつくる

野では「FAQ の回答自動引き当て」や「財ということです．NTT データが開発中であ務情報からのリスク抽出」，医療分野では「電る，金融版 BERT やドメイン特化 BERT で子カルテの記載内容チェック」や「医薬品添も同様の追加事前学習アプローチを採用して付文書の情報活用」のようなユースケースでいます．の活用が期待されています．しかし，前述の大規模な一般文章群で事前学習を行った汎用表

データ規模の違い※データ規模の考え方は，対象としている問題や文脈によってさまざまですが，本稿では以下に基づくものとします．

78

大規模

中規模

小規模

人手では全体の傾向をとらえることも難しい規模の文章群

人手では流し読みでも全件確認は難しい
規模の文章群

人手で全件確認や教師データ付与が可能
な規模

数GB以上

数MB～数百MB

数KB～数百KB

2021.3

特集

年に4₆33名の受験者が受験していて，合格率

金融版 BERT の仕組みは₆₇.₆％です．試験の内容は，主に問題文のNTT データではインターネット上から収正誤を判定する○×問題と，正しい文を選ぶ集した金融関連文章を用いて追加事前学習を5 択の選択問題で構成されます．問題文中に行い，金融ドメインに特化した事前学習済モ

は金融商品の専門用語や法令に関する知識がデルである金融版 BERT を構築しました．

登場し，一般的な知識のみでは正解が難しい

金融版 BERT の検証として一種外務員資格問題も多くあります（図 ₁ ）．

試験 の解答に取り組み，検証したモデル中

ここでは金融版 BERT の仕組みについて（1）説明します（図 ₂ ）．

で唯一合格点相当のスコア（440点満点中308①点）を実現しました．

金融関連文書をインターネット上から外務員資格試験とは日本証券業協会が主催収集（NTT データが実施した金融分野している試験で，証券取引・デリバティブ取への AI 適用案件において蓄積した知見引の勧誘を行う外務員が受験する試験です．

を基に，効率良く BERT モデルの性能その中でも一種試験は上位資格であり，201₉向上を行えるような Web ページを選択）

正解：×
金融版：協会員は，金融版：協会員は，日本証券業協会の審査により「二級不都合行為者」とされた者については，その決定を受けた日から3
日本証券証券業協会の審査により「二級二級不都合行為者二級合行為者行為者」とされた者については，その決定を」とされた者については，その決定を受けた日から3」とされた者については，その決定を受けた日から 年間はいかなる名称を用いているかを問わず採用してはならないこととされている．
名称を用いているかを問わを用いているかを問わず採用しず採用しないこととされている．
ないこと
NTT版：協会員は，日本証券業協会の審査により「二級不都合行為者」とされた者については，その決定を受けた日から3 年間
日本証券業協会の審査により「二級不都合行為者」とされた者については，その決定を受けた日からはいかなる名称を用いているかを問わず採用してはならないこととされている．
正解：×モデルが着目している個所（濃いほど重要と判断）

金融版：日経225先物には，制限値幅は定められていない．
日経225先物
225先物には，制限値幅先物には，制限値幅は定められていない．

赤字 金融版BERTのみが着目している個所

NTT版：日経225先物には，制限値幅は定められていない．
先物には，制限値幅は定められていない．

図1

金融版 BERT で正答できるようになった問題例① インターネットから金融関連文章を収集
一般
データ

未学習BERT

金融外務員試験の問題

金融
データ② 追加学習NTT BERT

図2③ チューニング
金融版BERT

金融版 BERT の処理概要

外務員試験用モデル

2021.37₉

特集

NTT グループの ICT ソリューション

NTT データでは追加学習用のドメインデー② NTTが開発した日本語 BERTを基に，タ収集の自動化をめざしたドメイン特化

上記の文章群を追加事前学習③

BERT フレームワークを開発しています．

ビジネス課題を反映したタスクデータ

ここではドメイン特化 BERT フレームワーを用いたチューニング

クの仕組みについて説明します（図 ₃ ）．

①～②について，NTT データが事前学習①済モデルを保有しているため，実際の PoC

ビジネス課題を反映したタスクデータを準備（この時点では教師なしでも良い）（Proof of Concept）やシステム開発への②

適用には，ビジネス課題に応じた教師付タスタスクデータに応じた追加事前学習用

クデータの作成とそのデータに応じたチューの文章をインターネット上から自動収集ニングのみが必要となります．

（タスクデータ中から汎用 BERT が苦手としている表現を抽出し，その情報からドメイン特化 BERTフレームワークの仕組み（開発中）クエリを生成してインターネット検索を実施）③

金融版 BERT では，汎用 BERT モデルを収集したデータから追加事前学習で精ドメイン特化させることで高精度を実現する度向上が期待できる文章をアルゴリズムことができました．一方で，金融関連文書をで選別（インターネットから収集した文収集する際には有識者が対象とするWebペー章群から，タスク精度向上が期待できるジを選定してデータを収集していました．こ

文を抽出してドメインデータのデータのため，モデル構築の際のコストが高く，まセットを作成）④

た有識者の参画が必須である，という課題がNTT が開発した日本語 BERT に，上記の文章群を追加事前学習あります．これらの課題を解決するため，② タスクデータを元にインターネットから自動で収集

インターネット収集データ
一般データ③ BERTの追加
学習に適したデータを選別① タスクデータの準備

ドメインデータ

未学習BERT④ 追加学習NTT BERT

図38₀2021.3⑤ チューニング

ドメイン特化BERT

ドメイン特化 BERT の処理概要

タスク用モデル特集⑤ タスクデータを用いたチューニング（この時点で教師データが必要）実施

けて改良を重ねています．
2021年度以降，金融・医療・製造などのお実際の PoC やシステム開発への適用には，客さまに提供し，新規ビジネスの創出や既存金融版 BERT と同様に，ビジネス課題に応ビジネスの効率化にお力添えさせていただきじた教師付タスクデータの作成とそのデータます．例えば，「FAQ の回答自動引き当て」に応じたチューニングが必要となります．加「電子カルテの記載内容チェック」「日報からえてタスクに合わせた追加事前学習を自動化のプロジェクトリスクチェック」等の活用ユーされた基盤上で行うことで，さらなる高精度スケースが例に挙げられます．

をめざします．

また，前述の業界・事例に限らず，BERT

ドメイン特化 BERT フレームワークの強の先進的な技術をいち早くビジネス適用でき

みは自動化されたデータ収集とデータ選別にるようお客さまを支援していくとともに，ドよりお客さまのデータに合わせた最適モデル

メイン特化 BERT フレームワークを活用し構築が行えることと，ドメイン特化 BERT

た PoC パートナーを募集中です．

を人手で構築する場合と比べて PoC や開発期間を短縮できることです．BERT 以前の技

■参考文献

（1）https://www.jsda.or.jp/gaimuin/shiken.html

術では，専門用語を多く含むドメインに特化したタスクを扱う際には，タスクごとに人手で辞書をつくるなどの個別対応が必要でした．BERT を用いることで辞書構築の代わりに大量の文書群を用いることで汎用的な言語モデルを構築し，それを活用することでさまざまなタスクに対する改善を実現しました．
さらにドメイン特化 BERT フレームワークを用いることで，特定のドメインタスクに対するさらなる精度向上を期待できます．

お わりに
本稿では，BERT およびその日本語化，それを応用した金融版 BERT・ドメイン特化
BERT フレームワークについて紹介しました．現在開発中であるドメイン特化 BERTについては，さらなる精度向上と効率化へ向和知

徳磨

NTT データでは，金融版 BERT ・ ドメイン特化
BERT をはじめとした AI 関連技術の開発を行い，ビジネスにおける効率化や新しい価値の提供を行っています．AI や言語処理に関する困りごとがありましたら，ご相談いただけると幸いです．

◆問い合わせ先NTT データ
技術革新統括本部 技術開発本部
TEL 050-5546-9741
FAX 03-3532-0488
E-mail ai-coe-jp kits.nttdata.co.jp

2021.381