ミニ特集

特許庁× AI

特許庁における人工知能技術の活用に関する取組について

─人工知能技術の業務への適用可能性の検討及び電話等の質問対応に関する実証事業を中心に─
JPO’s Activities for utilization of AI Technologies

特許庁

総務部総務課調整班課長補佐

麻川倫広2008 年 4 月特許庁入庁。特許審査等に従事し、2018 年 4 月より現職。

1

証事業のうち「電話等の質問対応」に関する事業についはじめにて具体的な実証内容を紹介する。

産業財産権を取り巻く環境の多様化・複雑化に伴い、なお、本稿中の見解等は、筆者の個人的なものであり、特許庁の事務に関しても、料金減免・早期審査等の制度組織の見解等を表すものではない点ご了承いただきたの複雑化や先行調査における調査対象資料の増加等に起い。

因して業務量が増加している。こうした背景を踏まえ、特許庁では、平成 28 年度から、特許行政の高度化・効率化に資することを目的に、人工知能（AI）技術の特許

2

AI 技術の業務への適用可能性の検討

行政事務への適用可能性の検討を行ってきた。2017（平特許庁の業務への AI 技術の適用可能性を検討するに成 29）年 4 月には、検討の結果を踏まえ、将来的な AIあたっては、庁内の業務全体を棚卸し、AI 技術の適用可技術の活用を視野に入れ「特許庁における人工知能（AI）否を判断すべき業務の選定を行った。そして、選定され技術の活用に向けたアクション・プラン」
（以下、
アクショ

た業務について、ソリューション案を立案し、AI 技術のン・プランという。
）を取りまとめて公表している 。さ

技術水準、外部有識者の意見等を踏まえ、導入可能性をらに、平成 29 年度は、このアクション・プランに沿って、検討した。

1「電話等の質問対応」、「紙出願の電子化」、「特許分類付与」、「先行技術調査」、「先行図形商標の調査」、「不明確な指定商品・役務調査」の 6 つの業務について実証事業を実施した。

2.1

業務の棚卸・選定

特許庁内には、出願の受付から審査、登録、審判等に至るまで多岐にわたる業務が存在する。AI 技術の業務へ

本稿では、まず、アクション・プランの策定にあたって、の適用可能性の検討にあたっては、まず特許庁の業務全

どのように庁内業務への AI 技術の適用可能性を検討し体の棚卸しを行った。この結果、892 の業務が今回のてきたか説明するとともに、平成 29 年度に実施した実調査対象の基礎となることを特定した。
次に、各業務について、業務の画一性や業務負荷等の1

6

特許庁における人工知能（AI）技術の活用に向けたアクショ
ン・プランの公表について
https://www.jpo.go.jp/torikumi/t_torikumi/ai_action_plan.htm

業務分析を行い、AI 技術の適用可否を検討すべき業務の選定を行った。具体的には、892 の業務のうち、既にシステム化対応済みの業務、あるいは業務プロセスが画一的

AI 技術の適用可否を検討すべき業務として選定した 15 分野の業務一覧
対象

1

電話等の質問対応

全課室

担当課室の特定、問合せ対応（関係課室からの、のべ6業務を統合）

導⼊可能性あり

2

紙出願の電⼦化

受付

紙出願された資料を、OCR（光学的⽂字認識）によりテキスト化

導⼊可能性あり

3

書類の印影確認受付・ 申請書類の印影とマスタ登録された印影の照合⽅式

4

出願における登録商標の使⽤の確認
品質監査（作成書類の誤記確認）

特許
特許

業務内容・課題

ソリューション案

業務名5

ミニ特 集 特許庁×ＡＩ

表1

導⼊可能性あり

出願書類中で登録商標が使⽤されている場合に、該当部分を特定導⼊可能性あり

審査官の作成書類の記載の形式的な瑕疵の確認

導⼊可能性あり6

特許分類付与

特許出願された発明に対し、発明の技術的事項に基づき、⼀部導⼊可能性あり適切な分類を付与

7

先⾏技術調査特許出願された発明に関連する先⾏技術⽂献を、データベース等を活⽤して抽出

⼀部導⼊可能性あり

8

発明の内容理解・認定

特許出願された発明の内容を理解し、特許保護を求めている技術的思想の技術的範囲を認定

現時点では導⼊困難9

特許登録可否の判断

特許出願された発明と過去の発明を対⽐し、特許を付与すべきかを判断して、判断の具体的理由を⽰す拒絶理由通知等を作成

現時点では導⼊困難

10

意匠分類付与意匠

出願意匠に対し、⽇本意匠分類・ロカルノ分類を付
与

⼀部導⼊可能性あり

11

先⾏意匠調査意匠出願された意匠の新規性、創作⾮容易性の判断に資するための調査を実施

現時点では導⼊困難

12

意匠登録可否の判断

意匠

先⾏意匠と出願意匠を対⽐し、新規性等の要件を満たしているか検討し、登録可否を判断

現時点では導⼊困難

13

先⾏図形商標の調査

商標出願された図形商標と同⼀⼜は類似の商標の有無を調査

導⼊可能性あり14

不明確な指定商品・役務調査

商標

商標の使⽤をする商品・役務の記載（特定）が不明
確な出願に対し、どのような商品・役務であるかを調査

⼀部導⼊可能性あり

15

商標の審査判断

商標出願された商標の識別性の有無、不登録事由の有無を検討し、商標登録の可否を判断

現時点では導⼊困難で、単純なシステム化で対応可能な業務を除外した。次を特定し、当該業務課題を解決・軽減しうるソリューショに、残った業務について、①業務負荷、②業務頻度、③ン案を機能ごとに立案した。その後、文献調査等を通じ、職員の精神的な負荷の 3 点を評価指標として評価を行っそれぞれのソリューション案について、導入に必要となた。そして、担当課室へのインタビュー等を経て、指標る技術水準を確認することで、導入可能性の可否を検討が高く優先度の高い 20 業務を AI 技術の適用可否を検した。検討に当たっては、大学・独立行政法人等の外部討すべき業務として選定した。なお、20 業務のうち 6有識者の意見を聴き、その内容の妥当性を確認した。検業務については、各関係課室における電話等の質問対応

討の結果、15 分野の業務のうち、10 業務について、であり、これらを統合することで 15 分野の業務とした。

業務の全部または一部について必要なソリューション案の導入可能性有りと判断された。また、残りの 5 業務に2.2ソリューション案の検討

業務選定の結果、AI 技術の適用可否を検討すべきとついては、基礎研究を含め関連技術は存在せず、現時点では導入は困難であるという結論に至った。

された 15 分野の業務について、それぞれ業務課題の解決・軽減が期待されるソリューション案を検討するとと

2.3

先行的な概念実証

もに、当該ソリューション案の導入可能性について、AIソリューション案を検討した 15 分野の業務のうち、技術の技術水準から検討を行った。具体的には、担当課導入可能性が高いと判断された「電話等の質問対応」に室へのインタビュー等を通じて各業務に対する業務課題関して、平成 28 年度中に先行して概念実証を実施した。

YEAR BOOK 2O18

7

ミニ特集

特許庁× AI
特許庁における、出願人等ユーザからの問い合わせは、

行図形商標の調査」、「不明確な指定商品・役務調査」に年間 30 万件にのぼり、問い合わせの内容は出願からついて、必要なデータ蓄積の有無、費用対効果等を確認

方式審査、実体審査、料金まで多岐にわたる。各業務をするため、早期に実証に進めることとした。一方、残り担当する部署の職員が各問い合わせに対応しているもの

4 業務について費用対効果の精査を行うこととした。まの、問い合わせ対応のためにその他の業務が中断されてた、現時点では関連技術が存在しない 5 業務についてはしまうほか、経験の浅い職員がすぐに回答ができず、ベソリューション案の見直し、あるいは、当面、AI 技術のテラン職員に相談する必要があることなどが課題となっ進展を注視することとした。ている。

なお、当該アクション・プランは、各事業の今後の取概念実証においては、特定の部署における過去の問い組についておおまかに想定したものであり、実証の進捗合わせ内容を蓄積し、外部からの問い合わせに対応する状況や関連技術の開発の進展等によって、今後、変更さ職員に回答の候補を提示することで、職員の問い合わせれる可能性がある点に留意されたい。

対応をサポートするモデルを構築し、精度を検証した。
この結果、モデルが提示する回答候補の上位 5 位までに正答が含まれる割合が、8 割であることが確認された。

3

電話等の質問対応に関する実証事業

なお、先行的な実証として、このほかに「特許分類付与」

冒頭でも述べたとおり、策定されたアクション・プラ

に関して、外国特許文献への分類付与に関する調査2 もンに沿って、平成 29 年度に、6 つの業務について実証行っているが、本稿では割愛する。

事業を行った。このうち「電話等の質問対応」に関する実証事業について、ここで紹介する。

質問

問合せ

回答候補
ユーザ

回答

職員

図1

フィードバック

2.3 で述べたとおり、「電話等の質問対応」に関して問合せ支援システム構築したモデルのイメージ

は、職員に回答候補を提示することで問い合わせ対応を支援するモデルについて、平成 28 年度に概念的な検証を行った。これを踏まえ、平成 29 年度の実証事業においては、外部ユーザからの問い合わせにシステムが直接自動で応答するとともに（自動応答）、回答が困難な場

2.4

アクション・プランの策定・公表

合についても、問い合わせ内容を把握したうえで、関係業務の選定、ソリューション案の検討を通じ、庁内業する課室への自動的な課室振り分け（課室転送）を実現

務への AI 技術の適用可能性について一定の結論を得た

するシステムの可能性について検討した。具体的な取組が、実用化に当たっては AI の学習に必要なデータの収として、システム構築に必要なデータの分析・処理、シ集とそれに基づく実証事業による精度検証等が不可欠でステムの構築、システム全体あるいはシステムを構成すある。そこで、AI 技術の業務適用可能性が高いとされたる機能の機械評価を行った。さらに、評価結果を踏まえ、各業務について、技術の適用に向けて必要なプロセスを職員による問合せ対応の支援を想定したデモシステムの整理した上で、今後の取組をとりまとめたアクション・ユーザ評価やシステム案の検討を行った。

プランを策定し、2017（平成 29）年 4 月に公表した。
アクション・プランにおいては、検討したソリューション案について類似の製品・サービスが存在するか基盤となる技術が存在するとされた 10 業務のうち、特に現場特許庁職員のニーズが高い 6 業務すなわち、「電話等の質問対応」、「紙出願の電子化」、「特許分類付与」、「先行技術調査」、「先28

http://www.japio.or.jp/00yearbook/files/
2017book/17_3_01.pdf

図2問合せ対応システムのイメージ

データの分析・処理

ミニ特 集 特許庁×ＡＩ

3.1

音声による受付→ユーザの電話音声のテキストデータ化

自動応答や課室転送に必要なデータを分析するに→質問に対する回答の出力→合成音声による回答又は課あたって、庁内の各課室に寄せられた問合せに関する室の振分け、といった処理が必要であり、これらの実現

電話応対メモや電子メールデータを整理し、応対メモには人工知能技術を用いた複数の機能で検証システムを（47,675 件）、電子メールデータ（30,397 件）を実構築する必要がある。
検証システムを構成する機能は、
1）

証事業で活用することとした。これらのデータのうち、

合成音声、2）音声認識、3）行動選択、4）言語理解、5）

本事業の検証に適するデータとして、問合せと回答がペ知識探索、6）追加情報要求、7）課室振り分け、8）回答アで記載されている等の条件に合致するものを対象とし知識獲得である。これらのうち、1）合成音声、2）音声て選定し、応対メモについては、人手によってイメージ認識、4）知識探索、7）課室振り分けについて、3.1 でファイルからテキストデータ化した。そして、システム整備した特許行政事務特有語一覧や蓄積された問合せとの自動回答のベースとなる回答知識には、特許庁に蓄積回答の組み合わせデータ等を学習データとして用いた。

された応対メモ等から計 14,000 件の問合せと回答の3.3組合せを蓄積した。

機械評価

また、音声認識等の機能を特許庁業務に適合させるた

評価データを用いて、システム全体の機能である自動め、特許庁ホームページや一般的な Web サイトを分析

応答、課室転送、及びシステムを構成する 1）～8）の個し、特許行政事務特有の用語として、合計 1,522 語を別機能について機械評価を行った。
評価に用いる問合せと、システムに蓄積されている問収集した。
そのほか、応対メモの分析結果に基づき、問合せと回合せと回答の組合せの表現の違いから、難易度を 4 つの答の組合せを自動生成するルールを作成し、特許庁のマレベルで設定し、レベルに合わせて表現を変更した評価

ニュアル等から 539 件の組合せを自動生成し、これらデータを用意した。

についても検証で利用した。このほか、課室転送の実現

レベル 1．同義語、類似語といった単語レベルでの同一性判定が必要に向けては、特許庁ホームページにある問合せ先一覧と学習データの有無をもとに分析し、振分け先となる課室

レベル 2．単語間の関係性を考慮した文の理解が必要を選定した。

レベル 3．文脈に応じた省略の補完や、追加すべき条件の補完が必要

3.2

システムの構築

レベル 4．一般常識による内容の補完が必要

自動回答あるいは課室転送を実現するためには、合成

機械評価は計 2 回実施した。まず、1 回目の機械評価

特許庁職員

図3

問合せ対応システムの機能構成

YEAR BOOK 2O18

9

ミニ特集

特許庁× AIを実施し、その結果を踏まえ、自動回答及び課室転送の正解率の N を変化させた場合、N＝5（上位 5 位まで精度のボトルネックとなる個別機能の対策を図り、2 回に正解を出力できた割合）では、1 回目の 66.1% から目の評価を実施した。

86.3% に向上することを確認した。

評価に際しては、評価データ全体を対象とした場合に音声による自動応答では、複数の回答候補を提示する

加え、検証システムが自動回答可能と判断したケースやことが困難であるため、N＝1 における高い精度が求め課室転送が必要と判断したケースにおいて、それぞれ正られる。一方、職員による問合せ対応を支援するシステ

しい回答や転送先の課室が提示できたか、という点も評

ムやチャットによる応対システムでは、上位の複数候補価した。

から利用者が最適な回答を選択する方式も一般的に採用

その結果、評価データ全体を対象とした評価において、
自 動 回 答 の 正 答 率 は 1 回 目 の 39.9% か ら 2 回 目 はされており、当該評価結果から音声による自動応答以外のシステム適用可能性もあることを確認した。

46.8%、課室転送の正答率は１回目の 27.8% から 2回目は 36.4% と、2 度の検証で精度の向上が認められデモシステムのユーザ評価た。また、自動回答について、システムが自動回答可能

機械評価の結果を踏まえ、職員による問合せ対応の支と判断したケースにおける正答率は、1 回目の 57.8%援を想定したデモシステムを用意し、問合せ対応業務にから 2 回目は 79.9% と、大幅に精度が向上した。課室従事する特許庁職員を対象としたユーザ評価を行った。

転送については、課室に関する学習データが多く存在しデモシステムは、外部ユーザからの問合せを音声認識た一部の課室で 70% を超える精度が見られたが、総じ機能によってテキスト化し、テキスト化した問合せ内容て精度としては低い結果となった。なお、ここでの正答を基に、問合せと回答の組合せが蓄積されたデータベー

率は、システムが提示する 1 位の回答候補に正しい回答スから、知識探索機能によって類似する組合せを抽出しがあがっていることを指す。て、職員が利用する画面に回答候補として表示する構成

精度の向上した自動回答について、検証観点で示したとした。また、デモシステムの利用に際しては、職員に4 つのレベル別の正答率を見ると、レベル 1 及び 2 のヘッドセットを装着した応対を試行した。評価はデモシ

2 回目の評価では、システムが自動回答可能と判断した

ステムを試行した後に、視認性、簡素性、レスポンス性、ケースでいずれも約 95% であるのに対し、問合せの条操作性、全体満足度の観点についてアンケート形式で実件が部分的に欠落したレベル 3 や条件の欠落・表現が抽施した。

象化されたレベル 4 では、2 回目の評価においても、ほぼ正しい回答を提示できていないことが判明した。

レスポンス性について、即応が求められる電話対応においては、より一層のレスポンス性能が求められること

検証システムは人工知能技術を用いた複数機能で構成が判明した。今回のデモシステムは、問合せ内容をリアされる。このため、システム全体の精度のボトルネックルタイムで把握して、都度、蓄積されたデータベースをとなる機能を特定するために、機能別の検証項目を設定参照する仕組みとしたことから、一定の会話のまとまりし、評価した。1 回目の機械評価で、
「1）
音声合成」
「2）を捉えるために、一般的に会話の中で生じる切れ目を考音声認識」は高い精度であったものの、その他の機能が慮した待ち時間を数秒セットした。システム導入に向けボトルネックとなっていることが判明した。ては、実業務での試行を通じて、このような待ち時間やボトルネックとなった機能については、対策の難易度情報探索性能などの要件を明確化する必要がある。操作及び想定効果から機械評価 2 回目に向けた対策実施の優性については、回答の根拠となるマニュアル等を提示す先度を設定し、優先度の高いものから対策を施した。そる機能の他、問合せ内容と回答候補で合致する箇所をハの結果、応答の中核となる「4）知識探索」において改善

イライトする等の視認性を向上するための機能などが求効果を確認できたが、その他の機能では大きな改善効果められた。

は見られなかった。
また、改善効果の高い知識探索機能について、N 位

103.4

また、全体満足度については、ユーザ検証時の音声認識精度の低さへの不満が多くあげられた。機械評価時は

ミニ特 集 特許庁×ＡＩ

図4導入システム案の各構成要素に求められる精度高い認識精度であったことに鑑み、ユーザ評価で取得しれ替えといった違いを持つ問合せに対しては高い精度でた音声データを分析したところ、半数のデータで音割れ対応可能な一方、内容を特定する条件が不足し、問い返やノイズの発生が確認された。このため、再現検証を行っしを必要とする問合せに対しては、現時点で自動回答はた結果、これらの多くはヘッドセットの装着漏れ、マイ困難であることが判明した。

ク端子との距離、マイク端子への接触等による影響が大このため、システムの段階的な導入によって、職員のきいことが判明した。実用に当たって、同様にヘッドセッ負担軽減や外部ユーザの利便性向上を図るとともに、対トなどの新たな機材を導入する際は、これら機材の利用応可能な問合せの範囲拡大や精度向上に向けた学習デー方法の教育にも考慮が必要と考えられる。

タの蓄積を進めることが重要と考えられる。また、段階的な導入に当たっては、ターゲットとする利用者（職員3.5システム案の検討及び外部ユーザ）を定め、その要望を取り込むことが必

機械評価及びユーザ評価の結果をもとに導入システム要であり、特に職員に向けては導入段階で現場ニーズを案を検討した。本事業で目指す問合せ対応システムは、洗い出すだけでなく、小規模での実運用からはじめ、継音声認識、問合せ回答、課室振分けの 3 つの要素から構続的な改善を回す仕組みが求められる。

成される。これらの要素を組み合わせることで、音声自さらに、本事業の検証では、応対メモ等から作成した動応答システム、チャットボットと呼ばれるテキスト自蓄積データを活用する上で、問合せ内容や回答内容の記動応答システム、問合せ応対支援システム及び質問回答載が断片的であるなど、自動回答の利用を想定した場合蓄積システム の 4 パターンの実現可能性が考えられる。

におけるデータの質に関する課題が確認された。今後、これらの導入システム案は、それぞれ実現方法によっシステム導入に向けて、これらの膨大なデータの整備をて、各構成要素に求められる精度も異なる。本事業にお進める上で、人手による確認作業は不可欠であり、それける検証結果と、導入システム案に求められる精度を比を支援する技術の検討も必要と考えられる。

較した結果、チャットボットシステム、問合せ応対支援システム、質問回答蓄積システムは、実現可能性ありと判定した。

4

今後の予定

「電話等の質問対応」については、平成 29 年度の実

3.6

考察

検証の結果、問合せのレベルに応じて自動回答の実現

証事業業における成果、課題を踏まえ、平成 30 年度も引き続き実証事業を実施する予定である。

可能性に違いがあることが判明した。同義語や単語の入YEAR BOOK 2O1811