AIと特許

AI 系基盤技術と、オープンソースを用いた
機械学習による特許文書解析
アジア特許情報研究会

西尾 潤・安藤 俊幸

抄録
特許庁は、庁内業務への AI 技術の活用可能性について検討を行い、
「アクション・プラン」を
作成・改訂し、同プランに沿って実証事業を進めています。また、特許庁の審査官が発明者と
なる特許が登録されたことも話題を呼びました。そして構築が進められている特許管理・検索
システム「アドパス」にも AI サーバーが組み込まれています。しかしながら AI はブラックボッ
クスであり、その中がどのように構成され、どのように動作しているか、判断基準は何かがわ
かりにくいのが実情です。一方、機械学習フレームワークはオープンソースであるため、簡単
なプログラムの知識があればだれもが AI を構築できるようになりました。本稿では、特許分野
で AI（中でも自然言語処理および画像処理）を導入するメリット、自然言語処理に使用される
さまざまな基盤技術に触れ、筆者が行った特許分類タスクの結果を報告します。

1. はじめに

析ツールが数多くリリースされました 16）。また、知
財情報解析手法を扱った雑誌記事としては「情報の

AI（Artificial Intelligence）
・IoT（Internet of

科学と技術」誌の特集記事 17）〜 19）、
「知財管理」誌の

Things）技術が進化し、企業の導入事例が相次いで

各記事 20）〜 22）があります。これらの記事から AI 関連

報告されています 1）2）。しかしながら、実際に AI を

技術の発達により、検索システム提供事業者のみな

導入または実証実験を行っている企業は 10％を

らず、個人がオープンソースのデータまたはオープ

切っているとされています 。

ンソースのプログラムを使って、ほぼ無料で知財情

3）

その中、特許庁では、2017 年 4 月 27 日に「特許

報解析ができるようになってきたことがわかります。

庁における人工知能（AI）技術の活用に向けたアク

筆者が所属しているアジア特許情報研究会は

ション・プラン」
（以下「アクション・プラン」）を公

2008 年に設立しました。当研究会には中国・韓国

表 し、特許庁業務への AI 技術の活用可能性につい

等の知財情報を扱う東アジアチーム、アセアン諸国

て検討を行い、その結果をふまえて 2018 年（平成

を中心とした各国の情報を扱う新興国チーム、テキ

30 年）度と 2020 年（令和 2 年）度にアクション・プ

ストマイニング、機械学習等の手法を駆使して特許

ランを改訂

5）6）

し、本改訂版に沿って実証事業を進

情報を解析する知財情報解析チームがあります。

めています

4）〜 14）

。

チームメンバーは各自テーマを持ち、あるいは少人

4）

庁内業務のシステム開発は、特許庁内の開発チー

数のプロジェクトを編成してメールで情報交換しな

ムが自ら開発を行うアジャイル型の開発体制とし、特

がら日々研究し、得られた成果を学会発表、論文投

に適用が見込まれる特許審査に係る分類付与と先行

稿、当研究会の web ページ 23）等で発表することに

技術調査についてシステム開発を開始しています 15）。

しています。

特 許 庁 初 の 登 録 特 許として話 題になった 特 許 第

知財系 AI で扱う情報は自然言語や画像です。自

6691280 号（管理システム及び管理方法）および同シ

然言語とは「人間がお互いにコミュニケーションを

ステム「アドパス」を構成するとみられる一部のサー

行 う た め の 自 然 発 生 的 な 言 語」
（日 本 語 版

ビス（画像検索技術、ランキング表示）もこのアクショ

Wikipedia）とされ、人間が作り上げた手話、エス

ン・プランに沿って実証事業が行われましたが、順次

ペラント語、コンピュータ言語等の人工言語と区別

アジャイル開発に移行すると発表されています。

するための定義です。
本稿では、知財分野で用いられる AI 系基盤技術

特許情報分野では 2018 年から AI を謳った特許解

2020.9.25. no.298

25

tokugikon

のうち主要となる技術を概説し、さらに AI 系基盤

さらにユニットニューロンを多層にして（深くして）

技術を用いない場合（これを「従来技術」とします）

データの中からタスクに適した特徴量を抽出すること

に比べて AI 系基盤技術を用いる場合ではどのよう

に重点をおいた設計とし、特定タスクに適応したも

なメリットがあり、限界はどこにあるか述べます。

のを深層学習（ディープラーニング）といいます。

自然言語を取り扱う機械学習技術を「自然言語処

学習方法で分類すると、正解データが与えられな

理」といいます。本稿の後半では、オープンソース

い教師なし学習、正解データが与えられる教師あり

を用いた筆者の自然言語処理実装例を紹介します。

学習、両者の折衷である半教師あり学習、ある状態

なお、紹介する AI 系基盤技術はアクション・プラ

に到達すると報酬が得られる「環境」を与え、報酬

ンに沿って実行される実証事業で使用されている技

を最大化するように学習する強化学習 27）があります。

術と同一であるとは限りません。また、本稿の内容

このように、現在の AI はタスク特化型 AI であり、

は個人的見解であり、アジア特許情報研究会を代表

弱い AI に属します。本稿では「AI」という用語を「機

するものではありません。

械学習を用いた解析ツール」と定義します。

2. AI、機械学習、深層学習について

3. 知財分野における画像処理

AI（人工知能）という用語にはいくつかの定義 24）

画像処理 AI の機能例 28）〜 30）としては、手書き文字
認識、猫の画像認識、線や顔の検出、欠陥検出、動

やイメージ 25）があり、一様ではありません。

作検出、物体追跡、病変検出、背景の消去、有名画

図 1 のように AI は様々な観点から分類されます。
その一例

家タッチの画像出力等、多岐にわたります。

として、人間レベルの認知能力と意識

26）

を有する強い AI と、人間レベルではないが人間が

知財分野では先行技術調査、先行意匠調査、先行

知識を獲得するためのツールである弱い AI という

図形商標調査で画像処理 AI のメリットがあると考

分類があります。別の一例として、汎用型の AI と

えられます。

特化型の AI という用途による分類があります。現

たとえば、先行技術調査では、先行文献の明細書

在に至るまで、AI を使う目的（タスク）に特化した

が検索対象になりますが、明細書に含まれる図面を

手法が使われています。

直接キーワードで検索することはできません。そこ

中でも脚光を浴びているのが、 神経細胞の間を

で、図面にキーワード（一般に「タグ」といいます）

ニューロンで接続し、情報が伝達する様子を模した

を付けてキーワード検索でヒットできるようにする

「ユニットニューロン」が 3 層以上である数式モデル

ことが求められます。

（ニューラルネットワークモデル）です。ニューラル

一例として、実施例中の表が画像になっている場

ネットワークは 1980 年代に理論が提唱されました

合、表を単に文字列に変換する OCR 機能は現在の

が、2006 年以降、インターネットによる大規模デー

技術で実装できます。ここで、生成した文字列が一

タ取得、機械学習のソフトウエア環境およびハード

般常識に照らして尤度が最も高くなるように OCR

ウエア環境の発達により性能が向上してきました。

に自然言語処理 AI を組み合わせて読取誤りを補正

機械学習
汎用型AI

強いAI
弱いAI

決定木

SVM

その他

ニューラル
ネットワーク

特化型AI

AI

AI

深層学習

教師あり学習
教師なし学習
強化学習

AI

特化型AI ≒ 弱いAI

AI ≒ 強いAI ?

AI ＝ 機械学習

図1

AI、機械学習、深層学習の関係

tokugikon

26

2020.9.25. no.298

AIと特許
する機能が実用化 31）されていますが、特許文書に

基本解析

特化した AI − OCR は実用化されていません。

文字列・テキスト処理の基礎
コーパスに基づく自然言語処理

他の一例として、化学・医薬分野において化学構
造式の画面に対して化合物名（好ましくは SMILES

系列の解析

記法 32）などの一義的な表現）を付与するタスクが期

形態素解析、固有表現認識

待されますが、特許文書では一般式で記載されてい

構文の解析

る例が多いこと、異性体、立体配置等の扱い等で設

意味の解析
語の意味、文の意味、
格解析

文脈の解析

計が難しいため、実用化に至っていません。

照応・省略解析、談話構造解析

先行意匠調査、先行図形商標調査については総説

応用システム

で詳しく解説されています。中国では知識産権出

9）

情報抽出と知識獲得

版社（IPPH）が画像をアップロードするとロカルノ

情報検索

分類を付与し、同分類の中から類似意匠を検索して

対話システム

機械翻訳

分類付与

提示するサービスを行っています 33）。このサービス
図2

を使用した実感では、ロカルノ分類の付与段階で失

自然言語処理の概要と応用システム

敗する例が多くみられます。
オープンソースによる画像処理 AI プラットフォー

することができます。

ムとしては、OpenCV、Cloud AutoML Vision 等があ

固有表現認識は文中から固有表現を抽出し、それ

ります。機械学習手法としては、SVM、CNN、深層

を固有名詞（人名、組織名、地名など）や日付、時

学習（VGG、autoencoder、GAN 他）等があります。

間表現、数量、割合などのあらかじめ定義された固

SVM、CNN を使った手書き数字（MNIST）の10 値分

有表現分類へと分類する処理です。

類タスクは、解説

構文解析とは係り受け解析とも呼ばれます。自然

が多数あり、機械学習の入門編

34）

言語の文章を形態素に分かち書きして、さらにその

としておすすめです。

形態素間の関連（修飾─被修飾など）を明確にする

4. 特許分野における自然言語処理導入のメリット

（解析する）手続きです。
構文解析をした文から正しく意味内容を解釈する

コンピュータで自然言語を扱うことはコンピュー

ために行われるのが、意味の解析です。形態素解析、

タが誕生した直後から始まっていますが現在でも複

構文解析では複数の正解があり得ます。複数の正解

雑で難しい問題です。コーパス（電子化された大量

の中から正しい解釈を選択するために、意味解析は

の言語データ）の分析によって、状況に適した言葉

とても重要な処理です。

の使い方や特徴を捉えることができるようになりま

一般に自然言語処理の最後に行われるのが、文脈

す。近年では、コンピュータの処理性能や記憶容量

解析です。形態素解析→構文解析→意味解析→文脈

が向上したことで、大規模なコーパスに基づいた自

解析の一連の解析を経て、ようやく自然言語の意味

然言語処理が行われるようになりました。

をコンピュータが処理出来るようになります。文脈

自然言語処理の概要 35）と応用システムを図 2 に示

解析は、文章中に現れる語の関係や文章の背景に隠

します。自然言語処理を言葉の系列の解析あるい

れた知識などといった複雑な情報が必要になるた

は語の並びの解析と捉えると通常、初めに行われ

め、意味解析以上に難しい処理となっています。

るのが、形態素解析と呼ばれる作業です。形態素

照応解析とは、照応詞（代名詞や指示詞など）の

とは、言語学の用語で、意味をもつ表現要素の最

指示対象を推定したり、省略された名詞句（ゼロ代

小単位です。

名詞）を補完したりする処理のことです。照応は文
と文の間にまたがった構造なので、照応解析は談話

形態素解析とは自然言語のテキストデータ（文）

解析の一種です。

から、対象言語の文法や、辞書と呼ばれる単語の品
詞等の情報にもとづき、形態素の並びに分割（分か

自然言語処理の応用システムとして情報検索、対

ち書き）する処理です。形態素解析時に品詞も出力

話システム、機械翻訳、分類付与等、様々な応用シ

2020.9.25. no.298

27

tokugikon

特許検索システムとその評価方法
入力データ

特許調査システムの概念図

出力データ
検索対象公報 DB

検索エンジン

・検索用クエリ
・教師データ

・ブーリアン検索
検索アルゴ・全文検索
リズム
・類似
（概念）検索

特許公報データ

照会

（クラス分類アルゴリズム）

応答

インデクサ

KW インデックス

索引抽出

転置ファイル

特許公報 DB 無しの場合は
特許公報データも必要

特許分類インデックス（文書ベクトル化に相当）

・転置インデックス
・全文検索
・適合性フィードバック

索引の抽出手法
・形態素解析
・N-Gram

各種スコア
・順位
・類似度
・クラス分類
検索結果
正解公報リスト

正解公報リストと
検索結果を照合
して答え合わせ

評価方法
・混同行列
・交差検定

専門用語
固有表現
TF-IDF

図3

特許検索システムにおける自然言語処理の応用

ステムが実用化されています。
特許情報処理分野

を取り込み、学習によりモデルを作成し、得られた

における応用システムの一

学習モデルに未知の数値化データを入力して、推論

例として、図 3 に特許検索システムにおける自然言

により出力を得ます。機械学習モデルを関数とみな

語処理の応用例を示します。各種自然言語処理を利

し、入力値を「説明変数」、出力値を「目的変数」と

用することで、特許検索システムの使用時や評価時

呼ぶこともあります。

36）

に様々なメリットが得られます。特に特許（情報）

自然言語処理は図 4 の黒線で示すテキストのベク

検索システムにおいて、検索精度向上（効率的な調

トル化とそのための前処理を有することが特徴です。

査）
、再現率向上（検索漏れ防止）
、検索の精度と再

特許文書機械学習フローでは、市販の特許データ

現率はトレードオフの関係にあるので特許調査の定

ベースを用いてデータを取り出し検索母集団を作成

量的な評価にも有用です。

するステップ（赤線）と、汎用のプログラミング言語
（たとえばオープンソースの python）を用いてデー

5. 自然言語処理における機械学習技術

タを数値化するステップ（黒線）と、機械学習フレー
ム ワ ー ク（た と え ば scikit-learn，Tensorflow，

図 4 に特許文書を入力とする機械学習のフロー

PyTorch）を用いて学習・推論を行うステップ（青線）

チャートを示します。青線で示す処理が機械学習の

とがあります。以下、各処理の理解のために下流側

最小構成で、機械学習モデルに数値化されたデータ

から説明します。

開始
特許
DB

学習

形態素解析

検索
母集団

分かち書き
テキスト
ベクトル化

前処理

推論

数値化
データ
(未知データ)

図4

特許文書を入力とする機械学習フローチャート

tokugikon

28

2020.9.25. no.298

終了

機械学習
学習
モデル

出力

AIと特許
5-1. 機械学習

SVM を K 個組み合わせる方法（one-vs-rest）とが
あります。

（a）非ニューラルネットワーク機械学習モデル

・決 定木：データを最もよく分割できる特徴量を見
つけ、分割されたそれぞれの集団をさらに良く分

分類や回帰（数値予測）をする古典的アルゴリズ
ムです。python の scikit-learn ライブラリ

割できる特徴量を見つける方法です。2 分割を組

でほと

37）

んどのアルゴリズムがサポートされています。

み合わせることによって樹状に分けられていきま

・S VM（サポートベクターマシン）
：2 値分類タス

すので、判断の根拠がわかりやすい特徴がありま

クで使用される手法です。2 種類の特徴量（たと

す。 決 定 木 には CART、 ラン ダ ムフォレ スト、

えば身長と体重）があるとき、図 5 に示すように

XGBoost、LightGBM 等のアルゴリズムがあります。

2 次元平面にプロットしたデータの境界は直線で
（b）ニューラルネットワーク機械学習モデル

表され、各データが計算によって決めた境界線の
どちらに位置するかによって分類が可能です。し

ニューラルネットワークは、脳の神経回路にお

かしデータの実分類は計算による分類と必ずしも

ける信号伝達を参考にした数理モデルで、図 6 に示

一致しません。各データと境界との距離（マージ

すように入力層、 隠れ層、 出力層からなります。

ン）が最大になるように計算で境界を求めます。

ニューラルネットワークの最小単位は、各層に多

ここで特徴量が 3 次元になると境界は平面にな

数含まれるユニットニューロンと呼ばれるもので

り、特徴量が 4 次元になると境界は曲面になりま

す。これは複数の入力と 1 つの出力を持ち、前の層

す。SVM は基本的には 2 値分類なので、K 値分類

からの複数の入力信号を演算した結果、閾値を超

をするときは、2 つのクラスを識別する SVM を K

えるときに 1、それ以外では 0 を出力する（2 値分

（K − 1）/2 個組み合わせる方法（one-vs-one）と、

類）機能を持ちます。 演算は、 入力側の多数のユ

ある特定のクラスに入るか入らないかを識別する

ニットニューロンから受ける信号強度を調節する

次元１の特徴量

次元１の特徴量

マージン

次元 0
≦a
b

≦b

次元 0 の特徴量

a
次元 0 の特徴量

SVM

決定木

図5

a＜
次元 1
b＜

SVM と決定木の概念図

ユニットニューロン
ニューラルネットワークの最小単位
･･･

in1

inn

w1
w2 ＋ b
wn

α

out

α：活性化関数

y0 入力がx1w1+x2w2+･･･+xnwn +b 以上のとき：α を出力

X

y1

入力がx1w1+x2w2+･･･+xnwn +b 未満のとき： 0

出力層
入力がn個の時、それぞれの入力に重みwを付ける
隠れ層

in1

･･･

入力層

inn

w1
w2 ＋ b
wn

out

入力がx1w1+x2w2+･･･+xnwn +b 未満のとき：0

図6

出力値

主な用途

linear

-1.79e+308 ～ 1.79e+308

回帰タスク出力

relu

0 ～ 1.79e+308

隠れ層出力
隠れ層出力

tanh

-1 ～ 1

sigmoid

0 ～1

確率出力

softmax

Σ(d0+d1+･･･+dn-1) = 1
di：パーセプトロンi出力

ｎクラス問題
確率出力

出力が切り替わる閾値を変える

w：重み

入力がx1w1+x2w2+･･･+xnwn +b 以上のとき：1

代表的な
活性化関数

in
を出力

＋ b

入力がb 以上のとき：1
入力がb 未満のとき：0

ニューラルネットワークの最小構成

2020.9.25. no.298

29

out

b：バイアス

tokugikon

を出力

単純パーセプトロン
in

＋

入力が0以上のとき：1
入力が0未満のとき：0

out
を出力

重み w1，w2， ……，w n と次のニューロンに信号を

を出力することもできます（「生成系」）。

受け渡すスイッチといえるバイアス b の組み合わせ
からなる一次式

ニューラルネットワークでは、特定の機能を持つ

です。ユニットニューロンの出

層を重ねることにより目的とするタスクに特化した

力（0，1）は、使用目的に応じた活性化関数αで調

柔軟な設計が可能です。中でも重要な層としては

整され、そのまま出力されるか次の層に受け渡され

CNN と RNN とがあります。

ます。ユニットニューロンは「パーセプトロン」と

・CNN（Convolutional Neural Network）
：前段

呼ばれる一次式として実装されます。入力層の次元

の層の複数個のデータを後段の 1 つのデータに

数は入力データの次元数で、出力層の次元数はタス

「畳み込む」計算を特徴とする層です。図 7（左）

クにより決まります。

において赤で示す数字はフィルタと呼ばれるもの

38）

ここで、入力データを与えた時に出力値と正解と

で、この例では画像において斜め方向の特徴を取

の違い（損失）が 0 に近づくように、数百万個のバ

り出すことができます。多数のフィルタを同時に

イアス b および重み w1，w2，……，wn を調整する作

適用することにより、様々な特徴を取り出すこと

業を「学習」といいます。

が で き ま す。 図 7（左）で 示 し た も の は 2 次 元

ニューラルネットワークは Tensorflow、PyTorch

CNN であり画像認識タスクで有効ですが、自然

などのオープンソース機械学習フレームワークで実

言語は文字列（1 次元的、時系列データ）である

行できます 。Keras は Tensorflow の使い方を便利

ことから、1 次元 CNN もよく用いられます。

39）

・RNN（Recurrent Neural Network）
：RNN 層

にするライブラリで人気があります。
一般に、ニューラルネットワークは連続値を出力

は、隣接のユニットニューロン間でデータの受け

するため、正解／不正解を判定する仕組みを設計す

渡しがあるパーセプトロンを有し、層の中で時系

る必要があります。例えば、分類タスクでは正解

列情報、文字情報等を記憶することができるのが

データ（
「ラベル」
）として不連続値（0，1 など）を

特徴です。図 7（右）に示すように、層単位のユ

与え、ニューラルネットワークが有限の連続値（0

ニットニューロンを集約すると自分自身にデータ

〜 1 など）を出力するように設計し、閾値を超える

が 戻 っ て く る 回 路 に な る こ と か ら、
「再 帰 的」

か否かで判定する方法があります。また、活性化関

（recurrent）という名称がつきました。

数として sigmoid 関数を用いることによって、出力
（c）学習、推論および過学習

を 0 〜 1 の範囲にすれば確率として扱うこともでき
ます。さらに 2 次元以上の出力があれば活性化関数

学習とは学習モデルに文書ベクトル X を入力し

に softmax 関数を用いることによって最大値をとる

て、出力と教師データ（ラベル）とから計算される

ノード番号を出力とする方法もあります。一方、数

損失（誤差）が小さくなるように学習モデルを調整

値を予測するタスクではラベルとして連続値を与

する作業です。学習で最適化されたモデルに未知の

え、無限の連続値（−∞〜∞）を出力するようにし

文書ベクトル X’ を入力すれば得たい結果が出力さ

て回帰問題として扱います。また、出力層を 28 ×

れます。これを推論（予測）と呼びます。
学習モデルの性能評価は、全データを訓練用、検

28 など多次元の設計とするなどして音声、画像等
1×1 + 0×0 + 1×1
+ 0×0 + 1×1 + 1×0
+ 0×1 + 0×0 + 1×1

1×1 0×0 1×1 0

0

0×0 1×1 1×0 0

0

0×1 0×0 1×1 1

0

0

0

1

1

1

0

1

0

0

1

ot-1

ot

ot+1

o

xt-1

xt

xt+1

x

畳み込み

4

2

2

2

3

4

1

3

3

RNN

CNN

図7

CNN、RNN の概念図

tokugikon

30

2020.9.25. no.298

AIと特許
1st set

2nd set

3rd set

4th set

第1回

train

train

valid

pred

第2回

pred

train

train

valid

第3回

valid

pred

train

train

第4回

train

valid

pred

train

4-fold交差検証の例
汎化性能が高い例

図8

過学習の例

交差検証と過学習の例

証用、テスト（予測）用に分割し、テスト用を除い

における「〇行□列」の行列を「〇次元×□次元」の

たデータで学習を行い、テスト用データで推論を

（2 軸）ベクトルということがありますので注意が

行って性能評価することを 1 セットし、 テスト用

必要です。また、計算時は（2 階）テンソルと呼ば

データを順次取り替えながら学習と推論とを数セッ

れることもありますが中身は同じです。以下、ベク

ト実行する交差検証で行われます。

トル化方法を解説します。

学習の結果、教師データに対しては適合するもの

・B oW（Bag of Words）
：単語ごとに、文章中に

の未知データには適合できていない状態を「過学

含まれる数を単純計算したものです。ベクトルの

習」
、または「汎化性能が低い」といいます。ニュー

列数は単語の数になります。模式図からわかるよ

ラルネットワークを使った機械学習の場合、訓練用

うに、行列の数値（要素）はほとんど 0 になるの

データに対する損失と検証用データに対する損失と

で「疎行列」
（sparse matrix）といいます。

が乖離することでわかります。図 8（右）では学習

・T F-IDF：BoW では助詞や句読点など、特徴のな

を繰り返すにつれ損失を示す緑と赤の線が乖離して

い単語でカウントが多くなる欠点があり、これを

いき、過学習であることがわかります。

解消するため特定の文章に偏って現れる単語に対

過学習を抑制するには、学習モデルの表現をシン

して数値が大きくなるように計算するもので、ベ

プルなものに変更する、学習の回数を減らす、教師

クトルの列数は単語の数になります。やはり疎行

データを増やす、等の対策があります。また、学習

列になります。

40）

モデルの評価指標として正答率では限界があり 、

BoW や TF-IDF で得られるベクトルでは文脈情報

適合率、再現率、F 値などの指標が適しています。

（単語の並び）が消失しますが、それでも分類タス
クでは高精度の結果が得られる傾向があります。ま

5-2. ベクトル化

た、 自然言語ではありませんが、BoW は F ターム
のベクトル化にも有効です。F タームは 1 文書に複

学習モデルに入力するデータは数値である必要が

数付与されますが、特定の F タームに対しては付与

あります。そこで自然言語を数値に変換する操作が

根拠が何か所あってもあり／なしの 2 値表現になる

必要です。特許文書解析では、文献単位、請求項単

ため、F タームをベクトルにすると（0，1 からなる）

位または明細書段落単位等を 1 文書として、1 文書

BoW になります。特徴量に強弱をつけたい場合は

を□個の数字の羅列に変換します。そうすると、〇

「重み付け」といって、
（0，1）でなく整数または自

個の文書から文書数○個×数字列□個の○行□列

然数を与えることができます（F ターム概念ベクト

データ（行列）が得られます。
（図 9 参照）。 一方、

ル 41））。

点 A から点 B に移動するときの方向と移動量をベク

・分 散表現：文書を、 設定したベクトル数（通常

トルと呼び、座標系において行列で表されます。そ

150 〜 300）で 表 現 す る も の で す。 文 字 列 を

のため、文字列から数値化されたデータは文書ベク

ニューラルネットワークで処理することで得られ

トルと呼ばれます。なお、機械学習では 2 次元空間

ます。意味情報を含む 42）とされています。文書が

2020.9.25. no.298

31

tokugikon

BoW

語2

語3

語4

語6702

0

0 0.013 0 ･･･ 0
0
0
0
0 0.013 0 ･･･ 0
0
0
0
0 0.049 0 ･･･ 0
0
0
0.124 0
0
0 ･･･ 0 0.140 0
･･･ ･･･ ･･･ ･･･ ･･･ ･･･ ･･･ ･･･
0
0
0
0 ･･･ 0 0.010 0
0
0
0
0 ･･･ 0 0.032 0
0
0
0
0 ･･･ 0 0.056 0

語6704

分散表現

ラベルエンコード

-0.03 0.08 -0.050.09 ･･･ 0.20 0.19 0.02
-0.03 0.10 -0.06 0.08 ･･･ 0.22 0.21 0.03
-0.01 0.06 -0.08 0.03 ･･･ 0.10 0.16 0.07
-0.02 0.05 -0.10 0.05 ･･･ 0.22 0.16 0.03
･･･ ･･･ ･･･ ･･･ ･･･ ･･･ ･･･ ･･･
0.00 0.06 -0.11 0.07 ･･･ 0.04 0.16 0.07
0.06 0.03 0.13 0.08 ･･･ 0.00 0.16 0.12
-0.04 0.07 -0.07 0.03 ･･･ 0.18 0.16 0.02

36 4 2452 129 ･･･ 0
0
0
34 2 1685 7 ･･･ 0
0
0
160 6 73 592 ･･･ 12 0
0
15 48 4 417 ･･･ 0
0
0
･･･ ･･･ ･･･ ･･･ ･･･ ･･･ ･･･ ･･･
156 243 7
8 ･･･ 0
0
0
48 38 43 2 ･･･ 55 104 12
1 376 3 11 ･･･ 0
0
0

･･･
･･･
･･･
･･･
･･･ ･･･ ･･･ ･･･ ･･･ ･･･ ･･･ ･･･
･･･
･･･
･･･

[0, 1, 0, 0, 0, …, 0, 0]

[-0.04, 0.07, -0.07, 0.03, …, 0.18, 0.16, 0.02]

図9

[1, 0, 0, 0, 0, …, 0, 0]
[1, 0, 0, 0, 0, …, 0, 0]
[1, 0, 0, 0, 0, …, 0, 0]
[1, 0, [1,
0, 0,
0,
…,
0,
0]
0, 0,
0, 0,
0, …,
0, 0,
…, 0]
0, 0]
[1, 0, 0,
[1, 0, 0, 0, 0, …, 0, 0]
[1, 0, [1,
0, 0,
0,
…,
0,
0]
[1,
0,
0,0,
0,0,
0,0,
…,0,
0,…,0]0, 0]
[1, 0, 0,
0,
0,
…,
0,
0]
[0, 0, 0, 0, 0, …, 0, 0]
[0, 0, 0, 0, 0, …, 0, 0]
[1,0,
0,0,
0,0,
0,…,
0,0,
…,0]
0, 0]
[1, 0,
[1, 0,
0,
0,
0,
…,
0,
0]
[0, 0, 0, 0, 0, …, 0, 0]
0,0,
…,0]
0, 0]
[0, 0, 0, 0,
0,[1,
…, 0,
0, 0,
0] 0,…,
[0, 0, 0,[1,
0, 0,
0, 0,
…, 0,
0, 0,
0]
[0, 0, 0, 0, 0, …, 0, 0]
[0, 0, 0, 0, 0, …, 0, 0]
[0, 0, 0, 0, 0,[1,
…, 0,
0, 0,
0] 0, 0, …, 0, 0]
0,
0,
0,
0,
…,
0,
0]
[0, [0,
0, 0,
0,
0,
…,
0,
0]
[0, 0, 0, 0, 0, …, 0, 0]
[0, 0, 0, 0, 1, …, 0, 0]
[0,
0,
0,
0,
0,
…,
0,
0,
0,
1,
…,
0,
0]0, 0]
[0, [0,
1, 0,
0,
0,
…,
0,
0]
[0, 1, 0, 0, 0, …, 0, 0]
[0, 0, 0, 0, 0, …, 0, 0]
[0,
0,
0,
0,…,
0, …, 0, 0]
[0, 0, [0,
0, 0,
0,
…,
0,
0]
[0,
0,
0,0,
0,0,
0,0,
…,0,
0, 0]0, 0]
[0, 0, 0,
0,
0,
…,
0,
0]
[0, 0, 0, 0, 0, …, 0, 0]
[0, 0, 0, 0, 0, …, 0, 0]
[0,0,
0, 0, 1, 0, …, 0, 0]
[0,0,0,
[0, 0,
0, 0,0,…,0,0,…,0]0, 0]
[0, 0, 0, 0, 0, …, 0, 0]
[0,0,
0,0,
0,0,
0,…,
0,0,
…,0]
0, 0]
[0, 0,
[0, 0, 0, 0, 0, …, 0, 0]
[0, 1, 0, 0, 0, …, 0, 0]

･･･
･･･ ･･･ ･･･ ･･･ ･･･ ･･･ ･･･ ･･･

文書4724 0
0
0
0 ･･･ 0
1
0
0
0
0 ･･･ 0
3
0
文書4725 0
文書4726 0
0
0
0 ･･･ 0
4
0
語1

one-hot

TF-IDF

0
1
0 ･･･ 0
0
0
文書1 0
0
1
0 ･･･ 0
0
0
文書2 0
0
2
0 ･･･ 0
0
0
文書3 0
文書4 4
0
0
0
0 12
0

文書ベクトルの模式図（赤い数字は 0 以外の値であることを示す）

5-2. 形態素解析

行列の各要素に振り分けられるため「分散表現」
といいますが、文書が行列の中に数値として埋め
込まれるように見えることから、
「埋め込みベクト

文書を小さな単位（形態素）に分割することを形

ル」とも呼ばれます。ニューラルネットワークの

態素解析といいます。形態素解析と同時に品詞解析

設 計 に よ り、Word2Vec、FastText、GloVe、

や文法解析を行ってその情報を利用することもあり

SCDV 等の文脈情報が消失するものから、ELMo、

ます。

BERT 等の文脈情報を持ち、多義語に対応できる

英語やハングル表記等は単語間を空白で区切る

とされるものに進化しています。また、公開され

「分かち書き」文書のため、形態素解析は必ずしも

ている分散表現の学習済みモデルからニューラル

必要ではありませんが、日本語や中国語は分かち書

ネットワークを再現し、これに新たな層を追加し

きがないため、形態素解析が必要になります。以下、

て ネ ッ ト ワ ー ク を 構 成 す る、 蒸 留、 フ ァ イ ン

形態素解析器の仕組み別に分類します。

チューニング、転移学習という手法で高い精度が

・辞書による方法：予め単語と品詞を登録した辞書

得られるようになりました。

に基づいて自然文を切り出します。辞書にない語

・ラベルエンコード：各単語に ID を割り振り、単語

（未知語）はそのまま切り出されます。日本語形

の並びの順に ID を配していくものです。文脈情報

態素解析器としては MeCab、Janome、JUMAN、

は維持されます。ニューラルネットワークを使う

Sudachi 等があります。

ときは各文書ベクトルの大きさを揃える必要があ

・サブワード法：長い文字列に含まれる一部の文字

るため、通常、データ不足部分を 0 で埋め、最も

列（サブワード）が他の単語にも共有されている

長い文書に揃えます（ゼロパッディング） 。ラベ

とき、共有しているサブワードを長いものから順

ルエンコードで得られた文書ベクトルは、要素の

次切り出していく手法です。 たとえば文章中に

数値同士に物理量の関係がないため、特殊な数理

「カチオン性界面活性剤」、
「アニオン性界面活性

モデルを使用して機械学習モデルに入力します。

剤」、
「親水性」、
「添加剤」があるとすると、まず共

・o ne-hot：各単語のID（数値）を、
（ID）番目の要素

通部分の「界面活性」を切り出します。MeCab と

のみが1で残りの要素がすべて0のベクトルに置換

同じ作者による Sentencepiece が有名です。辞書

したものです。ラベルエンコードベクトルを2次元

による方法に比べて形態素の数が少なくなりま

空間で表現できるとすれば、one-hot ベクトルは 3

す。また、Sentencepiece では予め形態素の数を

次元空間で表現されます。文脈情報を維持したまま

おおよそ設定（例えば 8000）して処理することが

機械学習モデルに入力することができます。しかし、

できます。

43）

データ容量が増大し、文書数やタスクによってはコ

・ニューラルネットワーク法：文脈から次の単語を

ンピュータのメモリに収まらないことがあります。

予測するタスクをニューラルネットワークで学習

tokugikon

32

2020.9.25. no.298

AIと特許
MeCab

着色␣剤␣、␣アラビア␣ガム␣、␣炭素␣数␣１␣２␣以上␣、␣２␣０␣以下␣の␣高級␣アルコール␣、␣炭
素␣数␣１␣以上␣、␣４␣以下␣の␣低級␣アルコール␣、␣および␣水␣を␣含む␣インクジェット␣インク␣。

Sentencepiece

▁␣着␣色␣剤␣、␣アラビア␣ガム␣、␣炭素␣数␣12␣以上␣、␣20␣以下の␣高級␣アルコール␣、␣炭素
␣数␣1␣以上␣、␣4␣以下の␣低␣級␣アルコール␣、␣および␣水␣を含む␣インク␣ジェット␣インク␣。

モノグラム

着␣色␣剤␣、␣ア␣ラ␣ビ␣ア␣ガ␣ム␣、␣炭␣素␣数␣１␣２␣以␣上␣、␣２␣０␣以␣下␣の␣高␣
級␣ア␣ル␣コ␣ー␣ル␣、␣炭␣素␣数␣１␣以␣上␣、␣４␣以␣下␣の␣低␣級␣ア␣ル␣コ␣ー␣ル␣、
␣お␣よ␣び␣水␣を␣含␣む␣イ␣ン␣ク␣ジ␣ェ␣ッ␣ト␣イ␣ン␣ク␣。

MeCab+ 固有表現

着色剤、␣アラビアガム、␣炭素数１␣２␣以上、␣２␣０␣以下の␣高級アルコール、␣炭素数１␣以上、␣
４␣以下の␣低級アルコール、␣および␣水␣を␣含む␣インクジェット␣インク。
※ ␣ は形態素の区切りを示す記号（筆者付与）

図 10

形態素解析例（固有表現の取り出しには TermExtract を使用）

し、得られたモデルの推論結果を出力する方法で

設定し、市販特許データベースからテーマコード

す。RNN（再帰的ニューラルネットワーク）がよく

2H186（インクジェット記録方法及びその記録媒

使われます。JUMAN ＋＋、nagisa 等があります。

体）で検索して母集団を得て、筆頭 FI がそれぞれの

・n -gram：文法に関係なく n 文字単位で切り出し

カテゴリの FI である公報を抽出しました。

ていく方法で、文脈情報を保持することができま

ここでは、 インキ：1459 件、 機構 2726 件、 受

す。プログラム言語の文字列処理で簡単にできま

容シート 726 件、用途 325 件、合計 5236 件の公報

す。n が大きくなるほど同じ形態素の出現頻度が

を独立請求項のテキストデータで分類するというタ

減ると同時に形態素の数が増加していきます。

スクを扱います。筆頭 FI と独立請求項とは強い正

・固有表現抽出：元々は未知語を抽出するものです

の相関関係があると考えられるため、この組み合わ

が、技術用語が形態素解析器でサブワードに分割

せとしました。

されてしまい、折角の特徴が失われることがある

形態素解析は MeCab、sentencepiece、GiNZA の出

ため、固有表現抽出でこれを取り出し、解析に用

力をそのまま使用した場合に加え、TermExtract で

います。固有表現抽出器としては TermTxtract や

得た固有表現（たとえば「カチオン / 性 / 界面 / 活性 /

GiNZA（の一部機能）等があります。筆者の研究

剤」に対する「カチオン性界面活性剤」
）で元の出力

では、TermTxtract で重要度が高い語を抽出し、

結果を置換した出力（TExMeCab）を使用しました。

MeCab で分かち書きした文書の当該箇所を置き

文書ベクトル化は、Bag of Words、TF-IDF、分散

換える（図 10 参照）ことで分類タスクの精度が向

表現として Doc2Vec（dm＝0）
、ラベルエンコードを

上することがわかっています（本稿 6 − 2 参照）。

使用しました。Bag of Words、TF-IDFでは1-3gramを
設定することにより最大連続する3形態素までを計算

5-3. 前処理 44）

しています。独立した形態素のみカウントするより精
度が1.5％程度向上しますが、デメリットとしては文書

データクレンジングとも言います。特許文書に含

ベクトルのサイズが大きくなり計算資源が増加しま

まれる「
【】
」等を正規表現で除去したり、小文字と

す。また、ラベルエンコードをニューラルネットワー

大文字と、全角と半角とを文字列処理関数を使って

クに入力するときは、入力層にEmbedd 層を用います。

統一したりする処理です。ノイズが減少するため機

6-1. SVMを用いた2 値分類、XGBoost4 値分類

械学習精度向上の効果があります。

6. オープンソースを利用した自然言語処理の実

SVM2 値分類は、機械学習モデルとして図 5（左）

装例

に示す SVM（サポートベクトルマシン）を用いてイ
ンキ、機構のどちらに属するかを判定する one-vs-

機械学習モデルに入力するデータとして、インク

one タスクです。図 11（左）に示すように、形態素

ジェット分野で、
「インキ」、
「機構」、
「受容シート」、

解析器の出力を TF-IDF でベクトル化する方法が高

「用途」のカテゴリに対応するそれぞれ複数の FI を

精度で、97％近くの正答率が得られました。

2020.9.25. no.298

33

tokugikon

98%
97%
96%
95%
94%
93%
92%
91%
90%

SVM2値分類正答率

MeCab

sentencepiece
BoW

GiNza

TF-IDF

98%
96%
94%
92%
90%
88%
86%
84%

TExMeCab

XGBoost 4値分類正答率

MeCab

Doc2Vec(dm=0)

sentencepiece
BoW

GiNza

TF-IDF

TExMeCab

Doc2Vec(dm=0)

図 11 （左）SVM による 2 値分類 （右）XGBoost による 4 値分類
XGBoost4 値分類は、機械学習モデルとして図 5

クを示します。入力層の後にウィンドウサイズ 2，3，

（右）に示す決定木を用いて、母集団をインキ、機

4，5 の 4 枚のフィルタをもつ CNN 層を concat 層で

構、受容シート、用途のそれぞれに分割していくタ

集約して、全結合層で次元を減らしていき、出力層

スクです。SVM2 値分類とは異なり、Bag of Words

から出力します。出力層の次元と同じ次元のラベル

がわずかに TF-IDF を凌いでいます。正答率は 95％

（y _）を与えて学習させます。機械学習フレームワー

強が出ました。

クには Tensorflow/Keras を使用しました。

この 2 種類の機械学習には、scikit-learn ライブラ

2 値分類の場合の出力層は、図13に示すように 4

リを使用しました。

通りの設計が可能です。出力に sigmoid関数を使う
と、出力を確率として扱うことができるので、分類1

6-2. CNN を用いた 2 値 /4 値分類

の確率が 95％、分類 2の確率が 5％といった出力も可
能です。このように出力をある程度自由に設計できる
ことがニューラルネットワークの強みといえます。

図 12 に分類タスクに用いたニューラルネットワー

入力層

CNN 層
（4 フィルタ）
maxpooling 層
concat 層
Flatten 層

全結合層

出力層
（4 出力）

図 12
2値分類の場合

出力1次元×1

CNN を含むニューラルネットワーク例
出力2次元×1

出力2次元×1

出力1次元×2

出力層
活性化関数

sigmoid

sigmoid

sigmoid

sigmoid

sigmoid

出力値

0〜1

softmax
0〜1
0〜1

0〜1 0〜1

0〜1 0〜1

分類方法

閾値（例：0.5）
以上/未満

1
出力値が大きい
ノード番号

2つのノードを比較して
大きい方の番号

2つのノードを比較して
大きい方の番号

図 13

ニューラルネットワークの出力設計

tokugikon

34

2020.9.25. no.298

AIと特許
CNN 2 値分類

97.5%
97.0%
96.5%
96.0%
95.5%
95.0%
94.5%
94.0%

BoW

TExMeCab

TF-IDF

93%
91%
89%

MeCab

TExMeCab

87%

sentencepiece ラベルエンコード

85%

1dim×1 sigmoid
2dim×1 sigmoid

2dim×1 softmax
1dim×2 sigmoid

図 14

TExMeCab

95%

sentencepiece

TExMeCab
MeCab

MeCab
sentencepiece

CNN 4 値分類

97%

TExMeCab

MeCab

MeCab
sentencepiece
sentencepiece

BoW

4dim×1 softmax
2dim×2 sigmoid

TF-IDF

ラベルエンコード
sentencepiece

MeCab

4dim×1 sigmoid
1dim×4 sigmoid

TExMeCab
2dim×2 softmax

ニューラルネットワークによる分類結果

結 果 は、TermExtract で 固 有 表 現 を 抽 出 し て

すべて 0 を出力する方の損失が少なくなること、に

MeCab 出力の当該単語を置換し、BoW でベクトル

あります。とくに後者の 0と 1との数のバランスが

化する方法が最も高精度でした。MeCab より精度が

釣り合わないデータを「不均衡データ」といいます。

高いと言われた sentencepiece を凌駕したことが特

「アクション・プラン」の平成 29 年度実証事業に

筆されます。ただし、ニューラルネットワークの設

おいて、特許文献に付与すべき F タームおよび、段

計で精度が変動するので、TF-IDF やラベルエンコー

落単位での付与根拠を機械学習で推定し、その精度

ドにも最適なネットワーク構造があることでしょう。

を検証する 12），45）ことが行われました。この実証事
業は 12 のテーマごとに 20 個の F タームを選定し、

6-3. 他のタスクへの拡張

推論するタスクです。その一方法は RNN を応用し
たアテンション層を 2 つ用いるタンデム型のニュー

機械学習を用いて特許文献に F タームを付与する

ラルアテンションモデルです。20 値分類のため出

タスクを考えます。テーマコードがわかっている状

力層は 20 次元で、アテンション層が最も注目した

態で、そのテーマコードに 100 個の F タームが存在

ノードの出力が最大となる仕組みです。アテンショ

すると仮定したとき、100 値分類タスクをニューラ

ンモデルは時系列データである単語列を出力するタ

ルネットワークで推論することが考えられますが、

スクにおいて次に出力すべき単語に「注目」する機

実際は大変困難です。

能を有し、機械翻訳タスクで飛躍的に精度を上げた

その理由は、要約や請求項だけでは付与根拠が不

ことで知られます。別の一方法は F タームごとに入

十分で、明細書の段落を入力文とする必要があるこ

力文がその F タームであるか否かを 2 値分類する

と、ラベルの次元が増加するとともに正例（1）に対

SVM を F タームの数だけ備える、one-vs-rest 方式で

して負例（0）が指数関数的に増加して、学習過程で

す。またこれらをベースに改良したモデルも検討さ

ラベルに合わせるよりもニューラルネットワークが

れています。

CNN-NAM による付与根拠箇所推定の構成

図 15

SVM による F ターム付与方式：One-vs-rest 方式

F タームを推定するニューラルネットワーク例（文献 45 より転載）

2020.9.25. no.298

35

tokugikon

7. おわりに

8）近 藤裕之，特許文献への分類付与と付与根拠の推定，
Japio YEAR BOOK2018，p.16-22，https://www.japio.
or.jp/00yearbook/files/2018book/18_a_03.pdf
9）渡 邉潤，平成 29 年度 商標業務における AI 活用に関す
る実証的研究事業─「先行図形商標調査」、「不明確な指
定商品・役務調査」の高度化・効率化の可能性調査─，
Japio YEAR BOOK2018，p.24-27，https://www.japio.
or.jp/00yearbook/files/2018book/18_a_04.pdf
10）藁 谷智雄，人工知能技術を活用したデータエントリー
業 務 の 高 度 化・ 効 率 化 に つ い て，Japio YEAR
B O O K2018，p .28-33，h t t p s : / / w w w . j a p i o . o r .
jp/00yearbook/files/2018book/18_a_05.pdf
11）多賀和宏，特許庁における AI 技術を活用した業務支援
ツ ー ル 導 入 に 向 け た 取 組 に つ い て，Japio YEAR
B O O K2019，p .22-27，h t t p s : / / w w w . j a p i o . o r .
jp/00yearbook/files/2019book/19_a_02.pdf
12）特許庁委託事業 外国特許文献への F ターム等付与に関
する機械学習活用可能性調査事業調査報告書，日立製
作所，2017 年 3 月
13）特許庁委託事業 F ターム等付与支援システム実用化に
向けた実証的研究事業調査報告書，日立製作所，2018
年3月
14）特許庁委託事業 先行技術調査支援システム実用化に向
けた実証的研究事業報告書，日立製作所，2018 年 3 月
15）特許庁，
特許行政年次報告書2020年版第2部第6章，
p.160
https://www.jpo.go.jp/resources/report/nenji/2020/
document/index/honpenall.pdf
16）野
 崎篤志，知財情報調査・分析を取り巻く人工知能とそ
の周辺動向− AI ツール・RPA ツールとの協働・共創時
代 へ−，Japio YEAR BOOK2019，p.58-65，https://
www.japio.or.jp/00yearbook/files/2019book/19_a_08.pdf
17）特 集：テキストマイニング技術の活用に関する研究，
https://www.jstage.jst.go.jp/browse/jkg/69/7/_
contents/-char/ja
18）特 集：インフォプロのためのプログラミング事例集
https://www.jstage.jst.go.jp/browse/jkg/70/4/_
contents/-char/ja
19）特集：AI 時代のインフォプロ，https://www.jstage.jst.
go.jp/browse/jkg/70/7/_contents/-char/ja
20）情報検索委員会第 3 小委員会，テキストマイニング技術
の 活 用 に 関 す る 研 究， 知 財 管 理，69 巻 12 号（2019）
，
p.1426-1440
21）情報検索委員会第 4 小委員会，特許およびオープンな非
特許情報を活用した特許分析手法の検討，知財管理，
69 巻 9 号（2019）
，p.1706-1719
22）丸山 宏，深層学習と知財−技術とビジネスの観点から
−，知財管理，70 巻 4 号（2020）
，p.538-550
23）アジア特許情報研究会，https://sapi.kaisei1992.com/
24）人 工 知 能 の 定 義：John McCarthy，WHAT IS
ARTIFICIAL INTELLIGENCE?，http://www-formal.
stanford.edu/jmc/whatisai/whatisai.html、松尾豊，人工
知能は人間を超えるか，p.45 など
25）総 務 省， 平 成 28 年 版 情 報 通 信 白 書，p.233，https://
www.soumu.go.jp/johotsusintokei/whitepaper/ja/h28/
pdf/n4200000.pdf
26）John Searle，Minds，Brains and Programs，Behavioral
and Brain Sciences，3（3）
，417-457
27）久保隆宏，機械学習スタートアップシリーズ Python で
学ぶ強化学習，講談社，ISBN978-4065142981
28）たとえば、Google Research の Inceptionism 関係の論文

機械学習導入のメリットと、個人がオープンソー
スのデータまたはオープンソースのプログラムを
使って、ほぼ無料で知財情報解析ができるように
なった事例とを、基礎技術を中心に紹介しました。
本稿では取り上げませんでしたが、紹介した基礎技
術を用いて数百〜数万の文書ベクトルを 2 〜 3 次元
に圧縮してプロット 46）したり、固有表現の共起関
係をグラフ化 47）したりすることで、従来のテキス
トマイニングツールとしての使い方もできます。
本稿は 2019 年及び 2020 年の「アジア特許情報
研究会」におけるワーキングの一環として報告する
ものです。なお、本稿の第 4 章は安藤が執筆を担当
し、上記以外は西尾が執筆を担当しました。
謝辞
特許庁総務部総務課特許情報室の皆様には情報交
換の場で大変有意義なアドバイスをいただきまし
た。ここに感謝申し上げます。

参考文献
紙幅の関係で本稿に収録できなかった解説記事、実装例
をアジア特許情報研究会の web ページに収録していますの
でご参照いただければ幸いです。
1）独 立行政法人情報処理推進機構 社会基盤センター，AI
白書 2020 〜広がる AI 化格差（ギャップ）と 5 年先を見据
えた企業戦略〜，株式会社角川アスキー総合研究所，
2020 年 3 月 2 日発行，p.381-555，https://www.ipa.go.jp/
ikc/publish/ai_hakusyo.html
2）日 新税理士事務所，中小企業における AI の活用事例，
https://ns-1.biz/report/k-201707.pdf、ほか多数
3）文献 1，pp.559
4）特 許庁，特許庁における人工知能（AI）技術の活用に向
けたアクション・プランの公表について，https://www.
jpo.go.jp/system/laws/sesaku/ai_action_plan/ai_action_
plan.html
5）特 許庁，特許庁における人工知能（AI）技術の活用に向
けたアクション・プランの平成 30 年度改定版について，
https://www.jpo.go.jp/system/laws/sesaku/ai_action_
plan/ai_action_plan-fy30.html
6）特 許庁，特許庁における人工知能（AI）技術の活用に向
けたアクション・プランの令和 2 年度改定版について，
https://www.jpo.go.jp/system/laws/sesaku/ai_action_
plan/ai_action_plan-fy2020.html
7）麻川倫広，特許庁における人工知能技術の活用に関する
取組について—人工知能技術の業務への適用可能性の検
討及び電話等の質問対応に関する実証事業を中心に—，
Japio YEAR BOOK2018，p.6-11，https://www.japio.
or.jp/00yearbook/files/2018book/18_a_01.pdf

tokugikon

36

2020.9.25. no.298

AIと特許
を 流 し 読 み，http://cygx.mydns.jp/blog/?arti ＝ 563、
Deep Learningとは，http://ibisml.org/archive/ibis2013/
pdfs/ibis2013-okatani.pdf、ほか多数
29）岡
 谷貴之，画像認識分野でのディープラーニングの研究
動向，http://ibisml.org/archive/ibis2013/pdfs/ibis2013okatani.pdf
30）斎
 藤康毅，ゼロから作る Deep Learning——Python で学
ぶディープラーニングの理論と実装，第 8 章，ISBN9784-87311-758-4
31）たとえば、リコー株式会社，https://www.ricoh.co.jp/
service/cloud-ocr/column/aiocr/、キヤノン株式会社，
https://cweb.canon.jp/solution/biz/trend/ai-ocr.html、
など
32）たとえば、化学の新しいカタチ，https://future-chem.
com/smiles-smarts/
33）I PPH，外观设计专利智能检索系统，http://wg.cnipr.
com/、http://dscope.cnipr.com/fenlei/first?lang ＝ jo_
JP
34）たとえば、
scikit-learnのSVMでMNISTの手書き数字デー
タを分類，https://note.nkmk.me/python-scikit-learnsvm-mnist/、keras の mnist のサンプルを読んでみる，
https://qiita.com/ash8h/items/29e24fc617b832fba136、
など
35）黒橋禎夫，改訂版 自然言語処理，放送大学教育振興会，
ISBN978-4595319587
36）奥 村学，特許情報処理 : 言語処理的アプローチ（自然言
語処理シリーズ 5），コロナ社，ISBN978-4339027556
37）s cikit-learn の ア ル ゴ リ ズ ム チ ー ト シ ー ト：http://
scikit-learn.org/stable/tutorial/machine_learning_map/
38）学習時に誤差が小さくする（収束する）ためには微分可
能な式である必要がある
39）機 械学習フレームワークの関数として実装されるので
パーセプトロンを直接記述する必要はない
40）たとえば、0 が多いラベルに対して 0 のみを出力するネッ
トワークモデルは、正答率が高いが実用には適さない
41）目黒光司ほか，F ターム概念ベクトルを用いた特許検索
システムの改良，言語処理学会 第 21 回年次大会発表論
文集（2015）
，https://www.anlp.jp/proceedings/annual_
meeting/2015/pdf_dir/D5-1.pdf
42）意 味情報：王様−男＋女＝女王、パリ−フランス＋日
本＝東京 などの演算例が有名
43）特許文書、特に請求項では 1 文書の前半部分に特徴とな
る単語が含まれることが多いので、文書を前から特定
の長さでカットしても良い。精度とトレードオフの関
係になるが、ベクトルサイズが縮小し、計算資源を有
効活用することができる
44）本 橋智光，前処理大全［データ分析のための SQL/R/
Python 実 践 テ ク ニ ッ ク ］， 技 術 評 論 社，ISBN 9784774196473
45）富 永泰規ほか、特許文献への分類付与における付与根
拠箇所推定，情報の科学と技術 68 巻 7 号（2018）p.338342，h t t p s : / / w w w . j s t a g e . j s t . g o . j p / a r t i c l e /
jkg/68/7/68_338/_pdf/-char/ja
46）安 藤俊幸，機械学習による予備検索を考慮した効率的
な 特 許 調 査，pp14-15，https://sapi.kaisei1992.com/
wp-content/uploads/2020/07/bd1c796e71bfde143b69ae
262af724b5.pdf
47）P
 ython で共起ネットワークを作成する｜いるかのボック
ス，https://irukanobox.blogspot.com/2019/10/python.
html

2020.9.25. no.298

profile
西尾 潤（にしお じゅん）
2011 年 （株）ユポ・コーポレーションにて知財業務に従事
2018 年 同社開発部門
2015 年 アジア特許情報研究会入会、中国特許調査および知
財情報解析の研究

profile
安藤 俊幸（あんどう としゆき）
1985 年 花王株式会社入社、研究開発に従事
1999 年 研究所の特許調査担当（新規プロジェクト）
2009 年 知的財産部
2011 年 アジア特許情報研究会入会
2019 年度「特許情報普及活動功労者表彰」日本特許情報機構理
事長賞【技術研究功労者】受賞
情報科学技術協会、人工知能学会、データサイエンティスト協
会 各会員

37

tokugikon