機械学習を用いた効率的な特許調査方法
─大規模言語モデルによる特許調査の効率化─
Effective patent search methods using Machine Learning
花王株式会社

研究開発部門

知的財産部／アジア特許情報研究会

安藤1985 年現花王株式会社入社、研究開発に従事
1999 年研究所の特許調査担当（新規プロジェクト）、2009 年知的財産部
2011 年よりアジア特許情報研究会所属
2020 年 特許情報普及活動功労者表彰 日本特許情報機構理事長賞「技術研究功労者」受賞
情報科学技術協会、人工知能学会、データサイエンティスト協会 各会員

1

俊幸

ando.t@kao.com

や Google の BERT（Bidirectional Encoder

はじめにRepresentations from Transformers）がある。こ

特許調査は、競合他社の特許や技術トレンドの把握、れらのモデルは、Transformer と呼ばれる深層学習モ自社の知財ポートフォリオの評価など、企業にとってデルのアーキテクチャを使用しており、自然言語の文脈重要な活動であるが、時間とリソースを必要とする課を理解するために文内の単語やフレーズの関係性を学習

題も存在する。これらの特許調査の課題を緩和するよする。

うな複数の AI 利用特許調査ツールが商用利用されてい大規模言語モデルは、事前学習（Pre-training）と微る。また最近、世界的にも ChatGPT をはじめとした調整（Fine-tuning）という 2 つのステップから構成さ対話型 AI（生成系 AI）がポジティブ・ネガティブ両面れる。事前学習では、大規模なテキストコーパスを用いで大変注目を集めている 1,2)。また大学等の教育機関へてモデルが一般的な言語パターンや文脈を学習する。そも大きな影響を与えている 。本稿では、知財分野おけの後、特定のタスクに対して微調整を行い、具体的なタる AI 活用による特許調査の効率化について、AI 利用特スクに適したモデルを作り上げる。

3)

許調査システムや大規模言語モデルを利用したシステム

大規模言語モデルは、自然言語の理解、文章生成、要（ChatGPT、BingAI、BERT、Google Bard）を実際約、機械翻訳など、さまざまな NLP タスクにおいて優に使用して可能な限り検証を行いエンドユーザーの立場れた性能を発揮する。特に、大規模なコーパスから学習としてその可能性を検討する。

することで、一般的な言語の知識を獲得し、より多様な文脈での文理解や生成が可能となる。

2

大規模言語モデルの概要

大 規 模 言 語 モ デ ル（LLM：Large LanguageModel）は、自然言語処理（NLP：Natural Language

200

大規模言語モデルは、その豊富な表現力と柔軟性から注目を浴びており、情報検索、対話システム、知識獲得、特許調査など、様々な領域で効率化や進歩をもたらしている。

Processing）の分野で注目されている高度な機械学習実際に大規模言語モデル利用したツールを使用してみモデルのことである。これらのモデルは、大量のテキスるとその能力に驚くことも多いが、問題点も多いのが実トデータを学習して言語の構造や意味を理解し、自然言情である。使いこなすにはツールの特徴の把握と、出力語のタスクに対して高度な予測や生成を行うことができ結果の検証は必須である。対話型 AI は使い始める敷居る。

は低く簡単に始められる。クエリに対して自然文で回答

大規模言語モデルの代表的な例としては、OpenAIが返され分かりやすいが、回答内容には間違いが含まれの GPT（Generative Pre-trained Transformer）ることも多くファクトチェックは必須である。専門的な内容の検証には手間がかかるが、詳しくない分野のバックグランドの把握や予備的な調査には様々なリスクに留意してうまく使うと有用である。

3

大規模言語モデルの具体例

大規模言語モデルとは、多数のパラメータ（数千万か図2

ら数十億）を持つ人工ニューラルネットワークで構成さMicrosoft BingAI の回答れるコンピュータ言語モデルで、膨大なラベルなしテキストを使用して自己教師あり学習または半教師あり学習係性を学習し、入力に対する適切な出力を生成するためによって訓練が行われる。に使用されます。
パラメータ数が多いほど、モデルはより多くの情報をの OpenAI の ChatGPT 4)、Microsoft BingAI 5)、記憶し、より複雑なパターンや関係性を学習することがGoogle Bard6) を 選 択 し て 検 討 し た。BERT に 関 しできます。大規模なパラメータ数は、言語モデルの表現て は 別 途 検 討 し た。ChatGPT、Microsoft BingAI、力や生成能力を向上させる可能性があります。

Google Bard の特徴をそれぞれに訊ねた結果を表形式にまとめて図１から図 3 に示す。

しかし、大規模なパラメータ数はコストやリソースの面でも課題を抱えます。モデルの学習や推論には膨大な計算資源が必要となり、モデルのサイズや処理時間が増加します。また、大規模なパラメータ数を持つモデルはデプロイメントやメモリ制約の面でも挑戦をもたらすことがあります。
したがって、大規模言語モデルのパラメータ数は、そのモデルの表現力や計算コスト、リソース制約などを考慮しながらバランスを取る必要があります。」
この説明により、パラメータ数の意味は概ね理解できた。

図1

OpenAI の ChatGPT の回答

具体的なパラメータ数自体は間違った回答や矛盾した回答で ChatGPT からは正解は得られなかった。

ChatGPT の回答を Excel にコピペして黄色は筆者が回答に違和感を覚えて設定した。ChatGPT の大規模筆者「GPT3 のパラメータ数を教えてください」
ChatGPT「GPT-3 は、1.75 兆（1,750 億）個の言語モデルは 2021 年 9 月までの情報に基づいているパラメータを持つ大規模なモデルです。」

ためと考えられる。

「1.75 兆（1,750 億）」兆と億の関係が間違っている。

BingAI の回答では言語モデルの大きさに関して、大筆者「GPT3.5 のパラメータ数を教えてください」

規模言語モデルのパラメータ数の意味とパラメータ数自ChatGPT「GPT-3.5 は、1750 億個のパラメータ体に疑問を感じたので ChatGPT に以下のような質問を持つモデルです。」。GPT3 と GPT-3.5 の違いも分をした。筆者「大規模言語モデルのパラメータ数の意味かっていない。

を教えてください。」
ChatGPT の回答

筆者「GPT4 のパラメータ数を教えてください」
ChatGPT「申し訳ありませんが、私の知識は 2021

「大規模言語モデルのパラメータ数は、そのモデルが年 9 月までの情報に基づいており、GPT-4 の具体的な学習中に調整可能な重みとバイアスの数を表します。こパラメータ数については提供できません。GPT-4 の詳

れらのパラメータは、モデルがデータからパターンや関細や具体的なパラメータ数については、公式発表や関連

YEAR BOOK 2O23 201

4特許情報の高度な情報処理技術

大規模言語モデルの具体例として、まず生成系 AI

情報を参照することをおすすめします。GPT シリーズは進化を遂げており、将来のバージョンではより大規模なパラメータを持つ可能性があります。」
回答内容のファクトチェックは必須だが内容によってはかなり困難な場合もある。ちなみに GPT4 のパラメータ数は非公開である。

図4

図3

特許検索競技大会 2021 年の過去問

Google Bard の回答

黄色のセルは気にかかった箇所である。ChatGPT と図5

特許検索競技大会 2021 年の正解公報例

同様に Google Bard にも質問した。回答を以下に記す。
「GPT-3.5 の パ ラ メ ー タ 数 は、3,550 億 個 で す。
GPT-3.0 は 1,750 億個のパラメータ数を持っていたので、GPT-3.5 のパラメータ数は 2 倍になっています。」。「まだ発表されていないので、GPT-4 のパラメータ数はわかりません。」

4

大規模言語モデルの有効性検証

特許調査における大規模言語モデルの有効性検証は、
ま ず 生 成 系 AI の OpenAI の ChatGPT、Microsoft

図6

ChatGPT(GPT3.5) の回答（2023 年 4 月時点）

BingAI、Google Bard で行った。検証対象として特許調査のプロセスと正解公報が詳細に解説されている特許

特許リストは明らかに間違っておりまさに生成されてい検索競技大会 2021 年過去問ることが分かる。

7)の化学・医薬分野の問

題（徐放性マイクロニードル）図 4 を使用した。検索2023 年 6 月時点の回答では間違った特許リストを結果の性能の指標として正解公報 9 件（図 5）を使用生成することは無くなったが正解公報は 2021 年 9 月

して、正解率、精度、再現率、正解公報のランキング順

以前に公開されているのでデータ更新を理由にするのは位を求めた。

不適切である。

図 6 に ChatGPT(GPT3.5) の 2023 年 4 月 時 点の回答を示す。一見するとそれらしき回答を示しているように見えるが商用の特許データベース CyberPatent
Desk を使用して出願番号照会を行うと例示されている

202

ChatGPT(GPT4) の回答を検証すると 2023 年 6月時点でも間違った特許リストを生成していた。
BingAI は最初に Bing で Web 検索を行い、次に下記回答を生成した。

図7

ChatGPT(GPT3.5) の回答（2023 年 6 月時点）
図 11

Google Bard の回答例 1（2023 年 6 月時点）

答例を生成した。回答例 1 の特許リスト３件全て間違っていた。
回答例 2 は「申し訳ありませんが、その特許は見つけられませんでした。」
回答例 3 の特許リスト 5 件全て間違っていた。
図8

ChatGPT(GPT4) の回答（2023 年 6 月時点）

残念ながら生成系 AI の ChatGPT、BingAI、Google
Bard を利用しての直接的な特許調査は難しいことが良く分かった。ChatGPT に直接「ChatGPT は特許データベースの検索を行えますか？」と尋ねてみた。
ChatGPT

3.5 の回答は、「はい、ChatGPT は特許データベースの検索 を行
う こ と が で き ま す が、 い く つ か の 制 約 が あ り ま す。
図9

ChatGPT(GPT4) の回答の検証

ChatGPT はテキストベースの質問応答モデルであり、インターネット上の情報や一般的な知識に基づいて回答を生成しますが、特許データベースへの直接アクセスは持っていません。
一般的な特許情報や特許に関連するトピックについての質問には、一般的な知識や特許に関連する情報を提供できる可能性があります。特定の特許に関する情報を調べる必要がある場合は、特許データベースや専門の特許検索ツールを利用することをおすすめします。

図 10

BingAI の回答（2023 年 6 月時点）

特許検索に関連して具体的な質問があれば、お答えできる範囲でお手伝いいたしますので、どうぞお尋ねくだ「検索した結果、この特許出願に関連する情報は見つかりませんでした。」
間違った特許リストを生成されるよりはよいが具体的さい。」
上記回答を踏まえて ChatGPT、Bing AI、Bard のWeb 検索機能について検討した。

な特許調査はこの件では行えなかった。

YEAR BOOK 2O23 203

特許情報の高度な情報処理技術

Google Bard は回答例 1 ～回答例 3 の３種類の回

45ChatGPT、Bing AI、Bard の Web
検索機能

Web 検索機能の検討対象として「スーパーコンピュータ「富岳」を使用した大規模言語モデルのプレスリリース」を使用した。このフレーズで Google 検索を行うと検索結果の上位から Fujitsu、理化学研究所、東京工業大学、cloud watch、pc watch、nikkei、ZDNet、東北大学のプレスリリースや記事がヒットする（2023年 7 月 2 日時点）。
図 13

ChatGPT4(Web Browsing)、BingAI の回答

使用した「大規模言語モデル」の「プレスリリース」の例では、特徴的なキーワードの組み合わせで注目を集める内容であり正解を見つけるのは容易である。Web 検索結果を評価する場合、Web 検索の難易度と検索ユーザーが望んでいる内容との「適合」の観点から結果を評価する必要がある。「適合」の観点からは、ユーザーが望んでいるものを AI 側で判断するか、上位に表示する
図 12

ChatGPT3.5、ChatGPT4 の回答ことが望ましい。この検索ユーザーが望んでいる内容と「適合」しないものを AI が選択してしまうと生成する回

ChatGPT3.5 の回答は一目でフェイクニュースと答は不適切なものとなる。

わかるレベルの生成された回答である。ChatGPT4 のな お、ChatGPT Plus の ヘ ル プ セ ン タ ー の ア ナ ウ

デフォルトでは Web 検索機能を備えていないことがン ス で は「2023 年 7 月 3 日 の 時 点 で、ChatGPT推定される回答である。ChatGPT で「GPT-4」を利Browse ベータ版では、望ましくない方法でコンテン用するためには有料版（月額 20 ドル）の「ChatGPTツが表示される場合があることがわかりました。細心のPlus」を利用する必要がある。無料版の ChatGPT で注意を払って Browse with Bing ベータ機能を無効には , 言語モデルは「GPT-3.5」のみである。「ChatGPTしました。私たちはベータ版をできるだけ早く戻すようPlus」 は「GPT-3.5」「GPT-4」 を 選 択 で き る。

取り組んでいます。ご理解のほどよろしくお願いいたし「GPT-4」 は「 デ フ ォ ル ト 」、「Browse with bingます。」とのことである。

(Model: Web Browsing)」、「Plugins」 を 選 択 で きる。「「Browse with bing」を選択すると bing によるWeb 検索機能が利用できる。またインターネット上のURL を指定してページにアクセスできる。「Plugins」
を選択すると各種プラグインを選択できるようになる。
「AskYourPDF」プラグインを組み込むと URL を指定して Web 上の PDF を読み込めるようになる。
図 13 に ChatGPT4(Web Browsing)、BingAI の回答を示す。
ChatGPT4(Web Browsing)、BingAI ど ち ら もWeb 検索を行い、検索結果から、Fujitsu のプレスリリースを選択して回答を生成している。この「富岳」を

204

図 14

Google Bard の回答

Google Bard の回答を図 14 に示す。一見すると正「 例 え ば、 特 許 番 号 JPWO2006016647A1 をしそうであるがオリジナルのプレスリリースと比べるとGoogle Patents で検索することで、該当の特許に抜け漏れがあったり、逆にオリジナルにない事が回答さついての情報を見つけることができます。

れていたりでファクトチェックに手間がかかる回答であこの方向で進めてよろしいでしょうか？」る。そこで ChatGPT4 の「AskYourPDF」プラグイ「この方向で進めてください。」とお願いすると、ンを利用して東京工業大学のホームページに掲載されて「ごめんなさい、一部のテクニカルな問題により特許いるオリジナルのプレスリリース PDF を元の文章とし情報を引用することができません。ですが、私が理解して、Google Bard の回答文章を対象文章として、対象た内容をベースに説明を試みます。

文章の相違点を指摘するよう指示した。結果を図 15 に示す。

この特許は、「微細針を用いた経皮的薬物投与装置」について説明しています。経口投与や注射投与は一般的な薬物投与法ですが、これらには各々の問題点が存在し事との相互作用が問題となることがあります。また、注射投与は痛みを伴うことが多く、自己投与が難しいという問題があります。・・・中略
なお、上記の説明は特許の内容を理解した結果の説明であり、特許文書の正確な言葉を引用したものではありませんのでご了承ください。」とのことで直接的な引用はできないが「私が理解した内容」は概ね正しいと思われる。
図 15

ChatGPT による文章比較と相違点抽出

回答結果は、特許調査の実務でも調査目的により十分に使えるレベルにあると予想されるものである。
EPO の Espacenet、 商 用 AI 特 許 調 査 ツ ー ル

ChatGPT のプロンプトエンジニア
リング

6

プロンプトエンジニアリングとは、AI モデルに対して適切な質問や指示を与えることで、より望ましい結果のサイトで人がブラウザでアクセを引き出す技術である。ChatGPT に質問したプロンプ

スすると表示される特定の特許を URL で指定して、トエンジニアリングの基本についての回答を図 16 に示

ChatGPT4(Browse with bing) にタイトルと要約のす。の amplified.ai

11)抽出を指示した回答を以下に示す。
「 申 し 訳 あ り ま せ ん が、 指 定 さ れ た URL か ら は 情報を取得できませんでした。このウェブサイトは、私のブラウジングツールが情報を取得するのを阻止するrobots.txt というファイルを使用しています。これはウェブサイトの所有者が特定のウェブクローラー（自動的にウェブページを閲覧するプログラム）からページの閲覧を制限するために使用する標準的な方法です。
他の情報源から必要な情報を見つけることが可能であれば、お知らせください。また、特許情報については、各国の特許庁のウェブサイトや Google Patents など、

図 16

ChatGPT によるプロンプトエンジニアリング他の特許データベースを利用することも可能です。」ということであった。

YEAR BOOK 2O23 205

4特許情報の高度な情報処理技術ます。経口投与では薬物の吸収が不完全であったり、食7

特許調査における大規模言語モデルの活用

ChatGPT4 に特許調査における大規模言語モデルの活用方法の可能性を５項目挙げてもらい、機械学習の専門家、ベテラン特許サーチャー、発明者の立場からのコメントを求め、最後に表にまとめた

図 20

図 17

発明者の立場からの回答

特許調査における大規模言語モデルの活用方法

図 21

図 18

機械学習の専門家の立場からの回答

8

各立場のまとめ

AI 利用特許調査ツールを用いた特許調査

AI 利用特許調査ツールを用いた特許調査の例として特許文書の類似文書検索を Patentfield9)、パナソニッ
クソリューションテクノロジー株式会社が提供しているPatentSQUARE10) を利用して検討した。
Patentfield のセマンティック検索の正式名称は AI
セマンティック類似検索であり AI 検索に分類される。
同じセマンティック検索という名称でも商用データベースによっては概念検索の場合もあり注意を要する。
Patentfield の セ マ ン テ ィ ッ ク 検 索 は 内 部 で はfastText（Facebook AI Research が開発した自然図 19

ベテラン特許サーチャーの立場からの回答

言語処理を高速、高精度化するのに有効なライブラリ）の分散表現ベクトルを使用しており収録されている全分野にわたって類似語を学習している。Patentfield の全文検索は明細書の検索対象を選択してキーワードにより検索できる。セマンティックスコアを使用することで、探したい任意の自然文書または特定の文献から類似度が206

高い順にスコアリングされ、教師データを用意せずに探したい技術内容に近い特許文献から調査することができる。セマンティックスコアはブーリアン演算によるコマンド検索の母集団に組み合わせることも可能で、任意のキーワード、文書、特許番号などを指定することにより検索結果の母集団を変更することなく、容易に近い内容の技術から効率的に調査を行うことができる。

図 24

PatentSQUARE の AI 検索事例

図 22

Patentfield のーリアン× AI セマンティック検索

Patentfield のブーリアン検索× AI セマンティック
検索画面を図 22 に示す。
ブーリアン検索で FI: マイクロニードル +F ターム：
図 25

微粒子×ポリエステルの検索を行った。AI セマンティッ

PatentSQUARE の AI 検索結果

ク検索には請求項１を使用した。
PatentSQUARE の AI 検索結果を図 25 に示す。上段は AI 検索結果で正解公報の No1、No2 を選択して再検索したのが下段である。上段と下段の No（順位）を比べると下段の再検索結果の正解公報の順位が上がっているのが分かる。7 番目の正解公報の順位が 7057位から 716 位になっておりこの検索集合を全てユーザーが適合判定すると仮定すると、読むべき公報数は7057 件から 716 件に減少し、効率はおよそ 10 倍になる。
これはいわゆる適合性フィードバックに基づくユー
図 23

Patentfield のブーリアン検索× AI セマンティック検索

ザーの検索意図を反映させた特許公報を再検索していることに相当する。ポイントは、ユーザーの検索意図を〇AI セマンティック検索単独と「ブーリアン検索× AIセマンティック検索」結果を図 23 に示す。「ブーリアン検索× AI セマンティック検索」と組み合わせることで大幅に出現順位が向上している。

×をつけることで適合文書と不適合文書を明示的に検索システムにフィードバックしているところである。
PatentSQUARE の AI 検索結果（ヒートマップ）を
図 26 に示す。「検索テキスト位置表示ボタン」を押すと検索クエリ文書の位置を示す星印が表示される。表示YEAR BOOK 2O23 207

4特許情報の高度な情報処理技術

PatentSQUARE の AI 検索画面を図 24 に示す。

されているドットはクラスターになっておりドットをマトレーニング済みモデルとともに、Colab ノートブッ

ウスでクリックするとドットのクラスターに属する公報クが付属している。

がリスト表示される。

Japio 知財 AI 研究センターから SDGs 技術の見える化 18)、特許情報を活用した SDGs の「見える化」19)が紹介されており BERT が分類に使われている。
文献 20,21) を参考にして BERT による特許調査の効率化検討を行った。より具体的には BERT を用いた特許文書の分類、類似文書検索、俯瞰可視化を検討した。
参考文献 20,21 のライブドアコーパスで BERT の取り扱いを検討して特許公報データを扱えるようにプロブラムを追加・修正した。BERT による文書ベクトルの可視化を図 27 にしめす。

図 26

9PatentSQUARE の AI 検索結果（ヒートマップ）

BERT を用いた特許調査検討BERT（Bidirectional Encoder Representationsfrom Transformers）は、2018 年 10 月に Googleの Jacob Devlin らの論文で発表された自然言語処理モデルである。
2019 年 12 月 2 日に株式会社日立ソリューションズより「活文 知的情報マイニング」の AI エンジンを「BERT」で強化し、高精度のテキスト分類を実現 12) したシステムが販売開始されている。

図 27

BERT による文書ベクトル可視化「トランスフォーマーを用いた特許審査支援の探究 」13)、「 特 許 審 査 官 が 垣 間 見 た 深 層 学 習（DeepLearning）による自然言語処理の変革期」14) に BERTによる特許調査に関して紹介されている。
BERT および BERT からの派生技術の「特許庁における AI 技術の活用の現状と最新の取組」15) は大変興味深い。
2020 年 11 月 21 日に米国およびその他の国の 1
億を超える特許出版物について、オープンソースツールを使用して BERT モデルをトレーニングする手法を概説したホワイト ペーパー 16) がリリースされた 17)。このホワイト ペーパーでは、特許出願の新規性を判断す

図 28

BERT による文書ベクトル 3D 可視化

るための先行技術調査をより効果的に行う方法、特許分類を補助する分類コードを自動的に生成する方法、オー

図 28 はブラウザで表示され、マウス操作で 3D 表トコンプリートなど、多くのユースケースでトレーニン

示の回転、拡大縮小、各カテゴリーのドットの ON ／グ済みモデルを使用する方法について説明している。こOFF 表示が可能である。のホワイトペーパーには、GitHub でホストされている

208

10 OSS を用いた特許調査
オープンソースを用いた機械学習の特許調査への応用に必要な構成要素を図 29 にまとめた。ChatGPTの API や機能を拡張するライブラリに関するに関する情報 22）も増えており OSS のライブラリを用いた各種プログラミングも ChatGPT と対話しながら行うことで格段に敷居が低くなっている。例えば、LlamaIndex
は大規模言語モデルと外部データ（自分のデータ）を接 続 す る た め の ラ イ ブ ラ リ で あ る。LangChain は、ChatGPT などの大規模言語モデルの機能を拡張できる

ChatGPT の「Code Interpreter」

11 まとめ
大規模言語モデルによる特許調査の効率化検討を最近非常に注目されている ChatGPT に代表される生成系
AI に使われている「GPT」、既に自然言語処理分野で実績のある「BERT」を中心に紹介した。利用するにあたっての「BERT」、「GPT3」、「GPT4」の違いを図 31 にまとめた。現時点では ChatGPT、Bing AI、Bard をクエリを入力して直ぐに結果を求める直接的な特許調査に利用するには問題が多い。ただプロンプト次第で今まで非常に難しかったことが簡単に行える可能性が大きいのも確かである。

図 29

オープンソースを用いた機械学習の応用

7 月 上 旬 に ChatGPT の「Code Interpreter」 が使用できるようになった。「Code Interpreter」とは、ChatGPT Plus の ベ ー タ 版 の 機 能 で、ChatGPT 上で Python を使ったコードの実行や、ファイルのアップロード・ダウンロードができるようになる。例えば
特許データベースからダウンロードした csv や Excelファイルをアップロードして、自然言語による指示やPython コードを使用した各種作業結果を csv などでダウンロードすることが可能である。
ChatGPT に訊いた、ChatGPT の「Code Interpreter」
でできること、できないことを図 30 に示す。

図 31 「BERT」、「GPT3」、「GPT4」の違い

現在は複数の AI 利用ツールが商用サービスとして提供されており選択肢は増えている。多くの場合、トライアルもでき、実際の実務データを使用してのツールの性能評価も可能である。調査目的に適合したツールを選択、あるいは構築することがポイントである。人間知能HI（Human Intelligence）と人工知能 AI（ArtificialIntelligence）の特徴把握と役割分担が重要である。

YEAR BOOK 2O23 2094
特許情報の高度な情報処理技術ライブラリである。

図 30

12 終わりに
本報告は 2023 年度の「アジア特許情報研究会」のワーキングの一環として報告するものである。
研究会のメンバーの皆様には様々な協力をしていただ
きました。ここに改めて感謝申し上げます。

13）前原義明

tokugikon

2020.5.29. no.297

トランスフォーマーを用いた特許審査支援の探究
http://www.tokugikon.jp/gikonshi/297/
297kiko5.pdf
14）石川雄太郎 tokugikon2020.9.25. no.298

特許審査官が垣間見た深層学習（Deep Learning）による自然言語処理の変革期

参考文献〜 Japio 特許情報研究所での業務を通じて〜

1）岡崎直観．大規模言語モデルの驚異と脅威

http://www.tokugikon.jp/gikonshi/298/

https://speakerdeck.com/chokkan/
20230327_riken_llm2）岡野原大輔．大規模言語モデルは新たな知能か

15）伊藤孝佑ら . 特許庁における AI 技術の活用の現状と最新の取組

ChatGPT が変えた世界

情報の科学と技術 . 2023,vol.73, no.7, p.256-

https://www.iwanami.co.jp/book/b625941.

261htmlhttps://doi.org/10.18919/jkg.73.7_256

3） 太 田 邦 史． 生 成 系 AI（ChatGPT, BingAI, Bard,

16）Rob Srebrovic,Jay Yonamine

Midjourney, Stable Diffusion 等）についてLeveraging the BERT algorithm for Patents

https://utelecon.adm.u-tokyo.ac.jp/

with TensorFlow and BigQuerydocs/20230403-generative-ai

https://services.google.com/fh/files/blogs/4）OpenAI の ChatGPT
https://chat.openai.com/5）Microsoft BingAIhttps://www.bing.com/
6）Google Bard
https://bard.google.com/
7）特許検索競技大会 2021 年過去問

bert_for_patents_white_paper.pdf17）AI、具体的には BERT が特許業界にどのように役立つか
https://cloud.google.com/blog/ja/products/
ai-machine-learning/how-ai-improves-patentanalysis/18）Japio 知財 AI 研究センター

https://japio.or.jp/service/service04_05.

SDGs 技術の見える化

html

https://transtool.japio.or.jp/work/sdg/

8）CyberPatent Desk
https://s.patent.ne.jp/
9）Patentfield
https://patentfield.com/
10）PatentSQUARE

19）Japio 知財 AI 研究センター
特許情報を活用した SDGs の「見える化」
https://transtool.japio.or.jp/work/data/sdg.
pdf20）近江崇宏 ら

オーム社 2021 年

200p

https://www.panasonic.com/jp/business/

BERT による自然言語処理入門 :Transformers を

its/patentsquare.html

使った実践プログラミング

11）amplified.ai
https://www.amplified.ai/ja/
12）「 活 文 知 的 情 報 マ イ ニ ン グ 」 の AI エ ン ジ ン を「BERT」で強化し、高精度のテキスト分類を実現

210

298tokusyu2.pdf21）石田基広 シーアンアール研究所 2022 年 303ｐ
Python で学ぶ テキストマイニング入門
22）布留川英一

ボーンデジタル2023 年

304p

https://www.hitachi-solutions.co.jp/

OpenAI GPT-4/ChatGPT/LangChain 人工知能

company/press/news/2019/1125.html

プログラミング実践入門

4
特許情報の高度な情報処理技術YEAR BOOK 2O23211