GPT 関連特許の解説と新たな GPT 特許戦略

特集《生成 AI と特許》

GPT 関連特許の解説と新たなGPT 特許戦略
会員

河野

英仁
要

約

OpenAI の ChatGPT（Generative Pretrained Transformer）に代表される大規模言語モデルを用いた様々な製品及びサービスが提供され始めている。ChatGPT を組み込んだ製品及びサービスに対しては、競合他社に対する優位性を確保すべく特許出願を行う必要がある。
しかしながら、ChatGPT は、第 3 次 AI ブームで出願が増加したディープラーニング等を用いた AI とは性質が大きく異なるため特許出願戦略も新たに見直す必要がある。
本稿では ChatGPT の根幹となる Transformer 特許、GPT のアルゴリズム特許、及び、自社製品・サー
ビス向けの GPT ソリューション特許を解説すると共に、GPT ソリューションを権利化する上での特許戦略についても検討する。

目次
1.はじめに2.大規模言語モデルを支える基本技術と特許
2.1

Transformer 特許

2.2

コントローラブルモデル特許

2.3

マルチモーダル特許

3.GPT を活用したソリューション特許
3.1

PPT 自動生成特許

3.2

新規分子構造生成 GPT 特許

3.3

放射線レポート自動生成特許

4.GPT 特許特有の特許戦略
4.1

GPT ソリューションの出願戦略

4.2

GPT 特許作成上の注意点

4.3

マルチモーダル化と他の AI モデルとの組み合わせ

5.最後に

1.はじめに2022 年 11 月に OpenAI が一般公開した ChatGPT は第 4 次 AI ブームの到来ともいえるほどのインパクトをもたらした。第 3 次 AI ブームのきっかけとなったディープラーニングとは異なり、ユーザが気軽に GPT（1）の機能を体験できることもあり、世界中での利用が広まった（GPT は登録商標）。
Microsoft, Google, Meta 等の米国 IT 企業は大規模言語モデルの更なる開発を進める一方で、自社製品またはサービスに GPT を組み込んだ新たな GPT ソリューションを次々に開発している。この GPT ソリューションについては特許出願を行うことにより、ビジネス上の競争優位性を確保する必要がある。
本稿では GPT 技術に関する基本特許と、GPT を巧みに取り込んだ GPT ソリューション特許を紹介すると共に、
GPT 特許ポートフォリオを構築する上での新たな特許戦略を実務的観点から解説する。

Vol. 76

No. 13－1－

パテント 2023

GPT 関連特許の解説と新たな GPT 特許戦略

2.大規模言語モデルを支える基本技術と特許
2.1

Transformer 特許

2017 年 12 月 Google の Vaswani 氏らにより画期的な論文「Attention Is All You Need」が発表され、Transformer
として言語処理 AI の革新的進歩につながった。Transformer はエンコーダ及びデコーダ部分にマルチヘッドアテ
ンション機構を導入することにより、従来の RNN（Recurrent Neural Network）及び CNN（Convolutional Neural
Network）を用いることなく、時系列データの予測処理を可能としたものである。
Google は「アテンションに基づくシーケンス変換ニューラルネットワーク」と称する米国特許 US10452978（以下、978 特許）を取得している。図 2-1 はネットワーク構成を示すブロック図である。

図 2-1

ネットワーク構成を示すブロック図

自然言語などの入力シーケンス 102 がアテンションベースのニューラルネットワーク 108 に入力され、出力シー
ケンス 152 が出力される。アテンションベースのニューラルネットワーク 108 は大きく左側のエンコーダ 110 及びデコーダ 170 により構成される。エンコーダ 110 にはマルチヘッドアテンション機構 132 が設けられ、デコーダ部
分にもマルチヘッドアテンション機構 172,174 が設けられる。
アテンション機構は簡単にいえば特定の単語が他の単語に対しどの程度アテンションしているかを演算するものである。例えば、“The cat sat on the mat once it ate the mouse.” という文章中の “it” が指すのは “the cat” ま
たは “the mat” のどちらであろうか。Transformer は、“it” を “cat” に強く結びつける。これがアテンション機構である。
また、Transformer ではさらにマルチヘッドアテンション機構、つまり複数（論文では 8 つ）のヘッドを設けている。1 つのソフトマックスでは、類似性の一面にしか注目しない傾向があり、複数のヘッドを持つことで、モデルは一度に複数の側面に注目することができる。例えばあるヘッドが主語と述語の相互作用に注目し、別のヘッドが近くの形容詞を見つけることができる。本論文の画期的なことは、マルチヘッドにおけるこれらの関係はプログラマーがモデルに組み込むのではなく、データから全て学習させる点にある。これは CNN のフィルターが学習により得られることと同じである。
Google は 2018 年に Transformer について特許出願を行い、2019 年に 978 特許を成立させ、米国以外にも日本、
中国、カナダ、欧州、オーストラリア及び韓国等世界各国に出願している。また、978 特許はエンコーダ及びデパテント 2023－2－Vol. 76

No. 13

GPT 関連特許の解説と新たな GPT 特許戦略

コーダの双方を権利範囲とするものであるが、Google は分割出願を行い、エンコーダ部分については US10956819
で特許化を図り、デコーダ部分については US10719764 で特許化を図っている。
分割出願を行ったのは本稿のテーマである GPT が、Transformer のデコーダ部分を利用しており、デコーダ部
分についても特許化を狙うためである。なお、文章の感情分類等のタスクを行う BERT（Bidirectional Encoder
Representations from Transformers）は Transformer のエンコーダ部分を利用している。
このように GPT の基礎となる技術は全て Transformer の基本特許によりカバーされていることが理解できる。
基本特許を持つ Google と、GPT を開発する OpenAI 及び Microsoft との間に特許ライセンス契約があるか否かは不明であるが、Google は基本的な AI アルゴリズムについてはオープンソースで広く公開しており、規約に従っている限り一般ユーザが特許権侵害となることはない。
2.2

コントローラブルモデル特許

特許出願人

Microsoft

出願日2020 年 3 月 12 日

公開日

2021 年 6 月 24 日

公開番号
発明の名称

US20210192140
コントローラブルグラウンディングテキスト生成

GPT による対話能力は驚異的であるが、生成されたテキストを詳しく調べてみると、無意味なステートメント
や文脈上誤った事実が含まれていることがよくある。特に「幻覚」または「偽の」出力への傾向が存在する。
140 特許はこの課題を解決するために、ユーザのクエリに加えて、グラウンディングソースとコントロールを
GPT に与えることにより、幻覚及び偽の情報の出力低減を可能としている。図 2-2 は論文に掲載されている対話
シナリオの説明図（2）である。

図 2-2

対話シナリオの説明図

シナリオ I はコントロール及びグラウンディングの双方を利用しないシナリオ、シナリオⅡはグラウンディングのみを利用するシナリオ、シナリオⅢはコントロールのみを利用するシナリオ、シナリオⅣはコントロール及びグ
ラウンディングの双方を利用するシナリオである。
ミュージカル映画である「La La Land」が話題に上がった際に、ユーザが単に「それについて詳しく教えて」と聞いても、GPT は「よくわかりません。…スーパーヒーロー映画かもしれません。…」と反応し、「幻覚」また
は「偽の」出力への傾向が存在する。
ここで、シナリオⅡのようにグラウンディングソース、例えば「La La Land」に関するウィキペディアのページの情報を与えれば、ある程度事実の幻覚を抑制することができるが、曖昧または無関係なアウトプットを誘発する可能性がある。例えば、図 2 のシナリオⅡのように、モデルが「それは 2016 年の映画です…」と反応してしまう。
一方シナリオⅢのように、コントロールを与えれば、関連する出力に導くことは可能であるが、根拠となる（グラウンディング）制御フレーズがなければ、正しい事実に関連付けることができない。例えばシナリオⅢでは、モVol. 76

No. 13－3－

パテント 2023

GPT 関連特許の解説と新たな GPT 特許戦略

デルは「主演は Damien Chazelle ダミアン・チャゼル」とだけ応答する。
本発明のテキスト生成フレームワークは、グラウンディング知識と語彙コントロールの両方を組み込んで、信頼できる情報を備え、かつ、人間に似たテキストを生成する。例えばシナリオⅣでは、「Damien Chazelle 監督のミュージカル映画で Ryan Gosling も出演！」と的確に応答する。
GPT を学習させることなく、GPT に与えるプロンプトを工夫することで的確な応答を得ることができることが近年分かってきた。具体的には文頭に 140 特許のようなコントロール（あなたはプログラミング GPT ですなど）を入力すると共に、DB の情報または WEB の検索情報（グラウンディングソース）を GPT に与えると人間のような応答を生成する。Microsoft はこの技術に関し、2020 年の時点で既に特許出願と論文発表を行っている。米国
IT 企業の開発力と開発スピードの速さには驚くばかりである。
2.3

マルチモーダル特許

特許権者

Salesforce

出願日2020 年 4 月 28 日

登録日

2022 年 11 月 1 日

登録番号
発明の名称

US11487999
ビデオベースの対話のための事前トレーニング済み言語モデルによる時空間推論

999 特許は、動画像及びテキストを符号化した上で事前トレーニング済み言語モデルに入力し、テキストを生成する VGD（Video-Grounded Dialogues）-GPT 技術に関する。
GPT-4 は自然言語だけではなく画像も入力情報として取り扱うべく開発が進められているが、Salesforce は動
画と言語を含む一連のシーケンスを GPT に入力して応答文を生成させる技術を開発した。図 2-3 はビデオに基づ
く対話モデルのアーキテクチャを示す説明図である。

図 2-3

ビデオに基づく対話モデルのアーキテクチャを示す説明図

ビデオに基づく対話モデル 200 は、ビデオデータ V202 およびテキストデータ T204 を入力 140 として受け取る。
テキストデータ T204 は、モデル 200 と人間のユーザとの間の対話履歴 206 の一部を含む。対話履歴 206 は、人間の発話とモデル 200 の応答 208 との間の 1 つまたは複数のターンを含む。テキストデータ T204 はまた、ビデオ
データ V202 に関連するまたは対応するビデオキャプション C209 を含む。ビデオに基づく対話モデル 200 のフ
レームワークは、GPT モデルなどの事前に訓練されたトランスフォーマモデル 250 を用いて実装する。
ビデオデータ V202 について、符号化層 210～216 は、空間レベル符号化層 210、モダリティレベル符号化層
212、時間レベル符号化層 214、および位置レベル符号化層 216 を含む。テキストデータ T204 について、符号化層
220～226 は、単語レベル符号化層 220、モダリティレベル符号化層 222、ターンレベル符号化層 224、および位置
レベル符号化層 226 を含む。空間レベル符号化層 210 は 3D CNN であり画像の特徴量を抽出する。このようにして各層でエンコードされたビデオ表現 ZV とエンコードされたテキスト表現 ZT を単一の入力シーケンス ZVT に連結し、Transformer250 に入力し応答 150 を得る。図 2-3 に示すように男性がキッチンで作業している動画と、ダイアログ「How many people in the video?」との入力に対し、GPT は「There is just one person.」と正しく回答している。このように、動画データも時系列データであり CNN により特徴量を抽出してテキストと共にシーケン
パテント 2023－4－Vol. 76

No. 13

GPT 関連特許の解説と新たな GPT 特許戦略

ス情報とすれば、GPT は動画及びテキストの内容を把握して適切に応答することができるのである。
このように Salesforce は数多くの GPT に関する特許出願と論文発表（3）とを行っており、自社の CRM（Customer
Relationship Management）ツールに GPT を組み込んだサービス（Einstein Assistant）を提供している。

3.GPT を活用したソリューション特許
GPT に関する基本的なアルゴリズム特許を紹介したが、続いて GPT を自社製品またはサービスに組み込んだ
GPT ソリューション特許について解説する。
3.1

PPT 自動生成特許

特許権者

Microsoft

出願日

2021 年 1 月 19 日

登録日

2022 年 11 月 8 日

登録番号
発明の名称

US11494396
自動化されたインテリジェントなコンテンツ生成

396 特許は、プレゼンテーションのテーマを GPT に与えることにより、自動でプレゼンテーション資料を作成する技術に関する。図 3-1 はプレゼンテーション項目を決定する画面を示す説明図である。

図 3-1

プレゼンテーション項目を決定する画面を示す説明図

プレゼンテーション資料を作成する際、まず当日説明する大項目を決定する必要がある。396 特許ではテーマを入力すると、GPT が複数の大項目を提案する。図 3-1 の例では「光合成入門」と入力すると、GPT は「光合成とは」、「光合成はどのように機能するか」…「質疑応答」等の複数の大項目を提案する。ユーザは内容及び講義時間等に応じて、提案された大項目を取捨選択する。図 3-2 はスライド生成画面を示す説明図である。
図 3-2 に示すように大項目「光合成とは」に対するスライド画像と、文章とが GPT により複数提案される。
ユーザは気に入ったスライドを選択することができる。また文章が気に入らない場合、クエリボックスに修正を希望する内容を入力するとより適切な文章が提案される。以上の処理を繰り返すことで最終的にプレゼンテーション
資料の作成が完了する。さらに Microsoft は 396 特許に関連して、生成したプレゼンテーション資料のダイアログ
を GPT により自動生成する US20220366153 を出願している。プレゼンテーションファイルを入力するだけで、プレゼンテーション時に話す内容が、スライド毎に自動生成される。人間はプレゼンテーションの項目を与えるだけ
で項目、各スライド、及びダイアログの全てが自動生成されるのである。

Vol. 76

No. 13－5－

パテント 2023

GPT 関連特許の解説と新たな GPT 特許戦略

図 3-2

3.2

スライド生成画面を示す説明図

新規分子構造生成 GPT 特許

特許出願人

Innoplexus

出願日2021 年 6 月 18 日

公開日

2022 年 12 月 22 日

公開番号

US20220406403

発明の名称

タンパク質構造を用いて新規分子構造を生成するシステム及び方法（4）403 特許 は 3DGAN（Generative Adversarial Network）、強化学習モデル及び GPT を利用して新規分子構造を生成する技術に関する。
図 3-3 はタンパク質のボクセル表現を生成するフローチャートである。
データソース 104 には、タンパク質構造体 201 及びリガンド複合体が記憶されており、データソース 104 からタンパク質構造体 201 を読み出し、読み出したタンパク質構造体 201 をボクセル生成器 106 に入力する。ボクセル生
成器 106 はタンパク質ボクセル表現 203 を生成する。タンパク質ボクセル表現 203 は、タンパク質構造の複数の特性に関する情報を含む複数のチャネルを有している。図 3-4 はキャビティボクセル表現を生成するためのフローチャートである。
タンパク質ボクセル表現 203 をルールベースモジュール 210 及び深層学習モデル 212 に入力する。ハイブリッド
キャビティ検出器 214 は、ルールベースモジュール 210 及び深層学習モデル 212 の双方の組み合わせに基づいて、タンパク質構造のタンパク質ボクセル表現のキャビティ領域 217 を検出する。アップスケールモジュール 216 は、
キャビティ領域 217 をアップスケーリングしてキャビティボクセル表現 219 を生成する。図 3-5 は 3D ボクセル記
述子の生成処理を示すフローチャートである。
キャビティ領域のキャビティボクセル表現 219 に基づいて、3DGAN112 により、リガンド構造のリガンドボク
セル表現 221 を生成する。複合ボクセル生成器 234 は、タンパク質構造のタンパク質ボクセル表現 203 及びリガン
ド構造のリガンドボクセル表現 221 に基づいて、タンパク質 - リガンド複合体の 3D ボクセル記述子 237 を生成する。生成に際しては、強化学習により最適化された複数の報酬関数に基づいて、意図した特性を持つタンパク質 リガンド複合体の新しい 3D ボクセル記述子 237 を生成する。この報酬関数としては例えば親和性、新規性、吸収、分布、代謝、排泄、及び毒性等がある。図 3-6 は新規分子構造の生成処理を示すフローチャートである。
3D ボクセル記述子 237 に基づくリッチ 3D 埋め込みベクトル 249 を 3D キャプションジェネレータネットワー
ク 116（GPT） に 入 力 す る。GPT116 は 新 規 分 子 構 造 251 の 簡 略 化 さ れ た 分 子 入 力 ラ イ ン エ ン ト リ シ ス テ ム（SMILES：Simplified Molecular Input Line Entry System）を生成する。SMILES とは、化学構造を文字で表現
パテント 2023－6－Vol. 76

No. 13

GPT 関連特許の解説と新たな GPT 特許戦略

図 3-3

図 3-4

Vol. 76

No. 13タンパク質のボクセル表現を生成するフローチャート

キャビティボクセル表現を生成するためのフローチャート－7－

パテント 2023

GPT 関連特許の解説と新たな GPT 特許戦略

図 3-5

3D ボクセル記述子の生成処理を示すフローチャート

図 3-6

新規分子構造の生成処理を示すフローチャートするルールであり、原子を元素記号で表し、環構造、分岐、結合次数、同位体、不斉（ふせい）中心等を厳密に記述するためのルールである。すべての化学構造は SMILES 文字列に変換することができる。GPT116 は、リッチ
3D 埋め込みベクトル 249 をシーケンスの開始として使用し、トークンの総数がパディング長に達するまで復号を続ける。全てのトークンを生成後、逆トークン化を実行して、新規分子構造 251 の最終的な SMILES を生成する。
この SMILES より新規分子構造 251 を特定する。
このように 403 特許は様々な AI 技術を組み合わせると共に、化学構造を示す SMILES 文字列を生成するために
GPT を活用するというアイデアを開示しており注目に値する。
3.3

放射線レポート自動生成特許

特許出願人

RAD AI

出願日

2022 年 3 月 9 日

公開日

2022 年 9 月 15 日

公開番号
発明の名称

US20220293271
放射線科の推奨事項をコンピュータ支援により実施する方法およびシステム

ディープラーニングが登場した際、ディープラーニングの先駆者である Hinton 教授が、ディープラーニングの方が放射線科医よりも優れるようになるので、放射線科医の教育をやめるべきだ、との発言を行い、関係者に大きな衝撃を与えた。放射線科医が不要になるとも受け取れる予言であるが、現実にはそうなっていない。むしろ放射線科医は業務に AI を積極的に取り入れ、より高度で専門的な医療サービスを提供するに至っている。逆にデジタル化により数多くの患者を診断することになり、より多忙となって患者へのフォローが十分に取れなくなっている。これは読者の方も同じであろう。AI 化、デジタル化が進むにつれ、さらに忙しくなるのである。
271 特許の発明者である RAD AI 社 CEO の Chang 氏は放射線科医でもありコンピュータサイエンティストでもある。Chang 氏は放射線科医の内、約 8 割が十分な患者へのフォローができていないという現状に鑑み、GPT
パテント 2023－8－Vol. 76

No. 13

GPT 関連特許の解説と新たな GPT 特許戦略を活用した医療支援ソフトウェアを開発するに至った。図 3-7 は医療記録の入力画面を示す説明図である。

図 3-7

医療記録の入力画面を示す説明図

放射線科医は画像に基づき Findings 欄に所見を入力する。その後、Impression 欄に印象を記入する。GPT は入力された Findings 欄にインシデントが存在すると認識した場合、自動的に Impression 欄に印象を記入する。これにより医師の時間を 15～20% 低減することができる。

4.GPT 特許特有の特許戦略
どのような GPT アイデアが特許対象となるかを解説した。続いて GPT ソリューション特有の特許戦略について以下に論述する。
4.1

GPT ソリューションの出願戦略（1） ビジネス領域特有の要素を盛り込んで早期に出願する
GPT ソリューションを発明した場合、自社ビジネス領域特有の要素及び工夫を組み込んで、競合よりも先に特許出願することが重要となる。上述した Transformer 及び GPT 自体は公知技術となっているが、これを医療、工作機械、教育または金融等の特定の用途に限定し、各ビジネス領域特有の工夫を盛り込めば、進歩性が認められ特許が成立する。
画像処理 AI（CNN 等）が登場した際も、CNN 自体は公知であるが、特定患部の疾患認識に画像処理 AI を適用した医療ソリューション、あるいは、工業プロセスの不良品検出に画像処理 AI を適用した不良品検出ソリュー
ションは、当該領域内でいち早く出願した出願人は、幅広く特許化することができた。後手に回ると数年後にビジネス上の障害となることは明らかである。
GPT も同じで、現段階では公開特許件数は少なく、GPT 技術を組み込んで自社技術領域、製品領域、サービス領域特有の要素を組み込めば、強力な特許を取得できビジネスを有利に進めることができる。
また特許法は技術的思想の創作を保護する法律であるから（特許法第 1 条）、GPT を活用したソリューションがVol. 76

No. 13－9－パテント 2023

GPT 関連特許の解説と新たな GPT 特許戦略

実際に完成していない、精度も検証されていない、または、学習も進んでいない段階でも、ある程度実現可能なレベルに達すれば特許出願すべきである。精度を向上させるための工夫、実装段階における UI 上の工夫は、出願から 1 年以内に国内優先権を主張して追加すればよいのである。米国 IT 企業が米国の仮出願制度を積極的に活用して早い出願日を確保している点も意識すべきである。
（2） 出願前の先行技術調査
本稿執筆段階では依然として GPT 技術に関する公開特許件数は少ない。従って、出願前の先行特許調査は新規性を否定するような文献が存在するか否か程度の簡易な調査にとどめ、発明発掘及び出願を急いだほうが賢明である。技術者は最新の論文及び競合サービスについて熟知していることが多いことから、技術者が把握している論文
及び競合サービスと簡易特許調査で得られた公開特許公報とを先行技術に設定する。そして進歩性を出すべく、顧客ニーズ及び将来のビジネス実装をも考慮して発明の深堀を行えばよい形で特許を取得することができるであろう。
技術の進化スピードが速い分野においては、詳細な先行技術調査は審査官の役割と割り切ることも大事である。
（3） 社内教育の必要性
第 3 節で説明したように自社製品・サービスに GPT を組み込むソリューション、開発に GPT を用いるアイデ
アなど、ビジネスにおいて GPT は強力なツールであり、この点は開発者も認識しているであろう。ただ、技術者には公知の GPT を使用しているにすぎないとの認識が強く、本来特許化によってビジネスを優位に進めることができるにもかかわらずそのメリットを享受できていないことが多い。
特許担当者が理解しているだけでは十分でなく、開発者及びプロダクトマネージャを含めて発明の可能性のある全ての担当者がどのような GPT アイデアが特許化され、ビジネスとして活用されているのかを、社内セミナー等
を通じて理解し、自社の GPT アイデアを早期にかつ適切に権利化する必要がある。
4.2

GPT 特許作成上の注意点（1） GPT とスケール則GPT の利用方法としては主に（i）学習させたいトレーニングデータを用いて、GPT を学習（ファインチューニング）してタスクを実行する方法と、（ii）学習させることなく素の GPT に対しロール及びソースデータ等を含む
プロンプトを適切に与えることによりタスクを実行する方法の 2 つが存在する。GPT 等の大規模言語モデルはパラメータ数を増加させ（GPT-3 では 3000 億個）、モデルの規模を大きくすればするほど性能が比例して改善していくというスケール則に従う。そのため今後も GPT は大規模化し、より多くの資金とコンピュータリソースが必要となる。一企業が自前でこのような大規模モデルを構築し続けるのは現実的ではないことから、当面は後者の（ii）、すなわち OpenAI、Google 等が開発した大規模言語モデルに対し工夫したプロンプトを入力する方法が主流となるであろう。
（ii）の方法は第 1 節の Microsoft の特許で解説した。ただし将来的にはよりコンパクトかつ高性
能な GPT が開発され（i）の方法も主流となる可能性もある。したがって、当面は（i）及び（ii）の双方をカバーするような特許明細書の作成が必要である。
（2） これまでの AI 発明の請求項と、GPT を用いた AI 発明の請求項
人間の顔画像とその人間の感情とのトレーニングデータによりトレーニングしたディープラーニングモデルであれば、請求項には当該 AI モデルを以下のように記載することができる。
「顔画像を入力した場合に、感情を出力するよう学習された学習モデル」
もちろん AI モデルの構成及び発明内容により様々な記載方法が考えられるが典型的には以上のような記載方式となる。
一方、GPT を用いた AI 発明の一例として、工場内に多数存在する工作機械の内、工作機械 A から異音がしており、この対処方法についての回答文を GPT に生成させるアイデアを挙げる。この場合、ユーザは「工作機械 A
パテント 2023－ 10 －

Vol. 76

No. 13

GPT 関連特許の解説と新たな GPT 特許戦略

から異音がしますが、対処方法を教えてください。」とするクエリを入力する。この場合、GPT は「工作機械 Aの電源をオフにし…○○を点検してください。」との回答文を生成する。この言語モデルについて以下のように記載した場合、どのような問題が生じるであろうか。
「工作機械に関するクエリを入力した場合に、対象方法を回答するよう工作機械マニュアルにより学習された言語モデル」
上記（i）の GPT を工作機械マニュアルで学習する方法であれば、上述した請求項の記載方式でも問題ない。しかしながら、（ii）の方法は GPT 自体を学習させず単に工作機械マニュアルの一部のデータを GPT に与えているにすぎず、技術的範囲に属さないこととなる。図 4-1 は（ii）の処理方法を示す説明図である。

図 4-1（ii）の処理方法を示す説明図（ii）の方法では GPT が工作機械マニュアルを参照できるプラグインを利用する。ユーザのクエリに対し、工作
機械マニュアルを検索し、クエリに対応する検索データ（例えば機器 A のトラブルシューティングに関するファイル）を抽出する。なお検索を高速化するため工作機械マニュアルはベクトル化されて記憶されていることが多い。そして、ユーザのクエリ及び検索データを含むプロンプトを GPT に入力することで、GPT は回答文を生成する。
このように、GPT を用いた回答生成には（i）及び（ii）の方法が存在するため双方の形態をカバーするには例
えば以下のような請求項の記載方式をとることができる。
「工作機械マニュアルを用いる言語モデルにより、工作機械に関するクエリに対する回答を生成する」
このように、学習または参照するデータを用いる言語モデルと記載すれば、（i）学習する方法及び（ii）DB または WEB を参照する方法の双方を権利範囲に含めることができる。
実施例に関しては、実際の発明内容に応じて（i）及び（ii）のいずれかをメインの実施形態に記載し、他方も採用可能である旨記載しておけばよい。また、本稿では GPT を例に挙げて説明しているが、当然今後も新たな言語
モデルが次々に開発されるから、GPT 以外の大規模言語モデル、例えばメタの LLaMA、Google の PaLM 2 等も利用可能である点は記載しておく。
（3） GPT の構成要件からの排除
GPT ソリューションで GPT を利用するが、この GPT 自体は OpenAI のような企業のサーバコンピュータに記憶されているものを利用することが多い。すなわち GPT の所有者は OpenAI であり競合ではない。従って、例えば請求項中に構成要件として「…する言語モデルと…を備える」と記載した場合、被告製品自体は言語モデルを備
えない、つまり OpenAI が所有している言語モデルを利用しているにすぎないから、被告製品は技術的範囲に属さないと判断されるリスクが生じる。今後各企業が自前の GPT を所有するようになる可能性もあるが、現段階では GPT は第三者の所有物であることが多いことから、GPT の処理を請求項に記載することは問題ないが、GPT自体を構成要件に含めることは避けるべきと考える。

Vol. 76

No. 13－ 11 －

パテント 2023

GPT 関連特許の解説と新たな GPT 特許戦略

4.3

マルチモーダル化と他の AI モデルとの組み合わせ（1） マルチモーダル化を見越した特許戦略
現在開発されている GPT4 では言語だけではなく画像をも入力することにより様々なタスクを実現することができるようになる。静止画だけではなく、第 3 節の Salesforce のマルチモーダル特許で示したように動画も処理できるようになり、その他音楽、バイタルデータ、工場の稼働データ等、ありとあらゆる時系列データを処理することができるようになるはずである。将来のマルチモーダル化を見越して、自社ビジネス領域に存在する様々なデー
タを再確認し、次世代 GPT で活用できるアイデア・ビジネスモデルを創出し、早めに特許出願しておくことが、今後の GPT 特許戦略上きわめて重要となる。
（2） コンビネーション AI 特許戦略
本稿で説明した GPT に加えて、他の AI モデルとの組み合わせを駆使したソリューションも検討すべきである。
第 3 次 AI ブームにより、CNN を用いた物体検出 AI、DALL・E 2 等の画像生成系 AI、深層強化学習 AI 等、各分野でそれぞれの AI が進化を遂げている。一つの AI だけではなく、これら高機能化した複数の AI を組み合わせた AI ソリューションも必ず存在するはずである。第 3 節で説明した新規化合物生成 AI 特許では、ディープラー
ニング、GAN、強化学習及び GPT を組み合わせた新規化合物生成手法を提案している。

5.最後に
本稿では GPT の根幹となる Transformer について解説し、また幻覚等の問題を引き起こす可能性のある GPTの性能を最大限発揮させるアルゴリズムについて特許の観点から第 2 節にて解説した。そして、この様々な可能性を秘めた GPT を活用した GPT ソリューション特許とビジネスの事例として、自社製品に GPT を組み込むアイデ
ア、新規素材開発に GPT を活用するアイデア、及び、医療サービスの向上化のために GPT を活用するアイデアを第 3 節で解説した。これ以外にも、本稿では紹介しきれないほどの数々の GPT ソリューションが日々提案されている。
AI 技術の開発力、及び、AI 特許出願件数は米国及び中国に対して周回遅れともいえるほど差をつけられている。
日本企業にとっては GPT 関連の最新論文、先行特許を分析しキャッチアップすると共に、自社ビジネスの優位性を確保するための新たな GPT 特許戦略を再構築する必要がある。また代理人である弁理士は GPT の特異性に対応した特許実務を追求していく必要がある。
本稿が AI 特許実務に携わる方の参考となれば幸いである。
以上（注）（1）GPT は大規模言語モデル LLM（Large Language Models）の一種であるが、本稿では現時点で最も普及している GPT を中心に解説する。
（2）ZeqiuWu et al. “A Controllable Model of Grounded Response Generation” arXiv : 2005.00613v2［cs.CL］14 Jun 2021
（3）999 特許に関する論文は以下のとおりである。Hung Ley, Steven C.H. Hoi “Video-Grounded Dialogues with Pretrained Generation
Language Models” arXiv : 2006.15319v1［cs.CL］27 Jun 2020（4）現在公開段階であるが便宜上 403 特許と称する。

（原稿受領 2023.8.11）

パテント 2023－ 12 －

Vol. 76

No. 13