AI 特許紹介(58)
AI 特許を学ぶ！究める！
～Chaining AI 特許～
2023 年 11 月 10 日
河野特許事務所
所長弁理士

河野英仁

「AI 特許紹介」シリーズは、注目すべき AI 特許のポイントを紹介します。熾烈な競争となっている第４次産業革命下では AI 技術がキーとなり、この AI 技術・ソリューションを特許として適切に権利化しておくことが重要であることは言うまでもありません。
AI 技術は Google, Microsoft, Amazon を始めとした IT プラットフォーマ、研究機関及び大学から毎週のように新たな手法が提案されており、また AI 技術を活用した新たなソリューションも次々とリリースされています。
本稿では米国先進 IT 企業を中心に、これらの企業から出願された AI 特許に記載された AI テクノロジー・ソリューションのポイントをわかりやすく解説致します。
1.概要
特許出願人 Google
出願日 2022 年 9 月 30 日
公開日

2023 年 4 月 13 日

公開番号 US20230112921
発明の名称 機械学習された言語モデルのチェーンを介した、透過的で制御可能な人間と AI のインタラクション
921 特許は、大規模言語モデル（LLM）に LLM ステップを連鎖させるという概念を導入し、ユーザがチェーンを介して LLM と対話する技術に関する。

2.特許内容の説明
LLM は、人間と AI のコラボレーションに新たな可能性をもたらした。GPT-3 のよ
うな LLM は、多数 (例: 数十億) の入力 (例: インターネットから) で事前トレーニングされており、翻訳から質問応答、さらには高度なストーリー作成に至るまで、幅広いタスクを実行できるようになった。
1

しかしながら、LLM は複雑な問題に対して本質的に制限があることに加えて、不透明でデバッグや解釈が難しいため、対話するのが困難である。また LLM はあらゆる自然言語プロンプトを取り込むことができるため、ユーザはプロンプトを変更して予期しないモデル出力を修正する方法を理解するのに苦労する。特に複雑なマルチタスクにおいて LLM のパフォーマンスを直接向上させるためにプロンプトを変更する必要がある
が、どのようにすれば良いか不明なままである。
本発明は、大規模言語モデル（LLM）に LLM ステップを連鎖させるという概念を導入し、ユーザにチェーンを介して LLM と対話させることにより、出力の品質を向上させる。
図 1A は、言語モデルが複雑なタスクを 1 回の実行で実行しようとする試み (一般的な失敗) の例を示している。

2

図の訳「次のフィードバックを考慮して、Alex のプレゼンテーションの問題のそれぞれに対する具体的な提案を含むわかりやすい段落に書き直しなさい。
元のフィードバック: Alex はプレゼンテーションスキルを向上させることができました。 彼のスライドにはテキストが多すぎます。 彼のプレゼンテーションは、明確な構造を持たずに、話題から話題へと蛇行します。 また、彼はプレゼンテーションをするときに聴衆と対話しません。
よりフレンドリーなフィードバック: アレックスのスライドには言葉が多すぎます。
メッセージを伝えるために画像や箇条書きを使用する必要があります。また、プレゼンテーションの構造を明確にする必要があります。 彼はまた、聴衆と対話する必要があります。
」
図 1A の査読書き換えタスクでは、LLM は提案を考え出すことと文章の調子を調整することの両方を単独で行うことができるが、両方を同時にエンドツーエンドで実行す3る能力に欠けている。
その結果、いくつかの要件しか満たさない平凡な段落 (たとえば、下部に「よりフレンドリーなフィードバック」として表示される) が生成される。さらに、例えば、図１
A の最後の段落に「スライド上のテキストが多すぎる」ことに関するさらなる提案をモデルに追加することを促すような明白な編集（元のプロンプトなど）はない。
したがって、図１Ａで使用される LLM への単一の呼び出しでは、ピアレビューの段落をより建設的かつ友好的なものに書き換えることはできない。特に、プロンプトがタスクを説明し、テキストセクションを識別しているにもかかわらず、生成されるテキス
トはほとんど個人的ではなく、曖昧な提案を含んでいる。
本方法は、複数のプロンプトを連鎖させることによってこの問題の解決を支援することができ、その結果、問題は、対応するプロンプトを有する別個のステップにそれぞれマッピングされる多数の小さなサブタスクに分割される。
図 1B は、サブタスクのチェーンを介して複雑なタスクを実行するモデルチェーンの例を示す。

図 1B では、基礎となる LLM は図１A で使用されたものと同じままであるが、プレゼンテーションの問題を分割し、問題ごとの提案を個別のサブタスクにまとめることで、最終的に構成された段落はすべての問題に対処する上でより包括的になり、より建設的なトーンになる。
4

図の訳「アレックスさんのプレゼンテーションは面白かったです。しかし、スライドには多くの情報が含まれていることに気づきました。 理解しやすいように、画像とテキストを変えると役立つ場合があります。また、テーマの流れを考慮することもできます。
私だったら、それを 3 つのセクションに分けて、最後にあなたの結論を使用するでしょう。ユーモアを加えたり、聴衆の関心を引くためにさらに質問したりすることもできます。
」
具体的には、図 1B では、それぞれ別個のサブタスク用の３つのステップを含む LLMチェーンが使用される。第１に、元のフィードバックから個々のプレゼンテーションの問題を抽出する「分割ポイント‘split points’」ステップ／プロンプト、2 番目は、問題ごとに提案をブレインストーミングする「アイデア出し‘ideation’」ステップ/プロンプ
ト、 3 番目は、すべての問題と提案を最終的な分かりやすい段落に統合する「ポイントの作成‘compose points’」ステップ/プロンプトであり、結果は著しく改善される。
チェーンは結果を改善する可能性があることに加えて、人間によるきめ細かいフィードバックと制御のための新しいチャネルも開く。たとえば、図１B の別個の提案アイデ
アステップにより、チェーンによりユーザはどの提案を最終段落に含めるかカスタマイズできるが、この操作は図 1A では利用できない。
次にチェーンを操作するためのユーザインタフェースを説明する。

上記図はチェーンビューを示し、左側のフローチャートは高レベルの連鎖構造を示す。
これには、上記の基本的なデザインを厳密に反映する 3 つの主要な視覚的手がかりが含5まれている。まず、サンプルインターフェースでは、1-1 (長方形)、1-N (台形)、およびN-1 (逆台形) のデータマッピングを示す形状を持つ灰色のグリフを使用してモデル操作を表すことができる。
これらのグリフをクリックすると、ユーザはどのステップにズームインするかを選択でき、それに応じてステップビューが変化する。次に、データレイヤーを表すために、インターフェース例では色付きの縞模様の四角形を使用し、その四角形にプレフィックスと詳細を含めることができる。
ユーザは、各 LLM 実行後に更新される行を通じてデータエントリをプレビューすることもできるため、モデルチェーンの実行の進行状況を追跡できる。最後に、インターフェース例では、これらの要素を点線の矢印でリンクして、どのデータ出力がどのステップへの入力として機能するかを強調表示し、矢印の番号を使用して、ステップが単一の入力/出力を期待しているのか、それとも複数の入力/出力(例: スプリットポイントへの 1 つのフィードバックを期待しているのかを大まかに反映できる。
図の中央及び右側のビューにより、ユーザは、入力、出力、および基礎となるプロンプト構造と対話することによって、各モデルステップを探索することができる。これは、可能な並列パスを反映するために、命令ブロックといくつかの実行ブロックに分割されている。
実行ブロックは独立したパスを表し、それぞれが異なる LLM 呼び出しを表し、命令ブロックはすべての実行ブロックに適用される包括的な駆動力である。それらが組み合わされて、最終的なプロンプトが形成される。
たとえば、b2 は、「テキストが多すぎる」場合のみ提案をクエリするための最後のプロンプトである。b1 の記述から始まり、その後の実行ブロック内のテキストがマージされ、他の無関係な問題は無視される。
すべてのランニングブロックは、視覚的には編集可能なテキストフィールドが多数あるテキスト領域に似ているが、色とスタイルが異なる。コロンの前のプレフィックスフ
ィールド (例: 改善のための短い提案、c1) がデータ四角形と同じ色で表示され、ユーザがデータレイヤーを区別しやすくなる。
その後、テキストフィールド (c2) とテキストフィールドのリスト (b4) を切り替えて、操作のデータ型が文字列であるか文字列のリストであるかを反映する。これらのフ6ィールドはすべて編集可能で、前者はデータレイヤーに影響し、後者は中間データエントリに影響する。
ステップビューは、ステップごとの実行も処理する。ユーザは小さな「実行」ボタンをクリックして、各実行ブロックを個別に実行できる。自然言語対話の透明性を向上させるために、これにより、最終的なプロンプトテキスト (b2) のプレビューもトリガーされる。
出力は解析され、ユーザがさらに反復できるように対応する出力フィールドに追加される(例: 「2) 箇条書きを使用する」の後にリストを拡張する)。完成したランニングブ
ロックは「例として」使用することができ、すなわち、命令ブロックに移動し、他の残りのランニングブロックの数ショット例として使用することにより、命令ブロックの品質を徐々に向上させることができる。あるいは、上部の [再生] ボタンを使用してすべての並列ブロックを一度に実行し、結果を確認 (および比較) することもできる。

3.クレーム921 特許のクレーム 1 は以下の通りである。
1. 改善された解釈可能性を提供するために 1 つまたは複数の機械学習言語モデルを連鎖させるコンピューティングシステムにおいて、１または複数のプロセッサと、1 つまたは複数のプロセッサによって実行されると、コンピューティングシステムに操作を実行させる命令を集合的に格納する、1 つまたは複数の非一時的なコンピュータ可読媒体とを備え、該操作は以下を含む：
初期言語入力を受け取り、言語出力を生成するために、モデルチェーンを使用して初期言語入力を処理し、モデルチェーンは、1 つまたは複数の機械学習言語モデルの複数のモデルインスタンス化を含み、各モデルのインスタンス化は、モデル出力を生成するために、モデル入力を受信するよう構成され、モデル入力の少なくとも一部は、モデル出力を生成するためにモデル入力に対してモデルインスタンス化によって実行されるタスクを説明するモデルプロンプトを含み、モデルチェーン内の最初のモデルインスタンス化を除き、モデルチェーン内の複数のモデルインスタンス化は、モデルチェーン内の各モデルインスタンス化のそれぞれのモデル入力が、モデルチェーン内の連続的に前のモデルインスタンス化からのそれぞれのモデル出力を含むようにシーケンスで配置され、言語出力を出力として提供する。
7

4. 本特許に関連する論文
本 特 許 に 関 す る 論 文 “ AI Chains: Transparent and Controllable Human-AIInteraction by Chaining Large Language Model Prompts”1が、ワシントン大学及びGoogle Brain の Tongshuang Wu 氏らにより公表されている。
論文には下記表に示す実験結果が示されている。

参加者の評価は、7 ポイントのリッカートスケール質問の形式で、95% の信頼区間で行われた。チェーン（青）とサンドボックス（オレンジ）を比較した。サンドボック
スは、見た目はチェーンインターフェースに似ているが、チェーン機能はない。
参加者は、チェーンを使用すると、タスクの目標によりよく一致する結果が得られ、システムがタスクをよく考えるのに役立つと感じた。また、チェーンの方が、透明性が高く、制御可能で、協調的であることもわかった。なお、 AI チェーンの動作は Youtubeに公開されている。
https://youtu.be/QFS-1EWlvMM
以上
著者紹介
河野英仁
河野特許事務所、所長弁理士。立命館大学情報システム学博士前期課程修了、米国フランクリンピアースローセンター知的財産権法修士修了、中国清華大学法学院知的財産夏Debidatta Dwibedi et al. “AI Chains: Transparent and Controllable Human-AI
Interaction by Chaining Large Language Model Prompts” arXiv:1904.07846v1[cs.CV] 16 Apr 201918

季セミナー修了、MIT(マサチューセッツ工科大学)コンピュータ科学・AI 研究所 AI コース修了。
AI 特許コンサルティング、医療 AI 特許コンサルティングの他、米国・中国特許の権利化・侵害訴訟を専門としている。著書に「世界のソフトウエア特許(共著)」、「FinTech
特許入門」、「AI/IoT 特許入門 3」、「ブロックチェーン 3.0(共著)」がある。

9