【手続補正書】
【提出日】令和2年5月8日(2020.5.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
非一時的コンピュータ可読媒体に格納され、強化学習技術を用いた人工知能を使用してチップを設計するためのハードウェアプロセッサおよびメモリを含むコンピューティングデバイスで実行される、コンピュータ可読命令を含むコンピュータ実装方法であって、当該方法は、
ＳｏＣ仕様入力を受け取るステップと、
前記受け取ったＳｏＣ仕様入力およびチップデータベースライブラリから取得した、チップ、チップスケルトン、クロック、入出力、パーティションに関する詳細を抽出することによって、チップ設計を初期化するステップと、
人工知能（ＡＩ）設定の複数のドメインおよび複数のサブドメインを、マルコフ決定過程（ＭＤＰ）、セミマルコフ決定過程（ＳＭＤＰ）、階層的抽象機械（ＨＡＭ）およびＭＡＸ−Ｑの形式で作成して、チップ固有のグラフライブラリを生成するステップであって、前記人工知能設定が、ＡＩエージェント、ＡＩ環境、およびタスクの組み合わせを含み、前記ＡＩ設定が、定義済みの探索および利用アルゴリズム、ならびに強化学習技術を使用して作成されるステップと、
ＡＩエージェントを使用して各ドメインのＱ値を生成するステップであって、当該ＡＩエージェントが、各ドメインのＱ値を抽出するためのタスクを通じて、ＡＩ環境と相互作用するように構成されているステップと、
ＳｏＣの計画を最適化するために、各ドメインおよびサブドメインの前記抽出されたＱ値を、ビッグデータデータベースのＳＭＤＰ  Ｑテーブルの形式で階層型ＳＭＤＰ構造に格納するステップと、
ＳＭＤＰ  Ｑテーブルにおける最上位レベルの最大Ｑ値に対応する、最適なチップアーキテクチャを取得するステップと、
学習および推論のために、前記最適なチップアーキテクチャをデータベースに格納するステップと、
前記最適なチップアーキテクチャおよび前記生成されたチップ固有のグラフライブラリに基づいて、所望のＳｏＣ構成を最適化し生成するステップと、を含む方法。
【請求項２】
前記Ｑテーブルの上位レベルのＱ値を計算するときに、ディープニューラルネットワークを使用して、下位レベルのＳＭＤＰ、ＭＤＰおよびオプションマクロのＱ値の間の関係を決定するステップであって、前記下位レベルのＳＭＤＰ、ＭＤＰおよびオプションマクロは、Ｑテーブルの前記上位レベルのＱ値に関連するステップをさらに含む、請求項１に記載の方法。
【請求項３】
ディープニューラルネットワークが、リカレントネットワーク、畳み込みネットワーク、ＬＳＴＭ、ＧＡＮ、およびこれらのネットワークの階層からなる群から選択される、請求項１に記載の方法。
【請求項４】
前記Ｑテーブルの前記複数のＱ値間の関係関数を推定するための重みの最適値を取得するために、階層型ディープＳＭＤＰネットワーク（ＨＤＳＮ）をトレーニングし、あるいは採用するステップであって、トレーニングによって取得される前記重みの最適値を使用して、階層型ＲＬ設定において、下位レベルのＱ値の関数として上位レベルのＱ値を推定するプロセスを決定するステップをさらに含む、請求項１に記載の方法。
【請求項５】
閾値Ｑ値の適切なレベルを決定して１つのセミマルコフ決定過程（ＳＭＤＰ）を終了し、並行して別のＳＭＤＰを開始することによって、前記ＨＤＳＮをさらにトレーニングし、あるいは採用し、階層型ＲＬ実装の同じレベルでＳＭＤＰ間の同期メカニズムを決定する、請求項１に記載の方法。
【請求項６】
前記強化学習技術は、該強化学習技術が実行されて、ドメインごとに、Ｑ値が事前設定された閾値未満に収束すると、あるいはＳｏＣドメインごとに、Ｑ値の変化が事前設定された閾値未満に減少すると終了する、請求項１に記載の方法。
【請求項７】
前記強化学習技術は、該強化学習技術が実行されて、特定のドメインごとに、定義済みのエピソード数が完了すると終了する、請求項１に記載の方法。
【請求項８】
前記強化学習技術は、該強化学習技術が実行されて、特定のドメインごとに、定義済みの目標性能または定義済みの終了状態に達すると終了する、請求項１に記載の方法。
【請求項９】
前記強化学習技術は、該強化学習技術が実行されて、ドメインごとに定義済みの階層的に最適な状態に達すると終了する、請求項１に記載の方法。
【請求項１０】
最適なチップアーキテクチャを取得する前記ステップが、
各ドメインについて、多目的人工知能（ＡＩ）エージェントを初期化するステップであって、前記多目的ＡＩエージェントが複数の報酬およびＱ値を含むステップと、
各ドメインについて、前記強化学習プロセスをＱ値の形式で初期化するステップであって、各ドメインが、ＮｏＣ生成、電力最適化、インタフェース統合、論理検証、論理合成、レイアウト前のタイミングクロージャ、物理設計、レイアウト後のタイミングクロージャ、および物理検証のうちのいずれかであるステップと、
ＭＤＰ、ＳＭＤＰ、およびＭＤＰの階層のいずれかの初期化プロセスを通じて、各ドメインの最大Ｑ値を決定するステップと、
前記決定された最大Ｑ値から最適なチップアーキテクチャを推定するステップと、をさらに含む、請求項１に記載の方法。
【請求項１１】
前記最大Ｑ値から最適なチップアーキテクチャを取得する前記ステップが、前記最適なＱ値に関連する最適な方策を導出し、当該導出された最適な方策に関連する行動を実行するステップを含む、請求項１に記載の方法。
【請求項１２】
前記データベースが、ビッグデータデータベース、ＭｏｎｇｏＤＢ、およびＳＱＬのうちの少なくとも１つからなる群から選択される、請求項１に記載の方法。
【請求項１３】
前記複数のドメインが、ＳｏＣ通信およびネットワークオンチップ、ＳｏＣ電力最適化、ＳｏＣクロッキング、ＳｏＣ物理設計、ＳｏＣ論理検証、ＳｏＣ物理検証、ＳｏＣタイミング、ＳｏＣ  ＤＲＣ（デザインルールチェック）、ＳｏＣ  ＥＲＣ（電気的ルールチェック）、およびＳｏＣパッケージを含む、請求項１に記載の方法。
【請求項１４】
前記複数のサブドメインが、ＳｏＣスループット最適化、ＳｏＣ動的電力最適化、ＳｏＣタイミング最適化、ＳｏＣ配置最適化、ＳｏＣ安全機能、ＳｏＣセキュリティ機能、配置、フロアプラン、入力／出力およびルーティングを含む、請求項１に記載の方法。
【請求項１５】
ＡＩ設定の複数のドメインおよび複数のサブドメインを作成する前記ステップが、
ドメインおよびサブドメインに関連付けられたタスクを複数のエージェントに設定するステップと、
１つまたは複数のＡＩエージェントに報酬および観測を提供するＡＩ環境を設定するステップと、
前記１つまたは複数のＡＩエージェントを設定して、前記複数のドメインおよびサブドメインに関するフィードバックを受け取るステップと、と含む、請求項１に記載の方法。
【請求項１６】
所望のＳｏＣ構成を最適化して生成する前記ステップが、
階層的に最適なＳＭＤＰ、ＭＤＰまたはオプションマクロまたはすべての組み合わせに基づいて、最適なＳｏＣを設計するための計画プロセスを開始するステップと、
ルックアップテーブルモデル、線形期待モデル、線形ガウスモデル、ガウスプロセスモデル、ディープビリーフネットワークモデルからなる群から選択される、決定論的または確率論的モデルを使用して、ＭＤＰ、ＳＭＤＰおよびオプションのモデルを作成するステップと、
複数のＡＩドメインおよびサブドメインから受け取ったリアルタイムなフィードバックに基づいて導出されたシミュレーションモデルを使用することにより、複数のＡＩドメインの計画および学習を並行して実行するステップであって、前記複数のＡＩドメインが、ＮｏＣ生成、電力最適化、インタフェース統合、論理検証、論理合成、レイアウト前のタイミングクロージャ、物理設計、レイアウト後のタイミングクロージャ、および物理検証を含むステップと、
ＳｏＣに関する学習情報を事前設定された形式で格納することにより、前記計画されたＳｏＣの階層表現を１つまたは複数のデータベースに格納するステップと、
ＳｏＣに関する計画され格納された情報をデータベースから階層的に取得して、当該データベースから新しいＳｏＣをデバッグおよび作成するステップと、を含む、請求項１に記載の方法。
【請求項１７】
強化学習プロセスが、相互に異なる複数のデータ構造で格納された複数のデータベースへのアクセスに基づいて、ＡＩ環境、ＡＩエージェント、タスクおよび実験を含む、シングルステップで、あるいは複数のステップで階層的に実行され、前記複数のデータ構造がグラフ、文書および表を含む、請求項１に記載の方法。
【請求項１８】
一連の環境、エージェント、タスクおよび実験を用いて、ＳｏＣ設計の各ドメインに対してＡＩ設定を作成する、請求項１に記載の方法。
【請求項１９】
ＡＩ設定は、各ドメインおよびサブドメインのエージェントと環境との相互作用を用いて強化学習プロセスを実行するように構成されており、前記強化学習プロセスの出力または結果である学習情報は、ＳｏＣ設計で構成された各ドメインおよびサブドメインに固有のデータベースに、Ｑ値またはニューラルの重みの形式で格納される、請求項１に記載の方法。
【請求項２０】
ＭＤＰおよびＳＭＤＰ、オプションマクロ、ＨＡＭおよびＭａｘ−Ｑ値を抽出し、当該抽出したＭＤＰ、ＳＭＤＰ、オプションマクロ、ＨＡＭおよびＭａｘ−Ｑ値を、ＳｏＣの設計において構成された各ドメインおよびサブドメインの、ＮｏＳＱＬデータベース、ＳＱＬデータベース、またはグラフデータベースに格納するステップをさらに含む、請求項１に記載の方法。
【請求項２１】
抽出したＳＭＤＰ、オプションマクロ、ＭＤＰ、ＨＡＭ、ｍａｘ−Ｑ関数から推論を生成し、当該生成した推論を、文書データベース、グラフデータベースまたはＳＱＬデータベースの形式で格納するステップをさらに含み、文書データベース、グラフデータベースまたはＳＱＬデータベースの形式で格納される前記推論が、抽出されたＭＤＰ、ＳＭＤＰまたはオプションマクロの形式で、あるいはエピソード設定の一連の環境、エージェント、タスクおよび実験として、ドメイン固有のＡＩ設定にロードされ、ＳｏＣの設計ドメインごとの推論が抽出されると、エピソード実験設定またはＭＤＰまたはＳＭＤＰまたはＨＡＭまたはＭＡＸＱ設定の形式の各ＳｏＣドメインのＡＩ設定が、オプションマクロの有無に関わらず相互作用して最適なチップアーキテクチャ（ＯＣＡ）に達する、請求項１に記載の方法。
【請求項２２】
強化学習で使用される方策勾配法に基づいて、抽出されたＭＤＰ、ＳＭＤＰ、オプションマクロ、ＨＡＭ  ＭＡＸＱについて、状態を行動へマッピングする新しい方策を検証し、当該検証された新しい方策を、ＳｏＣ設計におけるＡＩ  ＳＯＣドメインおよび任意のＡＩサブドメインの各々のデータベースに格納するステップをさらに含み、あるドメインに生成された前記新しい方策が、別のＡＩ  ＳｏＣドメインに生成された方策で最適化および反復されてコンテキストが導出され、階層的に最適な、マルチドメイン単位およびサブドメイン単位の最適な方策が取得され、階層的に最適であり、かつ個々に最適である方策が、方程式、関数、ＳＷ、オプションマクロを通じて将来的な使用のために前記データベースに格納されて、すべてのＡＩ  ＳｏＣドメインおよびサブドメインの将来の学習アプリケーションで参照される、請求項１に記載の方法。