【手続補正書】
【提出日】令和3年5月18日(2021.5.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
畳み込みニューラル・ネットワークためのシステムであって、前記システムが、
コンピュータ実行可能コンポーネントを格納するメモリと、
前記メモリに格納されたコンピュータ実行可能コンポーネントを実行するプロセッサとを備えており、前記コンピュータ実行可能コンポーネントが、
スパース・カーネルの第１のパターンおよび補完カーネルの第２のパターンを決定するパターン・コンポーネントであって、前記第１のパターンが、前記スパース・カーネルの第１のサンプル行列内の有効なサンプルの位置を表し、前記第２のパターンが、前記第１のパターンを補完する前記補完カーネルの第２のサンプル行列内の有効なサンプルの位置を表す、前記パターン・コンポーネントと、
融合方法に従って結合された前記スパース・カーネルの特徴および前記補完カーネルの特徴の結合に基づいて、畳み込みニューラル・ネットワークの完全なカーネルの近似を表す融合されたカーネルを生成する融合コンポーネントと、
前記融合されたカーネルをトレーニングするトレーニング・コンポーネントとを備えている、システム。
【請求項２】
前記融合方法が、前記第１のパターンのスキップされるサンプルを前記第２のパターンの有効なサンプルに置き換える空間結合演算を使用して、前記スパース・カーネルの前記特徴および前記補完カーネルの前記特徴を結合する、請求項１に記載のシステム。
【請求項３】
前記融合方法が、演算子に従って、前記スパース・カーネルおよび前記補完カーネルのペアワイズ連結に基づいて、前記スパース・カーネルおよび前記補完カーネルを結合する、請求項１に記載のシステム。
【請求項４】
前記演算子が加算演算子である、請求項３に記載のシステム。
【請求項５】
前記演算子が逆演算子である、請求項３に記載のシステム。
【請求項６】
前記融合方法が、チャネルの次元における１×１チャネル行列の適用に基づいて、前記スパース・カーネル、前記補完カーネル、および前記融合されたカーネルの特徴を結合することを含むチャネルワイズ融合手順を含んでいる、請求項１ないし５のいずれかに記載のシステム。
【請求項７】
前記補完カーネルが、前記第１のサンプル行列内の少なくとも１つのスキップされるサンプルの位置に対応する前記第２のサンプル行列内の位置で少なくとも１つの有効なサンプルを含んでいる、請求項１ないし６のいずれかに記載のシステム。
【請求項８】
前記補完カーネルが、前記第１のサンプル行列内のスキップされるサンプルを含んでいる位置に対応する前記第２のサンプル行列内のすべての位置で有効なサンプルを含んでいる、請求項１ないし７のいずれかに記載のシステム。
【請求項９】
トレーニング済みの畳み込みニューラル・ネットワークの元の学習された完全なカーネルに割り当てられたパラメータ加重の調査に基づいて、前記パターン・コンポーネントが前記第１のパターンを決定する、請求項１ないし８のいずれかに記載のシステム。
【請求項１０】
前記スパース・カーネルの前記第１のサンプル行列が３×３行列であり、前記第１のパターンが「＋」形状を有しており、前記補完カーネルの前記第２のサンプル行列が３×３行列であり、前記第２のパターンが「ｘ」形状を有している、請求項１ないし９のいずれかに記載のシステム。
【請求項１１】
複数の種類の前記スパース・カーネル、複数の種類の前記補完カーネル、複数のスパース・カーネル、複数の補完カーネル、ペアワイズ・カーネル融合の演算子、またはチャネルワイズ融合が使用されるべきかどうかを示すインジケータのうちの少なくとも１つを含んでいる構成データを受信する受信コンポーネントをさらに備えている、請求項１ないし１０のいずれかに記載のシステム。
【請求項１２】
畳み込みニューラル・ネットワークのためのコンピュータ実装方法であって、前記方法が、
プロセッサに動作可能なように結合されたデバイスによって、スパース・カーネルの第１のパターンおよび補完カーネルの第２のパターンを決定することであって、前記第１のパターンが、前記スパース・カーネルの第１のサンプル行列内の有効なサンプルの位置を表し、前記第２のパターンが、前記第１のパターンを補完する前記補完カーネルの第２のサンプル行列内の有効なサンプルの位置を表す、前記決定することと、
融合方法に従って結合された前記スパース・カーネルの特徴および前記補完カーネルの特徴の結合に応答して、前記デバイスによって、畳み込みニューラル・ネットワークの完全なカーネルの近似を表す融合されたカーネルを生成することと、
前記デバイスによって、前記融合されたカーネルをトレーニングすることとを含んでいる、コンピュータ実装方法。
【請求項１３】
畳み込みニューラル・ネットワークのためのコンピュータ・プログラムであって、コンピュータに、
スパース・カーネルの第１のパターンおよび補完カーネルの第２のパターンを決定することであって、前記第１のパターンが、前記スパース・カーネルの第１のサンプル行列内の有効なサンプルの位置を表し、前記第２のパターンが、前記第１のパターンを補完する前記補完カーネルの第２のサンプル行列内の有効なサンプルの位置を表す、前記決定することと、
融合方法に従って結合された前記スパース・カーネルの特徴および前記補完カーネルの特徴の結合に応答して、前記デバイスによって、畳み込みニューラル・ネットワークの完全なカーネルの近似を表す融合されたカーネルを生成することと、
前記融合されたカーネルをトレーニングすることとを実行させるためのコンピュータ・プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００５７
【補正方法】変更
【補正の内容】
【００５７】
図１１に関連して、以下で説明されるシステムおよびプロセスは、単一の集積回路（ＩＣ：integrated circuit）チップ、複数のＩＣ、特定用途向け集積回路（ＡＳＩＣ：application specific integrated circuit）などのハードウェア内で具現化され得る。さらに、プロセスのブロックの一部または全部が各プロセス内で現れる順序は、制限と見なされるべきではない。プロセスのブロックの一部が、さまざまな順序で実行されることが可能であり、本明細書では、それらの順序のすべてを明示的に示すことができないということが、理解されるべきである。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００５８
【補正方法】変更
【補正の内容】
【００５８】
図１１を参照すると、請求される対象のさまざまな態様を実装するための例示的な環境１１００は、コンピュータ１１０２を含む。コンピュータ１１０２は、処理ユニット１１０４、システム・メモリ１１０６、コーデック１１３５、およびシステム・バス１１０８を含む。システム・バス１１０８は、システム・メモリ１１０６を含むが、これに限定されないシステム・コンポーネントを、処理ユニット１１０４に結合する。処理ユニット１１０４は、さまざまな使用可能なプロセッサのいずれかであることができる。デュアル・マイクロプロセッサおよびその他のマルチプロセッサ・アーキテクチャが、処理ユニット１１０４として採用されてもよい。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００５９
【補正方法】変更
【補正の内容】
【００５９】
システム・バス１１０８は、ＩＳＡ（Industry Standard Architecture）、ＭＣＡ（Micro-Channel Architecture）、ＥＩＳＡ（Extended ISA）、ＩＤＥ（Intelligent Drive Electronics）、ＶＥＳＡローカル・バス（ＶＬＢ：VESA Local Bus）、ＰＣＩ（Peripheral Component Interconnects）、カードバス、ユニバーサル・シリアル・バス（ＵＳＢ：Universal Serial Bus）、ＡＧＰ（Advanced Graphics Port）、ＰＣＭＣＩＡ（Personal Computer Memory Card International Association）バス、Ｆｉｒｅｗｉｒｅ（ＩＥＥＥ  １３９４）、および小型コンピュータ・システム・インターフェイス（ＳＣＳＩ：Small Computer Systems Interface）を含むが、これらに限定されない、任意のさまざまな使用可能なバス・アーキテクチャを使用する、メモリ・バスもしくはメモリ・コントローラ、ペリフェラル・バスもしくは外部バス、またはローカル・バスを含む、複数の種類のバス構造のいずれかであることができる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００６０
【補正方法】変更
【補正の内容】
【００６０】
システム・メモリ１１０６は、さまざまな実施形態において開示されたメモリ・アーキテクチャのうちの１つまたは複数を採用することができる、揮発性メモリ１１１０および不揮発性メモリ１１１２を含む。起動中などにコンピュータ１１０２内の要素間で情報を転送するための基本ルーチンを含んでいる基本入出力システム（ＢＩＯＳ：basic input/output system）が、不揮発性メモリ１１１２に格納される。加えて、現在の革新技術によれば、コーデック１１３５は、エンコーダまたはデコーダのうちの少なくとも１つを含むことができ、エンコーダまたはデコーダのうちの少なくとも１つは、ハードウェア、ソフトウェア、またはハードウェアおよびソフトウェアの組み合わせから成ることができる。コーデック１１３５は離したコンポーネントとして示されているが、コーデック１１３５は、不揮発性メモリ１１１２内に含まれ得る。不揮発性メモリ１１１２の例としては、読み取り専用メモリ（ＲＯＭ：read only memory）、プログラマブルＲＯＭ（ＰＲＯＭ：programmable ROM）、電気的プログラマブルＲＯＭ（ＥＰＲＯＭ：electrically programmable ROM）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ：electrically erasable programmable ROM）、フラッシュ・メモリ、３Ｄフラッシュ・メモリ、または抵抗性ランダム・アクセス・メモリ（ＲＲＡＭ：resistive random access memory）などの抵抗性メモリが挙げられるが、これらに限定されない。少なくとも一部の実施形態では、不揮発性メモリ１１１２は、開示されたメモリ・デバイスのうちの１つまたは複数を採用することができる。さらに、不揮発性メモリ１１１２は、（例えば、コンピュータ１１０２またはそのメインボードに物理的に統合された）コンピュータ・メモリまたは取り外し可能なメモリであることができる。開示された実施形態が実装され得る適切な取り外し可能なメモリの例としては、セキュア・デジタル（ＳＤ：secure digital）カード、コンパクト・フラッシュ（ＣＦ：compact Flash）カード、ユニバーサル・シリアル・バス（ＵＳＢ：universal serial bus）メモリ・スティックなどが挙げられる。揮発性メモリ１１１０は、外部キャッシュ・メモリとして機能するランダム・アクセス・メモリ（ＲＡＭ：random access memory）を含み、さまざまな実施形態において、１つまたは複数の開示されたメモリ・デバイスを採用することもできる。例えばＲＡＭは、スタティックＲＡＭ（ＳＲＡＭ：static RAM）、ダイナミックＲＡＭ（ＤＲＡＭ：dynamic RAM）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ：synchronous DRAM）、ダブル・データ・レートＳＤＲＡＭ（ＤＤＲ  ＳＤＲＡＭ：double data rate SDRAM）、および拡張ＳＤＲＡＭ（ＥＳＤＲＡＭ：enhanced SDRAM）などの、ただしこれらに限定されない、多くの形態で利用可能である。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００６１
【補正方法】変更
【補正の内容】
【００６１】
コンピュータ１１０２は、取り外し可能／取り外し不可能な揮発性／不揮発性のコンピュータ記憶媒体を含むこともできる。例えば図１１は、ディスク・ストレージ１１１４を示している。ディスク・ストレージ１１１４は、磁気ディスク・ドライブ、半導体ディスク（ＳＳＤ：solid state disk）、フラッシュ・メモリ・カード、またはメモリ・スティックなどのデバイスを含むが、これらに限定されない。加えて、ディスク・ストレージ１１１４は、コンパクト・ディスクＲＯＭデバイス（ＣＤ−ＲＯＭ：compact disk ROM device）、記録可能ＣＤドライブ（ＣＤ−Ｒドライブ：CD recordable drive）、再書き込み可能ＣＤドライブ（ＣＤ−ＲＷドライブ：CD rewritable drive）、またはデジタル多用途ディスクＲＯＭドライブ（ＤＶＤ−ＲＯＭ：digital versatile disk ROM drive）などの光ディスク・ドライブを含むが、これらに限定されない記憶媒体を、別々に、または他の記憶媒体と組み合わせて、含むことができる。システム・バス１１０８へのディスク・ストレージ・デバイス１１１４の接続を容易にするために、インターフェイス１１１６などの、取り外し可能または取り外し不可能なインターフェイスが通常は使用される。ストレージ・デバイス１１１４がユーザに関連する情報を格納できるということが、理解される。そのような情報は、ユーザ・デバイス上で実行されているサーバまたはアプリケーションに格納または提供されてよい。１つの実施形態では、ディスク・ストレージ１１１４に格納されている情報の種類が、（例えば、出力デバイス１１３６を経由して）ユーザに通知され得るか、またはサーバもしくはアプリケーションに送信され得る。そのような情報がサーバまたはアプリケーションで収集または共有されることのオプトインまたはオプトアウトの機会が、（例えば、入力デバイス１１２８からの入力によって）ユーザに提供され得る。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００６２
【補正方法】変更
【補正の内容】
【００６２】
図１１が、ユーザと、適切な動作環境１１００において説明された基本的なコンピュータ・リソースとの間の仲介として機能するソフトウェアを説明しているということが、理解されるべきである。そのようなソフトウェアは、オペレーティング・システム１１１８を含む。ディスク・ストレージ１１１４に格納できるオペレーティング・システム１１１８は、コンピュータ・システム１１０２のリソースを制御し、割り当てるように動作する。アプリケーション１１２０は、プログラム・モジュール１１２４を介して、オペレーティング・システム１１１８によるリソースの管理を利用し、システム・メモリ１１０６またはディスク・ストレージ１１１４のいずれかに格納されたデータ１１２６（ブート／シャットダウン・トランザクション・テーブルなど）をプログラムする。さまざまなオペレーティング・システムまたはオペレーティング・システムの組み合わせを使用して、請求される対象が実装され得るということが、理解されるべきである。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００６３
【補正方法】変更
【補正の内容】
【００６３】
ユーザは、１つまたは複数の入力デバイス１１２８を介して、コマンドまたは情報をコンピュータ１１０２に入力する。入力デバイス１１２８は、マウス、トラックボール、スタイラス、タッチ・パッド、キーボード、マイクロホン、ジョイスティック、ゲーム・パッド、衛星放送受信アンテナ、スキャナ、ＴＶチューナー・カード、デジタル・カメラ、デジタル・ビデオ・カメラ、Ｗｅｂカメラなどのポインティング・デバイスを含むが、これらに限定されない。これらおよびその他の入力デバイスは、インターフェイス・ポート１１３０を介してシステム・バス１１０８を通り、処理ユニット１１０４に接続する。インターフェイス・ポート１１３０は、例えば、シリアル・ポート、パラレル・ポート、ゲーム・ポート、およびユニバーサル・シリアル・バス（ＵＳＢ）を含む。出力デバイス１１３６は、入力デバイス１１２８と同じ種類のポートの一部を使用する。このようにして、例えば、ＵＳＢポートを使用して、入力をコンピュータ１１０２に提供し、コンピュータ１１０２から出力デバイス１１３６に情報を出力できる。出力アダプタ１１３４は、特殊なアダプタを必要とする出力デバイス１１３６の中でも特に、モニタ、スピーカ、およびプリンタのような何らかの出力デバイス１１３６が存在することを示すために提供される。出力アダプタ１１３４の例としては、出力デバイス１１３６とシステム・バス１１０８の間の接続の手段を提供するビデオ・カードおよびサウンド・カードが挙げられるが、これらに限定されない。リモート・コンピュータ１１３８などの、その他のデバイスまたはデバイスのシステムが、入力機能および出力機能の両方を提供するということに、注意するべきである。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００６４
【補正方法】変更
【補正の内容】
【００６４】
コンピュータ１１０２は、リモート・コンピュータ１１３８などの１つまたは複数のリモート・コンピュータへの論理接続を使用して、ネットワーク環境内で動作できる。リモート・コンピュータ１１３８は、パーソナル・コンピュータ、サーバ、ルータ、ネットワークＰＣ、ワークステーション、マイクロプロセッサベースの機器、ピア・デバイス、スマートフォン、タブレット、またはその他のネットワーク・ノードであることができ、通常は、コンピュータ１１０２に関連して説明された要素の多くを含む。簡潔にするために、メモリ・ストレージ・デバイス１１４０のみが、リモート・コンピュータ１１３８と共に示されている。リモート・コンピュータ１１３８は、ネットワーク・インターフェイス１１４２を介してコンピュータ１１０２に論理的に接続されてから、通信接続１１４４を介して接続される。ネットワーク・インターフェイス１１４２は、ローカル・エリア・ネットワーク（ＬＡＮ：local-area networks）および広域ネットワーク（ＷＡＮ：wide-area networks）、ならびにセルラー・ネットワークなどの、有線通信ネットワークまたは無線通信ネットワークを包含する。ＬＡＮ技術は、光ファイバ分散データ・インターフェイス（ＦＤＤＩ：Fiber Distributed Data Interface）、銅線分散データ・インターフェイス（ＣＤＤＩ：Copper Distributed Data Interface）、トークン・リングなどを含む。ＷＡＮ技術は、ポイントツーポイント・リンク、総合デジタル通信網（ＩＳＤＮ：Integrated Services Digital Networks）およびその変形などの回路交換網、パケット交換網、およびデジタル加入者回線（ＤＳＬ：Digital Subscriber Lines）を含むが、これらに限定されない。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００６５
【補正方法】変更
【補正の内容】
【００６５】
通信接続１１４４は、ネットワーク・インターフェイス１１４２をバス１１０８に接続するために採用されたハードウェア／ソフトウェアのことを指す。通信接続１１４４は、説明を明確にするために、コンピュータ１１０２内に示されているが、コンピュータ１１０２の外部に存在することもできる。ネットワーク・インターフェイス１１４２への接続に必要なハードウェア／ソフトウェアは、単に例示の目的で、通常の電話の等級のモデム、ケーブル・モデム、およびＤＳＬモデムを含むモデム、ＩＳＤＮアダプタ、有線および無線イーサネット（Ｒ）・カード、ハブ、ならびにルータなどの、内部および外部の技術を含む。