(57)【特許請求の範囲】
【請求項１】
少なくとも１つの機械学習ネットワークを通信チャネルを介して通信するためにトレーニングする、少なくとも１つのプロセッサにより実行される方法であって、前記方法は、
第１情報を決定すること、
エンコーダ機械学習ネットワークを使って、前記第１情報を処理して通信チャネルを介する送信のための第１ＲＦ信号を生成すること、
前記通信チャネルを介する送信により変更されている前記第１ＲＦ信号を表す第２ＲＦ信号を決定すること、
デコーダ機械学習ネットワークを使って、前記第２ＲＦ信号を処理して前記第１情報の復元として第２情報を生成すること、
前記第２情報と前記第１情報の間の距離の大きさを計算すること、及び
前記第２情報と前記第１情報の間の前記距離の大きさに基づいて、前記エンコーダ機械学習ネットワーク又は前記デコーダ機械学習ネットワークの少なくとも１つを更新すること、を含み、
前記更新は、
前記第２情報と前記第１情報の間の前記距離の大きさを含む目的関数を決定すること、
前記エンコーダ機械学習ネットワーク又は前記デコーダ機械学習ネットワークの少なくとも１つにおける変化量に対する前記目的関数の変化率を計算すること、
前記目的関数の前記計算された変化率に基づいて、前記エンコーダ機械学習ネットワークに対する第１変化量又は前記デコーダ機械学習ネットワークに対する第２変化量の少なくとも１つを選択すること、及び
前記エンコーダ機械学習ネットワークに対して前記選択された第１変化量又は前記デコーダ機械学習ネットワークに対して前記選択された第２変化量の少なくとも１つに基づいて前記エンコーダ機械学習ネットワーク又は前記デコーダ機械学習ネットワークの少なくとも１つを更新すること、を含むことを特徴とする方法。
【請求項２】
前記第２情報と前記第１情報の間の前記距離の大きさは、(i)前記第２情報と前記第１情報の間のクロスエントロピー、(ii)前記第２情報と前記第１情報の間のＭＳＥ、(iii)前記第２情報と前記第１情報の間のＭＡＥ、又は(iv)前記第２情報と前記第１情報の間のＫＬダイバージェンス、の少なくとも１つを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記エンコーダ機械学習ネットワーク又は前記デコーダ機械学習ネットワークの少なくとも１つを更新することは、
前記エンコーダ機械学習ネットワークの１つ以上のレイヤにおける少なくとも１つのエンコードネットワーク重み又はネットワーク接続性を更新すること、又は、
前記デコーダ機械学習ネットワークの１つ以上のレイヤにおける少なくとも１つのデコードネットワーク重み又はネットワーク接続性を更新すること、の少なくとも１つを含むことを特徴とする請求項１に記載の方法。
【請求項４】
前記エンコーダ機械学習ネットワーク又は前記デコーダ機械学習ネットワークの少なくとも１つを更新することは、
複数のチャネルモードの中から、前記通信チャネルの状態を表すチャネルモードを決定すること、及び、
前記通信チャネルの前記チャネルモードに基づいて前記エンコーダ機械学習ネットワーク又は前記デコーダ機械学習ネットワークの少なくとも１つを更新すること、
をさらに含むことを特徴とする請求項１に記載の方法。
【請求項５】
前記エンコーダ機械学習ネットワーク及び前記デコーダ機械学習ネットワークは、通信チャネルを介する通信を学習するオートエンコーダとして一緒にトレーニングされ、
前記オートエンコーダは、送信された波形の前記通信チャネルの影響を表す少なくとも１つのチャネルモデル化レイヤを含む、ことを特徴とする請求項１に記載の方法。
【請求項６】
前記少なくとも１つのチャネルモデル化レイヤは（ｉ）前記通信チャネルの加法性ガウス熱雑音、（ｉｉ）前記通信チャネルの時間変化の影響により生じる遅延スプレッド、（ｉｉｉ）前記通信チャネルを介する送信及び受信により生じる位相雑音、又は（ｉｖ）前記通信チャネルを介する送信及び受信により生じる、位相、周波数又はタイミングのオフセット、の少なくとも１つを表すことを特徴とする請求項５に記載の方法。
【請求項７】
前記エンコーダ機械学習ネットワーク又は前記デコーダ機械学習ネットワークの少なくとも１つは、ディープデンスニューラルネットワーク（ＤＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、又はパラメトリック乗算、加算、及び非線形を含むリカレントニューラルネットワーク（ＲＮＮ）、の少なくとも１つを含む、ことを特徴とする請求項１に記載の方法。
【請求項８】
前記第１ＲＦ信号を処理して、前記通信チャネルに入力される第１アナログＲＦ波形を生成すること、
前記通信チャネルにより変更されている前記第１アナログＲＦ波形を表す前記通信チャネルの出力として第２アナログＲＦ波形を受信すること、及び
前記第２アナログＲＦ波形を処理して第２ＲＦ信号を生成すること、をさらに含むことを特徴とする請求項１に記載の方法。
【請求項９】
前記通信チャネルは、無線通信チャネル、音響通信チャネル、又は光通信チャネルの少なくとも１つを含むことを特徴とする請求項１に記載の方法。
【請求項１０】
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに接続された少なくとも１つのコンピュータメモリであって、前記少なくとも１つのプロセッサにより実行されると、前記少なくとも１つのプロセッサに、
第１情報を決定すること、
エンコーダ機械学習ネットワークを使って前記第１情報を処理し、通信チャネルを介して送信する第１ＲＦ信号を生成すること、
前記通信チャネルを介した送信により変更された前記第１ＲＦ信号を表す第２ＲＦ信号を決定すること、
デコーダ機械学習ネットワークを使って前記第２ＲＦ信号を処理し、前記第１情報の復元として第２情報を生成すること、
前記第２情報と前記第１情報の間の距離の大きさを計算すること、及び
前記第２情報と前記第１情報の間の前記距離の大きさに基づいて前記エンコーダ機械学習ネットワーク又は前記デコーダ機械学習ネットワークの少なくとも１つを更新すること、を含む動作を実行させる命令を格納したコンピュータメモリと、を備え、
前記更新することは、
前記第２情報と前記第１情報の間の前記距離の大きさを含む目的関数を決定すること、
前記エンコーダ機械学習ネットワーク又は前記デコーダ機械学習ネットワークの少なくとも１つにおける変化量に対する前記目的関数の変化率を計算すること、
前記目的関数の前記計算された変化率に基づいて、前記エンコーダ機械学習ネットワークに対する第１変化量又は前記デコーダ機械学習ネットワークに対する第２変化量の少なくとも１つを選択すること、及び
前記エンコーダ機械学習ネットワークに対して前記選択された第１変化量又は前記デコーダ機械学習ネットワークに対して前記選択された第２変化量の少なくとも１つに基づいて前記エンコーダ機械学習ネットワーク又は前記デコーダ機械学習ネットワークの少なくとも１つを更新すること、を含むことを特徴とするシステム。
【請求項１１】
前記第２情報及び前記第１情報の間の前記距離の大きさは、(i)前記第２情報と前記第１情報の間のクロスエントロピー、(ii) 前記第２情報と前記第１情報の間のＭＳＥ、(iii)前記第２情報と前記第１情報の間のＭＡＥ、又は(iv)前記第２情報と前記第１情報の間のＫＬダイバージェンス、の少なくとも１つを含むことを特徴とする請求項１０に記載のシステム。
【請求項１２】
前記エンコーダ機械学習ネットワーク又は前記デコーダ機械学習ネットワークの少なくとも１つを更新することは、
前記エンコーダ機械学習ネットワークの１つ以上のレイヤにおける少なくとも１つのエンコードネットワーク重み又はネットワーク接続性を更新すること、又は
前記デコーダ機械学習ネットワークの１つ以上のレイヤにおける少なくとも１つのデコードネットワーク重み又はネットワーク接続性を更新すること、の少なくとも１つを含むことを特徴とする請求項１０に記載のシステム。
【請求項１３】
前記エンコーダ機械学習ネットワーク又は前記デコーダ機械学習ネットワークの少なくとも１つを更新することは、
複数のチャネルモードの中から、前記通信チャネルの状態を表すチャネルモードを決定すること、及び
前記通信チャネルの前記チャネルモードに基づいて前記エンコーダ機械学習ネットワーク又は前記デコーダ機械学習ネットワークの少なくとも１つを更新すること、をさらに含むことを特徴とする請求項１０に記載のシステム。
【請求項１４】
前記エンコーダ機械学習ネットワーク及び前記デコーダ機械学習ネットワークは、通信チャネルを介する通信を学習するオートエンコーダとして一緒にトレーニングされ、
前記オートエンコーダは、送信された波形の前記通信チャネルの影響を表す少なくとも１つのチャネルモデル化レイヤを含む、ことを特徴とする請求項１０に記載のシステム。
【請求項１５】
前記少なくとも１つのチャネルモデル化レイヤは、（ｉ）前記通信チャネルの加法性ガウス熱雑音、（ｉｉ）前記通信チャネルの時間変化の影響により生じる遅延スプレッド、（ｉｉｉ）前記通信チャネルを介する送信及び受信により生じる位相雑音、又は（ｉｖ）前記通信チャネルを介する送信及び受信により生じる、位相、周波数又はタイミングのオフセット、の少なくとも１つを表すことを特徴とする請求項１４に記載のシステム。
【請求項１６】
前記エンコーダ機械学習ネットワーク又は前記デコーダ機械学習ネットワークの少なくとも１つは、ディープデンスニューラルネットワーク（ＤＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、又はパラメトリック乗算、加算、及び非線形を含むリカレントニューラルネットワーク（ＲＮＮ）、の少なくとも１つを含む、請求項１０に記載のシステム。
【請求項１７】
前記動作は、
前記第１ＲＦ信号を処理して、前記通信チャネルに入力される第１アナログＲＦ波形を生成すること、
前記通信チャネルにより変更されている前記第１アナログＲＦ波形を表す、前記通信チャネルの出力として第２アナログＲＦ波形を受信すること、及び
前記第２アナログＲＦ波形を処理して第２ＲＦ信号を生成すること、をさらに含むことを特徴とする請求項１０に記載のシステム。
【請求項１８】
前記通信チャネルは、無線通信チャネル、音響通信チャネル、又は光通信チャネルの少なくとも１つを含むことを特徴とする請求項１０に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願への相互参照
この出願は、2017年5月3日に提出された米国仮出願第62 /500,621号の優先権を主張する。この先行出願の開示は、この出願の開示の一部と見なされ、参照により本出願の開示に組み込まれる。
本開示は、適応無線通信の機械学習およびデプロイメントに関し、特に無線周波数（ＲＦ）信号に関する。
【背景技術】
【０００２】
無線周波数（ＲＦ）波形は、通信、保存、検知、測定、および監視のための多くのシステムで普及している。ＲＦ波形は、空中、水中、宇宙空間など、さまざまなタイプの通信メディアを介して送受信される。一部のシナリオでは、ＲＦ波形は、ＲＦ周波数で動作する１つ以上の搬送波波形に変調された情報を送信する。他のシナリオでは、ＲＦ波形自体がセンサーやプローブの出力などの情報である。ＲＦ波形で伝送される情報は通常、処理、保存、および/またはコンピュータの内部システムバスまたはローカルまたはワイドエリアネットワークなどを介した通信のような他の形式で伝送される
【発明の概要】
【０００３】
一般に、本開示で説明する主題は、ＲＦチャネルを介して通信し、特にＲＦチャネルを介して通信するための情報をエンコードおよびデコードするための機械学習ネットワークをトレーニングおよびデプロイメントするための方法、装置、およびシステムで具現化できる。
【０００４】
一態様では、少なくとも１つのプロセッサにより、少なくとも１つの機械学習ネットワークをトレーニングしてＲＦチャネルを介して通信する方法が実行される。この方法は、第１情報を決定し、エンコーダ機械学習ネットワークを使用して、第１情報を処理し、通信チャネルを介して送信するための第１ＲＦ信号を生成し、通信チャネルを介した送信によって変更された第１ＲＦ信号を表す第２ＲＦ信号を決定し、デコーダ機械学習ネットワークを使用して、第２ＲＦ信号を処理し、第１情報の復元として第２情報を生成し、第２情報と第１情報の間の距離の大きさを計算し、第２情報と第１情報の間の距離の大きさに基づいて、エンコーダ機械学習ネットワークまたはデコーダ機械学習ネットワークの少なくとも一方を更新すること、を含む。この態様の他の実装は、対応するコンピュータシステム、装置、および少なくとも１つの動作可能に接続されたプロセッサに方法の動作を実行させるようにそれぞれ構成された1つ以上のコンピュータストレージデバイスに記録されるコンピュータプログラムを含む。
【０００５】
実装には、次の特徴の１つ以上が含まれる場合がある。第２情報と第１情報の間の距離の大きさに基づいて、エンコーダ機械学習ネットワークまたはデコーダ機械学習ネットワークの少なくとも一方を更新する方法は、第２情報と第１情報間の距離の大きさを含む目的関数を決定し、エンコーダ機械学習ネットワークまたはデコーダ機械学習ネットワークの少なくとも一方の変化に対する目的関数の変化率を計算し、計算された目的関数の変化率に基づいて、エンコーダ機械学習ネットワークの第１変化量またはデコーダ機械学習ネットワークの第２変化量の少なくとも1つを選択すること、エンコーダ機械学習ネットワークの選択された第１変化量またはデコーダ機械学習ネットワークの選択された第２変化量の少なくとも1つに基づいて、エンコーダ機械学習ネットワークまたはデコーダ機械学習ネットワークの少なくとも1つを更新すること、を含む。第２情報と第１情報の間の距離の大きさは、（ｉ）第２情報と第１情報の間のクロスエントロピー、又は（ｉｉ）第２情報と第１情報の間の幾何学的距離メトリック、の少なくとも１つを含む。エンコーダ機械学習ネットワークまたはデコーダ機械学習ネットワークの少なくとも１つを更新する方法は、エンコーダ機械学習ネットワークの１つまたは複数のレイヤの少なくとも１つのエンコードネットワークの重みまたはネットワーク接続を更新すること、または、デコーダ機械学習ネットワークの１つまたは複数のレイヤで、少なくとも１つのデコードネットワークの重みまたはネットワーク接続を更新すること、の少なくとも１つを含む。エンコーダ機械学習ネットワークまたはデコーダ機械学習ネットワークの少なくとも一方を更新する方法はさらに、複数のチャネルモードの中から、通信チャネルの状態を表すチャネルモードを決定すること、および通信チャネルのチャネルモードに基づいて、エンコーダ機械学習ネットワークまたはデコーダ機械学習ネットワークの少なくとも一方を更新すること、を含む。エンコーダ機械学習ネットワークとデコーダ機械学習ネットワークが、通信チャネルを介した通信を学習するためのオートエンコーダとして一緒にトレーニングされる方法であって、オートエンコーダは、送信された波形で通信チャネルの影響を表す少なくとも１つのチャネルモデル化レイヤを含む。方法は、少なくとも1つのチャネルモデル化レイヤは、（ｉ）通信チャネルにおける加法性ガウス熱雑音、（ｉｉ）通信チャネルの時間変化の影響によって生じる遅延スプレッド、（ｉｉｉ）通信チャネルを介した送受信により生じる位相ノイズ、または（ｉｖ）通信チャネルを介した送受信により生じる位相、周波数、またはタイミングのオフセット、の少なくとも１つを表す。方法であって、エンコーダ機械学習ネットワークまたはデコーダ機械学習ネットワークの少なくとも１つは、ディープデンスニューラルネットワーク（DNN）、畳み込みニューラルネットワーク（CNN）、またはパラメトリック乗算、加算、非線形性を含むリカレントニューラルネットワーク（RNN）の少なくとも1つを含む。この方法はさらに、第１ＲＦ信号を処理して、通信チャネルに入力される第１アナログＲＦ波形を生成し、通信チャネルによって変更された第１アナログＲＦ波形を���す第２アナログＲＦ波形を通信チャネルの出力として受信し、そして、第２アナログＲＦ波形を処理して、第２ＲＦ信号を生成すること、を含む。通信チャネルは無線通信チャネル、音響通信チャネル、または光通信チャネルの少なくとも１つを含む。説明された技術の実装は、ハードウェア、方法またはプロセス、またはコンピュータアクセス可能媒体上のコンピュータソフトウェアを含みうる。
【０００６】
別の態様では、学習された通信システムをＲＦチャネル上にデプロイメントするための方法が少なくとも１つのプロセッサによって実行される。この方法は、エンコーダおよびデコーダを決定することを含み、そのうちの少なくとも１つは、通信チャネルを介して情報をエンコードまたはデコードエンコーダするためにトレーニングされたエンコーダ機械学習ネットワークまたはデコーダ機械学習ネットワークの少なくとも１つに基づいてエンコードまたはデコードを実装するように構成されており、方法は、第１情報を決定し、エンコーダを使用して、第１情報を処理し、第１ＲＦ信号を生成し、少なくとも１つの送信器により、通信チャネルを介して第１ＲＦ信号を送信し、少なくとも１つの受信器により、通信チャネルを介した送信により変更された第１ＲＦ信号を表す第２ＲＦ信号を受信し、そして、デコーダを使用して、第２ＲＦ信号を処理し、第１情報の復元として第２情報を生成すること、を含む。この態様の他の実装は、対応するコンピュータシステム、装置、および少なくとも１つの動作可能に接続されたプロセッサに方法の動作を実行させるように構成された、１つ以上のコンピュータストレージデバイスに記録されるコンピュータプログラムを含む。
【０００７】
実装には、次の特徴の１つ以上が含まれる場合がある。この方法はさらに、（ｉ）第２情報と第１情報の間の距離の大きさ、または（ｉｉ）通信チャネルに関するチャネル状態情報、の少なくとも１つを示すフィードバック情報を決定すること、及びフィードバック情報に基づいて、エンコーダまたはデコーダの少なくとも一方を更新することを含む。フィードバック情報に基づいて、エンコーダまたはデコーダの少なくとも一方を更新する方法はさらに、複数のチャネルモードの中から、フィードバック情報に基づいて通信チャネルの状態を表すチャネルモードを決定し、通信チャネルのチャネルモードに基づいて、エンコーダまたはデコーダの少なくとも一方を更新すること、を含む。方法は、エンコーダは、機械学習ネットワークのトレーニング結果に基づくエンコードマッピングを実装し、デコーダは、機械学習ネットワークのトレーニング結果に基づいたデコードマッピングを実装し、エンコーダ機械学習ネットワークおよびデコーダ機械学習ネットワークは、オートエンコーダとして一緒にトレーニングされて通信チャネルを介した通信を学習する。この方法は、第１ＲＦ信号を処理して第１アナログＲＦ波形を生成し、１つ以上の送信アンテナを使用して、通信チャネルで第１アナログＲＦ波形を送信し、１つ以上の受信アンテナを使用して、通信チャネルによって変更された第１アナログＲＦ波形を表す第２アナログＲＦ波形を受信し、そして、第２アナログＲＦ波形を処理して、第２ＲＦ信号を生成すること、をさらに含む。説明された技術の実装は、ハードウェア、方法またはプロセス、またはコンピュータがアクセス可能な媒体上のコンピュータソフトウェアを含みうる。
【０００８】
別の態様は、少なくとも１つのプロセッサ、および、少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに以下を含む動作を実行させる命令を格納した、少なくとも１つのプロセッサに結合された少なくとも１つのコンピュータメモリであって、第１情報を決定し、エンコーダ機械学習ネットワークを使用して、第１情報を処理し、通信チャネルを介して送信するための第１ＲＦ信号を生成し、通信チャネルを介した送信によって変更された第１ＲＦ信号を表す第２ＲＦ信号を決定し、デコーダ機械学習ネットワークを使用して、第２ＲＦ信号を処理し、第１情報の復元として第２情報を生成し、第２情報と第１情報の間の距離の大きさを計算し、そして、第２情報と第１情報の間の距離の大きさに基づいて、エンコーダ機械学習ネットワークまたはデコーダ機械学習ネットワークの少なくとも一方を更新する、システムを含む。この態様の他の実装は、対応するコンピュータシステム、装置、および少なくとも１つの動作可能に接続されたプロセッサに方法の動作を実行させるようにそれぞれ構成された１つ以上のコンピュータ記憶装置に記録されるコンピュータプログラムを含む。
【０００９】
実装には、次の特徴の１つ以上が含まれてもよい。第２情報と第１情報の間の距離の大きさに基づいてエンコーダ機械学習ネットワークまたはデコーダ機械学習ネットワークの少なくとも一方を更新するシステムは、第２情報と第１情報間の距離の大きさを含む目的関数を決定し、エンコーダ機械学習ネットワークまたはデコーダ機械学習ネットワークの少なくとも一方の変化に対する目的関数の変化率を計算し、計算された目的関数の変化率に基づいて、エンコーダ機械学習ネットワークの第１変化量またはデコーダ機械学習ネットワークの第２変化量の少なくとも１つを選択し、エンコーダ機械学習ネットワークの選択された第１変化量またはデコーダ機械学習ネットワークの選択された第２変化量の少なくとも１つに基づいて、エンコーダ機械学習ネットワークまたはデコーダ機械学習ネットワークの少なくとも１つを更新すること、を含む。システムは、第２情報と第１情報間の距離の大きさが、（ｉ）第２情報と第１情報間のクロスエントロピー、または（ｉｉ）第２情報と第１情報間の幾何学的距離メトリック、の少なくとも１つを含む。エンコーダ機械学習ネットワークまたはデコーダ機械学習ネットワークの少なくとも１つを更新するシステムは、エンコーダ機械学習ネットワークの１つまたは複数のレイヤで少なくとも１つのエンコードネットワークの重みまたはネットワーク接続を更新すること、または、デコーダマシン学習ネットワークの１つまたは複数のレイヤで、少なくとも１つのデコードネットワークの重みまたはネットワーク接続を更新すること、の少なくとも１つを含む。エンコーダ機械学習ネットワークまたはデコーダ機械学習ネットワークの少なくとも一方を更新するシステムは、複数のチャネルモードの中から、通信チャネルの状態を表すチャネルモードを決定し、通信チャネルのチャネルモードに基づいて、エンコーダ機械学習ネットワークまたはデコーダ機械学習ネットワークの少なくとも一方を更新することをさらに含む。システムは、エンコーダ機械学習ネットワークとデコーダ機械学習ネットワークがオートエンコーダとして一緒にトレーニングされて、通信チャネルを介する通信を学習する、そしてオートエンコーダは送信された波形で通信チャネルの影響を表す少なくとも１つのチャネルモデル化レイヤを含む。システムは、少なくとも１つのチャネルモデル化レイヤが、（ｉ）通信チャネル内の加法性ガウス熱雑音、（ｉｉ）通信チャネルの時間変化の影響により生じる遅延スプレッド、（ｉｉｉ）通信チャネルを介した送受信により生じる位相雑音、または、（ｉｖ）通信チャネルを介した送受信により生じる位相、周波数、またはタイミングのオフセット、の少なくとも１つを表す。システムは、エンコーダ機械学習ネットワークまたはデコーダ機械学習ネットワークの少なくとも１つが、ディープデンスニューラルネットワーク（deep dense neural network（DNN））、畳み込みニューラルネットワーク（CNN）、またはパラメトリック乗算、加算、および非線形性を含むリカレントニューラルネットワーク（RNN）の少なくとも１つを含む。システムは、第１ＲＦ信号を処理して、通信チャネルに入力される第１アナログＲＦ波形を生成し、通信チャネルによって変更された第１��ナログＲＦ波形を表す第２アナログＲＦ波形を通信チャネルの出力として受信し、そして、第２アナログＲＦ波形を処理して、第２ＲＦ信号を生成する動作をさらに含む。システムは、通信チャネルが無線通信チャネル、音響通信チャネル、または光通信チャネルの少なくとも１つを含む。説明された技術の実装は、ハードウェア、方法またはプロセス、またはコンピュータアクセス可能媒体上のコンピュータソフトウェアを含みうる。
【００１０】
別の態様は、少なくとも１つのプロセッサと、少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに以下を含む動作を実行させる命令を格納した少なくとも１つのプロセッサに結合された少なくとも１つのコンピュータメモリとを備え、通信チャネル上で情報をエンコードまたはデコードするようにトレーニングされたエンコーダ機械学習ネットワークまたはデコーダ機械学習ネットワークの少なくとも１つに基づくエンコードまたはデコードを実装するように構成される少なくとも１つのエンコーダおよびデコーダを決定し、第１情報を決定し、エンコーダを使用して第１情報を処理して第１ＲＦ信号を生成し、少なくとも１つの送信器により通信チャネルを介して第１ＲＦ信号を送信し、少なくとも１つの受信器により通信チャネルを介した送信により変更された第１ＲＦ信号を表す第２ＲＦ信号を受信する、そしてデコーダを使用して、第２ＲＦ信号を処理して第１情報の復元として第２情報を生成する、システムを含む。。この態様の他の実装は、対応するコンピュータシステム、装置、および少なくとも１つの動作可能に接続されたプロセッサに方法の動作を実行させるようにそれぞれ構成された１つ以上のコンピュータストレージデバイスに記録されるコンピュータプログラムを含む。
【００１１】
実装には、次の特徴の１つ以上が含まれる場合がある。システムは、（ｉ）第２情報と第１情報の間の距離の大きさ又は（ｉｉ）通信チャネルに関するチャネル状態情報、の少なくとも一方を示すフィードバック情報を決定し、フィードバック情報に基づいて、エンコーダまたはデコーダの少なくとも一方を更新すること、をさらに含む。フィードバック情報に基づいてエンコーダまたはデコーダの少なくとも一方を更新するシステムはさらに、複数のチャネルモードの中からフィードバック情報に基づいて通信チャネルの状態を表すチャネルモードを決定すること、および、通信チャネルのチャネルモードでエンコーダまたはデコーダの少なくとも一方を更新すること、を含む。システムは、エンコーダがエンコーダ機械学習ネットワークのトレーニング結果に基づくエンコードマッピングを実装し、デコーダがデコーダ機械学習ネットワークのトレーニング結果に基づくデコードマッピングを実装し、エンコーダ機械学習ネットワークとデコーダ機械学習ネットワークとは、通信チャネルを介した通信を学習するオートエンコーダとして一緒にトレーニングされる。システムはさらに、第１ＲＦ信号を処理して第１アナログＲＦ波形を生成し、１つ以上の送信アンテナを使用して通信チャネルで第１アナログＲＦ波形を送信し、１つ以上の受信アンテナを使用して、通信チャネルによって変更された第１アナログＲＦ波形を表す第２アナログＲＦ波形を受信し、そして、第２アナログＲＦ波形を処理して、第２ＲＦ信号を生成すること、を含む。説明された技術の実装は、ハードウェア、方法またはプロセス、またはコンピュータがアクセス可能な媒体上のコンピュータソフトウェアを含んでもよい。
【００１２】
この態様および他の態様の他の実装は、方法のアクションを実行するように構成され、コンピュータ記憶装置にエンコードされた、対応するシステム、装置、およびコンピュータプログラムを含む。１つまたは複数のコンピュータのシステムは、システムにインストールされているソフトウェア、ファームウェア、ハードウェア、またはそれらの組み合わせにより、動作するときにシステムにアクションを実行させるように構成できる。１つ以上のコンピュータプログラムは、データ処理装置によって実行されると、装置にアクションを実行させる命令を有することにより、そのように構成されうる。
【００１３】
この出願全体で説明されている特徴のすべてまたは一部は、１つまたは複数の非一時的な機械可読記憶媒体に格納され、１つまたは複数の処理デバイスで実行可能な命令を含むコンピュータプログラム製品として実装できる。本出願を通して記載される特徴のすべてまたは一部は、１つまたは複数の処理デバイスと記載の機能を実装する実行可能な命令を記憶するメモリとを含むことができる装置、方法、または電子システムとして実装することができる。
【００１４】
本開示の主題の１つまたは複数の実装の詳細は、添付の図面および以下の説明において明らかにされる。本主題の他の特徴、態様、および利点は、説明、図面、および特許請求の範囲から明らかになるであろう。
【図面の簡単な説明】
【００１５】
【図１】１つまたは複数のＲＦチャネルを介して学習された通信を実行する機械学習エンコーダおよびデコーダを実装する無線周波数（ＲＦ）システムの例を示す図。
【図２】ＲＦチャネルを介して学習された通信を実行するためにＲＦシステムに実装されうる機械学習エンコーダおよびデコーダネットワークのネットワーク構造の例を示す図。
【図３】ＲＦチャネルを介してエンコードおよびデコードを学習する機械学習エンコーダおよびデコーダネットワークを実装するＲＦシステムのトレーニングの例を示す図。
【図４】ＲＦチャネルを介したエンコーディングおよびデコーディングを学習する機械学習エンコーダおよびデコーダネットワークを実装するＲＦシステムをトレーニングする例示的な方法を示すフローチャート。
【図５】エンコーダ機械学習ネットワークおよび／またはデコーダ機械学習ネットワークによってＲＦチャネルを介して通信するために学習されおよび利用されうる基底関数の例を示す図。
【図６】ＲＦチャネルを介して通信するためのエンコーダ機械学習ネットワークおよびデコーダ機械学習ネットワークによって学習されうる送信ＲＦ信号および受信ＲＦ信号の例を示す図。
【図７】現実世界のＲＦチャネルを介してトレーニングされた通信を実行するためのエンコーディングおよびデコーディング機械学習ネットワークのトレーニング結果に基づいてエンコーディングおよび/またはデコーディング技術を利用するエンコーダおよびデコーダを実装するシステムをデプロイする例を示す図。
【図８】現実世界のＲＦチャネルを介して学習された通信を実行するためのエンコーディングおよびデコーディング機械学習ネットワークをトレーニングした結果に基づくエンコーディングおよび/またはデコーディング技術を利用して、エンコーダおよびデコーダをデプロイする例示的な方法を示すフローチャート。
【図９】ＲＦチャネルを介して学習された通信を実行するシステムの１つまたは複数のコンポーネントを実装するために使用されうるコンピューティングシステムの例を示す図。
【発明を実施するための形態】
【００１６】
本明細書では、障害のあるＲＦチャネルを介した機械学習および通信のデプロイメントを可能にするシステムおよび技術を開示する。いくつかの実装では、少なくとも１つの機械学習ネットワークは、情報を無線伝送チャネルを介して送信される信号としてエンコードし、受信信号をデコードして元の情報を復元するようにトレーニングされる。トレーニングは、低ビット誤り率、低電力、低帯域幅、低複雑性などのさまざまな基準を達成するように設計することができ、低信号対雑音（SNR）比または特定のタイプのチャネルフェージングまたは干渉、および/または他の基準などの特定の状況で良好に機能する。そのような機械学習ネットワークをトレーニングした結果を利用して、通信シナリオで現実世界のエンコーダとデコーダをデプロイし、ＲＦ通信メディアのさまざまなタイプを介した情報をエンコードおよびデコードできる。いくつかの実装では、フィードバック情報に基づいて、デプロイ中にエンコーダおよびデコーダのさらなる学習および適応を実装することができる。これらのエンコーダとデコーダは、変調、復調、マッピング、エラー訂正、または現在それらのシステムに存在する他のコンポーネントなど、１つ以上の信号処理機能を置き換えたり、改良したりできる。
【００１７】
開示された実装は、無線通信アプリケーション向けにデジタル無線システムがどのように設計およびデプロイされるかについての新しいアプローチを提示する。たとえば、開示された実装は、無線信号処理エンジニアリングの一般的に低速でインクリメンタルなプロセスの改善に役立ち、代わりに無線通信システムの設計、構成、および実現の新しい方法を可能にする。異なるタイプの通信メディアに適したエンコーディングおよびデコーディング技術を学習するようにトレーニングできる機械学習ネットワークを実装することにより、ここで開示する技術は、現在利用可能なシステムに対する改善された電力、弾力性（resiliency）、複雑さの利点などのさまざまな利点を提供する。いくつかのシナリオでは、これは、モデル化が困難な、または他のアプローチを使用するために最適化が困難な非常に複雑な影響のセットを持つ通信チャネルにとって特に重要である。
【００１８】
本明細書で開示される実装は、セルラ、衛星、光学、音響、物理、緊急ハンドヘルド、ブロードキャスト、ポイントツーポイント、Wi-Fi、Bluetooth、および伝送障害を受けるその他の形式の無線などの広範囲の無線通信システムに適用されうる。チャネル障害には、例えば、ガウス様ノイズなどの熱雑音、マルチパスフェージング、インパルスノイズ、スプリアスまたは連続ジャミング、干渉、歪み、ハードウェアの影響、およびその他の障害などのより複雑な障害が含まれうる。
【００１９】
エンコーダおよびデコーダは、１つまたは複数の目的（objective）の基準に基づいて適切な入出力エンコードおよびデコードマッピングを学習するようにトレーニングされた１つまたは複数の機械学習ネットワークから学習したエンコードおよびデコード技術を実装できる。たとえば、機械学習ネットワークは人工ニューラルネットワークでありうる。トレーニング中、機械学習ネットワークは、エンコードおよびデコードマッピングを学習するために、エンコーダおよび/またはデコーダのモデルアーキテクチャ、重み、およびパラメータの選択を通じて適応させることができる。エンコード及びデコード機械学習ネットワークは、一緒にトレーニングすることも、繰り返しトレーニングすることもできる。
【００２０】
例えば、エンコーダ機械学習ネットワークおよびデコーダ機械学習ネットワークは、エンコーダネットワークとデコーダネットワークが一緒に最適化されるオートエンコーダとして実装されてもよい。いくつかの実装では、オートエンコーダネットワーク内の正則化レイヤ（例えば、正則化レイヤ（regularization layers）、変換レイヤ（transform layers）、変分レイヤ（variational layers）／サンプラー、ノイズレイヤ、ミキシングプレイヤーなど）を含みうる確率レイヤや無線チャネルの動作を表す別の微分可能な関数のセットなど、１つ以上のチャネルモデル化レイヤとして、障害のあるチャネルの影響をモデリングすることによりオートエンコーダをトレーニングすることができる。チャネルをモデル化するレイヤは、チャネルのランダムな挙動にわたる正則化関数を形成する場合がある。
【００２１】
トレーニング中に、エンコーダ機械学習ネットワークおよびデコーダ機械学習ネットワークをトレーニングして、教師なしまたは部分的に教師付きの機械学習を実行し、障害のあるチャネルで情報を送受信するための手法を決定することができる。したがって、いくつかのシナリオでは、エラー訂正、変調、プリコーディング、およびシェーピングに関して事前に設計されたシステムに依存するのではなく、本明細書で開示される実装は、チャネルを介して送信される波形に情報をエンコードするための技術を適応的に学習し、同様に受信した波形を復元された情報にデコードする技術を学習しうる。エンコーダ機械学習ネットワークおよび/またはデコーダ機械学習ネットワークは、実際のまたはシミュレートされたチャネル条件でトレーニングされてもよい。このような機械学習ネットワークのトレーニング結果を利用するエンコーダおよび/またはデコーダは、デプロイ中にさらに更新される可能性があり、さまざまな種類の無線システム要求に適応する利点を提供し、場合によってはそのようなシステムのスループット、エラー率、複雑さ、および電力消費パフォーマンスを改善する。
【００２２】
そのため、ＲＦチャネルのタイプまたはＲＦチャネル障害に関係なく、本明細書で開示される実装は、障害のあるＲＦチャネルを介した信頼できる通信を可能にする情報の表現を学習するための広く適用可能な技術を提供できる。トレーニングシステムの構成、および使用するデータセットとチャネルモデルに応じて、このような機械学習通信技術は、狭いクラスの条件、信号またはチャネルタイプのパフォーマンスに専門化するか、または信号、チャネルタイプ又は１以上の信号またはチャネルの混合の広い範囲についてパフォーマンスを一般化し、最適化することができる。
【００２３】
図１は、１つまたは複数のＲＦチャネルを介して学習された通信を実行するためにエンコーダおよびデコーダを実装する無線周波数（ＲＦ）システム１００の例を示す。システム１００は、障害のあるＲＦチャネル１０６を介して通信する機械学習ネットワークによって学習される、エンコードおよびデコード技術を実装するエンコーダ１０２およびデコーダ１０４の両方を含む。
【００２４】
トレーニングのシナリオでは、エンコーダ１０２は、チャネル１０６を介した送信のための送信信号１１２として入力情報１０８を表す方法を学習する機械学習ネットワークを含む。同様に、トレーニング中、デコーダ１０４は、受信信号１１４を元の入力情報１０８に近似する復元情報１１０にデコードする方法を学習する機械学習ネットワークを含む。トレーニング中、エンコーダ１０２および／またはデコーダ１０４は、ネットワーク更新プロセス１１６によってトレーニングされてもよい。エンコーダ１０２およびデコーダ１０４は、復元エラーの大きさ、計算の複雑さの程度、帯域幅、遅延、電力、またはそれらのさまざまな組み合わせやその他の目的などの、様々なタイプの目的関数を達成するようにトレーニングされうる。トレーニングのさらなる詳細は、例えば図３を参照して以下に説明される。
【００２５】
デプロイメントのシナリオでは、エンコーダ１０２およびデコーダ１０４は、以前にトレーニングから学習されたエンコードおよびデコード技術を実装してもよく、またはデプロイ中に（さらに）トレーニングされてもよい。エンコーダ１０２およびデコーダ１０４は、トレーニング中に学習されたエンコードおよびデコード表現を使用して、通信を実行するために様々なアプリケーションシナリオでデプロイされてもよい。いくつかの実装形態では、エンコーダ１０２および/またはデコーダ１０４は、復元エラー、電力消費、遅延などのリアルタイム性能結果に基づいてデプロイ中にさらに更新されうる。デプロイメントのさらなる詳細は、例えば図７を参照して以下で説明される。これらの場合、損失関数のエラーフィードバックは、通信バスまたはエンコーダ１０２および/またはデコーダ１０４の更新に使用できる無線システム内のプロトコルメッセージを介する場合に、チャネル１０６の応答の特徴付けに役立つ情報とともに発生する場合がある。
【００２６】
入力情報１０８および復元情報１１０は、ビットストリーム、パケット、離散時間信号、または連続時間波形など、チャネルを介して通信される情報の任意の適切な形態でありうる。本明細書で開示される実装は、特定のタイプの入力情報１０８および復元された情報１１０に限定されず、ＲＦチャネル１０６を介して多種多様な情報を通信するための符号化および復号技術の学習に一般的に適用可能である。
【００２７】
いくつかの実装形態では、エンコーダ１０２およびデコーダ１０４は、ＲＦ通信ドメインのタイプに適した１つまたは複数の信号処理動作を使用する。例として、エンコーダ１０２および／またはデコーダは、フィルタリング、変調、アナログからデジタル（Ａ／ Ｄ）またはデジタルからアナログ（Ｄ ／ Ａ）への変換、等化、または特定のタイプのＲＦ信号または通信ドメインについて適切でありうる他の信号処理方法を実装しうる。いくつかの実施形態では、エンコーダ１０２および／またはデコーダ１０４は、１つまたは複数の送信アンテナおよび受信アンテナ、ならびにＲＦチャネル１０６を介して信号１１２を送信し、信号１１４を受信するのに適した他のハードウェアまたはソフトウェアを実装しうる。
【００２８】
したがって、そのようなシナリオでは、図１の例に示されるように、送信信号１１２および受信信号１１４は、１つ以上のアンテナを介してＲＦチャネル１０６を介して送信および受信される実際のＲＦ波形を表してもよい。したがって、エンコーダ１０２およびデコーダ１０４は、情報１０８／１１０とＲＦ波形１１２／１１４との間の一般化されたマッピングを表す。
【００２９】
対照的に、いくつかの実装形態では、システム１００は、エンコーダ１０２およびデコーダ１０４とは別に信号処理およびＲＦ送信／受信プロセスを実装してもよい。そのような実装では、フィルタリング、変調、A / DまたはD / A変換、１つまたは複数のアンテナなどの１つまたは複数の信号送信および/または信号受信コンポーネントは、チャネル１０６の一部として表されてもよい。したがって、チャネル１０６の障害には、フィルタリング障害、加法性ノイズ、または送信器および／または受信器コンポーネントの他の障害などの送信器／受信器の影響（effects）が含まれる場合がある。したがって、そのようなシナリオでは、送信信号１１２および受信信号１１４は、情報１０８／１１０の中間表現を表し、チャネル１０６は、ＲＦ媒体を介して送信され受信される実際のＲＦ波形との間の情報のそれらの中間表現の一般的な変形（transformation）を表す。例えば、送信信号１１２および受信信号１１４は、ＲＦ波形、ＲＦ波形の時間ドメインサンプル、ＲＦ波形値にわたる分布、またはＲＦ波形との間で変形されうる他の中間表現についての基底係数（basis coefficients）を表してもよい。
【００３０】
トレーニングのシナリオでは、復元された情報１１０は元の情報１０８と比較され、エンコーダ１０２および/またはデコーダ１０４は復元の結果に基づいてトレーニング（更新）される。いくつかの実装形態では、エンコーダ１０２および/またはデコーダ１０４の更新は、機械学習ネットワークの計算の複雑さ（これは、例えば、パラメータの数、乗算／加算の数、実行時間、コルモゴロフの複雑さ、またはその他により測ることができる。）、チャネル１０６を介した通信に使用される送信帯域幅または電力、またはそれらのさまざまな組み合わせおよび他のメトリックなどの他の要因に基づいてもよい。
【００３１】
いくつかの実装形態では、エンコーダ１０２およびデコーダ１０４は、パラメトリック乗算、加算、および非線形性の１つまたは複数の接続されたレイヤからなる人工ニューラルネットワークを含みうる。そのようなシナリオでは、エンコーダ１０２および/またはデコーダ１０４の更新は、入力の出力へのマッピングを修正するような、ニューラルネットワークレイヤの重みの更新、ニューラルネットワークレイヤの接続性の更新、またはニューラルネットワークアーキテクチャの他の修正を含みうる。
【００３２】
エンコーダ１０２およびデコーダ１０４は、任意の適切な機械学習技術を使用してエンコードおよびデコードするように構成されうる。一般に、エンコーダ１０２は、入力情報１０８から、送信信号１１２としての低次元または高次元の表現へのマッピングを学習するように構成されてもよい。同様に、デコーダ１０４は、低次元または高次元の受信信号１１４から復元情報１１０への逆マッピングを学習するように構成されてもよい。
【００３３】
一例として、エンコーダ１０２およびデコーダ１０４で実施されるマッピングは、ＲＦ信号の基底関数（basis functions）のセットを学習することを伴いうる。そのようなシナリオでは、基底関数の特定のセットについて、エンコーダ１０２は入力情報１０８をそれらの基底関数に対応する基底係数のセットに変換することができ、基底係数は送信ＲＦ波形（例えば、基底係数で重み付けされた基底関数の重み付けされた組み合わせを取ることにより）を生成するのに使用される。同様に、デコーダ１０４は、受信したＲＦ波形から基底係数のセットを生成することにより（例えば、基底関数のセットに受信したＲＦ波形の投影をとることにより）復元情報１１０を生成しうる。基底関数自体は、エネルギー、振幅、帯域幅、またはその他の条件に対する適切な制約を受ける、基底関数の任意の適切な直交または非直交セットでありうる。
【００３４】
デプロイメントの間、いくつかの実装形態では、エンコーダ１０２および/またはデコーダ１０４は、トレーニング機械学習ネットワークの結果に基づいて単純化されたエンコードおよびデコード技術を利用することができる。例えば、エンコーダ１０２および／またはデコーダ１０４は、学習したエンコード/デコードマッピングに基づく近似またはコンパクトなルックアップテーブルを利用してもよい。そのようなデプロイメントシナリオでは、エンコーダ１０２および/またはデコーダ１０４は、完全な機械学習ネットワークではなく、より単純化された構造を実装してもよい。たとえば、蒸留（distillation）などの技術は、同じ信号処理機能を実行する、より小さな機械学習ネットワークをトレーニングするのに使われてもよい。そのようなデプロイメントシナリオのさらなる議論は図７に関し、以下提供される。
【００３５】
いくつかの実装形態では、エンコーダ１０２および/またはデコーダ１０４は、エキスパートシンクロナイザ、イコライザなど、ＲＦチャネルを介した通信を容易にするように設計された１つまたは複数の固定コンポーネントまたはアルゴリズムを含みうる。したがって、トレーニング中に、エンコーダ１０２および／またはデコーダ１０４は、そのような固定コンポーネントまたはアルゴリズムに適したエンコード／デコード技術を学習するようにトレーニングされうる。
【００３６】
システム１００によって送信および受信されるＲＦ信号は、音響信号、光信号、または他のアナログ波形などの任意の適切な無線周波数信号を含みうる。システム１００によって処理されるＲＦ信号のスペクトルは、１ｋＨｚから３００ＧＨｚの範囲でありうる。たとえば、このようなＲＦ信号には、１ｋＨｚから３０ｋＨｚの超低周波（VLF）ＲＦ信号、３０ｋＨｚから３００ｋＨｚの低周波（LF）ＲＦ信号、３００ＫＨｚ〜１ＭＨｚの中周波（MF）ＲＦ信号、１ＭＨｚ〜３０ＭＨｚの高周波（HF）ＲＦ信号、および最大３００ＧＨｚのより高い周波数ＲＦ信号が含まれる。
【００３７】
図２は、ＲＦチャネル上で学習された通信を実行するためにＲＦシステムに実装されうる機械学習エンコーダネットワークおよびデコーダネットワークのネットワーク構造２００の例を示す。
【００３８】
ネットワーク構造２００は、エンコーダネットワーク２０２およびデコーダネットワーク２０４を形成する１つ以上のレイヤを使用する。各レイヤの出力は、ネットワーク内の次のレイヤへの入力として使用される。ネットワークの各レイヤは、パラメータのそれぞれのセットの現在の値に従って、受信した入力から出力を生成する。例えば、いくつかの実装形態では、エンコーダネットワーク２０２および/またはデコーダネットワーク２０４は、集合的または反復的にトレーニングされうる複数のネットワークを含みうる。したがって、図２のネットワーク入力２０８は元の情報（例えば、上記図１の入力情報１０８）であってもよいし、またはエンコーダネットワーク２０４内の以前の１つ以上のレイヤの出力であってもよい。同様に、ネットワーク出力２１０は、復元された情報（例えば、上記の図1の復元された情報１１０）を表すか、またはデコーダネットワーク２０４内の後続の１つ以上のレイヤへの入力でありうる。場合によっては、ネットワークは本質的にシーケンシャルではなく、複数の可能なアーキテクチャをバイパスまたはルーティング（route through）するさまざまなレイヤまたはニューロン間の接続を活用する。
【００３９】
トレーニング中、エンコーダネットワーク２０２および／またはデコーダネットワーク２０４は、様々なタイプのＲＦチャネルを介して通信するためのエンコードおよび／またはデコード技術を学習するようにトレーニングされうる。デプロイ中、エンコーダネットワーク２０２および／またはデコーダネットワーク２０４（トレーニング済み）は、エンコーダおよび／またはデコーダに実装されてもよい。あるいは、デプロイメントのいくつかのシナリオでは、デプロイされたエンコーダおよびデコーダは、エンコーダネットワーク２０２および/またはデコーダネットワーク２０４のトレーニングの結果に基づいて単純化されたエンコードおよびデコードマッピングを利用してもよい。後者のシナリオでは、エンコーダネットワーク２０２および/またはデコーダネットワーク２０４はトレーニング中にのみ使用され、現実世界のシステムでデプロイされる、より単純化されたエンコーダおよびデコーダで使用できる学習されたエンコードおよび/またはデコード技術を提供する。そのような単純化されたデプロイメントシナリオのさらなる議論は、図７に関して以下に提供される。
【００４０】
図２の例では、エンコーダネットワーク２０２およびデコーダネットワーク２０４は、オートエンコーダとして構成されるニューラルネットワーク構造２００を使用して実装される。オートエンコーダ構造のシナリオでは、エンコーダとデコーダは，チャネル２０６を介した通信についての情報の最適な表現を学習するために一緒にトレーニングされる。しかし、一般に、ネットワーク構造２００は、エンコーダネットワーク２０２およびデコーダネットワーク２０４内の別個のネットワークとして構成されてもよく、それらは一緒にまたは反復的にトレーニングされてもよい。トレーニング中、エンコーダネットワーク２０２および/またはデコーダネットワーク２０４は、ネットワーク更新プロセス２１６によって更新されうる。
【００４１】
一般に、エンコーダネットワーク２０２および/またはデコーダネットワーク２０４は、入力および中間値の乗算、除算、加算またはその他の演算、の１つ以上のコレクションを含むことができ、オプションで非線形性（正規化線形ユニット（rectified linear units）、シグモイド関数、またはその他など）またはその他の操作（たとえば正規化）が続き、これはフィードフォワード方式またはフィードバックおよびインレイヤ接続（in-layer connections）（たとえば、トレーニング情報のシーケンスがいくつかのインスタンスで使用可能なリカレントニューラルネットワーク（recurrent neural network（RNN）））を持つ方式でアレンジされうる。たとえば、リカレントニューラルネットワークは、１つ以上の長期短期メモリ（LSTM）メモリブロックを含むLSTMニューラルネットワーク、または畳み込みネットワークの要素とリカレントネットワークを組み合わせた準リカレントニューラルネットワーク（QRNN）でありえる。
【００４２】
ネットワーク内のパラメータと重み値は、完全に接続されたニューラルネットワーク（DNN）のように単一の乗算に使用されるか、畳み込みニューラルネットワーク、拡張畳み込みニューラルネットワーク（dilated convolutional neural network）、残差ネットワークユニット（residual network unit）などのネットワーク内の複数の場所に「結び付け」または複製されて、１つ以上の受容野を形成する。これらのレイヤの１つ以上のコレクションは、図２の例に示されるように、エンコーダ２０２とデコーダ２０４の両方を構成してもよい。ネットワークの特定の構造は、設計時に明示的に指定することも、複数の可能なアーキテクチャの候補から選択して、最高のパフォーマンスの候補を確認することもできる。
【００４３】
いくつかの実装では、エンコーダネットワーク２０２は線形回帰レイヤ（linear regression layer）を含む出力レイヤを含んでもよい。デコーダネットワーク２０４は、（ｉ）受信されたＲＦ信号２１４をデコードする場合に復元情報２１０の回帰のための線形レイヤを含む出力レイヤ、又は（ｉｉ）受信されたＲＦ信号２１４の確率回帰又はスライスのためのシグモイド又はハードシグモイドアクチベーションレイヤ、又は（ｉｉｉ）離散メッセージ又はビットの組の疑似尤度等の確率的表現を計算することができるソフトマックス又は階層ソフトマックスなどのシグモイド表現の組み合わせのアクチベーション、の内の少なくとも１つを含んでもよい。
【００４４】
いくつかの実装では、エンコーダネットワーク２０２及び／又はデコーダネットワーク２０４は、同期や等化などの固定された通信アルゴリズムを実装する１以上のレイヤを含みうる。したがって、いくつかのシナリオでは、エンコーダネットワーク２０２及び／又はデコーダネットワーク２０４はネットワークにおけるこのような固定されたレイヤに基づいて適切なエンコード及び／又はデコード技術を学習するためにトレーニングされかつデプロイされてもよい。したがって、一般に、ここで開示されるネットワーク構造２００は、例えばこれらの固定アルゴリズムを最適化するための機械学習技術と連携して現実世界のシステムにデプロイされうる１以上の既存の通信アルゴリズムを組み込むことにより、エンコーダネットワーク２０２及びデコーダネットワーク２０４の柔軟な設計とトレーニングを可能にする。
【００４５】
図２の例は実装されうるネットワーク構造の１つの可能な実装のみを示す。一般に、実装はこれらの特定のレイヤのタイプには限定されない。正規化線形ユニット（ReLU）、シグモイド、ハイパボリックタンジェント（tanh）及びその他を含むデンス（dense）、全結合（fully conected）、及び／又はＤＮＮレイヤなど、レイヤ及び非線形の別の構成が使用されてもよい。ネットワーク構造２００はこれらのレイヤを使用して受信入力２０８に対する出力２１０を予測する。いくつかの実装では、線形回帰レイヤはエンコーダ２０２の出力に、線形レイヤはデコーダ２０４の出力（ソフトデコーディングのため）に又はハードシグモイドアクチベーションはデコーダ２０４の出力（ハードデコーディングのため）に実装されうる。
【００４６】
エンコーダ２０２によって生成される送信信号２１２は、入力情報２０８を、チャネル２０６を介する送信のためのＲＦ波形にマッピングするためのアナログ形式の実際のＲＦ波形でもよく、時間、周波数又は他の信号表現に基づく無線サンプルの系列でもよく、中間的な表現（例えば、ＲＦサンプル、基底係数、ＲＦ波形値にわたる分布など）でもよい。類似して、受信信号２１４は、受信されたＲＦ波形を復元情報２１０へマッピングするための、アナログ形式の実際に受信されたＲＦ波形でもよく、又は中間的な表現（例えば、ＲＦサンプル、基底係数、ＲＦ波形値にわたる分布など）でもよい。例えば、エンコーダ２０２とデコーダ２０４とが変分オートエンコーダとして実装されるシナリオでは、送信されたＲＦ信号２１２と受信されたＲＦ信号２１４とはＲＦ波形値にわたる分布を表してもよい。
【００４７】
ネットワーク構造２００は１以上のチャネルモデル化レイヤ２０７を含んでもよく、それは確率レイヤ（例えば、正則化レイヤ（regularization layer））であってもよい。ときには、チャネルモデル化レイヤ２０７は畳み込みネットワークレイヤ重みの重み正則化、デンス（dense）ネットワークレイヤアクチベーションのアクティビティ正則化、又はドロップアウトなどのアクチベーション又は重みのその他の確率的障害、の少なくとも一つを有してもよい。ときには、あるいはそれに加えて、チャネルシステムに存在する非線形の追加的な近似を実行するか、重み又はアクチベーションによって特定され又はパラメータ化される不規則分布からサンプリングするなどの変分レイヤを利用しうる。
【００４８】
いくつかの実装では、チャネルモデル化レイヤ２０７はチャネル２０６における障害の影響をモデリングすることができ、これはＲＦ媒体及び／又は送受信コンポーネントにおける障害の様々なタイプを含むことができる。このようなチャネルモデル化レイヤ２０７はネットワーク構造２００のトレーニングの間に実装され得、その場合にチャネルモデル化レイヤ２０７は、チャネル２０６の障害の影響を表すための全オートエンコーダ構造における１以上のレイヤとして実装されうる。現実のＲＦチャネルにわたる評価又はデプロイメントの間、チャネル２０６は現実世界の通信チャネル（可能な送信器及び／又は受信器の影響を含む）であり、対応するチャネルモデル化レイヤ２０７はデプロイメントから削除され、エンコーダ２０２及びデコーダ２０４のネットワークレイヤのみが現実のチャネルにデプロイされる。
【００４９】
しかし、一般に、チャネルモデル化レイヤ２０７は、過剰適合を防ぐため、又は畳み込みレイヤ重みでのペナルティのようなドロップアウトを実装するため、最小エネルギーベースを促進するため、またはデンスレイヤアクチベーションにペナルティを実装してソリューションのスパース性（sparsity）を促進するため、システムの一般化を改善して見えない条件やチャネル状態又は動きを改善するためなどの様々な理由のためにネットワーク構造２００の異なる部分に様々に実装されうる。
【００５０】
トレーニング中にチャネルモデル化レイヤ２０７を使ってチャネル２０６をモデル化するシナリオでは、ネットワーク構造２００は、ＲＦチャネル障害の影響をモデル化するために、ドメイン特有の正則化を実装しうる。例えば、チャネルモデル化レイヤ２０７は無線ＲＦシステムで無線送信中に発生する、加法性ガウス熱雑音、未知の到着時間及びレート、キャリア周波数と位相オフセット、フェーディング、ハードウェア歪、干渉及び／又は受信信号における遅延スプレッドなどの障害の異なるタイプをモデル化しうる。
【００５１】
ガウス雑音やドロップアウトなどのチャネルモデル化レイヤ２０７はトレーニング中に使用され、実際のチャネルにわたる評価やデプロイメントの間は削除されてよい。無線通信では、加法性ホワイトガウス雑音（AWGN）などの加法性雑音は、信号基底関数（例えば同相（I)及び直角（Q)成分）であってもよい、チャネルを通過する、異なる信号成分に現実の値のガウス確率変数を加えることによってモデル化されうる。いくつかの実装では、正規化レイヤはAWGNが影響する前に実装され、例えば１に等しい正規化された値に、平均電力入来アクチベーションを正規化する。この制約の形式はエンコーダ２０２に適用されて、最大電力、最小電力、平均電力、平均振幅、ピーク対平均値電力比、又はハードな制約として使用されうる送信波形の広範囲な特性など，広範囲な可能な波形設計基準の実施をすることができる。または、同様なそのような波形設計の目標は、以下図３に関してさらに論じられるように、トレーニング中にネットワークの損失関数に組み合わされるソフト制約として含まれうる。
【００５２】
チャネルモデル化レイヤ２０７は、例えばランダム又は先験的に未知のシフト及び時間ドメインにおけるスケーリングを適用することによって、未知の到着時間及びレートをモデル化するために実装されてもよく、無線伝搬時間が変化し、分散無線システムのクロックが同期されないシナリオをモデル化できる。これらの影響は、例えば、ガウス分布を持つランダムな時間シフトとランダムな時間膨張率（time-dilation rate）によってモデル化できる。
【００５３】
チャネルモデル化レイヤ２０７のその他の例として、信号基底関数でありうる搬送周波数及び位相オフセットは信号成分の回転としてモデル化されうる。いくつかの実装では、サンプリングは複雑なベースバンド表現を使用して実行されうる。この場合、送信器と受信器の非同期の発振器のために中心周波数の未知のオフセット及び到来の絶対位相は、ドップラーシフトと同様に、異なる信号成分の静的又は線形な極混合を生じうる。実際のシステムをシミュレートし、一般化を改善するために、そのようなチャネルモデル化レイヤ２０７は、独立したドリフト発振器のための予想される中心周波数オフセット誤差に基づいて、位相と周波数オフセット、又は、直線位相ランプ（linear phase ramp）をランダムに選択してもよい。
【００５４】
チャネルモデル化レイヤ２０７のさらに別の例として、受信された信号における遅延スプレッドがモデル化され、受信器に到着する信号の多数の遅延及び位相シフトされたコピーの到着をシミュレートすることができる。これは線形システムとしてシミュレートされ、単一のサンプル時間窓にわたる安定性を前提とするので、我々はランダムな非インパルス的チャネル遅延スプレッドフィルタを選択し、これを、ランダムなチャネル応答に従って時間的に線形に拡散された出力を取得するために、入力信号と畳み込むことができる。この前提は、例えば、単一の窓がチャネルコヒーレンスタイムより小さいシナリオでは適切である。単一の窓がチャネルのコヒーレンスタイムよりも大きいシナリオでは、チャネルの進行はある相関度を持つシーケンスとしてモデル化され、ネットワーク２００は遅延スプレッドモードのシーケンスを修正する技術を学習しうる。
【００５５】
このような遅延スプレッドとコヒーレンスタイムは、非常に短いインパルス的なチャネル応答を持ちうる有線及び宇宙の無線システム、あるいは長い遅延スプレッドを持ちうる高周波及びデンス（dense）マルチパス無線システムを含む、通信システムの異なるタイプにおいて変化しうる。いくつかの実装では、遅延スプレッドは、送信されるＲＦ信号についての１以上の畳み込み又はフィルタリング操作を実装するチャネルモデル化レイヤ２０７としてモデル化される。
【００５６】
いくつかの実装では、ネットワーク構造２００は１以上の固定送信及び／又は受信技術と共に利用でき、それらの固定送信／受信コンポーネントに適合したエンコード及びデコード動作の学習のために、エンコードネットワーク２０２及び／又はデコードネットワーク２０４のレイヤを適合させうる。例えば、いくつかのシナリオではネットワーク構造２００は固定フィルタリング、サンプリング、変調、等化、サブキャリア割り当て、参照信号挿入、エンコード、又は他の送信／受信技術を用いるものであってもよく、それらの固定コンポーネントを最大限に利用するために全部の通信システムに適合させる適切なネットワークレイヤパラメータ又はネットワーク構造を学習しうる。
【００５７】
ネットワーク構造２００の基本的な設計目標は、他の目標又は制約を条件として、復元される情報２１０の所望の復元性能を取得することでありうる。例えば、システムのある種の実現は、電力及び／又は帯域幅の減少、チャネルを介して送信されるＲＦ信号の他の改善された特性、又は計算量の改善を促進する。したがって、システムはこれらの目標の間のトレードオフを評価でき、エンコード、デコード、又は他の信号推論タスクに使用される特定のアーキテクチャを決定するのを助けるために使用できる。
【００５８】
図３は、ＲＦチャネルを介して通信する機械学習エンコーダ及びデコーダネットワークを実施するＲＦシステム３００のトレーニングの例を示す。システム３００は、チャネル３０６を介して通信するためにトレーニングされるエンコーダネットワーク３０２とデコーダネットワーク３０４とを含む。図３に示されるトレーニングは，デプロメントに先立って実行され、いくつかのシナリオでは、例えば、現実世界のパフォーマンスに基づいてエンコーダネットワーク３０２とデコーダネットワーク３０４とをさらに更新し洗練するために、デプロイメントの一部として組み込まれうる。
【００５９】
いくつかの実装では、エンコーダネットワーク３０２とデコーダネットワーク３０４とは適切なエンコード、デコードマッピングを学習するトレーニングに利用されうる、そして、そのようなマッピングは、より単純化されたエンコード及びデコードを使用するデプロイされたシステムで実行されうる。例えば、デプロイされたシステムはエンコーダでルックアップテーブル及びデコーダで距離ベースメトリックの使用、又は、エンコーダネットワーク及びデコーダネットワークをトレーニングした結果に基づいて設計されたエンコードとデコードの他の単純化された形式の使用を利用できる。さらなるこのような単純化されたデプロイのシナリオは、以下に図７に関して与えられる。
【００６０】
トレーニングの間に実装されるチャネル３０６は、シミュレーションを介して及び／又は現実世界のＲＦチャネルデータに基づいて取得されたＲＦチャネルのモデルでありうる。例えば、いくつかの実装では、トレーニングはシミュレートされたチャネルモデルから開始されてもよく、現実世界の伝搬環境又は放射されたデータを反映するシミュレートされた伝搬モデルに基づいてエンコーダネットワーク３０２及びデコーダネットワーク３０４をトレーニングできる。エンコーダネットワーク３０２とデコーダネットワーク３０４とは、ハードウェアがトレーニングフィードバックループと共に使用される現実のチャネルに対してさらにトレーニングされてもよい。
【００６１】
いくつかの実装では、チャネル３０６のモデルは、フィルタリング、変調などの送信器及び受信器コンポーネントの影響を含みうる。例えば、シミュレートされたチャネルがトレーニングに使用されるシナリオでは、ハードウェア／ソフトウェアの特定のセット及び無線デプロイメント条件に適合する分析的なチャネル障害モデルが利用されうる。したがって、図３のトレーニングは、異なるチャネル条件下で、および異なる現実世界の送信器及び受信器シナリオのために動作するように、エンコーダネットワーク３０２及びデコーダネットワーク３０４をトレーニングする。
【００６２】
トレーニングの間に、エンコーダネットワーク３０２とデコーダネットワーク３０４とは一緒にトレーニングされるか反復的にトレーニングされうる。例えば、エンコーダネットワーク３０２とデコーダネットワーク３０４とは（上記図２に関して説明したように）オートエンコーダとして一緒にトレーニングされてもよい。いくつかの実装では、エンコーダネットワーク３０２とデコーダネットワーク３０４とは別々にトレーニングされてもよい。そのようなシナリオでは、ネットワークの１つは以前のトレーニング又は送信／受信スキームのいずれかにより固定されてもよく、他のネットワークは固定された対応するネットワークについて適切なエンコード／デコード戦略を学習するようにトレーニングされる。
【００６３】
例えば、エンコーダネットワーク３０２は、入力情報３０８の送信されるＲＦ信号３１２への特定のマッピングを生成するように固定されてもよく、デコーダネットワーク３０４は、固定エンコーダ３０２に最も適した、受信ＲＦ信号３１４から復元された情報３１０へのマッピングを学習するようトレーニングされてもよい。いくつかの実装では、入力情報３０８はトレーニング目的で利用されるトレーニングデータによって表されてもよい。トレーニングデータは入力情報３０８とは異なる形式を持ってもよく、それにもかかわらずトレーニング目的で入力情報３０８を表しうる。そのようなシナリオでは、エンコーダネットワーク３０２は第１情報を表すトレーニングデータを処理してもよい。デコーダ３０４はトレーニングデータによって表される第１情報３０８の復元として復元された情報３１０を生成してもよい。
【００６４】
システム３００は元の入力情報３０８と復元された情報３１０の間の損失関数３１８を計算できる。損失関数３１８は、クロスエントロピー、平均二乗誤差、又は他の幾何学的距離メトリック（例えば、ＭＡＥ）等の入力情報３０８と復元された情報３１０の間の距離のいずれかの適切な大きさでありうる。いくつかの実装では、損失関数３１８は、いくつかの幾何学的な、エントロピーベースの、及び／又は他のクラスを、距離又は損失の集合体式へ組み合わせる。
【００６５】
いくつかの実装では、追加の損失条件が、例えば２次的な目的（例えば、2次受信器に課された干渉を減らす、又はピーク対平均電力比（PAPR）などの有利な信号特性を改善する）を達成するために、そのようなプライマリな損失条件と組み合わせて損失関数３１８において使われうる。
【００６６】
損失関数３１８を含む目的を達成することに加えて、システム３００は、電力、帯域幅、複雑さ、又は通信に関連するその他のパフォーマンスメトリックなどの他のパフォーマンスの大きさに関連する目的を達成するように構成されてもよい。いくつかの実装では、システム３００は異なるパフォーマンスメトリックの間の所望のトレードオフを達成するように構成されていてもよい。例えば、そのようなトレードオフを達成することは、例えばメトリックの重み付けされた組み合わせとして、異なるメトリックを組み合わせる目的関数を使用して実装されてもよい。加えてあるいは代わりに、このトレードオフは、ユーザプリファレンス又はアプリケーションの仕様に従ってモデルを選択することにより達成されうる。加えてあるいは代わりに、システム３００は、電力、帯域幅、復元エラーなどの制約など、パフォーマンスメトリックの１つ以上の厳しい制約を実行することができる。
【００６７】
いくつかの実装では、ネットワーク更新プロセス３１６は、さまざまなパフォーマンスメトリックに基づいてエンコーダネットワーク３０２及び／又はデコーダネットワーク３０４を更新できる。この更新は、エンコーダネットワーク３０２及び／又はデコーダネットワーク３０４における、ネットワークアーキテクチャ、パラメータ又はネットワークの重みの更新を含みうる。例えば、更新は、ネットワークの１つ以上のレイヤにおける重み又はパラメータの更新、エンコードネットワーク３０２及びデコードネットワーク３０４についての機械学習モデルの選択、又はレイヤの選択、レイヤのハイパーパラメータ又は他のネットワークの特徴などの特定のネットワークアーキテクチャの選択を含みうる。説明したように、更新は一緒又は反復の方法で、または個別に（ネットワークの１つが固定される場合のように）エンコーダネットワーク３０２及びデコーダネットワーク３０４上で実装されうる。
【００６８】
上述のように、ネットワーク更新プロセス３１６により実行される更新は、デプロイメントに先立って適切なエンコード及びデコード技術を学習するためにトレーニングの間に実行されうる、及び／又は、現実の世界のデプロイの実行の結果に基づいてエンコーダネットワーク３０２及び／又はデコーダネットワーク３０４をさらに更新するためにデプロイメントの間に（デプロイされたエンコーダ及び／又はデコーダが機械学習ネットワークを実装する場合）に実行されてもよい。
【００６９】
いくつかの実装では、ネットワーク更新プロセス３１６はエンコーダネットワーク３０２及び／又はデコーダネットワーク３０４を、損失関数３１８及び上述された他のパフォーマンスメトリックを含みうる、所望の目的関数を実現するために更新できる。いくつかの実装では、ネットワーク更新プロセス３１６はエボリューション、最急降下法、確率的勾配降下法、又は他の解決手法の１つのような最適化手法を利用しうる。
【００７０】
勾配ベースの更新の例として、ネットワーク更新プロセス３１６は、例えば目的関数の勾配を計算又は近似することにより、エンコーダネットワーク３０２及び／又はデコーダネットワーク３０４における変化に対する目的関数の変化率を計算してもよい。そのような変化は、例えば、図３の例に示されるように、１つ以上のネットワークレイヤの重みの変動又は他のネットワークアーキテクチャの選択を含みうる。チャネル３０６が現実のＲＦチャネルデータに基づくものであり、閉形式の勾配解を持たないシナリオでは、目的関数の勾配を推定するために近似法が使用できる。
【００７１】
計算された目的関数の変化率に基づいて、ネットワーク更新プロセス３１６はエンコーダネットワーク３０２について第１変化量及び／又はデコーダネットワーク３０４について第２変化量を判定しうる。これらの変化量は、例えば、Adam、AdaGrad、Nesterov  SGD又はその他などの確率的勾配降下法（SGD）スタイルのオプティマイザーを使用して算出されうる。いくつかの実装では、これらの変化量は、進化的アルゴリズム又は粒子群最適化など、直接検索のための他のスケーラブルな方法を使用して算出されうる。
【００７２】
いったん変化量が判定されると、ネットワーク更新プロセス３１６は、エンコーダネットワーク３０２及び／又はデコーダネットワーク３０４にこれらの変化量を適用する。例えば、ネットワーク更新プロセス３１６はエンコーダネットワーク３０２の１つ以上のレイヤにおける少なくとも１つのエンコーダネットワーク重み、及び／又はデコーダネットワーク３０４の１つ以上のレイヤにおける少なくとも１つのデコーダネットワーク重みを更新しうる。
【００７３】
概して、エンコーダネットワーク３０２及びデコーダネットワーク３０４を更新することは、ネットワーク重みを更新することに限定されず、更新の他のタイプが実施されうる。例えば、エンコーダネットワーク３０２及びデコーダネットワーク３０４を更新することは、複数のエンコードモデルの中から、エンコーダネットワーク３０２に対して機械学習モデルを選択することを含みうる、そして複数のデコードモデルの中から、デコーダネットワーク３０４に対して機械学習モデルを選択することを含みうる。このような実装では、機械学習モデルの選択は、レイヤの選択、レイヤのハイパーパラメータ又は他のネットワークの特徴などの特定のネットワークアーキテクチャの選択とを含みうる。
【００７４】
エンコーダネットワーク３０２及び／又はデコーダネットワーク３０４は、チャネルモデルの同じタイプ又は異なるタイプでありうる、チャネル３０６のさまざまなトレーニングモデルにわたりトレーニングされうる。チャネル３０６についてのモデルのセットの構成に応じて、エンコーダネットワーク３０２及びデコーダネットワーク３０４はＲＦチャネルの所定のタイプ又はＲＦチャネルの異なるタイプの広い範囲にわたり通信を最適化されうる。
【００７５】
いくつかの実装では、チャネル３０６のモデルは多くの異なるモードに分類できる。トレーニング中、エンコーダネットワーク３０２及び／又はデコーダネットワーク３０４はチャネル３０６の異なるモードでトレーニングされてもよい。これらのモードのそれぞれについて、エンコーダネットワーク３０２及び／又はデコーダネットワーク３０４は、異なるモードに対する適切なエンコード及び／又はデコード技術を学習しうる。チャネル３０６の異なるモードは、ノイズのレベル、SNR、遅延スプレッド、チャネル変化レート、帯域幅などのチャネル条件のいかなる適切な分類を表現してもよい。
【００７６】
いくつかの実装では、チャネル３０６がシミュレートされるチャネルであることに代えて、現実のチャネルがエンコーダネットワーク３０２及び／又はデコーダネットワーク３０４をトレーニングするために使用できる。そのような実装では、追加の送信及び受信コンポーネント（ハードウェアまたはソフトウェア）が現実のチャネルを介してアナログＲＦ波形を送信及び受信するために実装されてもよい。そのような送信及び受信コンポーネントはエンコーダネットワーク３０２及びデコーダネットワーク３０４のいずれかに実装されてもよく、またはそれらの影響は、チャネル３０６のモデルにおいて説明されるチャネルの影響に含まれてもよい。したがって、図３のトレーニングは、シミュレートされたものであろうと現実のものであろうと、適切なエンコードとデコード技術を学習するためにエンコーダネットワーク３０２及びデコーダネットワーク３０４をトレーニングするため、任意の適切なチャネル３０６上で実行されうる。
【００７７】
トレーニングの間、エンコーダネットワーク３０２は、入力情報３０８から送信されるＲＦ信号３１２へのマッピングを学習するように構成されうる。同様に、デコーダネットワーク３０４は、受信されたＲＦ信号３１４から復元される情報３１０への逆マッピングを学習するように構成されうる。上述のように、送信ＲＦ信号３１２及び受信ＲＦ信号３１４は、ＲＦチャネルを介して送信及び受信されたアナログＲＦ波形を表しうる、あるいはフィルタ、変調器、等化器などの１つ以上の他のコンポーネントによる処理を介してアナログＲＦ波形との間で変形される中間表現（例えば、ＲＦ波形のサンプル、基底関数の係数、ＲＦ波形にわたる分布など）を表しうる。例えば、エンコーダネットワーク３０２及びデコーダネットワーク３０４が変分オートエンコーダ（上記の図２に関して論じられた）として実装されるシナリオでは、ＲＦ信号２１２及び２１４はＲＦ波形値にわたる分布を表してもよい。一般に、送信ＲＦ信号３１２及び受信ＲＦ信号３１４は、特定のチャネル又はチャネルのクラスを介して情報をエンコード及びデコードするためにエンコードネットワーク３０２及びデコードネットワーク３０４により学習される適切なＲＦ信号表現を表しうる。
【００７８】
いくつかの実装では、エンコード及びデコードマッピングは基底関数のセットを含みうる。基底関数は、入力情報３０８を、基底係数のセット、又は基底関数の重み付けされた組み合わせであるＲＦ波形、又は基底関数の特定のセットを使った他の適切な表現でありうる送信ＲＦ信号へ変形するためにエンコーダネットワーク３０２により使用できる。同様に、デコーダネットワーク３０４は、例えば、基底係数を生成するためにＲＦ信号３１４を基底関数のセットに対し投影をすることにより、又はＲＦ信号３１４が基底係数のセット自身であるシナリオでは、ＲＦ信号３１４の基底係数を復元される情報３１０へ変形することにより、受信ＲＦ信号３１４を処理するための基底関数の同じセットを使用して復元される情報３１０を生成できる。
【００７９】
基底関数は基底関数の直交又は非直交の任意の適切なセットでありうる。例えば、基底関数は、同位相及び直角位相（Ｉ／Ｑ）信号、フーリエベースの関数、多項式ベースの関数、ガウスベースの関数、指数関数ベースの関数、ウェーブレットベースの関数、又はこれらの組み合わせ及び／又はチャネルを介して送信されるＲＦ波形を表すのに利用されうる基底関数の他の適切なセットでありうる。基底関数は異なる位相、振幅及び／又は周波数成分を有しうる。いくつかの実装では、基底関数はパラメータ化されてもよく、トレーニングは基底関数のパラメータにわたり最適化することを含みうる。
【００８０】
エンコーダネットワーク３０２及びデコーダネットワーク３０４をトレーニングすることは、初期条件の適切なセットから開始されうる。例えば、トレーニングは特定の条件下の基底関数のランダムなセットから開始されてもよい。あるいは、トレーニングは、直交位相シフトキーイング（ＱＰＳＫ）又はガウス２値周波数シフトキーイング（ＧＦＳＫ）、直交周波数分割多重アクセス（ＯＦＤＭ）、又は基底関数の他の定められたセットを含む、一般に使用されるＲＦ通信ベースの関数などの、基底関数の定められたセットから開始されうる。
【００８１】
トレーニング中、エンコード及びデコードの結果に従い、エンコーダネットワーク３０２及びデコーダネットワーク３０４は改善された基底関数を学習しようとする。エンコーダ１０２及びデコーダ１０４をトレーニングすることは、例えば貪欲なサーチ又は他の最適化タイプのアルゴリズムを使って、基底関数のセット又は基底関数の異なるセットにわたり最適化することを含みうる。
【００８２】
いくつかの実装では、入力情報３０８は情報のトレーニングセットから選択されうる。いくつかの実装では、入力情報３０８は、２値情報、離散時間情報、アナログ波形、又は情報の他のクラスなどの情報の特定のクラスに限定されてもよい。そのようなシナリオでは、システム３００は、その情報の特定のクラスを通信するように調整された通信エンコード及びデコード技術を学習するようトレーニングされる。情報３０８の異なるタイプ及びチャネル３０６の異なるタイプでトレーニングすることにより、システム３００は異なる通信シナリオに適用できる異なるエンコード及びデコード動作を学習することをトレーニングされうる。
【００８３】
損失関数３１８は、入力情報３０８と復元された情報３１０の間の距離の適切な大きさ又は大きさの組み合わせでありうる。例えば、損失関数３１８はクロスエントロピー、平均二乗誤差（MSE)、MSEに従って予測値にペナルティを与えるが、決定閾値の誤った側にある値に対してのみであるクリップ（clip）されたMSE、又は損失を指数関数的にペナルティにする指数関数的損失関数、又は他の適切な距離メトリックを含みうる。
【００８４】
加えて、上述したように、例えば損失関数３１８の一部として及び／又は厳しい制約として、他のパフォーマンスメトリックはトレーニングに組み込まれてもよい。例えば、このようなパフォーマンスメトリックは、信号対雑音比（SNR）、通信帯域幅、通信電力、周波数利用効率（特定のSNRでの固定帯域幅チャネルを介して送信できる１秒あたりのビット数）の関数としてビット誤り率（BER)を含みうる。このようなメトリックのいずれか１つ又は組み合わせは損失関数３１８の一部として（例えば、重み付け組み合わせとして）及び／又は損失関数３１８に加えて厳しい制約としてトレーニング中に利用されうる。
【００８５】
図４は、ＲＦチャネルを介してエンコード及びデコードを学習する機械学習エンコーダ及びデコーダネットワークを実装するＲＦシステムをトレーニングする例示的方法４００を説明するフローチャートである。トレーニング方法４００はコンピュータ記憶媒体にエンコードされた命令を実行する、１つ以上のCPU、GPU、DSP、FPGA、ASIC、TPU、ニューロモーフィックチップ、又はベクトルアクセラレータなどの１つ以上のプロセッサによって実行されうる。
【００８６】
トレーニング方法４００は、ＲＦチャネルを介して通信されることになる情報である、第１情報を決定することを含む（４０２）。上述したように、第１情報は、任意の適切な離散時間、アナログ、離散値、又は連続値の情報でありうる。例えば、ある場合では、この入力情報は白色化された離散的なビット又はシンボルでありうる、又は他の場合には、入力情報は非白色情報源の分布に従う。上記、図３に関して前述したように、いくつかの実装では、第１情報はトレーニングの目的のために利用されるトレーニングデータにより表されうる。このようなシナリオでは、トレーニングデータは第１情報と異なる形式を持ち、それにもかかわらずトレーニングの目的のために第１情報を表しうる。
【００８７】
エンコーダ機械学習ネットワークは、この第１情報を処理するのに使用され、通信チャネルを介して送信される第１ＲＦ信号を生成する（４０４）。上述したように、いくつかの実装では、第１情報はトレーニングデータにより表され、この場合にはエンコーダ機械学習ネットワークは第１情報を表すトレーニングデータを処理する。さらに、上述のように、生成された第１ＲＦ信号は、チャネルを介して送信されるアナログＲＦ波形を表すことができ、又はアナログＲＦ波形を生成するためにさらに処理（例えば、フィルタリング、D/A変換、変調など）を受ける中間表現（例えば、サンプル、基底係数、ＲＦ波形わたる分布など）でありうる。このエンコードプロセスは、上で図３に関して説明されたように、入力情報空間からＲＦ信号空間へのいかなる適切なマッピングも利用しうる。
【００８８】
トレーニング方法４００は、通信チャネルを介して送信することによって変更された第１ＲＦ信号を表す、第２ＲＦ信号を決定することをさらに含む（４０６）。トレーニングのシナリオでは、通信チャネルの影響は、シミュレーション及び／又は現実のチャネルデータにより取得されたチャネルのモデルによって実現されうる、又は現実の世界の通信チャネルにより実現されうる。上述のように、第２ＲＦ信号はチャネルを介して受信されたアナログＲＦ波形を表しうるか、又は受信したアナログＲＦ波形の処理の結果（例えばフィルタリング、サンプリング、等化など）である中間表現（例えば、サンプル、基底係数、ＲＦ波形にわたる分布など）でありうる。
【００８９】
それから、デコーダ機械学習ネットワークは受信ＲＦ信号を処理するのに使用され、第１情報の復元として第２情報を生成する（４０８）。上記、図３及びステップ４０２及び４０４に関して前述したように、いくつかの実装では、第１情報はトレーニングの目的に利用されるトレーニングデータにより表されている。このようなシナリオでは、入力トレーニングデータは元の第１情報とは異なる形式を持ちうる、しかしそれにもかかわらず、デコーダはトレーニングデータにより表される第１情報の復元として第２情報を生成してもよい。上記、図３に関して説明したように、デコードプロセスはＲＦ信号空間から復元された情報空間への任意の適切なマッピングを利用しうる。
【００９０】
第２情報と第１情報の間の距離の大きさが計算される（４１０）。この距離の大きさは損失関数（例えば図３の損失関数３１８）として実装されうる。そして、それは元の入力情報と第２情報（復元された）の間の差分又は誤差を表しうる。例えば、距離の大きさはクロスエントロピー、平均二乗誤差、又は他の幾何学的距離メトリック（例えば、MSE、MAE、KLダイバージェンス）を含みうる、又はさまざまな幾何学的及び／又はエントロピーベースの距離メトリックを距離についての集合体式に組み合わせることができる。
【００９１】
トレーニング方法４００は、第２情報と第１情報の間の距離の大きさに基づいて、エンコーダネットワーク又はデコーダネットワークの少なくとも１つを更新することをさらに含む（４１２）。この更新は、上述のように、一緒に、又は反復して、又は個別にエンコーダネットワーク及び／又はデコーダネットワークに適用されうる。更新は、総じて、上記に図３に関して説明したように、ネットワークの重み、アーキテクチャの選択、機械学習モデル、又は他のパラメータ、又は接続性の設計など、エンコーダネットワーク及び／又はデコーダネットワークの任意の適切な機械学習ネットワークの特徴を更新することを含みうる。例として、いくつかの実装では、エンコーダネットワーク及び／又はデコーダネットワークがＲＦチャネルを介して通信するための基底関数のセットを学習するためにトレーニングされるならば、更新プロセスはエンコーダネットワーク及び／又はデコーダネットワークで利用される基底関数のセットを更新することを含みうる。
【００９２】
図５はＲＦチャネルを介して通信するためにエンコーダ機械学習ネットワーク及び／又はデコーダ機械学習ネットワークにより学習されかつ利用される基底関数の例を示す。図５の例は、通信チャネルにおいて遅延スプレッドの４つの異なる値についてエンコーダにより学習された畳み込み基底関数の４つの異なるセットを示す。しかし、一般に基底関数の任意の適切な形式はエンコーダネットワーク及び／又はデコーダネットワークにより学習されうる。
【００９３】
図５に示されるように、基底関数の異なるタイプは遅延スプレッドの異なる値（遅延スプレッド値４、３、２、及び１）に対して学習される。これらの例では、基底関数の各セットは２つのコンポーネントを持つが、一般には適切な数の基底関数が学習されうる。これらの例では、エンコーダはチャネルの遅延スプレッドに応じて２つの基本コンポーネントのコンパクト性を調整することを学習した。
【００９４】
したがって、そのようなトレーニングに基づいて、エンコーダ及び／又はデコーダはデプロイされ、適応的な方法で、異なるチャネル状態（例えば、異なるチャネル遅延スプレッド）に対して基底関数の異なるセットを利用できる。例えば、機械学習ネットワークが現実世界の通信システムにデプロイされるシナリオでは、システムはチャネル状態情報（ＣＳＩ）を取得し、かつチャネル状態に従いエンコーダネットワーク及び／又はデコーダネットワークを調整しうる。チャネル状態に応じて、エンコーダネットワーク及び／又はデコーダネットワークは、基底関数の同じセットに対してシンプルにパラメータを調整するか、又は基底関数のセットを全面的に変更（例えば、図５の基底関数の４つのセットを切り替えることにより）できる。このような更新は、完全な機械学習ネットワークを利用しない単純化されたエンコーダ及び／又はデコーダに基づくデプロイ中に実行されてもよく、しかし代わりに、対応するエンコーダ機械学習ネットワーク及びデコーダ機械学習ネットワークをトレーニングしたことの結果に基づき単純化されたエンコード及び／又はデコード技術を利用してもよい。
【００９５】
図６はＲＦチャネルを介して通信するためのエンコーダ及びデコーダ機械学習ネットワークにより学習されうる送信ＲＦ信号６１２及び受信ＲＦ信号６１４の例を示す。信号は、上記図３で論ぜられた送信信号３１２及び受信信号３１４に対応する。
【００９６】
図６の例では、送信ＲＦ信号６１２及び受信ＲＦ信号６１４はチャネルを介して実際に送信及び受信されたアナログＲＦ波形を表す。例えば、送信ＲＦ信号３１２は通信媒体を介して実際に送信される波形でありうる。受信ＲＦ信号３１４は、通信媒体を介して障害を受けた後の実際に受信される波形でありうる。しかし、上記に、図１及び図３に関し説明されたように、一般に、エンコーダ及びデコーダにより学習された送信ＲＦ信号及び受信ＲＦ信号は、アナログＲＦ波形へさらに処理され又は変換される任意の適切な表現（例えば、サンプル、基底係数など）でありうる。
【００９７】
図６に示されるように、ＲＦ信号は１２８ビットの情報に対して０ｄＢ  ＳＮＲであり、送信及び受信ＲＦ信号に対して同位相及び直交位相成分が示されている。しかし一般に、エンコーダ及びデコーダ機械学習ネットワークは送信及び受信ＲＦ信号の適切な形式を学習するためにトレーニングでき、各ＲＦ信号の成分の数には制限されない。
【００９８】
図６に示されるように、送信ＲＦ信号６１２は、今日のシステムで現在使用されているいずれかの既知の変調方式に対応するものとしてすぐには認識されない。例えば、送信ＲＦ信号６１２は少なくとも３つの共通の離散レベルを使用するように見え、サンプル空間にわたり時間と周波数のある混合に情報がエンコードされたように見える。
【００９９】
図７は、現実の世界の通信チャネルを介する情報の学習された通信についてデプロイされうるエンコーダ及びデコーダを備えるシステム７００の例を示す。システム７００は現実の世界のチャネル７０６を介する通信のためにデプロイされるエンコーダ７０２及びデコーダ７４０を含む。
【０１００】
エンコーダ７０２は通信されるための入力情報７０８を受け取り、入力情報７０８を送信ＲＦ信号７１２へマッピングする。エンコーダ７０２により利用されるエンコードマッピングは、上記、図３及び図４に関し説明されたトレーニングを使用して、情報をＲＦ信号へエンコードする方法を学習した、前の機械学習ネットワークのトレーニングに基づいて設計されうる。例えば、エンコーダ７０２はデプロイメント中に、トレーニングされた機械学習ネットワークを実施してもよい、又は、さらに以下に論じるように、機械学習ネットワークをトレーニングした結果を利用した単純化されたエンコードマッピングを実装してもよい。
【０１０１】
前に論じたように、いくつかの実装では、エンコーダ７０２は送信のためのアナログＲＦ波形としてＲＦ信号７１２を生成する処理（例えばフィルタリングや変調など）を含みうる。代わりに、他の実装では、エンコーダ７０２は、フィルタリング又はチャネル７０６を介した送信のための変調などの、追加の処理によりその後にアナログＲＦ波形へ処理される中間表現としてＲＦ信号７１２を生成しうる。
【０１０２】
デコーダ７０４はチャネル７０６により損なわれたＲＦ信号７１４を受信し、受信ＲＦ信号７１４を復元された情報７１０へマッピングする。デコーダ７０４により利用されるデコードマッピングは、上記に、図３及び４に関して説明されたトレーニングを使って、ＲＦ信号を復元された情報へデコードする方法を学習した機械学習ネットワークの以前のトレーニングに基づいて設計されうる。例えば、デコーダ７０４は、デプロイメント中にトレーニングされた機械学習ネットワークを実装しうる、又は以下にさらに論じられる、機械学習ネットワークをトレーニングした結果を利用する単純化されたデコードマッピングを実施しうる。
【０１０３】
これまで論じられたように、いくつかの実装では、デコーダ７０４はチャネルを介して受信されるアナログＲＦ波形として受信ＲＦ信号７１４を直接入力する処理（例えばフィルタリング、変調など）を含みうる。あるいは、他の実装では、デコーダ７０４はチャネル７０６から受信されたアナログＲＦ波形の前処理から生じる中間表現としてＲＦ信号を処理しうる。
【０１０４】
いくつかの実装では、エンコーダ７０２及び／又はデコーダ７０４は、通信の結果に基づいて、例えば更新プロセス７１６によりデプロイメント中に更新されうる。このような更新はデプロイメントの間に送信及び復元の結果に基づいて決定されるフィードバック情報に基づきうる。
【０１０５】
いくつかの実装では、システム７００は、例えばチャネル状態及びパフォーマンス推定器７１８を使用して、チャネル７０６及び／又はパフォーマンスメトリックに関する情報を収集するように構成されてもよい。推定器７１８は、例えば、送信ＲＦ信号７１２として送信されたトレーニング信号を検出することにより、このような情報を検出するように構成されてもよい。推定器７１８は、図７の例に示されるように、デプロイメントの間にエンコーダ７０２及び／又はエンコーダ７０４へさまざまな更新を制御するためにフィードバックを介してこのような情報を提供しうる。このような更新は１以上の機械学習の特徴を更新することを含みうる（エンコーダ７０２及び／又はデコーダ７０４がデプロイメント中に機械学習ネットワークを実装するシナリオでは）、又はエンコーダ７０２及び／又はデコーダ７０４により利用される単純化されたエンコード及び／又はデコードマッピングを更新することを含みうる（前にトレーニングされた機械学習ネットワークに基づく単純化されたエンコード／デコード技術をエンコーダ７０２及び／又はデコーダ７０４が実装するシナリオでは）。
【０１０６】
チャネル状態及びパフォーマンス推定器７１８から送られるフィードバックは任意の適切な形式をとることができ、任意の適切な時間スケールで送信される。例えば、このようなフィードバックは、チャネルの状態及び／又はパフォーマンスの推定を推定するために、フォワードリンク（エンコーダ７０２からデコーダ７０４へ）から取得される推定又はリバースリンク（デコーダ７０４からエンコーダ７０２へ）から取得される推定に基づき適用できる。フィードバック情報は、選択するモードの数、フィードバックチャネルの帯域幅やレイテンシ、その他の考慮事項など、さまざまな要因に応じてサイズが変化しうる。ある場合には、このフィードバック情報は無線システム内のプロトコルメッセージへエンコーダされうる。
【０１０７】
一例として、フィードバックは既知のトレーニングＲＦ信号を送信するエンコーダ７０２により生成でき、デコーダ７０４（及び／又はＲＦ受信器の他のコンポーネント）は、受信ＲＦ信号を既知の送信されたトレーニングＲＦ信号と比較することに基づいてチャネル状態とパフォーマンスの大きさを判定する。いくつかの実装では、エンコーダ７０２を更新（ハーフモデル更新）するために送信器へフィードバックを必ずしも提供することなく、フィードバックはデコーダ７０４を更新するために受信器へのみ提供されうる。
【０１０８】
チャネル７０６の状態は、例えばＲＦ信号が通信する環境のタイプに応じて、異なる時間スケールにわたって変化しうる。例えば、チャネル７０６における時間スケールの変化は、環境が農村か都会かどうか、環境オブジェクトが早く又は低速で動いているかどうか(例えば、コヒーレンスタイム又はチャネル統計の相関時間を規定)、環境が航空機内か宇宙船内かどうか、又は他の無線エミッタがそばにあるかどうかに応じる。チャネルコヒーレンスタイムが非常に長いか静的な場合には（例えば、固定無線通信及び反射物（fixed radios and reflectors））、エンコーディングは長い時間スケールにわたってこれらの障害について明確に学習することがある。この一例は、固定ジオメトリ工業（fixed geometry industrial）又は都市通信環境である。
【０１０９】
いくつかの実装では、チャネル７０６に存在する状態は多くのモードに分類される。異なるモードは、ノイズのレベル、ＳＮＲ、遅延スプレッド、チャネル変化の時間スケールなどのチャネル状態の適切な分類を表すことができる。これらのモードのそれぞれについて、上記、図３に関し論じられたように、エンコーダ７０２及び／又はデコーダ７０４はエンコード及び／又はデコード技術の適切なセットを学習することをトレーニングされてもよい。デプロイメント中に、エンコーダ７０２及び／又はデコーダ７０４は、推定されたチャネル７０６の特定のモードに基づいて適応的に更新されうる。図７に示すように、いくつかの実装では、伝送モードコントローラ７２０はエンコーダ７０２及び／又はデコーダ７０４についてどのモード構成が利用されるべきかを決定するように実装される。
【０１１０】
伝送モードコントローラ７２０はチャネル状態及びパフォーマンス推定器７１８からのフィードバックを利用できる。上述のように、このようなフィードバックはフォワード及び／又はリバースリンクから取得され、いつでも、動作のどのモードを選択すべきか、という決定を支援するように伝送モードコントローラ７２０へ提供されうる。このようにして、システム７００は異なるチャネル状態の範囲について適切なエンコード及び／又はデコード技術を学習でき、したがってエンコーダ７０２及び／又はデコーダ７０４を適応的に更新し、いかなるチャネル状態下でも適切なモードを選択する。
【０１１１】
学習した通信を現実世界のアプリケーションで使用できる多くのシナリオがある。例えば、トレーニング中に、エンコーダ７０２及び／又はデコーダ７０４はチャネル７０６の閉形式解析的モデルでトレーニングされうる。対象チャネルの十分に正確な安定的な解析的モデルが与えられると、チャネル７０６にわたる通信に対する効率的な表現が学習され、いかなるオンライン適応なしで使用されうる。このような実装は、現実世界のチャネル７０６が、時間的に変化がゆっくりしたチャネル、又はより安定でかつ予測可能なチャネルなどの解析的モデルに十分に対応する環境に適するだろう。
【０１１２】
別の例として、デプロイメント、ロケーション、状態、又は近くの効果に応じてなど、現実世界でチャネルがより予測不可能に変化するシナリオでは、システム７００は、所定の現実世界のデプロイメントシナリオに対して良好に機能する専用のエンコード及び／又はデコード技術のオンライン適応及びオンライン学習を行いうる。このような実装では、チャネル及び／又はシステムパフォーマンスの現実世界の測定に基づいて、デプロイメント中に、エンコーダ７０２及び／又はデコーダ７０４への更新は行われうる。このような更新は、上記の図３及び図４のトレーニングに関し学習される目標達成戦略の結果に基づいて行われてもよい。
【０１１３】
しかし、現実世界のフィードバックがチャネル変形の正確な分析的表現に寄与しないならば、更新プロセス７１６は、エンコーダ７０２及び／又はデコーダ７０４に対する更新を決定するために、正確な分析的解決方法よりも近似を利用しうる。例えば、目的関数の勾配が計算される実装では、正確な導関数計算ではなく近似勾配が計算されうる。さらに、現実世界のシナリオでは、更新プロセス７１６は、通信コスト、レイテンシ、チャネル状態及びパフォーマンス推定器７１８からのフィードバックチャネルの能力など、現実世界の因子を追加的に考慮しうる。一般に、より正確でより大きなフィードバックは、通信コストとレイテンシと帯域幅とを犠牲にして、更新プロセス７１６により効果的な更新を許容する。したがって、エンコーダ７０２及び／又はデコーダ７０４がフィードバック情報に基づいて更新されるデプロイメントのシナリオでは、このような追加的な考慮は更新プロセス７１６に組み込まれてもよい。
【０１１４】
いくつかの実装では、エンコーダ７０２及びデコーダ７０４は、トレーニング中に学習されたエンコーダ及び／又はデコードマッピングの単純化された形式を利用しうる。例えば、エンコーダ７０２は入力情報７０８に基づいて送信ＲＦ信号７１２を生成するために単純化されたルックアップテーブルを利用しうる。同様に、いくつかの実装では、デコーダ７０４は距離ベースのデコード技術を利用することにより、又はトレーニング中に学習されたより一般的なデコードマッピングに基づく又はトレーニング中に学習されたエンコーダマッピングに基づく他の単純化されたデコード技術により、受信ＲＦ信号７１４から復元された情報７１０を生成しうる。
【０１１５】
ある実装では、このような単純化されたデプロイメントの具体例として、トレーニング中に、エンコーダ機械学習ネットワークが入力情報７０８からＲＦ信号７１２へのマッピングを学習してもよい。マッピングは、例えば、具体的な入力７０８に対応するコンスタレーションの異なる点として、異なるＲＦ信号７１２を表現する信号コンスタレーションでありうる。しかし、デプロイメント中に、エンコーダ７０２は、エンコーダ機械学習ネットワークのトレーニング結果に基づいて、単純化されたルックアップテーブル（ＬＵＴ）を利用して、ＲＦ信号７１２を生成するためにコンスタレーション上の点へ入力情報７０８をマッピングしうる。同様に、デコーダ７０４は、デコーダ機械学習ネットワークをトレーニングした結果に基づく、又はカウンターパートのトレーニングされたエンコーダ機械学習ネットワークに基づく、単純化されたデコードアルゴリズム（例えば、距離ベースのデコードアルゴリズム）を利用しうる。
【０１１６】
そのようなシナリオでは、エンコーダ７０２及び／又はデコーダ７０４はトレーニング中にシステム設計のためにトレーニング（例えば、オートエンコーダとして）されうる。しかし、エンコーダ７０２及び／又はデコーダ７０４で、現実世界のアプリケーションでシステム７００をデプロイかつ実装するために、近似又はコンパクトなルックアップテーブルが利用されうる。したがって、いくつかの実装では、デプロイされたシステムで実装されるエンコーダ７０２及びデコーダ７０４は、フルの機械学習ネットワークを実装しないでよく、代わりにトレーニング中に機械学習ネットワークにより学習されたエンコード及びデコードマッピングの結果を利用してもよい。場合によっては、これらのニューラルネットワークから学習されたマッピングは、ベースバンドプロセッサに効率的にデプロイできる非常にコンパクトで効率的なテンソル計算式をすでに形成している。
【０１１７】
図８は、現実世界のＲＦチャネルにわたって学習された通信を実行するエンコーダとデコーダをデプロイする例示的方法８００を説明するフローチャートである。このようなデプロイメントは、例えば、上記図３及び図４に関し論じられたトレーニング技術又は同様なトレーニング技術を使用することにより、トレーニングされる間に機械ネットワークにより既に学習されたエンコード及びデコード技術を利用しうる。
【０１１８】
方法８００は、通信チャネルを介する情報をエンコード又はデコードするようにトレーニングされたエンコーダ機械学習ネットワーク又はデコーダ機械学習ネットワークの少なくとも１つに基づくエンコード又はデコードを実装する少なくとも１つの、エンコーダ及びデコーダを決定することを含む（８０２）。あるシナリオでは、デプロイされたエンコーダ及び／又はデコーダは既にトレーニングされた機械学習ネットワークを実装する。または、他のシナリオでは、エンコーダ及び／又はデコーダは、上記図７に関し論じられたように、エンコーダ機械学習ネットワーク及び／又はデコーダ機械学習ネットワークを前にトレーニングした結果に基づく単純化されたエンコード／デコードマッピングを利用しうる。
【０１１９】
方法８００は、第１情報を決定することをさらに含む（８０４）。上述のように、第１情報は、任意の適切な離散時間、アナログ、離散値、又は連続値の情報でありうる。
【０１２０】
次に、エンコーダは第１ＲＦ信号を生成するために第１情報を処理する（８０６）。上述のように、第１ＲＦ信号は、チャネルを介して送信されるアナログＲＦ波形、又はアナログＲＦ波形を生成するためにさらに処理を受ける（例えば、フィルタリング、Ｄ／Ａ変換、変調など）中間表現（例えば、サンプル、基底係数など）を表しうる。このエンコードプロセスは、入力情報空間からＲＦ信号空間へ、例えば上記図３に関し論じられたトレーニング技術を使って、エンコーダ機械学習ネットワークをトレーニングする間に学習された、任意の適切なマッピング又はマッピングの単純化された形式を利用しうる。
【０１２１】
方法８００は、少なくとも１つの送信器を使って、通信チャネルを介して第１ＲＦ信号を送信することをさらに含む（８０８）。上記でステップ８０６に関し論じられたように、第１ＲＦ信号の送信は第１ＲＦ信号自身を直接送信する(例えば、エンコーダがチャネルを介して送信するのに適切なアナログＲＦ波形として第１ＲＦ信号を生成した場合）ことを含みうる、又は送信のために第１ＲＦ信号を処理してアナログＲＦ波形へ変換すること（例えば、フィルタリング、Ｄ／Ａ変換、変調などを使って）を含みうる。送信は、例えば単一の又は複数のアンテナ、適応的な電力制御の使用などの他の機能又はパラメータを含みうる、任意の適切な送信技術を利用しうる。
【０１２２】
方法８００は、通信チャネルを介する送信により変更されている第１ＲＦ信号を表す、第２ＲＦ信号を受信することをさらに含む（８１０）。デプロイメントシナリオでは、通信は現実世界のチャネル（図３又は図４のトレーニングシナリオと対照的に、チャネルはシミュレートされたチャネル又は現実世界のチャネルでありうる）である。上述のように、第２ＲＦ信号は、チャネルを介して受信されるアナログＲＦ波形、又は受信したアナログＲＦ波形を処理（例えばフィルタリング、サンプリング、等化など）した結果である中間表現（例えば、サンプル、基底係数など）を表しうる。
【０１２３】
次に、デコーダは受信ＲＦ信号を処理するのに使用され、第１情報の復元として第２情報を生成する（８１２）。このデコードプロセスは、例えば上記図３に関し論じられたトレーニング技術を使って、トレーニングの間にデコーダ機械学習ネットワークにより学習される、ＲＦ信号空間から復元される情報空間への任意の適切なマッピング、又はマッピングの単純化された形式を利用しうる。
【０１２４】
上記図７に関し論じられたように、ある実装では、デプロイされたシステムは受信された第２ＲＦ信号（及び／又は通信に起因する他の情報）をさらに利用して、フィードバックを生成し、エンコーダ及び／又はデコーダを更新しうる。
【０１２５】
さらに上記図７に関し論じられてように、ある実装では、エンコーダ及び／又はデコーダはトレーニング中に学習されたエンコード及び／又はデコードマッピングの単純化された形式を利用しうる。例えば、エンコーダは、単純化されたルックアップテーブルを利用し、第１情報に基づいて第１ＲＦ信号を生成する。さらに、ある実装では、デコーダは、距離ベースのデコード技術、又はトレーニング中に学習されたより一般的なデコードマッピング基づく又はトレーニング中に学習されたエンコーダマッピングに基づく他の単純化されたデコード技術を利用しうる。したがって、そのような実装では、デプロイされたシステムに実装されるエンコーダとデコーダはフル機械学習ネットワークを実装しないが、代わりにトレーニング中に機械学習ネットワークにより学習されたエンコード及びデコードマッピングの結果を利用しうる。
【０１２６】
図９は、ＲＦチャネルを介する学習された通信を実行するシステムの１つ以上のコンポーネントを実装するのに使用されうる計算システムの例を説明する図である。
【０１２７】
計算システムは、ここに記載の技術を実装するのに使用できるコンピューティングデバイス９００及びモバイルコンピューティングデバイス９５０を含む。例えば、エンコーダ機械学習ネットワークシステム又はデコーダ機械学習ネットワークシステムの１つ又は複数の部分は、機械学習ネットワークのいずれかに実装されるコンピュータシステム、機械学習ネットワークから情報へアクセスするデバイス、又は機械学習ネットワークにより実行されるエンコード及びデコードに関する情報へアクセス又は情報を格納するサーバなどの、ここで説明されるシステム９００の１例でありうる。
【０１２８】
コンピューティングデバイス９００は、ラップトップ、デスクトップ、ワークステーション、パーソナルデジタルアシステント、サーバ、ブレードサーバ、メインフレーム、及び他の適切なコンピュータなどの、デジタルコンピュータのさまざまな形式を表すことを意図する。モバイルコンピューティングデバイス950は、パーソナルデジタルアシスタント、セルラフォン、スマートフォン、携帯の埋め込み型無線システム、無線診察コンピューティングデバイス、及び他の類似のコンピューティングデバイスなどの、モバイルデバイスのさまざまな形式を表すことを意図する。ここに示されるコンポーネントは、それらの接続と関係、及びそれらの機能は例にすぎず、限定することを意図したものではない。
【０１２９】
コンピューティングデバイス９００は、プロセッサ９０２、メモリ９０４、記憶デバイス９０６、メモリ９０４及び複数の高速拡張ポート９１０に接続する高速インタフェース９０８、低速拡張ポート９１４及び記憶デバイス９０６に接続する低速インタフェース９１２を含む。プロセッサ９０２、メモリ９０４、記憶デバイス９０６、高速インタフェース９０８、高速拡張ポート９１０、及び低速インタフェース９１２のそれぞれはさまざまなバスを使って相互接続され、共通のマザーボードに又は適切な他の方法で搭載されうる。プロセッサ９０２は、メモリ９０４又は記憶デバイス９０６に格納された命令を含む、コンピューティングデバイス９００内での実行のための命令を処理でき、高速インタフェース９０８に接続されたディスプレイ９１６のような、外部入出力デバイスにＧＵＩのためのグラフィカル情報を表示する。他の実装では、複数のメモリ及びメモリのタイプと共に、適宜、複数のプロセッサ及び／又は複数のバスが使用できる。加えて、複数のコンピューティングデバイスが接続され、各デバイスは動作の部分（例えば、サーババンク、ブレードサーバのグループ、又はマルチプロセッサシステムとして）を提供できる。いくつかの実装では、プロセッサ９０２はシングルスレッドプロセッサである。いくつかの実装では、プロセッサ９０２はマルチスレッドプロセッサである。ある実装では、プロセッサは量子コンピュータである。
【０１３０】
メモリ９０４は、コンピューティングデバイス９００内の情報を格納する。いくつかの実装では、メモリ９０４は、１つまたは複数の揮発性メモリユニットである。いくつかの実装では、メモリ９０４は、１つまたは複数の不揮発性メモリユニットである。メモリ９０４は、磁気または光ディスクなどの別の形態のコンピュータ可読媒体であってもよい。
【０１３１】
ストレージデバイス９０６は、コンピューティングデバイス９００に大容量ストレージを提供することができる。いくつかの実装では、ストレージデバイス906は、フロッピーディスクデバイス、ハードディスクデバイス、光ディスクデバイス、またはテープデバイス、フラッシュメモリまたは他の同様のソリッドステートメモリデバイス又はデバイスのアレイ、ストレージエリアネットワーク又は他の構成のデバイスを含む、などのコンピュータ可読媒体であってもよく、またはそれを含んでもよい。情報は情報キャリアに格納されることができる。命令は、１つ以上の処理デバイス（例えば、プロセッサ９０２）により実行される場合、上記に説明したような１つ以上の方法を実行する。命令はコンピュータ可読媒体又は機械可読媒体（例えば、メモリ９０４、記憶デバイス９０６又はプロセッサ９０２のメモリ）などの１以上の記憶デバイスに格納されてもよい。低速インタフェース９１２が低い帯域幅インテンシブな動作を管理するのに対して、高速インタフェース９０８はコンピューティングデバイス９００にとって帯域幅インテンシブな動作を管理する。機能のこのような割り当ては例にすぎない。いくつかの実装では、高速インタフェース９０８はメモリ９０４、ディスプレイ９１６（例えば、グラフィックプロセッサ又はアクセラレータを介して）、さまざまな拡張カード（不図示）を受け入れるうる高速拡張ポート９１０へ接続される。実装では、低速インタフェース９１２は記憶デバイス９０６及び低速拡張ポート９１４へ接続される。さまざまな通信ポート（例えば、ＵＳＢ、ブルートゥース、イーサネット、無線イーサネット）を含みうる低速拡張ポート９１４は、キーボード、ポインティングデバイス、スキャナなどの１つ以上の入出力デバイス、又は例えばネットワークアダプタを介してスイッチやルータなどのネットワーキングデバイスと接続されうる。
【０１３２】
コンピューティングデバイス９００は図示されるように多くの異なる形式で実装されうる。例えば、それは標準的サーバ９２０として、又はそのようなサーバのグループに複数回実装されうる。加えて、ラップトップコンピュータ９２２のようなパーソナルコンピュータに実装されうる。ラックサーバシステム９２４の一部としても実装されうる。または、コンピューティングデバイス９００からのコンポーネントは、モバイルコンピューティングデバイス９５０などのモバイルデバイス（不図示）の他のコンポーネントと組み合わせることができる。このようなデバイスのそれぞれは１つ以上のコンピューティングデバイス９００及びモバイルコンピューティングデバイス９５０を含みうる、そして全体のシステムはお互いに通信するマルチコンピューティングデバイスを構成しうる。
【０１３３】
モバイルコンピューティングデバイス９５０は、他のコンポーネントの中にプロセッサ９５２、メモリ９６４、ディスプレイ９５４などの入出力デバイス、通信インタフェース９６６及び送受信器９６８を含む。モバイルコンピューティングデバイス９５０は、追加的な記憶を提供するマイクロドライブ又は他のデバイスなどの記憶デバイスを備えてもよい。プロセッサ９５２、メモリ９６４、ディスプレイ９５４、通信インタフェース９６６及び送受信器９６８のそれぞれはさまざまなバスを使って相互接続され、コンポーネントのいくつかは共通のマザーボードに又は適切な方法で搭載されうる。
【０１３４】
プロセッサ９５２は、メモリに記憶された命令を含む、モバイルコンピューティングデバイス９５０内の命令を実行可能である。プロセッサ９５２は別個の複数のアナログ及びデジタルプロセッサを含むチップのチップセットとして実装されてもよい。例えば、プロセッサ９５２は、ユーザインタフェースの制御、モバイルコンピューティングデバイス９５０により実行されるアプリケーション、モバイルコンピューティングデバイス９５０による無線通信などの、モバイルコンピューティングデバイス９５０の他のコンポーネントの調整を提供してもよい。
【０１３５】
プロセッサ９５２はディスプレイ９５４に接続された制御インタフェース９５８及び表示インタフェース９５６を介してユーザと通信する。例えば、ディスプレイ９５４はＴＦＴ(薄膜トランジスタ液晶ディスプレイ）又はＯＬＥＤ（有機発光ダイオード）ディスプレイ、又は他の適切な表示技術のものでありうる。表示インタフェース９５６は、ユーザへグラフィカル及び他の情報を提示するためのディスプレイ９５４を駆動する適切な回路を含みうる。制御インタフェース９５８はユーザから指示を受け取って、それらをプロセッサ９５２へ提出するために変換してもよい。さらに、外部インタフェース９６２は、モバイルコンピューティングデバイス９５０と他のデバイスとの近距離通信を可能にするように、プロセッサ９５２との通信を提供しうる。外部インタフェース９６２は、例えば、いくつかの実装では有線通信を、他の実装では無線通信を提供でき、複数のインタフェースも使用できる。
【０１３６】
メモリ９６４はモバイルコンピューティングデバイス９５０の中の情報を記憶する。メモリ９６４は１つ以上のコンピュータ可読媒体、１つ以上の揮発性メモリユニット、又は１つ以上の不揮発性メモリユニットとして実装できる。拡張メモリ９７４も備えることができ、例えば、ＳＩＭＭ（シングルインラインメモリモジュール）カードインタフェースを含みうる拡張インタフェース９７２を介してコンピューティングデバイス９５０と接続できる。拡張メモリ９７４はモバイルコンピューティングデバイス９５０に追加の記憶スペースを提供しうる、又はモバイルコンピューティングデバイス９５０のためのプリケーション又は他の情報も記憶しうる。特に、拡張メモリ９７４は上記説明したプロセスを実行又は補足するための命令を含むことができ、セキュア情報も含みうる。したがって、例えば、拡張メモリ９７４は、モバイルコンピューティングデバイス９５０のセキュリティモジュールとして提供されてもよく、モバイルコンピュータ９５０のセキュアな使用を許容する命令でプログラムされうる。さらに、ＳＩＭＭカードにハッキングできない方法で識別情報を配置するなどの追加的情報と共に、ＳＩＭＭカードを介してセキュアなアプリケーションが提供されうる。
【０１３７】
メモリは、例えば、以下に論じられるような、フラッシュメモリ及び／又はＮＶＲＡＭメモリ（不揮発性ランダムアクセスメモリ）を含みうる。いくつかの実装では、命令は、１つ以上の処理デバイス（例えば、プロセッサ９５２）により実行されると、上記に説明されたような１つ以上の方法を実行するように、情報担体に記憶される。命令は、１つ以上のコンピュータ可読媒体又は機械可読媒体（例えば、メモリ９６４、拡張メモリ９７４、又はプロセッサ９５２上のメモリ）などの１つ以上の記憶デバイスによっても記憶されうる。いくつかの実装では、例えば、送受信器９６８又は外部インタフェース９６２を介して、命令は伝搬される信号で受信されうる。
【０１３８】
モバイルコンピューティングデバイス９５０は、必要ならデジタル信号プロセッサ回路を含みうる、通信インタフェース９６６を介して無線で通信しうる。通信インタフェース９６６は、ＧＳＭ（モバイル通信用グローバルシステム）音声コール、ＳＭＳ（ショートメッセージサービス）、ＥＭＳ（拡張されたメッセージサービス）、又はＭＭＳメッセージ（マルチメディアメッセージシステム）、ＣＤＭＡ（符号分割多元接続）、ＴＤＭＡ（時分割多元接続）、ＰＤＣ（パーソナルデジタルセルラ）、ＷＣＤＭＡ（ワイドバンド符号分割多元アクセス）、ＣＤＭＡ２０００又はＧＰＲＳ（ジェネラルパケット無線サービス）、ＬＴＥ、５Ｇ／６Ｇセルラ、などの様々なモードやプロトコル下での通信を提供しうる。このような通信は、例えば、無線周波数を使って送受信器９６８を介して行われうる。加えて、ブルートゥース、ＷｉＦｉ、又は他のそのような送受信器（不図示）を使うなどの短距離通信が行われうる。さらに、ＧＰＳ（全地球測位システム）受信モジュール９７０は、モバイルコンピューティングデバイス９５０に追加のナビゲーション関連無線データ及びロケーション関連無線データを提供することができ、モバイルコンピューティングデバイス９５０上で実行されるアプリケーションにより適切に使用されうる。
【０１３９】
モバイルコンピューティングデバイス９５０は、ユーザから話された情報を受け取り、利用可能なデジタル情報へ変換する、音声コーデック９６０を使用して音により通信してもよい。同様に音声コーデック９６０はユーザへ、例えば、モバイルコンピューティングデバイス９５０のハンドセットのスピーカを通じてなど、可聴音を生成しうる、このような音は、音声電話呼からの音、記録された音（例えば、音声メッセージ、音楽ファイルなど）を含むことができ、モバイルコンピューティングデバイス９５０で動作するアプリケーションにより生成された音をも含みうる。
【０１４０】
モバイルコンピューティングデバイス９５０は図に示されるように、多くの異なる形式に実装できる。例えば、携帯電話９８０として実装されうる。それはスマートフォン９８２、パーソナルデジタルアシスタント、又は他の類似のモバイルデバイスの一部分としても実装できる。
【０１４１】
本開示で使用される「システム」という用語は、例として、プログラム可能なプロセッサ、コンピュータ、又はマルチプロセッサ又はコンピュータを含む、データを処理するすべての装置、デバイス及び機械を含むことができる。処理システムは、ハードウェアに加えて、問題のコンピュータプログラムの実行環境を作り出すコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、又はそれらの１つ以上の組み合わせを構成するコード、を含むことができる。
【０１４２】
コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、実行可能なロジック又はコードとしても知られる）は、コンパイル言語、インタープリタ言語、又は宣言型又は手続型言語を含む、プログラミング言語の任意の形式で記述され、それは、スタンドアロンプログラム、又はモジュール、コンポーネント、サブルーチン、又はコンピューティング環境で使用するのに適した他のユニットを含む、任意の形式でデプロイされうる。コンピュータプログラムはファイルシステムのファイルに対応する必要はない。プログラムは、他のプログラムやデータを保持するファイルの一部（例えば、マークアップ言語ドキュメントに格納された１つ以上のスクリプト）、問題のプログラム専用の単一のファイル、又は複数の協働されるファイル（例えば、１つ以上のモジュール、サブプログラム、又はコードの一部を記憶する複数ファイル、）に記憶できる。コンピュータプログラムは、１つのコンピュータで又は、１つのサイト又は複数のサイトにわたって分散されて配置され通信ネットワークにより相互接続された複数コンピュータで実行されるようデプロイされうる。
【０１４３】
コンピュータプログラム命令及びデータを記憶するのに適したコンピュータ可読媒体は、不揮発性又は揮発性メモリ、メディア、及び、メモリデバイスのすべての形式を含む、例として、例えばＥＰＲＯＭ、ＥＥＰＲＯＭ及びフラッシュメモリデバイスなどの半導体メモリデバイス、磁気ディスク、例えば、内蔵ハードディスク、又は着脱可能なディスク又は磁気テープ、磁気光ディスク、及びＣＤ−ＲＯＭ及びＤＶＤ−ＲＯＭディスクを含む。プロセッサとメモリは特別な目的の論理回路により補われ、又は特別な目的の論理回路に組み込むことができる。サーバは汎用目的コンピュータであったり、オーダーメードで作られた特別な目的の電子デバイスだったり、それらの組み合わせだったりする。
【０１４４】
実装は、例えばデータサーバなどのバックエンドコンポーネント、例えばアプリケーションサーバなどのミドルウエアコンポーネント、例えばグラフィカルユーザインタフェース又はウエブブラウザを通して本明細書に説明された主題の実装とインタラクトできるクライアントコンピュータなどのフロントエンドコンポーネント、又はこのようなバックエンド、ミドルウエア又はフロントエンドコンポーネントの１つ以上の任意の組み合わせを含むことができる。システムのコンポーネントはデジタルデータ通信の任意の形式又は媒体、例えば通信ネットワーク、により相互接続できる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）及びワイドエリアネットワーク（ＷＡＮ）、例えばインターネット、を含む。
【０１４５】
説明した特徴はデジタル電子回路、又はコンピュータハードウェア、ファームウェア、ソフトウェア又はそれらの組み合わせに実装できる。装置は、情報担体に現実的に具体化されるコンピュータプログラム製品、例えば、プログラマブルプロセッサにより実行される機械可読記憶デバイスなどに実装でき、方法のステップは、入力データに作用して出力を生成することにより、説明された実装の機能を実行するための命令のプログラムをプログラマブルプロセッサが実行することにより実行されうる。説明された特徴は、データ記憶システム、少なくとも１つの入力デバイス、及び少なくとも１つの出力デバイスからデータと命令を受信し、データ記憶システム、少なくとも１つの入力デバイス、及び少なくとも１つの出力デバイスへデータと命令を送信するように接続された少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムで実行される１つ以上のコンピュータプログラムに有利に実装することができる。コンピュータプログラムは、所定のアクティビティを行ったり、又は所定の効果をもたらすためにコンピュータで、直接又は間接に使用されうる命令のセットである。コンピュータプログラムは、コンパイル又はインタープリター言語を含む任意の形式のプログラミング言語で記述することができ、それは、スタンドアロンプログラムとして又はモジュールとして、コンポーネント、サブルーチン又はコンピューティング環境で使用するのに適切な他のユニットを含む、任意の形式でデプロイできる。
【０１４６】
この開示には多くの特定の実施の詳細が含まれるが、これらは発明又は請求の範囲を制限としてではなく、特定の発明の特定の実施に特有な特徴の説明として解釈されるべきである。別個の実装のコンテクストにおける開示で説明される特定の特徴は、単一の実施に組み合わせて実施することができる。一方、単一の実装のコンテクストで説明されるさまざまな特徴は、複数の実施で別個に又は任意の適切なサブコンビネーションで実施しうる。さらに、特徴は所定の組み合わせで動作するとして上記で説明され、最初にそのようにクレームされているけれども、クレームされた組み合わせの１つ以上の特徴は、場合によっては、組み合わせから削除され、クレームされた組み合わせはサブコンビネーション又はサブコンビネーションのバリエーションへ向けられうる。
【０１４７】
同様に、動作は特定の順序で図面に描かれているが、所望の結果をもたらすために、示された特定の順序で又はシーケンシャルな順でこの動作が行われることが、又はすべての図示された動作が行われることが、必要と理解されるべきではない。特定の状況では、マルチタスクやパラレル処理が有利でありうる。さらに、上記に説明した実装におけるさまざまなシステムモジュール及びコンポーネントの分離は、すべての実装においてこのような分離が必要として理解されるべきではない。説明されたプログラムコンポーネント及びシステムは一般に単一のソフトウェアプロダクトに統合又は複数のソフトウェアプロダクトにパッケージ化できると理解すべきである。
【図１】
0006758524.tif 000002
【図２】
0006758524.tif 000003
【図３】
0006758524.tif 000004
【図４】
0006758524.tif 000005
【図５】
0006758524.tif 000006
【図６】
0006758524.tif 000007
【図７】
0006758524.tif 000008
【図８】
0006758524.tif 000009
【図９】
0006758524.tif 000010