LSTMを用いるRNNは、一連の訓練において、教師あり学習のやり方で訓練できる。訓練では、最適化プロセス中で必要な勾配を計算するための通時的誤差逆伝播法（Backpropagation through time、BPTT）と組み合わせて最急降下法のような最適化アルゴリズムを使って、（LSTMネットワークの出力層における）誤差の微分に比例してLSTMネットワークの個々の重みを変化させる。標準的なRNNに対して最急降下法を使用することの問題点は、誤差勾配が重要な事象間の時間のずれの大きさにしたがって指数関数的にすばやく消失することである。これは、のスペクトル半径が1よりも小さいととなるためである。しかしながら、LSTMユニットを使うと、誤差値が出力層から逆伝播される時、誤差はLSTMユニットのセル内に留まる。この「誤差カルーセル」はLSTMユニットのゲートが値のカットオフを学習するまで、個々のゲートへ誤差を絶えずフィードバックする。
以下の方程式において、小文字の変数はベクトルを表わす。行列およびはそれぞれ入力および回帰結合の重みを含み、添字は、計算される活性化に依存して、入力ゲート、出力ゲート、忘却ゲート、または記憶セルになりうる。この節では、ゆえに「ベクトル表記」を使用する。そのため、例えば、は単に1つのLSTMユニットの1つのセルではなく、個のLSTMユニットのセルを含む。
複数のLSTMユニットのアーキテクチャが存在する。一般的なアーキテクチャは、セル（LSTMユニットの記憶部分）と大抵ゲートと呼ばれるLSTMユニット内部の情報の流れの3つの「調整器」（入力ゲート、出力ゲート、忘却ゲート）から構成される。LSTMユニットの一部の変異型はこれらのゲートの1つ以上を持たない、あるいは別のゲートを持つこともある。例えばゲート付き回帰型ユニット（GRU）は出力ゲートを持たない。直感的には、「セル」は入力配列中の要素間の依存性を追跡するために必要である。「入力ゲート」はセルへの新たな値の流れの度合いを制御し、「忘却ゲート」はセル中に値が留まる度合いを制御し、「出力ゲート」はセル中の値がLSTMユニットの出力活性化を計算するために使われる度合いを制御する。LSTM「ゲート」の活性化関数にはロジスティック関数が使われることが多い。LSTMゲートへの、そしてLSTMからの結合が存在し、そのうちいくつかは回帰結合（リカレント）している。訓練中に学習される必要があるこれらの結合の重みが、ゲートがどのように動作するかを決定する。
理論的には、古典的な（バニラな）RNNは入力配列における任意の長期依存性を追跡できる。バニラRNNの問題は本質的に計算的（あるいは実務的な）なものである。誤差逆伝播法を使ってバニラRNNを訓練する時、逆伝播される勾配は「消失」（すなわち勾配がゼロに収束する）あるいは「爆発」（すなわち無限に発散する）しうる。これは、計算が有限精度数を用いる過程を含むためである。LSTMユニットを用いるRNNは、LSTMユニットが勾配を「不変」のまま流れることも可能とするため、勾配消失問題を部分的に解決する。しかしながら、LSTMネットワークは勾配爆発問題にはまだ悩まされうる。
MSXは「子供に買い与えられる安価なパーソナルコンピューター」「コンピューターの学習に繋げられるコンピューターの入門機」として 設計された。「家庭で利用しやすいホームコンピュータ」として、下記のような特徴を持っている。まず一般家庭への普及を目指すため、コンポジット映像入力対応のテレビが少なかった当時、標準の構成で家庭用テレビにRF出力が可能で、専用モニターを必要としないことは低価格でパソコンの使用環境を構築するのに有意だった。これは他の低価格帯の入門機にも見られた実装で、文字の滲みや解像度の低さなどのデメリットも存在したが、データレコーダーなどを含め民生機器の流用によってシステム全体のコストを引き下げることを可能にした。また、当時の一般的なホビー用パソコンと同様にBASICインタープリタ（MSX-BASIC）を搭載、さらに標準装備ではないもののMSX-DOSと呼ばれるCP/Mシステムコール互換OSも供給され、既存のCP/Mアプリケーションの多くがファイルシステムをコンバートすることによりほぼそのまま動作した。これによって、CP/M環境で整備された豊富な開発環境を利用したアセンブリ言語や、C言語、Pascal、COBOL、FORTRAN等の各種言語の習得や開発の学習のみならず、欧文ワープロや表計算等の実務アプリケーションの実行も可能な物だった。このようにMSXは位置づけこそ入門機であるものの、単に子供に買い与えゲームやBASICで遊ばせる「入門機」としての側面のみではなく、その後必要に応じてシステムを拡張し本格的なコンピューター（ソフトウェア）の学習にも繋げて行くことが可能な、総合的なホームコンピューターとして設計されている。ただし汎用性と互換性を重視した実装は、同時期のZ80をコアに据えたシステムと比較すると結果的に複雑なものとなり、ハードウェアリソースに対するアクセスは煩雑なものとなっている。これらは互換性や設計の柔軟さに寄与する反面、スロットの実装にともなうウェイトの挿入やBIOSを経由する等のオーバーヘッドは、Z80の3.579545MHzというCPUの速度に重くのしかかり、パフォーマンスを落とす一つの要素でもあった。本格的なコンピュータを指向する反面、後述するように参入しやすいよう安価に製造できる設定された基本仕様は同時期のコンピュータとしては発表当時としてもローエンドに位置し、MSX1の時点では半角文字の80カラム（1行80桁）表示も不可能だった。また、漢字ROMの仕様はあったものの標準搭載機はごく限られており、漢字の表示に関しても当初は統一仕様が存在しなかった。さらにはフロッピーディスクドライブ（以下FDD）、機種によってはプリンターインターフェースさえもオプション設定で、システムの設計に反して本格的なコンピュータと認識されることは少なかった。以上のような基本性能の低さやオプション品の価格などによって、MSX-DOS(CP/M)マシンとして、選択されることは多くなかった。最大解像度そのものが低いこともあり、高解像度の画面で長時間使用する際に最低限必要となるRGB出力端子を搭載している機種も少なく、表現力の面でも汎用性を割り切ってゲーム専用に新規で設計された回路で構成されたファミリーコンピュータと比較すると劣っていた。これらのことから、日本国内ではもっぱら「中途半端な子供の玩具」として受け取られていた点は否めない。この評価はのちに、表現力を増し、FDDを搭載していれば最低仕様のままでMSX-DOSの動作も可能となるMSX2の登場によって、一時的には解消されることとなる。しかし、その後MSX2の市場は熾烈な低価格化競争に突入し、安価な一体型MSX2マシンが普及したため、最終的に「子供向け」「ゲームマシン」との見方を返上するには至らなかった。