自動微分
テープを使用しない場合は、以下のように Python で実装できる。
テープを使用する場合のアルゴリズムの実装の流れは以下の通りである。
テープをサイズ変更が可能な配列として用意する。テープの要素は中間変数 w i {\displaystyle w_{i}} 毎に作り、以下の5項目を記録する。 計算内容(足し算や掛け算など) 計算グラフの入辺:計算に使用した引数のテープ上のインデックスのリスト。 w 3 {\displaystyle w_{3}} なら w 1 {\displaystyle w_{1}} と w 2 {\displaystyle w_{2}} 。 計算グラフの出辺:この中間変数がどの計算で使われたかのテープ上のインデックスのリスト。計算しながら追記していく。 w 1 {\displaystyle w_{1}} なら w 3 {\displaystyle w_{3}} と w 4 {\displaystyle w_{4}} 。 w i {\displaystyle w_{i}} の値 w ̄ i {\displaystyle {\bar {w}}_{i}} の値(最初は未定)
w i {\displaystyle w_{i}} の値を計算していく。その際、上記の内容をテープに追記していく。また、テープには、どの中間変数の計算で、どの中間変数を使用したかも追記する(上記の3番)。同一の中間変数を2回以上計算しないように注意が必要。