ゼロから作るDeep Learning Java編 第1章 はじめに

# 目次
* [第1章 はじめに](https://qiita.com/saka1029/items/8c8b4bd17669e3da614a)
* [第2章 パーセプトロン](https://qiita.com/saka1029/items/bce542064073a2e6b404)
* [第3章 ニューラルネットワーク](https://qiita.com/saka1029/items/dcc40a9868d709fc6510)
* [第4章 ニューラルネットワークの学習](https://qiita.com/saka1029/items/39b13dac9f5fccd5b551)
* [第5章 誤差逆伝播法](https://qiita.com/saka1029/items/00aed8cdb557781d643a)
* 第6章 学習に関するテクニック
    * [6.1 パラメータの更新](https://qiita.com/saka1029/items/996853b91c54e0f49f09)
    * [6.2 重みの初期値](https://qiita.com/saka1029/items/d013d52deb79461855da)
    * [6.3 Batch Normalization](https://qiita.com/saka1029/items/be2645313b7e7f44e1c5)
    * [6.4 正則化](https://qiita.com/saka1029/items/36261c6784cf8ffd3ed2)
    * [6.5 ハイパーパラメータの検証](https://qiita.com/saka1029/items/1c54a5874811908659a4)
* [第7章 畳み込みニューラルネットワーク](https://qiita.com/saka1029/items/2807f76abcade7de61b4)
* [第8章 ディープラーニング](https://qiita.com/saka1029/items/7f3c0d2e503d6ca583cc)
* [最後に](https://qiita.com/saka1029/items/02175486de2213bfd5c2)

#はじめに

[「ゼロから作るDeep Learning ――Pythonで学ぶディープラーニングの理論と実装」]
(https://www.oreilly.co.jp/books/9784873117584/)(オライリー・ジャパン 斎藤 康毅　著)はDeep Learningを初歩から解説した本です。プログラミング言語としてPythonを使用していますが、本投稿は（およびこれに続く一連の投稿では）これをJavaで実装します。ただし[ゼロから作るDeep Learning]
(https://www.oreilly.co.jp/books/9784873117584/)を置き換えるものではなく、併読することを前提として記述しています。

#使用する外部ライブラリ

##Numpy


[ゼロから作るDeep Learning]
(https://www.oreilly.co.jp/books/9784873117584/)では数値計算のためのライブラリとして[NumPy](http://www.numpy.org/)を使用しています。本投稿では[ND4J](https://nd4j.org/index.html)を使用します。ND4JはNumPyやMatlibに似た機能を持つJava用のライブラリです。オープンソースの[Deeplearning4J](https://deeplearning4j.org/)で使用されていることで有名です。ただしドキュメントはそれほど整備されていません。多少、試行錯誤して使い方を習得する必要があります。
ND4Jは[CUDA](https://ja.wikipedia.org/wiki/CUDA)を経由してGPUを使用することができます。高速化するためには有利であると考えます。

##Matplotlib

[ゼロから作るDeep Learning]
(https://www.oreilly.co.jp/books/9784873117584/)ではグラフ描画のためのライブラリとして[Matplotlib](https://matplotlib.org/)を使用しています。Deep Learningを実現する上でグラフは必須ではないため、本投稿ではグラフ描画のためのライブラリは使用しません。

#進め方


[ゼロから作るDeep Learning]
(https://www.oreilly.co.jp/books/9784873117584/)に登場するPythonで記述されたプログラムを逐次Javaで書き直していきます。結果が同じになることを確認するため、JUnitのコードとして記述します。例えば以下のような感じです。

```java
public class C1_5_NumPy {

    @Test
    public void C1_5_2_NumPy配列の生成() {
        INDArray x = Nd4j.create(new double[] {1.0, 2.0, 3.0});
        assertEquals("[1.00,2.00,3.00]", Util.string(x));
    }
}
```

これは「1 Python入門 1.5 NumPy 1.5.2 NumPy配列の生成」に登場するサンプルプログラムをJavaで記述したものです。クラス名やメソッド名に日本語を使用しているので、環境によっては動作しないかもしれません。私の環境（Windows10 + Eclipse Oxygen.2 Release 4.7.2）では問題なく動きます。
Pythonのコードが記述されている節についてのみ記述しているので見出しの項番は連番になっていません。Javaで記述したすべてのプログラムはGitHubの[saka1029/Deep.Learning](https://github.com/saka1029/Deep.Learning)に掲載しています。

#環境設定

GitHub上のプロジェクトをビルドするためには以下の依存関係をpom.xmlに設定する必要があります。

```xml

  <dependencies>
  	<dependency>
  		<groupId>org.nd4j</groupId>
  		<artifactId>nd4j-native-platform</artifactId>
  		<version>0.9.1</version>
  	</dependency>
  	<dependency>
		<groupId>org.slf4j</groupId>
		<artifactId>slf4j-log4j12</artifactId>
		<version>1.7.2</version>
	</dependency>
  </dependencies>
```
またIDE上のプロジェクトの設定で*Java8*を使用するように設定しておく必要があります。Java9とすると実行時にクラスローダが例外をスローすることがあります。

#1.5 ND4J

[ゼロから作るDeep Learning]
(https://www.oreilly.co.jp/books/9784873117584/)では第1章でPython、Numpy、Matplotlibについて説明していますが、本投稿ではND4Jについてのみ説明します。

##1.5.2 ND4Jの配列の生成

ND4Jでは配列の型は[INDArray](https://nd4j.org/doc/org/nd4j/linalg/api/ndarray/INDArray.html)になります。初期値を与えて初期化する場合は[Nd4jクラス](https://nd4j.org/doc/org/nd4j/linalg/factory/Nd4j.html)のファクトリーメソッドを使って以下のようにします。[Util](https://github.com/saka1029/Deep.Learning/blob/master/src/main/java/deep/learning/common/Util.java).string(INDArray)は配列の内容を文字列化する自作のユーティリティ関数です。

```java
INDArray x = Nd4j.create(new double[] {1.0, 2.0, 3.0});
assertEquals("[1.00,2.00,3.00]", Util.string(x));
```

##1.5.3 ND4Jの算術計算

1次元配列の四則演算は以下のようにします。

```java
INDArray x = Nd4j.create(new double[] {1.0, 2.0, 3.0});
INDArray y = Nd4j.create(new double[] {2.0, 4.0, 6.0});
assertEquals("[3.00,6.00,9.00]", Util.string(x.add(y)));
assertEquals("[-1.00,-2.00,-3.00]", Util.string(x.sub(y)));
assertEquals("[2.00,8.00,18.00]", Util.string(x.mul(y)));
assertEquals("[0.50,0.50,0.50]", Util.string(x.div(y)));
```
[INDArray](https://nd4j.org/doc/org/nd4j/linalg/api/ndarray/INDArray.html).mul(INDArray)は要素ごとの掛け算で、行列積は[INDArray](https://nd4j.org/doc/org/nd4j/linalg/api/ndarray/INDArray.html).mmul(INDArray)です。
[INDArray](https://nd4j.org/doc/org/nd4j/linalg/api/ndarray/INDArray.html)にはこれ以外にもadd(Number)、sub(Number)、mul(Number)、div(Number)がオーバーロードされているので、スカラー値との四則演算も同様に行うことができます。
xの実体は1行3列の2次元配列となります。この点はNumPyと異なるので注意が必要です。[INDArray](https://nd4j.org/doc/org/nd4j/linalg/api/ndarray/INDArray.html).rank()は配列の次元を返します。

```java
assertArrayEquals(new int[] {1,3}, x.shape());
assertEquals(2, x.rank());
```

##1.5.4 ND4JのN次元配列

2次元以上になっても[INDArray](https://nd4j.org/doc/org/nd4j/linalg/api/ndarray/INDArray.html)を使う点はNumPyと同じ考え方です。初期値を与えて2次元配列を作成する場合は以下のようにします。

```java
INDArray A = Nd4j.create(new double[][] {{1, 2}, {3, 4}});
assertEquals("[[1.00,2.00],[3.00,4.00]]", Util.string(A));
assertArrayEquals(new int[] {2,2}, A.shape());
assertEquals(2, A.rank());
```

##1.5.5 ブロードキャスト

NumPyでは次元の異なる配列どうしをそのまま四則演算することが可能ですが、ND4Jではそれはできません。[INDArray](https://nd4j.org/doc/org/nd4j/linalg/api/ndarray/INDArray.html).broadcast(int[])メソッドを使って明示的に次元を合わせてやる必要があります。
これを忘れるとIllegalStateExceptionがスローされます。

```java
INDArray A = Nd4j.create(new double[][] {{1, 2}, {3, 4}});
INDArray B = Nd4j.create(new double[] {10, 20});
// INDArrayのメソッドmul(INDArray)やadd(INDArray)は自動的にブロードキャストしません。
// broadcast(int[])を使用して左辺の次元に合わせてやる必要があります。
assertEquals("[[10.00,40.00],[30.00,80.00]]", Util.string(A.mul(B.broadcast(A.shape()))));
// 単純に掛け算するとIllegalStateException: Mis matched shapesとなります。
try {
    assertEquals("[[10.00,40.00],[30.00,80.00]]", Util.string(A.mul(B)));
    fail();
} catch (IllegalStateException e) {
    assertEquals("Mis matched shapes", e.getMessage());
}
// あるいはmulRowVector(INDArray)を使うこともできます。
assertEquals("[[10.00,40.00],[30.00,80.00]]", Util.string(A.mulRowVector(B)));
```

##1.5.6 要素へのアクセス

[INDArray](https://nd4j.org/doc/org/nd4j/linalg/api/ndarray/INDArray.html)はIterableインタフェースを実装していません。またIteratorを返すメソッドなどもありません。要素へのアクセスは添え字を使って行う必要があります。
要素を取り出すときは[INDArray](https://nd4j.org/doc/org/nd4j/linalg/api/ndarray/INDArray.html).getDouble(int...)、行を取り出すときは[INDArray](https://nd4j.org/doc/org/nd4j/linalg/api/ndarray/INDArray.html).getRow(int)、列を取り出すときは[INDArray](https://nd4j.org/doc/org/nd4j/linalg/api/ndarray/INDArray.html).getColumn(int)を使います。2次元配列を1次元に変化する場合は[Nd4j](https://nd4j.org/doc/org/nd4j/linalg/factory/Nd4j.html).toFlattened(INDArray)メソッドを使います。

```java
INDArray X = Nd4j.create(new double[][] {{51, 55}, {14, 19}, {0, 4}});
assertEquals("[[51.00,55.00],[14.00,19.00],[0.00,4.00]]", Util.string(X));
assertEquals("[51.00,55.00]", Util.string(X.getRow(0)));
assertEquals(55.0, X.getDouble(0, 1), 5e-6);
// INDArrayはIterableインタフェースを実装していません。
for (int i = 0, size = X.size(0); i < size; ++i)
    assertEquals(2, X.getRow(i).size(1));
// Xをベクトルに変換します。
X = Nd4j.toFlattened(X);
assertEquals("[51.00,55.00,14.00,19.00,0.00,4.00]", Util.string(X));
// 指定した要素をすべて取り出すこともできます。
assertEquals("[51.00,14.00,0.00]", Util.string(X.getColumns(0, 2, 4)));
```

##データ型

今までの例を見るとdoubleの配列を使って初期化しているので、INDArrayは内部でdoubleの配列を保持しているように見えます。しかしND4Jはデフォルトではfloatの配列を確保します。ドキュメントには以下の記述があります。

> **データ型の設定**
> ND4Jは現在、float精度値またはdouble精度値によるINDArrayによるバッキングを許可しています。デフォルトは単精度（float）です。ND4Jがdouble精度を配列全体に使用するように設定するには、以下を使用することができます。
> **0.4-rc3.8、及びそれ以前の場合、**
> Nd4j.dtype = DataBuffer.Type.DOUBLE;
> NDArrayFactory factory = Nd4j.factory();
> factory.setDType(DataBuffer.Type.DOUBLE);
> **0.4-rc3.9、及びそれ以降の場合、**
> DataTypeUtil.setDTypeForContext(DataBuffer.Type.DOUBLE);

[DataTypeUtil](https://nd4j.org/doc/org/nd4j/linalg/api/buffer/util/DataTypeUtil.html)を使ってdoubleの配列を作成してみます。

```java
// デフォルト精度の配列を作成します。
INDArray a = Nd4j.create(new double[] {1D / 3});
// 倍精度(double)に設定します。
DataTypeUtil.setDTypeForContext(DataBuffer.Type.DOUBLE);
// doubleに変更されていることがわかります。
assertEquals(DataBuffer.Type.DOUBLE, DataTypeUtil.getDtypeFromContext());
// 倍精度の配列を作成します。
INDArray b = Nd4j.create(new double[] {1D / 3});
// aはdoubleで初期化しましたが単精度の配列です。
assertEquals(0.3333333432674408, a.getDouble(0), 5e-14);
// bはdoubleで初期化しましたが倍精度の配列です。
assertEquals(0.3333333333333333, b.getDouble(0), 5e-14);
// 単精度(float)に戻します。
DataTypeUtil.setDTypeForContext(DataBuffer.Type.FLOAT);
```

ND4Jがデフォルトでfloatを使用するのは主としてDeep Learningでの利用を想定しているからだと思います。ND4Jは[CUDA](https://ja.wikipedia.org/wiki/CUDA)を経由してGPUを使用することができますが、その場合もfloatの方がハンドリングがしやすいのでしょう。
この一連の投稿では一貫してdouble型を使いますが、[INDArray](https://nd4j.org/doc/org/nd4j/linalg/api/ndarray/INDArray.html)の内部はfloat型である点に注意してください。