Neo4jに歴代オリンピックアスリートを取り込む

# はじめに

勤務先では、[truncus](https://www.jurabi.jp/products/truncus/)というマイクロサービスプラットフォームを開発していますが、このプラットフォームは組み込みのデータベースとして独自のグラフデータベースを持っています。

現在、代表的なグラフデータベースといえばNeo4jだと思いますが、一度も触ったことがありません。
勤務先がグラフデータベースを扱っているのに、社員としてNeo4jを使ったことがないのはいかがなものかということで、触れてみることにしました。

Neo4j公式に[Sandbox](https://neo4j.com/sandbox/)があるので、まずはこれを試しました。
やってみて、何となくNeo4jのクエリ言語であるCypherの使い方が分かったので、自分でデータをインポートして色々やってみたくなりました。

何か使えそうなデータがないか探してみたところ、kaggleにオリンピックのアスリートデータがあったので、これを使ってみることにしました。

本記事では、このCSVデータをNeo4jに格納して、Cypherを使っていくつかの視点でデータを参照する手順を示します。

# 歴代オリンピックのアスリートデータ

歴代オリンピックのアスリートデータ（CSV）は、1896年アテネオリンピック〜2016年リオデジャネイロオリンピックに参加した全てのアスリートの基本的な情報からなるものです（レコード数：271116件）。データは、下記のページからダウンロードできます。

[120 years of Olympic history: athletes and results](https://www.kaggle.com/heesoo37/120-years-of-olympic-history-athletes-and-results/home)

ダウンロードしたCSVは、以下の項目を持っています。

- ID: 各アスリートに割り当てた一意な数値
- Name: アスリートの氏名
- Sex: 性別（M/F）
- Age: 年齢
- Height: 身長（cm）
- Weight: 体重（kg）
- Team: チーム名
- NOC: 国際オリンピック委員会で定められた3文字の国コード（JPNなど）
- Games: オリンピックの大会名（開催年＋季節）
- Year: 開催年
- Season: 季節
- City: 開催都市
- Sport: 競技
- Event: 種目
- Medal: メダル（Gold/Silver/Bronze/NA）

## エンティティと関連
Neo4jでは、データはエンティティと関連として格納されるため、このアスリートデータを、以下のようなエンティティと関連に分解します。

<img title="エンティティと関連" width="400" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/146659/d95d0f6f-035c-d15e-7ded-acfb4b980ba0.png">

### エンティティ

エンティティは、次の6個です。

- Olimpic: オリンピック
    - id: エンティティのID（'o'+連番）
    - name: オリンピックの大会名（開催年＋季節）。CSVの「Games」。
    - year: 開催年。CSVの「Year」。
    - season: 季節。CSVの「Season」。
    - city: 開催都市。CSVの「City」。
- Game: 試合
    - id: エンティティのID（'g'+連番）
- Sport: 競技
    - id: エンティティのID（'s'+連番）
    - name: 競技名。CSVの「Sport」。
- Event: 種目
    - id: エンティティのID（'e'+連番）
    - name: 種目名。CSVの「Event」。
- Team: チーム
    - id: エンティティのID（'t'+連番）
    - name: チーム名。CSVの「Team」。
    - noc: 国際オリンピック委員会での国の3文字コード。CSVの「NOC」。
- Person: 人物
    - id: （'p'+連番）。連番はCSVの「ID」。
    - name: アスリートの氏名。CSVの「Name」。
    - sex: 性別（M/F）。CSVの「Sex」。
    - age: 年齢。CSVの「Age」。
    - height: 身長（cm）。CSVの「Height」。
    - weight: 体重（kg）。CSVの「Weight」。

### 関連

関連は、次の5個です。

- HOLD: 開催する
    - オリンピック（Olimpic）と、そこで開催される試合（Game）との間の関連
- GAME_EVENT: 試合の種目
    - 試合（Game）と、その試合の種目（Event）との間の関連
- PLAY: 参加する
    - 人物（Person）と、その人が参加する試合（Game）との間の関連
    - 以下の属性を持つ。
        - age: 年齢（CSVのAge）
        - medal: 獲得したメダル（CSVのMedal）
- INCLUDE: 含む
    - 競技（Sport）と、その競技の種目（Event）との間の関連
- MEMBER: チームのメンバー
    - チーム（Team）と、そのチームに所属する人物（Person）との間の関連

## CSVインポート

今回は、[Neo4j Desktop](https://neo4j.com/download/)を使って、CSVのインポート、Cypherの実行を行います。

### CSVの作成

Cypherを駆使すれば、ダウンロードしたCSVからエンティティ、関連を直接作れると思いますが、まだそこまでのCypher達人にはなっていないので、泥臭くExcelを使って、エンティティ、関連を表すCSVを作ります（手順は省略）。
作成するCSVの名称は、エンティティ名と同じです（Olimpic.csv、HOLD.csvなど）。

### CSVのインポート

#### 準備

CSVのインポートは、Neo4jのDEVELOPER GUIDESにある、以下のページにしたがって行います。
[How-To: Import CSV Data with Neo4j Desktop](https://neo4j.com/developer/desktop-csv-import/)

このページのうち必要となる手順は、「1. Creating and starting the Neo4j instance」、「2. Putting CSV files in the import folder」の2つだけです。

上記のページの手順に従うと、CSVをインポートする準備が整います。
では、次からCypherを使ってCSVをインポートしていきます。

#### Neo4j Browser

Neo4j Desktopの「Open」をクリックして、Neo4j Browserを開きます。
![08_open_neo4j_browser.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/146659/2798d370-d94a-4eed-92ce-e663ba9a66e8.png)

Neo4jブラウザは下図の様になっていて、赤枠の部分にCyperクエリを入力して実行します。
![09_neo4j_browser.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/146659/a4c70f17-df70-4118-75cb-839613f887a9.png)

では、Cypherを使って、CSVをインポートしていきます。

##### 1. インデックス作成

まず、各エンティティのインデックスを作成します。
話を簡単にするために、インデックスは作らなくても良いかと思いましたが、関連のインポートでCypherの実行が終わらなかったので、作成しました。

```cypher
CREATE CONSTRAINT UniqueOlimpic ON (o: Olimpic) ASSERT o.id IS UNIQUE;
CREATE CONSTRAINT UniqueSport ON (s:Sport) ASSERT s.id IS UNIQUE;
CREATE CONSTRAINT UniqueEvent ON (e:Event) ASSERT e.id IS UNIQUE;
CREATE CONSTRAINT UniqueTeam ON (t:Team) ASSERT t.id IS UNIQUE;
CREATE CONSTRAINT UniquePerson ON (p:Person) ASSERT p.id IS UNIQUE;
CREATE CONSTRAINT UniqueGame ON (g:Game) ASSERT g.id IS UNIQUE;
```

##### 2. エンティティのインポート

次に、エンティティをインポートします。
Cypherでは「()」はグラフのノード（エンティティ）を表しています。
以下では、エンティティをインポートするためのクエリを示しますが、直感的でわかりやすいと思いますので、詳細な説明は省きます。

- Olimpic

```cypher
LOAD CSV WITH HEADERS FROM 'file:///Olimpic.csv' AS row
CREATE (o:Olimpic {id: row.id, name: row.name, year: toInteger(row.year), season: row.season, city: row.city})
RETURN count(o);
```

- Sport

```cypher
LOAD CSV WITH HEADERS FROM 'file:///Sport.csv' AS row
CREATE (s:Sport {id: row.id, name: row.name})
RETURN count(s);
```

- Event

```cypher
LOAD CSV WITH HEADERS FROM 'file:///Event.csv' AS row
CREATE (e:Event {id: row.id, name: row.name})
RETURN count(e);
```

- Team

```cypher
LOAD CSV WITH HEADERS FROM 'file:///Team.csv' AS row
CREATE (t:Team {id: row.id, name: row.name, noc: row.noc})
RETURN count(t);
```

- Person

```cypher
LOAD CSV WITH HEADERS FROM 'file:///Person.csv' AS row
CREATE (p:Person {id: row.id, name: row.name, sex: row.sex, weight: toFloat(row.weight), height: toFloat(row.height)})
RETURN count(p);
```

- Game

```cypher
LOAD CSV WITH HEADERS FROM 'file:///Game.csv' AS row
CREATE (g:Game {id: row.id})
RETURN count(g);
```


##### 3. 関連のインポート

最後に、関連をインポートします。
Cypherでは「[]」でグラフのエッジ（関連）を表現します。
エンティティ間の関連は、「(エンティティ)-[関連]->(エンティティ)」の形で表現され、非常に直感的です。

- HOLD

```cypher
LOAD CSV WITH HEADERS FROM 'file:///HOLD.csv' AS row
MATCH (o:Olimpic {id: row.olimpic})
MATCH (g:Game {id: row.game})
CREATE (o)-[rel:HOLD]->(g)
RETURN count(rel);
```

- GAME_EVENT

```cypher
LOAD CSV WITH HEADERS FROM 'file:///GAME_EVENT.csv' AS row
MATCH (g:Game {id: row.game})
MATCH (e:Event {id: row.event})
CREATE (g)-[rel:GAME_EVENT]->(e)
RETURN count(rel);
```

- INCLUDE

```cypher
LOAD CSV WITH HEADERS FROM 'file:///INCLUDE.csv' AS row
MATCH (s:Sport {id: row.sport})
MATCH (e:Event {id: row.event})
CREATE (s)-[rel:INCLUDE]->(e)
RETURN count(rel);
```

- PLAY

```cypher
LOAD CSV WITH HEADERS FROM 'file:///PLAY.csv' AS row
MATCH (p:Person {id: row.person})
MATCH (g:Game {id: row.game})
CREATE (p)-[rel:PLAY {age: toInteger(row.age), medal: row.medal}]->(g)
RETURN count(rel);
```

- MEMBER

```cypher
LOAD CSV WITH HEADERS FROM 'file:///MEMBER.csv' AS row
MATCH (t:Team {id: row.team})
MATCH (p:Person {id: row.person})
CREATE (t)-[rel: MEMBER]->(p)
RETURN count(rel);
```

## Cypherでアスリートデータを見る

ここまでで、CSVをインポートすることができたので、Cypherを使ってアスリートデータをいくつかの視点で見ていきます。

### オリンピックのエンティティ一覧
Cypherを実行して、オリンピックの一覧を参照します。

```cypher
MATCH (o:Olimpic) RETURN o
```

結果はこの様に表示されます。
![olimpic.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/146659/5abd7b39-c928-f4b2-1cb7-da113d456b7b.png)

ノードをクリックするとこの様になります。
![expand_relation.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/146659/2de303a8-4c01-968b-08ac-366340cd0a78.png)

下の部分をクリックすると、そのエンティティと関連で紐づいた全てのエンティティが表示されます。どんどん関連を辿っていくと、こんな感じになります。
![olimpic_expand.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/146659/59e6e5fb-1885-7894-f1f0-05ff1ed347c7.png)

### 陸上競技の種目一覧
せっかくグラフデータベースを使っているので、関連も使ってみます。
まずは簡単に、陸上競技に含まれる種目の一覧を表示してみましょう。

使用するエンティティ、関連は、下図のオレンジ色のものです。
<img width="400" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/146659/3125f0b7-9b34-6db2-91ff-6c1869ce9f6b.png">

```cypher
MATCH (s:Sport)-[r:INCLUDE]->(e:Event)
WHERE s.name='Athletics'
RETURN s,r,e
```

次のように書いても同じです。

```cypher
MATCH (s:Sport {name:'Athletics'})-[r:INCLUDE]->(e:Event)
RETURN s,r,e
```

結果はこうなります。
種目名が全て「Athletics」になっているように見えますが、途中で見えなくなっているだけで、実際には「Athletics Women's 100 metres」のようになっています。
![athletics.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/146659/f46b0781-9e27-efcf-e662-6b3dcf83fb8f.png)

### 吉田沙保里の戦歴

×××最強女子と言われた吉田沙保里さんの戦歴を拾ってみましょう。
使うエンティティ、関連は、下図のオレンジ色のものです。
<img title="吉田沙保里の戦歴" width="400" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/146659/088e80a8-82ef-1c2f-d678-2208ee857992.png">
図を見てわかるように、一本の関連では表現できません。
この様な場合は、複数のMATCHを使います。注意すべき点は、関連の合流点である
「試合（Game）」の変数を同じにすることです（ここでは「g」）。

```cypher
MATCH (o:Olimpic)-[:HOLD]->(g:Game)-[:GAME_EVENT]->(e:Event)
MATCH (:Person {name: 'Saori Yoshida'})-[rp:PLAY]->(g:Game)
RETURN o.name AS olimpic, o.city AS city, e.name AS event, rp.medal AS medal, rp.age AS age
ORDER BY o.year
```

これが実行結果です。やはり吉田さん最強です。

```
╒═════════════╤════════════════╤════════════════════════════════════════════╤════════╤═════╕
│"olimpic"    │"city"          │"event"                                     │"medal" │"age"│
╞═════════════╪════════════════╪════════════════════════════════════════════╪════════╪═════╡
│"2004 Summer"│"Athina"        │"Wrestling Women's Lightweight, Freestyle"  │"Gold"  │21   │
├─────────────┼────────────────┼────────────────────────────────────────────┼────────┼─────┤
│"2008 Summer"│"Beijing"       │"Wrestling Women's Lightweight, Freestyle"  │"Gold"  │25   │
├─────────────┼────────────────┼────────────────────────────────────────────┼────────┼─────┤
│"2012 Summer"│"London"        │"Wrestling Women's Lightweight, Freestyle"  │"Gold"  │29   │
├─────────────┼────────────────┼────────────────────────────────────────────┼────────┼─────┤
│"2016 Summer"│"Rio de Janeiro"│"Wrestling Women's Featherweight, Freestyle"│"Silver"│33   │
└─────────────┴────────────────┴────────────────────────────────────────────┴────────┴─────┘
```

### オリンピックの参加国数

最後に、歴代オリンピックの参加国数を見てみます。
使うエンティティ、関連は、下図のオレンジ色のものです。
リレーショナルデータベースで扱うには少し厳しそうな距離の関連です。
<img title="オリンピックの参加国数" width="400" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/146659/20fc2ea9-36d9-d043-120d-00a4dbd4315b.png">

```
MATCH (o:Olimpic)-[:HOLD]->(:Game)<-[:PLAY]-(:Person)<-[:MEMBER]-(t:Team)
RETURN o.name AS name, o.city AS city, count(DISTINCT t.noc) AS noc
ORDER BY o.name
```

実行結果はこちらです。わずか407msで実行できました。グラフデータベースの威力発揮ですね。

```
╒═════════════╤════════════════════════╤═════╕
│"name"       │"city"                  │"noc"│
╞═════════════╪════════════════════════╪═════╡
│"1896 Summer"│"Athina"                │12   │
├─────────────┼────────────────────────┼─────┤
│"1900 Summer"│"Paris"                 │30   │
├─────────────┼────────────────────────┼─────┤
│"1904 Summer"│"St. Louis"             │15   │
├─────────────┼────────────────────────┼─────┤
│"1906 Summer"│"Athina"                │24   │
├─────────────┼────────────────────────┼─────┤
│"1908 Summer"│"London"                │24   │
├─────────────┼────────────────────────┼─────┤
│"1912 Summer"│"Stockholm"             │34   │
├─────────────┼────────────────────────┼─────┤
│"1920 Summer"│"Antwerpen"             │33   │
├─────────────┼────────────────────────┼─────┤
│"1924 Summer"│"Paris"                 │48   │
├─────────────┼────────────────────────┼─────┤
│"1924 Winter"│"Chamonix"              │20   │
├─────────────┼────────────────────────┼─────┤
│"1928 Summer"│"Amsterdam"             │48   │
├─────────────┼────────────────────────┼─────┤
│"1928 Winter"│"Sankt Moritz"          │25   │
├─────────────┼────────────────────────┼─────┤
│"1932 Summer"│"Los Angeles"           │47   │
├─────────────┼────────────────────────┼─────┤
│"1932 Winter"│"Lake Placid"           │17   │
├─────────────┼────────────────────────┼─────┤
│"1936 Summer"│"Berlin"                │52   │
├─────────────┼────────────────────────┼─────┤
│"1936 Winter"│"Garmisch-Partenkirchen"│28   │
├─────────────┼────────────────────────┼─────┤
│"1948 Summer"│"London"                │63   │
├─────────────┼────────────────────────┼─────┤
│"1948 Winter"│"Sankt Moritz"          │28   │
├─────────────┼────────────────────────┼─────┤
│"1952 Summer"│"Helsinki"              │72   │
├─────────────┼────────────────────────┼─────┤
│"1952 Winter"│"Oslo"                  │30   │
├─────────────┼────────────────────────┼─────┤
│"1956 Summer"│"Melbourne"             │73   │
├─────────────┼────────────────────────┼─────┤
│"1956 Summer"│"Stockholm"             │31   │
├─────────────┼────────────────────────┼─────┤
│"1956 Winter"│"Cortina d'Ampezzo"     │33   │
├─────────────┼────────────────────────┼─────┤
│"1960 Summer"│"Roma"                  │94   │
├─────────────┼────────────────────────┼─────┤
│"1960 Winter"│"Squaw Valley"          │32   │
├─────────────┼────────────────────────┼─────┤
│"1964 Summer"│"Tokyo"                 │101  │
├─────────────┼────────────────────────┼─────┤
│"1964 Winter"│"Innsbruck"             │38   │
├─────────────┼────────────────────────┼─────┤
│"1968 Summer"│"Mexico City"           │116  │
├─────────────┼────────────────────────┼─────┤
│"1968 Winter"│"Grenoble"              │38   │
├─────────────┼────────────────────────┼─────┤
│"1972 Summer"│"Munich"                │123  │
├─────────────┼────────────────────────┼─────┤
│"1972 Winter"│"Sapporo"               │36   │
├─────────────┼────────────────────────┼─────┤
│"1976 Summer"│"Montreal"              │98   │
├─────────────┼────────────────────────┼─────┤
│"1976 Winter"│"Innsbruck"             │39   │
├─────────────┼────────────────────────┼─────┤
│"1980 Summer"│"Moskva"                │93   │
├─────────────┼────────────────────────┼─────┤
│"1980 Winter"│"Lake Placid"           │41   │
├─────────────┼────────────────────────┼─────┤
│"1984 Summer"│"Los Angeles"           │151  │
├─────────────┼────────────────────────┼─────┤
│"1984 Winter"│"Sarajevo"              │59   │
├─────────────┼────────────────────────┼─────┤
│"1988 Summer"│"Seoul"                 │183  │
├─────────────┼────────────────────────┼─────┤
│"1988 Winter"│"Calgary"               │70   │
├─────────────┼────────────────────────┼─────┤
│"1992 Summer"│"Barcelona"             │188  │
├─────────────┼────────────────────────┼─────┤
│"1992 Winter"│"Albertville"           │80   │
├─────────────┼────────────────────────┼─────┤
│"1994 Winter"│"Lillehammer"           │74   │
├─────────────┼────────────────────────┼─────┤
│"1996 Summer"│"Atlanta"               │206  │
├─────────────┼────────────────────────┼─────┤
│"1998 Winter"│"Nagano"                │79   │
├─────────────┼────────────────────────┼─────┤
│"2000 Summer"│"Sydney"                │209  │
├─────────────┼────────────────────────┼─────┤
│"2002 Winter"│"Salt Lake City"        │85   │
├─────────────┼────────────────────────┼─────┤
│"2004 Summer"│"Athina"                │210  │
├─────────────┼────────────────────────┼─────┤
│"2006 Winter"│"Torino"                │87   │
├─────────────┼────────────────────────┼─────┤
│"2008 Summer"│"Beijing"               │212  │
├─────────────┼────────────────────────┼─────┤
│"2010 Winter"│"Vancouver"             │85   │
├─────────────┼────────────────────────┼─────┤
│"2012 Summer"│"London"                │215  │
├─────────────┼────────────────────────┼─────┤
│"2014 Winter"│"Sochi"                 │91   │
├─────────────┼────────────────────────┼─────┤
│"2016 Summer"│"Rio de Janeiro"        │213  │
└─────────────┴────────────────────────┴─────┘
```

# 最後に

今回は、比較的簡単なことしか試していませんが、関連を扱うのに向いているというグラフデータベースの長所を垣間見ることができました。

今後は、さらに関連が特徴的なデータを探してみて、Neo4jで色々と試してみたいと思います。