Python3でNon-ASCII識別子はUnicode正規化される


## TL;DR

- Python3 から非ASCII文字（ひらがな等の半角英数以外の文字）も識別子（変数名、関数名、クラス名など）につかえるようになったが、入力した文字がそのまま使われるわけではない
- 通常の用途では殆ど問題にならないが、知っておかないと極稀に想定通りでない挙動をすることがある

## 試した環境

- Python 3.7.3
- この記事の[notebook](https://github.com/ryskchy/notebooks/blob/master/misc/unicode_identifier.ipynb)

## Python3 の識別子の仕様

### 非ascii識別子（non-ascii identifier）

- Python3になって、非ascii文字（もともと使えていた半角英数と一部記号以外の文字）も変数や関数の名前として使えるようになった
    - 使える文字一覧については こちら<https://qiita.com/yukinoi/items/e521e8f6b085a51de90b>の記事を参照
        - ただし、この記事では2文字目以降にのみ使える文字（数字など）や他の文字とくっついて使える文字（ﾞなど）は含まれていないので、実際にはもっと多い
        - ざっくりいうと、「文字」として扱われるものはだいたい使えて、「記号」として扱われるものはだいたい使えない
- 例えば平仮名や漢字はもちろんのこと、ヒエログリフや楔形文字も変数として使える
    - 使えるというだけで、可読性やフォントの問題があるので、本当に必要な場合のみ使いましょう

```python
あ = "ひらがな"
漢 = "漢字"
𓃻 = "ヒエログリフ"
def 𒄀():
    return "楔形文字"


print(あ, 漢, 𓃻, 𒄀())
```

```plaintext:出力
ひらがな 漢字 ヒエログリフ 楔形文字
```

### 別の変数が上書かれる？

例えば、以下のようなコードを書いてみる

```python
A = "半角A"
Ａ = "全角Ａ"
print(A, Ａ)
```
すると出力はこうなる

```plaintext:出力
全角Ａ 全角Ａ
```
このように、半角`A`にも`'全角Ａ'`という文字列が入ってしまっている。
これ以外にも

```python
ガ = "全角ガ（1文字の変数名）"
ｶﾞ = "半角ｶﾞ（2文字の変数名）"
print(ガ, ｶﾞ)
```
```plaintext:出力
半角ｶﾞ（2文字の変数名） 半角ｶﾞ（2文字の変数名）
```
変数名の文字数も違うのに、2行目の代入で1行目の代入が上書かれている

### PEP 3131

何が起きているのか調べるために、PEPを読んで見る。非ASCIIな識別子についての[PEP 3131 -- Supporting Non-ASCII Identifiers](https://www.python.org/dev/peps/pep-3131/#implementation)を見ると以下のように書かれている

> 2 . The entire UTF-8 string is passed to a function to normalize the string to NFKC, and then verify that it follows the identifier syntax.

 (意訳)UTF-8文字列全体はNFKCへ正規化する関数に渡され、その後識別子の文法に従っているか確かめられる

どういうことかというと、非ASCIIな識別子は[Unicode正規化](https://ja.wikipedia.org/wiki/Unicode%E6%AD%A3%E8%A6%8F%E5%8C%96)という処理がなされ、NFKCという正規化形式に変換した上で使われる、ということらしい。
Unicode正規化やNFKCについては上記Wikipedia参照。ちなみに、どんな文字が正規化されるのかについては下のブログ記事で紹介されている(先程参照したQiitaと同じ方の記事)。
<https://expectorate.hatenadiary.org/entry/20131230/1388433282>


## どういう処理がされるか

### Unicode正規化の内容

実際にどういう処理がされているのか詳しく見てみる。Unicode正規化については、pythonではunicodedata.normalize関数で試せる。
先程の変数名は

```python
import unicodedata

def print_normalize(before):
    after = unicodedata.normalize("NFKC", before)
    print(f"{before} -> {after}")

print_normalize("Ａ")
print_normalize("ｶﾞ")
```

```plaintext:出力
Ａ -> A
ｶﾞ -> ガ
```
と変換される。`ｶﾞ`は2文字が1文字に変換されたが、逆に1文字が2文字以上に変換される例もある。

```python
print_normalize("㍍")
```
```plaintext:出力
㍍ -> メートル
```
ただし、変換後の文字列が識別子に使えるからといって、変換前の文字列が識別子に使えるというわけではなく（シンタックスのチェックは変換前にも行われる）、例えば先程の`㍍`は識別子には使えない（`メートル`は使える）。他にも、`①`は`1`に変換されるが、2文字目以降でも識別子としては使えない。

```python
x1 = 10 # OK
x① = 10 # SyntaxError: invalid character in identifier
```

### 代入、評価のされ方

具体的にどのように変数として保持されているか見てみる。pythonのグローバル変数は`globals`関数で参照できる。

```python
ｶﾞｷﾞｸﾞｹﾞｺﾞ = 12345
globals().keys()
```
```plaintext:出力
dict_keys(['__name__', '__builtin__', ～～中略～～, 'ガギグゲゴ'])
```
この通り、既にUnicode正規化された形で保持されている。
しかし、正規化前の変数を評価しても

```python
print(ｶﾞｷﾞｸﾞｹﾞｺﾞ) 
```
```plaintext
12345
```
正常に評価される。つまりは代入する時も評価する時も、Unicode正規化された形で使われていることがわかる。
直接宣言していない、正規化後を評価しても同様になる。

```python
print(ガギグゲゴ) 
```
```plaintext
12345
```


## 意図しない動作

この仕様の影響で、プログラムが意図しない動作をする可能性があり、注意が必要である。自分が思ったのは以下の2つ

1. 想定外のところで変数が上書かれる
2. 識別子を文字列で参照したときに、動作が異なる

1については上で説明したとおりなので、2について説明する。

### 識別子を文字列で参照する

#### globals, locals

上述の通り、pythonの変数テーブルはglobalsやlocals関数で参照できるが、これらは辞書を返すため、代入を介さずに直接値をつっこんだり、評価を介さずに直接値を参照することが可能である。（**ただし、普通はやらない**）

代入や評価を介さないと、Unicode正規化されることもないため、正規化されていない状態で使用することになり、代入・評価した時と別のものを指すことになる。

```python
ｻﾞｼﾞｽﾞｾﾞｿﾞ = "代入"
globals()["ｻﾞｼﾞｽﾞｾﾞｿﾞ"] = "直接追加"
print(ｻﾞｼﾞｽﾞｾﾞｿﾞ)
print(globals()["ｻﾞｼﾞｽﾞｾﾞｿﾞ"])
```

```plaintext:出力
代入
直接追加
```

#### その他の方法

globals()やlocals()を直接触ることは滅多にないが、スクリプト言語であるpythonでは識別子を文字列で触る機会は他にもある。（どこまでが推奨されない書き方なのか、正直わかっていないです）

例えば`setattr`, `getattr`でオブジェクトのアトリビュートを追加、参照するケース

```python
class SomeClass(object):
    def __init__(self, ｶﾞ=100,**kwargs):
        self.ｶﾞ = ｶﾞ
        for k,v in kwargs.items():
            setattr(self, k, v)

obj = SomeClass(**{"ｶﾞ":200,})
print(obj.ｶﾞ)
print(getattr(obj, "ｶﾞ"))
```
```plaintext:出力
100
200
```
や、そのの特殊ケースとして、pandasのDataFrameのカラムを文字列参照する時とドット参照する時で結果が変わる場合

```python
import pandas as pd
table = pd.DataFrame(index=range(3),columns=["A1", "Ａ１"])
table["A1"] = "半角"
table["Ａ１"] = "全角"
```
```plaintext:table.Ａ１
0    半角
1    半角
2    半角
Name: A1, dtype: object
```
```plaintext:table["Ａ１"]
0    全角
1    全角
2    全角
Name: Ａ１, dtype: object
```
は注意が必要。

## まとめ

- Python3で非ASCIIな識別子を使うときの挙動について調べた
- そもそも、たとえ日本語ネイティブだけで開発する場合でも、ASCIIでない識別子は極力避けるべき
    - [PEP 3131](https://www.python.org/dev/peps/pep-3131/#id17)でも、standard libraryに関しては"MUST use ASCII-only identifiers"と書いてある
- どうしても使う場合は最小限に抑えて、上記のような不具合が起きないようにしましょう


## （おまけ1）この記事を書いたきっかけ

- Juliaでは、円周率を表すπや自然対数の底（ネイピア数）を表すℯがあらかじめ値が入った形で用意されている
    - jupyterでは`\pi`や`\euler`と入力してtabキーを押せば入力できるので、imeを切り替える必要がなく便利
- pythonでもスタートアップスクリプトで代入しておけば便利なのでは？

### 実際に試そうとした結果

```python3:検証
from math import pi as π
from math import e as ℯ

e = 10
print(ℯ)
```

```bash:出力結果
10
```
このように、pythonの代入・評価では`e`と`ℯ`の区別がされないことが発覚した。

## (おまけ2 )他言語の仕様
少なくともJuliaでは正規化されず、Python3では正規化されることがわかったので、他の言語でも試してみる。[paiza.io](https://paiza.io/ja)で実行してみた結果が以下。

|言語|使える|区別される|
|:---|:--:|:--:|
|bash|✕|-|
|C|○|○|
|C#|○|○|
|C++|○|○|
|Go|○|○|
|Java|○|○|
|Javascript|○|○|
|Kotlin|○|○|
|Perl|✕|-|
|PHP|○|○|
|Python2|✕|-|
|Python3|○|✕|
|R|○|○|
|Ruby|○|○|
|Swift|○|○|

Unicode正規化されるのはPython独自の仕様？
以下試したコード
### bash

```bash
A="hankau A"
Ａ="zenkaku A"
echo $A
echo $Ａ
```

```plaintext:出力
代入エラー(ASCIIしか変数名に使えない)
```

### C

```c
#include <stdio.h>
int main(void)
{
    char *A = "hankau A";
    char *Ａ = "zenkaku A";
    printf("A = %s\n", A);
    printf("Ａ = %s\n", Ａ);
}
```

```plaintext:出力
A = hankau A
Ａ = zenkaku A
```
区別される(以下結果略)

### C Sharp

```csharp

public class Hello{
    public static void Main(){

    var A = "hankau A";
    var Ａ = "zenkaku A";
    System.Console.WriteLine($"A = {A}");
    System.Console.WriteLine($"Ａ = {Ａ}");;
    }
}
```


### C++

```cpp
#include <iostream>
using namespace std;
int main(void){
    char *A = "hankaku A";
    char *Ａ = "zenkaku A";
    std::cout<<"A="<<A;
    std::cout<<"Ａ="<<Ａ;
}
```

### Go

```go
package main
import "fmt"
func main(){
    // Your code here!
    A:= "hankaku A"
    Ａ:= "zenkaku A"
    fmt.Println("A = ", A)
    fmt.Println("Ａ = ", Ａ)
}
```

### Java

```java
import java.util.*;

public class Main {
    public static void main(String[] args) throws Exception {
        // Your code here!
        var A = "hankaku A";
        var Ａ = "zenkaku A";
        System.out.printf("A = %s\n", A);
        System.out.printf("Ａ = %s\n", Ａ);
    }
}
```

### Javascript

```javascript
const A = "hankaku A";
const Ａ = "zenkaku A";
console.log("A = ", A);
console.log("Ａ = ", Ａ);
```
全角変数はシンタックスハイライトされない

### Kotlin

```kotlin
fun main(args: Array<String>) {
    // Your code here!
    var A = "hankaku A";
    var Ａ = "zenkaku A";
    println("Kotlin");
    println("A = " + A);
    println("Ａ = " + Ａ);
}
```

### Perl

```perl
$A = "hankaku A";
$Ａ = "zenkaku A";

print "A = $A";
print "Ａ = $Ａ";
```

```plaintext:出力
代入エラー(ASCIIしか変数名に使えない)
```


### PHP

```php
<?php
$A="hankau A";
$Ａ="zenkaku A";
echo "A = $A\n";
echo "Ａ = $Ａ\n";
?>

```

### R

```R
A <- "hankaku A"
Ａ <- "zenkaku A"
cat("A = ", A, "\n")
cat("Ａ = ", Ａ, "\n")
```

### Ruby

```ruby
A = "hankaku A"
Ａ = "zenkaku A"
puts("A = " + A)
puts("Ａ = " + Ａ)
```
全角変数はシンタックスハイライトされない

### Swift

```swift
var A = "hankaku A"
var Ａ = "zenkaku A"

print("A = ", A)
print("Ａ = ", Ａ)
```

## 参考文献

- https://www.python.org/dev/peps/pep-3131/#implementation
- https://qiita.com/yukinoi/items/e521e8f6b085a51de90b
- http://d.hatena.ne.jp/expectorate/20131230/1388433282