イテレータを使ってtokenize するように変更

しました。
`" "`がIGNOREで`" m"`がUNKNOWNと解釈されて初めて空白が無視されるはずだから当たり前では。
ifを取り除いたら`" main..."`が常にIGNOREとなり、UNKNOWNとなる瞬間が来ない。
> そもそも入力の長さが1の段階でignoreがtrueを返していないとおかしい。
そもそも論をしたいなら設計からいじるべき。