fxsjy/jieba — pull request #21 by windoze (2012-12-28 17:39:50+00:00)
Title: 改进符号的处理

改进包括：
* 不再把“+”和“#”特殊处理，而是用一组预定义的包含符号的词，例如C++、C#、AT&T以及小数例如1.2、0.5、3.14159
* 所有除字母和数字之外的符号都被作为分隔符
* 去除拉丁字母上的重音符，例如café变为cafe
* 使用regex代替re，这个新的正则表达式引擎支持Unicode Character Attributes
* 用setuptools代替distutils，自动安装依赖的regex包